연구자 정보
쿼카 프로필 보기
- 출신대학 : KAIST
- 전공 : 반도체공학대학원
- 연구분야 : 반도체 소재(2D, III-V) 및 소자
1분 요약
지금 AI 인프라에서 가장 큰 문제는 메모리 비용과 구조다. 대형 모델을 추론에 쓰려면 수천억~수조 개 파라미터를 계속 불러와야 하는데, 이걸 HBM 만으로 해결할 수는 없다. 이 문제를 해결하려고 나온 것이 HBF다. 기존처럼 멀리 있는 저장장치에서 데이터를 가져오는 방식이 아니라, 연산 장치 가까이에 대용량 데이터를 붙여 두는 구조다. 속도는 HBM보다는 느리지만, SSD보다는 훨씬 빠르고, 무엇보다 같은 비용으로 훨씬 많은 데이터를 담을 수 있다. 덕분에 자주 쓰는 데이터는 멀리서 가져오지 않아도 되고, 비싼 메모리를 무한정 늘리지 않아도 된다. AI 모델이 커질수록 연산 성능 뿐 아니라 메모리 종류와 배치가 중요해 질 것이다. 그리고 HBF는 가장 현실적인 보완재다.