연구자 정보
엘우드 프로필 보기
- 출신대학 : POSTECH
- 전공 : 전자전기공학과
- 연구분야 : 통신/AI
1분 요약
삼성과 하이닉스에 투자하면서 KV 캐시를 모르면, 솔직히 눈 감고 베팅하는 것과 다르지 않습니다. KV 캐시는 AI가 앞에서 나눈 말을 잠깐 붙잡아두는 ‘작업 메모장’ 같은 것입니다. 이 메모장이 클수록 AI는 긴 문맥을 이해할 수 있지만, 그만큼 HBM 같은 고성능 메모리를 더 많이 잡아먹습니다. 업계는 KV캐시를 줄이는 기술을 계속 내놓고 있지만, 줄어든 만큼 AI가 더 긴 문맥을 쓰기 시작해 결국 메모리 수요는 더 커지고 있습니다.
본문
연구자 의견
커피챗 신청
커피챗을 신청하시면 하이젠버그 운영진과 직접 이야기를 나눌 수 있습니다. 혹 슬롯이 없다면 ceo@heisenberg.kr로 메일주세요!