엘우드·'KV 캐시'를 모르는 삼성·하이닉스 투자는 도박이다
삼성과 하이닉스에 투자하면서 KV 캐시를 모르면, 솔직히 눈 감고 베팅하는 것과 다르지 않습니다. KV 캐시는 AI가 앞에서 나눈 말을 잠깐 붙잡아두는 ‘작업 메모장’ 같은 것입니다. 이 메모장이 클수록 AI는 긴 문맥을 이해할 수 있지만, 그만큼 HBM 같은 고성능 메모리를 더 많이 잡아먹습니다. 업계는 KV캐시를…
·1개의 글
엘우드·삼성과 하이닉스에 투자하면서 KV 캐시를 모르면, 솔직히 눈 감고 베팅하는 것과 다르지 않습니다. KV 캐시는 AI가 앞에서 나눈 말을 잠깐 붙잡아두는 ‘작업 메모장’ 같은 것입니다. 이 메모장이 클수록 AI는 긴 문맥을 이해할 수 있지만, 그만큼 HBM 같은 고성능 메모리를 더 많이 잡아먹습니다. 업계는 KV캐시를…