[하나 Global ETF] 박승진

[하나증권 반도체 김록호/김영규]
Industry Research

링크: https://vo.la/cszJ0fV

반도체 (Overweight): Google의 Turbo Quant와 AI생태계 및 메모리 시사점

◆ Turbo Quant: 추론 병목현상 줄이기 위한 압축 기술

Google이 최근 공개한 Turbo Quant는 LLM 추론 과정에서 가장 큰 병목 현상 중 하나인 KV Cache 사용량을 획기적으로 줄이는 양자화(Quantization) 기술임. 기존 모델(예: FP16, BF16)은 KV Cache를 저장할 때 토큰당 16비트를 사용하지만, Turbo Quant는 이를 4비트 이하로 압축하면서도 성능 저하를 최소화함. KV Cache를 압축하기 위한 기술은 Nvidia의 NVFP4, Microsoft의 DeepSpeed 등도 이미 존재했음. 여타 압축기술과의 차별화 포인트는 압축 과정에서 발생할 수밖에 없는 정밀도 하향 및 오류 발생을 최소화했다는 점

아울러 이를 오픈소스 형태로 공개하면서 여타 업체들도 활용할 수 있게 했음. 일례로 Google은 자사 모델인 Gemma뿐만 아니라 경쟁사 모델인 Mistral에도 이 기술을 적용해 성능을 증명. 오픈소스로 제공하는 이유는 하드웨어 제조사(Nvidia 등)가 자사 GPU 드라이버나 라이브러리에 Turbo Quant 연산을 가속하는 기능을 기본적으로 탑재할 가능성을 열어두었기 때문으로 보임

◆ 하이퍼스케일러 등의 고객들은 비용 효율화 가능

해당 기술은 추론 시스템에서 요구되는 메모리를 효율화시킬 수 있음. LLM 서비스 운영 시 GPU 메모리(HBM)는 크게 두 영역이 차지. 모델 가중치 (Weights: 모델 자체의 크기(고정값))와 KV Cache(사용자의 질문과 답변이 길어질수록 늘어나는 영역(가변값))

기존 FP16 방식에서는 문맥이 길어질수록 KV Cache가 모델 가중치보다 더 많은 메모리를 점유하기도하면서, 이를 일반 메모리 및 스토리지로 오프로드했음. 이론적으로 이를 4비트로 줄이면, 동일한 메모리 용량에서 수용 가능한 컨텍스트 길이가 4배 늘어나거나, 동시 접속자(Batch Size)를 4배 더 받을 수 있게 됨

이는 데이터 센터의 전력 소모 감소와 서버 구축 비용(CAPEX) 절감으로 직결될 수 있음. 이는 하이퍼스케일러들이 인프라 투자 효율(ROI)을 높이는 데 핵심적인 역할을 할 수 있게 됨

◆ 메모리 업체 입장에서 진입장벽 낮아져 전체 수요 증대 가능성

시뮬레이션 결과가 실제 환경에서 어떻게 작용할지는 불확실함. 해당 기술의 검증 및 확장 속도도 불명확. 만약에 압축 기술이 보편화되었을 때 일어날 변화를 HBM과 일반 DRAM, 스토리지로 구분해서 볼 필요가 있음

Turbo Quant와 같은 기술은 압축된 데이터를 풀고(Dequantize) 연산하는 과정이 필요해 HBM 커스텀화가 가속화될 것으로 예상. 메모리 업체는 로직 다이에 가속 엔진(Hardware Accelerator)을 직접 심어, GPU로 데이터를 보내기 전에 메모리 단에서 압축/해제를 처리하는 'PIM(Processor-in-Memory)' 기술 고도화가 필요해질 것으로 예상. 아울러 용량보다는 대역폭, 즉 속도를 올리기 위한 경쟁이 중요해질 것으로 판단

일반 DRAM의 경우, 워크로드되는 용량이 축소될 우려가 상존. 다만, 고객사 입장에서 당장 메모리 용량을 축소시키기 보다는 남는 공간에 4배 이상 많은 사용자 질문(Batch)을 집어넣을 수 있게 되기 때문에 운영 여력을 확보할 수 있게 됨. 또한, 데이터를 압축하고 푸는 과정에서 발생하는 연산을 빠르게 처리하려면, 일반 DDR5보다 대역폭이 높은 MRDIMM이나 SOCAMM2 같은 고성능 규격의 수요가 보편화될 것으로 예상

추론 워크로드에서 스토리지는 주로 모델의 가중치를 불러오거나 체크포인트를 저장하는 용도였음. 하지만 압축 기술은 스토리지를 확장된 메모리로 쓰게 만듦. 단순 저장용 저가 SSD보다는 읽기 속도가 극단적으로 빠른 NVMe Gen5/Gen6 SSD의 수요가 중요해짐. 즉, ‘단순 용량’보다는 ‘메모리처럼 작동하는 스토리지’로서의 비중이 커질 것으로 예상. HBF 상용화를 앞당길 가능성도 상존

결론적으로 압축 기술은 이미 기존에도 존재했던 기술이고, 해당 기술을 모든 업체가 사용하거나 보편화할 가능성 역시 미지수. 만약 해당 기술이 중장기적으로 보편화되어 비트당 수요가 효율화되면, 메모리 비용에 대한 진입장벽이 낮아지기 때문에 AI 서비스의 전체 사용량 및 DRAM과 스토리지의 절대적인 수요량을 감소시킬 가능성은 제한적이라 판단

(컴플라이언스 승인을 득함)

1.36K views박승진 하나증권, 16:55