삼성전자, AI 메모리 승부수…'zHBM'으로 응답속도 10배

[경제일보] 삼성전자가 AI 에이전트 시대를 겨냥해 AI 시스템의 응답속도를 현재보다 10배 높이는 차세대 메모리 전략을 제시했다. AI 가속기 위에 HBM을 직접 쌓는 'zHBM'을 통해 데이터 처리 속도를 끌어올리고, HBM5 대비 최대 8배 성능을 구현한다는 구상이다.

16일(현지시간) 업계에 따르면 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무는 미국 캘리포니아주 샌타클라라 컨벤션센터에서 열린 'AI 인프라 서밋'에서 차세대 AI 메모리 기술과 로드맵을 소개했다.

AI가 질문에 답하는 수준을 넘어 여러 작업을 스스로 수행하는 에이전트형으로 발전하면서 빠른 응답을 구현하기 위한 메모리 성능의 중요성도 커지고 있다. 삼성전자는 현재 이용자당 초당 100토큰 수준인 대화형 AI의 응답속도를 초당 1000토큰까지 높이는 목표를 제시했다.

삼성전자가 주목한 기술은 수직 적층형 zHBM이다. 기존 2.5D 구조에서는 AI 가속기와 HBM을 옆으로 배치하지만, zHBM은 HBM을 가속기 상단에 직접 올린다. 연산장치와 메모리 사이의 거리를 줄여 데이터 이동 과정에서 발생하는 지연시간을 낮추는 구조다.

김 상무는 이 방식을 "호텔 객실 내에 1층 로비로 직행하는 전용 엘리베이터를 두는 것"이라고 비유했다. 가속기와 메모리 사이의 데이터 이동 경로를 짧게 만들어 처리 효율을 높일 수 있다는 설명이다.

삼성전자는 zHBM이 HBM5와 비교해 최대 8배의 성능과 3배 이상의 전력 효율을 구현할 수 있을 것으로 보고 있다. AI 모델이 대형화하면서 처리해야 할 데이터가 늘어나는 상황에서 메모리 대역폭뿐 아니라 가속기와 메모리 사이의 데이터 처리 효율까지 높이겠다는 전략이다.

수직으로 메모리를 쌓을 경우 발열 관리가 새로운 과제로 부상할 수 있다. AI 가속기에서 발생한 열이 바로 위에 배치된 HBM으로 전달될 가능성이 있기 때문이다. 삼성전자는 AI 가속기 고객사와 제품 초기 설계 단계부터 협력하는 공동 설계 방식을 통해 열 문제를 해결한다는 계획이다.

삼성전자는 AI 워크스테이션 등 온디바이스 AI 시장을 겨냥한 낸드플래시 기반 3차원 저장장치 솔루션 'z낸드-O'도 공개했다. 대규모 서버에 의존하지 않고도 고용량 AI 모델을 구동할 수 있는 환경을 구축하는 것이 목표다.

김 상무는 "2030년이 되면 대규모 서버가 아닌 AI 워크스테이션 등의 환경에서도 매개변수(파라미터) 1조 개 수준의 거대 AI를 자체 구동하는 사례가 보편화할 것"이라며 "D램만으로 매개변수 1조 개에 맞는 메모리를 구성하려면 상당히 큰 비용이 들지만, z낸드-O를 적용하면 6분의 1 비용으로 구현할 수 있다"고 말했다.

삼성전자는 2028년 z낸드-O 샘플 공급을 시작할 예정이다. 대형 AI 모델을 구동하는 데 필요한 메모리 용량이 확대되는 가운데 낸드플래시를 활용해 시스템 구축 비용을 낮추겠다는 구상이다.

김 상무는 "AI 반도체 경쟁의 핵심인 '시장 출시 속도'에서 고객사들에 독보적 가치를 제공할 것"이라고 덧붙였다.