SK하이닉스, AI 메모리 판 바꾼다…'PIM'으로 연산 영역 확대

[경제일보] SK하이닉스가 메모리 반도체 안에서 AI 연산까지 수행하는 PIM 기술을 앞세워 GPU와 HBM 중심의 AI 인프라 한계 돌파에 나선다. 메모리에서 직접 연산을 처리해 가속기와 메모리 사이의 데이터 이동을 줄이고, AI 추론 속도와 시스템 효율을 높이겠다는 구상이다.
 
16일(현지시간) 업계에 따르면 임의철 SK하이닉스 설루션AT 담당 부사장은 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’에서 PIM을 중심으로 한 차세대 AI 메모리 전략을 발표했다.
 
AI 인프라는 그동안 GPU와 HBM을 결합해 대규모 연산을 처리하는 방식으로 발전해왔다. AI 모델이 커지고 초고속 추론 수요가 증가하면서 가속기와 메모리 사이에서 발생하는 데이터 이동량도 늘고 있다. SK하이닉스는 연산 기능을 메모리 안으로 가져오면 이러한 데이터 이동을 줄일 수 있다고 보고 있다.
 
PIM은 메모리에 연산 기능을 탑재해 일부 계산을 저장장치 내부에서 처리하는 기술이다. 기존에는 메모리에 있는 데이터를 GPU 등 AI 가속기로 보내 연산한 뒤 결과를 다시 메모리에 저장해야 했지만, PIM을 활용하면 간단한 연산을 메모리에서 직접 수행할 수 있다.
 
특히 SK하이닉스는 초고속 추론에 활용되는 S램과 비교해 PIM이 대용량과 대역폭을 함께 확보할 수 있다는 점을 강조했다. S램은 빠른 데이터 처리가 가능하지만 메모리 용량과 비용 측면에서 부담이 있다는 설명이다.
 
임 부사장은 “S램 기반 체계는 높은 대역폭을 제공하지만 용량과 비용 측면에서는 명확한 한계가 있다”며 “PIM은 같은 면적에서 S램 대비 약 300배에 달하는 대용량을 제공하면서도 높은 내부 대역폭을 유지한다”고 말했다.
 
기술 구현 과정에서 제기돼온 집적도와 비용 문제에는 하이브리드 본딩을 활용한다. 메모리 다이와 연산 다이를 별도로 제작한 뒤 수직으로 연결하는 방식으로 연산 회로를 추가하면서 발생할 수 있는 메모리 용량 감소와 단가 상승 부담을 줄인다는 구상이다.
 
PIM의 적용 범위도 개별 메모리 칩을 넘어 서버 랙 수준으로 확대한다. AI 서비스마다 요구되는 연산량과 데이터 처리 특성이 다른 만큼 메모리 계층별로 역할을 나누고 필요한 영역에서 연산 기능을 수행하는 구조를 구축한다는 개념이다.
 
SK하이닉스는 AI 인프라가 GPU와 HBM 조합에만 의존하는 구조에서 벗어나야 한다고 보고 있다. PIM과 고대역폭 플래시(HBF) 등 다양한 메모리 기술을 활용하고 하드웨어와 소프트웨어를 함께 최적화하는 방식으로 시스템 효율을 높여야 한다는 판단이다.
 
임 부사장은 PIM과 HBF를 비롯한 메모리 계층 전반의 하드웨어 혁신과 소프트웨어 최적화, 통합 설계가 AI 인프라 발전에 필요하다고 강조했다.