[경제일보] 생성형 인공지능(AI) 확산으로 GPU 중심으로 형성됐던 AI 인프라 시장이 'AI 에이전트' 시대에 접어들며 CPU 중심으로 재편될 조짐을 보이고 있다. 단순 답변 생성에서 실제 작업을 수행하는 형태로 AI 활용 방식이 변화하면서 데이터센터 구조 자체가 달라지고 있다는 분석이다.
30일 유진투자증권의 보고서 '메모리 와치'에 따르면 초기 생성형 AI는 사용자의 질문에 대한 답변을 생성하는 단순 응답형 구조였지만 단순한 추론을 넘어 실제 행동을 수행하는 구조로 진화하면서 CPU가 담당하는 작업 비중이 크게 늘어나는 것으로 나타났다.
기존 AI는 연산 병목이 대부분 GPU 중심의 행렬 연산과 메모리 대역폭 처리 구간에 집중되며 AI 인프라 경쟁 역시 GPU 확보가 핵심 요소로 작용했다. 다만 최근 등장한 AI 에이전트는 구조가 크게 다르다. AI 에이전트는 사용자의 요청을 해석한 뒤 데이터베이스 접근, 외부 툴 호출, 결과 재분석 등 다층적인 작업을 수행하는 방식으로 동작한다.
CPU는 AI 연산 자체를 수행하지는 않지만 요청 해석과 작업 스케줄링, 데이터베이스 접근, 외부 툴 실행, 세션 관리 등 AI 에이전트 워크로드 전반을 제어하는 역할을 담당한다. 이에 AI 인프라의 성능 역시 GPU 단독이 아닌 CPU와 GPU의 조합에 의해 결정되는 구조로 변화하고 있는 것으로 분석된다.
이 같은 변화는 주요 AI 기업들의 전략에서도 나타나고 있다. 최근 엔비디아는 CPU 중심 인프라 확대에 나섰다. 메타는 올해 2월 엔비디아의 '그레이스 CPU'와 '베라 CPU'를 대량 구매하는 공급 계약을 체결했으며 엔비디아는 GTC 2026에서 CPU 개별 판매를 공식화했다. GPU 기업인 엔비디아가 CPU 단독 판매에 나선 것은 이례적인 행보로 평가된다. 이어 엔비디아는 AI 에이전트 환경에 최적화된 '베라 CPU 랙'과 함께 40개 랙으로 구성된 '베라 루빈 포드'도 공개했다.
Arm 역시 AI 에이전트 시장 확대에 대응해 데이터센터용 'AGI CPU'를 공개했다. Arm이 직접 칩 판매에 나선 것은 지난 1990년 창립 이후 최초이다. AGI CPU는 메타와 공동 개발됐으며 TSMC 3나노 공정으로 제조된다.
Arm은 AI 에이전트 시장 확대로 데이터센터 CPU 시장 규모가 오는 2030년까지 1000억 달러(약 150조원)에 달할 것으로 전망했다. 또한 향후 5년 내 AGI CPU 매출이 Arm의 지난해 연간 매출 46억7000만 달러(약 7조원)를 크게 웃도는 연간 150억 달러(약 23조원)에 이를 것으로 예상했다.
업계에서는 AI 인프라 병목이 GPU에서 메모리, 네트워크를 거쳐 CPU로 이동하고 있는 것으로 예상하고 있다. 초기 AI 사이클에서는 GPU 확보가 핵심이었지만, 추론 시장 확대 이후 KV 캐시 증가로 메모리 수요가 급증했고, 이후 고성능 네트워크 확장 수요가 커지는 것이다.
최근 AI 에이전트 확산으로 비GPU 연산 비중이 빠르게 증가하면서 CPU가 새로운 병목 요인으로 부상할 것으로 전망된다. 이에 GPU와 메모리, 네트워크에 이어 데이터센터 CPU 관련 밸류체인에 대한 투자 관심도 확대될 것으로 분석된다.
르네 하스 Arm 대표는 'AGI CPU'를 공개하며 "AI는 빠르게 진화하고 있으며 앞으로 훨씬 더 빠른 속도로 성장할 것이고, AI 시스템이 복잡해질수록 CPU의 역할은 더욱 중요해질 것"이라며 "AI는 사용자부터 애플리케이션, 인프라까지 전체 기술 스택을 재정의하고 있으며 세계는 기존 데이터센터에서 AI 중심 데이터센터로 빠르게 전환되고 있다"고 말했다.
댓글 더보기