노타, GPU·NPU 역할 분담으로 온디바이스 AI 효율 높인다

[경제일보] AI PC 시장이 본격 확대되면서 인공지능(AI) 모델 자체의 성능 경쟁을 넘어 GPU와 NPU, CPU 등 다양한 연산 장치를 얼마나 효율적으로 활용하느냐가 새로운 경쟁력으로 떠오르고 있다. 이에 AI 경량화 및 최적화 기술 기업 노타는 AI PC 환경에서 GPU와 NPU를 함께 활용하는 이기종 컴퓨팅 기반 대규모 언어 모델(LLM) 추론 최적화 기술을 구현하며 온디바이스 AI 시장 공략에 나선 것으로 분석된다.

4일 노타는 '인텔 루나 레이크' 기반 AI PC에서 GPU와 NPU를 동시에 활용하는 이기종 컴퓨팅 기반 LLM 추론 최적화 기술을 구현했다고 밝혔다.

최근 AI PC 시장에서는 NPU 탑재 여부를 넘어 실제 AI 워크로드를 얼마나 효율적으로 처리할 수 있는지가 핵심 경쟁 요소로 부상하고 있다. AI PC 내부에는 CPU와 GPU, NPU 등 서로 다른 특성을 가진 연산 장치가 탑재되는데, 각 장치의 역할을 어떻게 분담하느냐에 따라 성능과 전력 효율이 크게 달라질 수 있기 때문으로 알려졌다.

노타는 해당 환경에 맞춰 LLM 추론 과정을 입력 처리 단계와 답변 생성 단계로 분리해 각각의 특성에 최적화된 연산 장치를 배치하는 '분리형 추론' 방식을 적용해 해결했다고 설명했다.

구체적으로 입력 데이터와 프롬프트를 처리하는 단계는 병렬 연산 성능이 뛰어난 GPU가 담당하고, 실제 답변을 생성하는 추론 단계는 전력 효율성이 높은 NPU가 수행하도록 설계했다. 단일 프로세서에 모든 연산을 집중시키는 기존 방식과 달리 작업 특성에 따라 하드웨어 자원을 분산 배치한 것이다.

노타에 따르면 해당 기술 적용 결과 단일 GPU 기반 추론 방식 대비 토큰당 에너지 소비량은 약 32% 감소했고 생성 처리량은 약 12% 향상됐다. 또한 단일 NPU 기반 추론 방식과 비교하면 첫 응답 지연 시간은 약 89% 단축된 것으로 나타났다.

이번 발표는 단순히 GPU와 NPU를 함께 사용하는 수준을 넘어 AI 모델의 연산 특성을 분석해 각 작업을 가장 적합한 프로세서에 배분한 것이 특징이다. 동일한 AI PC 환경에서도 하드웨어 자원을 어떻게 활용하느냐에 따라 실제 사용자 경험이 크게 달라질 수 있음을 보여준 것이다.

인텔과 엔비디아 등 주요 기업들이 CPU·GPU·NPU를 결합한 AI PC 전략을 공개했으며, 데이터센터 시장에서도 AI 추론 작업을 단계별로 분리해 서로 다른 연산 장치에 할당하는 방식이 확산되고 있다. 앞서 AI 모델 경량화와 압축 기술에 강점을 보여온 노타는 이번 기술을 통해 모델 최적화를 넘어 AI 실행 환경과 하드웨어 활용 방식까지 아우르는 통합 최적화 역량을 선보인 것으로 평가된다.

특히 AI PC와 온디바이스 AI 시장에서는 제한된 전력과 연산 자원 안에서 최대 성능을 구현해야 하는 만큼 하드웨어 자원 활용 효율이 사용자 경험을 좌우하는 핵심 요소로 꼽힌다. 향후 AI PC 보급이 확대될수록 이기종 컴퓨팅과 런타임 최적화 기술의 중요성이 더욱 커질 것으로 전망된다.

채명수 노타 대표는 "AI PC 시대에는 AI 모델을 기기 안에 올리는 것만으로는 충분하지 않으며 GPU, NPU 등 다양한 연산 장치를 모델 특성에 맞게 조합하는 최적화 역량이 실제 AI 경험을 좌우한다"며 "노타는 모델 경량화, 런타임 최적화, 하드웨어 최적화 기술을 결합해 AI PC 시대의 온디바이스 AI 실행 효율을 높여 나가겠다"고 말했다.