다음 'AI 요약', 국산 NPU·LLM로 돌린다…"GPU보다 비용 30% 절감"

[경제일보] 포털 다음이 검색 결과를 요약하는 인공지능(AI) 서비스에 국산 AI 반도체와 거대언어모델(LLM)을 함께 적용했다. 퓨리오사AI의 신경망처리장치(NPU) ‘레니게이드’에서 업스테이지의 LLM ‘솔라’를 구동하고, 이를 다음의 실제 검색 서비스에 연결한 구조다.

국산 AI 기술이 연구개발이나 개념검증(PoC)을 넘어 대규모 이용자를 보유한 포털 서비스의 상용 인프라에 투입됐다는 점에서 의미가 있다. 업스테이지는 기존 그래픽처리장치(GPU) 기반 운영과 비교해 현재 약 30%의 비용 절감 효과를 확인했다고 밝혔다.

업스테이지(대표 김성훈)와 다음 운영사 AXZ(대표 이건수), 퓨리오사AI(대표 백준호)는 15일 온라인 간담회를 열고 다음 ‘AI 요약’ 서비스의 기술 구성과 향후 확장 계획을 공개했다.

다음 AI 요약은 이용자가 검색어 또는 문장형 질문을 입력하면 LLM이 관련 웹문서를 분석해 핵심 답변과 근거를 정리해주는 서비스다. 지난 1일 베타로 출시돼 이슈와 금융, 엔터테인먼트, 건강, 사전, 일상 등 6개 영역에 우선 적용됐다.

◆ 국산 NPU 24개로 하루 5억 토큰 처리

AI 요약의 추론 연산은 퓨리오사AI의 2세대 NPU 레니게이드가 담당한다. 현재 서버 3개 노드에 레니게이드 24개를 배치해 하루 평균 약 5억개의 토큰을 처리하고 있다. 토큰은 AI 모델이 정보를 이해하고 답변을 생성할 때 사용하는 데이터 단위다.

퓨리오사AI는 레니게이드 칩뿐 아니라 솔라 모델을 반도체에 배치하는 컴파일러와 추론용 서빙 엔진도 자체 개발했다. 범용 GPU에 모델을 올리는 방식과 달리 하드웨어와 소프트웨어, 모델을 함께 최적화하는 공동설계 방식으로 처리 효율을 높였다는 설명이다.

백준호 대표는 “레니게이드는 솔라 모델을 가속하면서 엔비디아 H200과 대등한 수준의 처리 성능을 확보했다”며 “가격 대비 성능과 전력 대비 성능에서는 더 높은 효율을 보이고 있다”고 말했다.

김성훈 대표도 “현재 다음과 함께 서비스를 운영하면서 GPU를 사용할 때보다 약 30%의 비용 절감 효과를 보고 있다”고 설명했다. 퓨리오사AI는 기업의 AI 전환(AX) 환경에서는 처리량과 모델 구성에 따라 GPU 대비 1.5∼2배 높은 비용 효율을 확보할 수 있다고 보고 있다.

다만 H200과의 비교 조건과 모델 크기, 동시 처리량, 응답 지연시간 등 세부 측정값은 공개되지 않았다. 30% 비용 절감 역시 3사가 실제 운영 과정에서 산출한 수치로, 외부 기관의 독립적인 비교 검증 결과는 아니다. 향후 서비스 적용 범위가 확대됐을 때도 같은 비용 효율을 유지하는지가 상용 경쟁력을 가를 전망이다.

◆ 업스테이지의 모델, 퓨리오사AI의 칩, 다음의 이용자

이번 협력이 주목받는 이유는 국내 AI 산업이 부족했던 ‘실제 사용처’를 확보했다는 점이다. 국산 NPU는 성능을 갖추고도 대규모 상용 서비스 적용 사례와 이를 뒷받침하는 소프트웨어 생태계가 부족하다는 평가를 받아왔다. 국내 LLM 역시 모델을 개발한 뒤 이를 지속적으로 사용하는 대규모 이용자 접점을 확보하는 것이 과제였다.

업스테이지는 지난 5월 카카오로부터 다음 운영사 AXZ 인수를 마무리했다. 이를 통해 자체 LLM을 포털 검색에 적용하고 이용자 반응과 토큰 사용 데이터를 다시 모델 개선에 활용할 수 있는 구조를 확보했다.

업스테이지와 퓨리오사AI의 협력도 이번이 처음은 아니다. 두 회사는 2022년 업스테이지의 광학문자인식(OCR) 기술을 퓨리오사AI의 1세대 NPU ‘워보이’에 적용했다. 지난해 6월에는 솔라를 레니게이드에 최적화하고 온프레미스 생성형 AI 인프라를 공동 개발하기 위한 업무협약을 체결했다. 이번 다음 AI 요약은 당시 협력이 실제 서비스로 연결된 사례다.

3사는 이를 국내 기술로 반도체와 모델, 서비스를 연결한 첫 풀스택 소버린 AI 상용 사례라고 평가했다. 다만 ‘국내 최초’는 3사의 자체 판단이다. 줌인터넷을 운영하는 이스트에이드가 지난달 AI 검색 서비스 ‘AI 3초 요약’과 ‘AI 이슈 트렌드’에 LG AI연구원의 ‘K-엑사원’을 먼저 적용했지만, 다음은 AI 모델뿐 아니라 추론 반도체까지 국산 기술을 적용한 점을 차별화 요소로 내세우고 있다.

◆ 검색 질의 절반 이상으로 확대…비용 효율이 관건

다음은 현재 전체 검색 질의의 약 20%에 AI 요약을 적용하고 있다. 1차 목표는 적용 비중을 절반 이상으로 확대하는 것이다. 쇼핑과 맛집처럼 정보가 자주 바뀌고 이용자의 선택까지 연결되는 분야에는 별도의 버티컬 AI 서비스를 적용할 계획이다.

환각을 줄이기 위한 검색 구조도 고도화했다. 기존 키워드 검색과 의미를 중심으로 자료를 찾는 벡터 검색을 결합한 ‘하이브리드 검색’으로 최신 자료를 솔라에 전달하고, 답변 생성 과정은 하네스 엔지니어링으로 통제한다. 연내에는 후속 질문을 이어갈 수 있는 대화형 ‘AI 모드’도 출시할 예정이다.

장기적으로는 이용자의 관심사와 이용 기록을 바탕으로 개인별 정보를 제공하는 ‘1인 1에이전트’를 구상하고 있다. 관심 분야 뉴스를 매일 아침 자동으로 모아주는 서비스 등이 대표적인 활용 사례다.

서비스 확대에는 반도체 공급도 뒷받침돼야 한다. 퓨리오사AI는 올해 초 레니게이드 양산을 시작했으며 연내 최대 1만개까지 공급할 수 있다는 입장이다. 유럽에서는 에퀴닉스 리스본 데이터센터에 레니게이드 서버를 설치해 현지 기업의 성능 검증도 지원하고 있다.

이번 협력은 업스테이지가 참여하는 정부의 ‘독자 AI 파운데이션 모델’ 프로젝트에도 중요한 실증 사례가 될 전망이다. 다음달 예정된 2차 평가에서는 모델 성능뿐 아니라 산업 적용성과 실제 서비스 활용도가 주요 평가 요소로 거론된다. 업스테이지는 다음달 후속 솔라 모델도 공개할 예정이다.

김성훈 대표는 “다음 AI 서비스를 이용하면 솔라와 국산 NPU를 함께 사용하는 선순환이 만들어진다”며 “더 많은 사용이 기술과 품질 개선으로 이어지고, 개선된 품질이 다시 사용량을 늘리는 생태계를 구축하겠다”고 말했다.