검색결과 총 4건
-
다음 'AI 요약', 국산 NPU·LLM로 돌린다…"GPU보다 비용 30% 절감"
[경제일보] 포털 다음이 검색 결과를 요약하는 인공지능(AI) 서비스에 국산 AI 반도체와 거대언어모델(LLM)을 함께 적용했다. 퓨리오사AI의 신경망처리장치(NPU) ‘레니게이드’에서 업스테이지의 LLM ‘솔라’를 구동하고, 이를 다음의 실제 검색 서비스에 연결한 구조다. 국산 AI 기술이 연구개발이나 개념검증(PoC)을 넘어 대규모 이용자를 보유한 포털 서비스의 상용 인프라에 투입됐다는 점에서 의미가 있다. 업스테이지는 기존 그래픽처리장치(GPU) 기반 운영과 비교해 현재 약 30%의 비용 절감 효과를 확인했다고 밝혔다. 업스테이지(대표 김성훈)와 다음 운영사 AXZ(대표 이건수), 퓨리오사AI(대표 백준호)는 15일 온라인 간담회를 열고 다음 ‘AI 요약’ 서비스의 기술 구성과 향후 확장 계획을 공개했다. 다음 AI 요약은 이용자가 검색어 또는 문장형 질문을 입력하면 LLM이 관련 웹문서를 분석해 핵심 답변과 근거를 정리해주는 서비스다. 지난 1일 베타로 출시돼 이슈와 금융, 엔터테인먼트, 건강, 사전, 일상 등 6개 영역에 우선 적용됐다. ◆ 국산 NPU 24개로 하루 5억 토큰 처리 AI 요약의 추론 연산은 퓨리오사AI의 2세대 NPU 레니게이드가 담당한다. 현재 서버 3개 노드에 레니게이드 24개를 배치해 하루 평균 약 5억개의 토큰을 처리하고 있다. 토큰은 AI 모델이 정보를 이해하고 답변을 생성할 때 사용하는 데이터 단위다. 퓨리오사AI는 레니게이드 칩뿐 아니라 솔라 모델을 반도체에 배치하는 컴파일러와 추론용 서빙 엔진도 자체 개발했다. 범용 GPU에 모델을 올리는 방식과 달리 하드웨어와 소프트웨어, 모델을 함께 최적화하는 공동설계 방식으로 처리 효율을 높였다는 설명이다. 백준호 대표는 “레니게이드는 솔라 모델을 가속하면서 엔비디아 H200과 대등한 수준의 처리 성능을 확보했다”며 “가격 대비 성능과 전력 대비 성능에서는 더 높은 효율을 보이고 있다”고 말했다. 김성훈 대표도 “현재 다음과 함께 서비스를 운영하면서 GPU를 사용할 때보다 약 30%의 비용 절감 효과를 보고 있다”고 설명했다. 퓨리오사AI는 기업의 AI 전환(AX) 환경에서는 처리량과 모델 구성에 따라 GPU 대비 1.5∼2배 높은 비용 효율을 확보할 수 있다고 보고 있다. 다만 H200과의 비교 조건과 모델 크기, 동시 처리량, 응답 지연시간 등 세부 측정값은 공개되지 않았다. 30% 비용 절감 역시 3사가 실제 운영 과정에서 산출한 수치로, 외부 기관의 독립적인 비교 검증 결과는 아니다. 향후 서비스 적용 범위가 확대됐을 때도 같은 비용 효율을 유지하는지가 상용 경쟁력을 가를 전망이다. ◆ 업스테이지의 모델, 퓨리오사AI의 칩, 다음의 이용자 이번 협력이 주목받는 이유는 국내 AI 산업이 부족했던 ‘실제 사용처’를 확보했다는 점이다. 국산 NPU는 성능을 갖추고도 대규모 상용 서비스 적용 사례와 이를 뒷받침하는 소프트웨어 생태계가 부족하다는 평가를 받아왔다. 국내 LLM 역시 모델을 개발한 뒤 이를 지속적으로 사용하는 대규모 이용자 접점을 확보하는 것이 과제였다. 업스테이지는 지난 5월 카카오로부터 다음 운영사 AXZ 인수를 마무리했다. 이를 통해 자체 LLM을 포털 검색에 적용하고 이용자 반응과 토큰 사용 데이터를 다시 모델 개선에 활용할 수 있는 구조를 확보했다. 업스테이지와 퓨리오사AI의 협력도 이번이 처음은 아니다. 두 회사는 2022년 업스테이지의 광학문자인식(OCR) 기술을 퓨리오사AI의 1세대 NPU ‘워보이’에 적용했다. 지난해 6월에는 솔라를 레니게이드에 최적화하고 온프레미스 생성형 AI 인프라를 공동 개발하기 위한 업무협약을 체결했다. 이번 다음 AI 요약은 당시 협력이 실제 서비스로 연결된 사례다. 3사는 이를 국내 기술로 반도체와 모델, 서비스를 연결한 첫 풀스택 소버린 AI 상용 사례라고 평가했다. 다만 ‘국내 최초’는 3사의 자체 판단이다. 줌인터넷을 운영하는 이스트에이드가 지난달 AI 검색 서비스 ‘AI 3초 요약’과 ‘AI 이슈 트렌드’에 LG AI연구원의 ‘K-엑사원’을 먼저 적용했지만, 다음은 AI 모델뿐 아니라 추론 반도체까지 국산 기술을 적용한 점을 차별화 요소로 내세우고 있다. ◆ 검색 질의 절반 이상으로 확대…비용 효율이 관건 다음은 현재 전체 검색 질의의 약 20%에 AI 요약을 적용하고 있다. 1차 목표는 적용 비중을 절반 이상으로 확대하는 것이다. 쇼핑과 맛집처럼 정보가 자주 바뀌고 이용자의 선택까지 연결되는 분야에는 별도의 버티컬 AI 서비스를 적용할 계획이다. 환각을 줄이기 위한 검색 구조도 고도화했다. 기존 키워드 검색과 의미를 중심으로 자료를 찾는 벡터 검색을 결합한 ‘하이브리드 검색’으로 최신 자료를 솔라에 전달하고, 답변 생성 과정은 하네스 엔지니어링으로 통제한다. 연내에는 후속 질문을 이어갈 수 있는 대화형 ‘AI 모드’도 출시할 예정이다. 장기적으로는 이용자의 관심사와 이용 기록을 바탕으로 개인별 정보를 제공하는 ‘1인 1에이전트’를 구상하고 있다. 관심 분야 뉴스를 매일 아침 자동으로 모아주는 서비스 등이 대표적인 활용 사례다. 서비스 확대에는 반도체 공급도 뒷받침돼야 한다. 퓨리오사AI는 올해 초 레니게이드 양산을 시작했으며 연내 최대 1만개까지 공급할 수 있다는 입장이다. 유럽에서는 에퀴닉스 리스본 데이터센터에 레니게이드 서버를 설치해 현지 기업의 성능 검증도 지원하고 있다. 이번 협력은 업스테이지가 참여하는 정부의 ‘독자 AI 파운데이션 모델’ 프로젝트에도 중요한 실증 사례가 될 전망이다. 다음달 예정된 2차 평가에서는 모델 성능뿐 아니라 산업 적용성과 실제 서비스 활용도가 주요 평가 요소로 거론된다. 업스테이지는 다음달 후속 솔라 모델도 공개할 예정이다. 김성훈 대표는 “다음 AI 서비스를 이용하면 솔라와 국산 NPU를 함께 사용하는 선순환이 만들어진다”며 “더 많은 사용이 기술과 품질 개선으로 이어지고, 개선된 품질이 다시 사용량을 늘리는 생태계를 구축하겠다”고 말했다.
2026-07-15 14:01:14
-
KT클라우드, 리벨리온 NPU 적용한 공공 AI 인프라 구축
[경제일보] 공공 클라우드 시장에서 인공지능(AI) 인프라 패러다임이 GPU 중심에서 신경망처리장치(NPU) 기반으로 이동하고 있다. 정부의 국산 AI 반도체 활용 확대 정책과 맞물리면서 KT 클라우드는 NPU 서비스를 확대하고 있다. 4일 KT 클라우드는 공공기관 전용 클라우드에 리벨리온의 차세대 NPU를 적용한 'NPU 서버' 상품을 출시하고 공공 AI 인프라 시장 확대에 나선다고 밝혔다. 이번 서비스는 공공 전용 데이터센터 환경에서 가상머신(VM) 방식으로 NPU 인프라를 제공하는 것이 특징이다. 또한 국내 NPUaaS(서비스형 NPU) 중 최초로 클라우드 보안 인증(CSAP)을 획득해 공공기관 도입 요건을 충족한 것으로 알려졌다. 공공 클라우드 시장은 보안 규제와 함께 국산 기술 활용 비중 확대가 중요한 평가 요소로 자리 잡고 있다. 이에 AI 모델 학습과 추론 과정에서 발생하는 데이터 보안성과 비용 효율성을 동시에 충족할 수 있는 인프라 확보가 핵심 과제로 떠오르고 있다. KT 클라우드의 NPU 서버는 리벨리온의 데이터센터용 AI 반도체 'ATOM 플러스'를 기반으로 구축됐다. 최근 AI 워크로드가 모델 학습 중심에서 추론 중심으로 빠르게 이동하면서, 추론에 특화된 NPU는 GPU 대비 비용 효율성과 전력 효율성을 동시에 개선할 수 있는 대안으로 주목받고 있다. 이를 통해 공공기관 및 공공 AX 사업 참여 기업들은 보안 규제를 준수하면서도 AI 서비스 구축에 필요한 연산 인프라를 활용할 수 있게 될 전망이다. 특히 민원 상담, 행정 업무 지원, 문서 검색 및 분석 등 공공 서비스 영역에서 AI 에이전트 적용 범위가 확대될 것으로 예상된다. 클라우드 업계에서는 향후 공공 AI 인프라 시장에서 GPU 중심 구조가 점차 변화할 가능성에 주목하고 있다. 그동안 AI 인프라는 엔비디아 GPU 중심으로 구축돼 왔으나, 국산 AI 반도체 생태계 확대 정책과 맞물리면서 NPU 기반 인프라 도입이 본격화되는 흐름이라는 분석이다. 앞서 KT 클라우드는 지난 4월 AI 통합 플랫폼 'AI 넥서스'를 출시하며 AI 인프라 사업을 확장한 바 있다. AI 넥서스는 학습 전용 인프라 'AI 트레인'과 추론 전용 인프라 'AI SERV'를 통합한 서비스로, AI 모델 개발부터 배포, 운영까지 전 과정을 단일 플랫폼에서 지원한다. 특히 모델 서빙(Model Serving) 기능을 통해 복잡한 배포 과정 없이 AI 모델을 실행 환경에 적용할 수 있도록 설계했고, 모델 스토어 기능을 통해 오픈소스 모델 기반 AI 서비스 구축도 지원한다. 또한 'A100', 'H100', 'H200' 등 다양한 GPU 라인업을 제공하고 있으며, 향후 차세대 GPU인 '엔비디아 B300' 기반 서비스로 확장할 계획이다. KT 클라우드는 공공 보안 요건을 충족하는 AI 인프라 제공을 기반으로 공공기관과 지자체의 디지털 전환(AX) 수요에 대응하고, 국내 AI 반도체 생태계 확산에도 기여한다는 방침이다. 김봉균 KT 클라우드 대표는 "정부의 국산 AI 반도체 활용 확대 기조에 맞춰 공공 전용 NPU 상품을 출시하게 됐다"며 "KT 클라우드는 최적의 AI 인프라 플랫폼 사업자로서 공공기관과 기업의 AX 혁신을 지원하고, 국가 AI 산업 경쟁력 강화에 기여하겠다"고 말했다.
2026-06-04 09:59:00
-
-