2026.09.01 화요일
검색
'김태호' 검색결과
기간검색
-
~
검색영역
검색어
-
AI 팩토리 시대 핵심은 경량화…노타, 솔라 오픈2 메모리 76% 줄였다 [경제일보] 생성형 인공지능(AI)의 경쟁 기준이 빠르게 변화하고 있다. 과거에는 얼마나 큰 AI 모델을 만들 수 있느냐가 경쟁력이었다면 최근에는 이를 얼마나 효율적으로 운영할 수 있는지가 핵심 요소로 떠오르고 있다. AI 에이전트 시대가 본격화되면서 기업들이 마주한 과제 역시 성능 경쟁을 넘어 GPU 비용과 운영 효율성 확보로 확대되는 가운데, 노타가 대규모 AI 모델을 GPU 2장만으로 구동할 수 있는 경량화 기술을 선보이며 기업들의 AI 전환(AX) 비용 절감에 나섰다. 27일 노타는 업스테이지와 함께 참여 중인 정부 독자 AI 파운데이션 모델 프로젝트의 2차 성과물인 '솔라 오픈2' 전용 경량화 모델을 공개했다고 밝혔다. 최근 글로벌 AI 시장에서는 딥시크와 문샷 AI의 '키미' 시리즈 등 고성능 오픈 웨이트 모델이 주목받고 있다. 다만 AI 경쟁의 기준은 단순히 모델 성능을 넘어 실제 업무 환경에서 얼마나 효율적으로 활용할 수 있는지로 확대되고 있다. 특히 문서 업무와 코딩, 검색, 툴 호출 등을 수행하는 AI 에이전트가 확산되면서 토큰 사용량과 연산 비용이 크게 증가하고 있어 AI 운영 비용을 낮추는 경량화 기술이 새로운 경쟁력으로 부상하고 있다. 기업들의 AI 인프라 경쟁 역시 새로운 국면을 맞고 있다. AI 팩토리와 AI 데이터센터 구축 경쟁이 본격화되면서 GPU 확보가 중요한 과제로 떠올랐지만, 높은 구축 비용과 전력 소비는 여전히 기업들의 부담으로 꼽힌다. 같은 성능을 보다 적은 GPU로 구현할 수 있다면 인프라 구축 비용과 운영 비용을 동시에 절감할 수 있는 만큼 AI 경량화 기술의 중요성도 커지고 있다. 솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 AI 에이전트 구현에 초점을 맞춘 대규모 언어모델(LLM)이다. 총 2500억개의 매개변수를 갖추고 있으며 실제 작업 시에는 필요한 150억개의 매개변수만 활성화하는 '전문가 혼합(MoE)' 구조를 채택했다. 하나의 모델 안에 있는 여러 연산 모듈 가운데 일부만 선택적으로 활용하는 방식으로 연산 효율성을 높인 것이 특징이다. 노타는 해당 솔라 오픈2의 기능을 실제 기업 환경에 보다 효율적으로 배포할 수 있도록 데이터 기반 MoE 양자화와 라우터 인지형 MoE 양자화, 비균일 전역 프루닝 기술 등을 적용했다고 설명했다. 양자화는 모델을 보다 낮은 정밀도의 데이터 형식으로 변환해 메모리 사용량을 줄이는 기술이며, 프루닝은 중요도가 낮은 연산 모듈을 선택적으로 제거해 모델을 경량화하는 기술이다. 특히 데이터 기반 MoE 양자화에는 모델 가중치를 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 'PASCAL-MoE' 기술이 활용됐다. 라우터 인지형 MoE 양자화에는 양자화 이후에도 라우터가 전문가 모듈을 안정적으로 선택할 수 있도록 자체 개발한 양자화 알고리즘이 적용됐다. 이를 통해 노타는 원본 모델의 가중치 메모리를 기존 500.6GB에서 117.8GB로 약 76.5% 줄이는 데 성공했다고 강조했다. 기존에는 엔비디아 'H100 GPU' 8장이 필요했던 환경을 GPU 2장만으로 구동할 수 있도록 최적화했으며, 양자화 이후에도 AI 에이전트의 핵심 기능인 툴 호출 성능을 안정적으로 유지하는 것으로 알려졌다. 실제로 글로벌 AI 시장 역시 성능 경쟁에서 운영 효율성 경쟁으로 무게 중심이 이동하고 있다. 높은 성능의 AI 모델을 보다 적은 인프라로 구동할 수 있는 기술이 기업들의 AI 도입 장벽을 낮추는 핵심 요소로 떠오르면서 경량화 기술이 AI 팩토리 시대의 필수 기술로 자리 잡고 있는 것이다. 노타는 이번 솔라 오픈2 경량화 모델을 통해 국내 기업들이 보다 적은 비용으로 AI 에이전트를 도입하고 활용 범위를 확대할 수 있을 것으로 기대하고 있다. 특히 별도의 대규모 GPU 인프라를 구축하기 어려운 기업들도 효율적으로 AI 서비스를 운영할 수 있도록 지원해 AI 전환을 가속화한다는 계획이다. 노타가 공개한 솔라 오픈2 전용 경량화 모델은 글로벌 AI 플랫폼 허깅페이스를 통해 확인할 수 있다. 김태호 노타 CTO는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사의 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 지속해서 고도화하겠다"고 말했다.2026-07-27 14:27:30
-
노타, 엔비디아 무대서 '현장 AI' 비전 제시…피지컬 AI 공략 속도 [경제일보] AI 모델 경량화·최적화 기업 노타가 엔비디아 아시아태평양 파트너 행사에서 피지컬 AI 시대의 엣지 AI 비전을 공유했다. AI가 클라우드 안에 머무는 것을 넘어 도시와 도로, 항만, 산업 현장에서 실시간으로 작동하는 흐름이 빨라지는 가운데 노타의 온디바이스 AI 최적화 기술이 주목받고 있다. 노타는 김태호 최고기술책임자(CTO) 겸 공동창업자가 대만에서 열린 ‘NVIDIA APAC Robotics and Edge AI Partner Day’에 초청돼 패널 토크에 참여했다고 2일 밝혔다. 이번 행사는 컴퓨텍스 2026 기간 중 엔비디아가 개최한 아시아태평양 지역 파트너 행사로, 로보틱스와 엣지 AI 분야 주요 기업들이 피지컬 AI와 스마트 공간 지능화 방향을 논의하는 자리로 마련됐다. 김 CTO가 참여한 패널 토크 주제는 ‘How Physical AI is Helping Transform Smart Spaces’였다. 세션에서는 도시, 도로, 항만, 산업 현장 등 실제 공간에서 AI가 상황을 실시간으로 인지하고 판단하며 대응하는 기술 흐름이 다뤄졌다. 카메라 등 현장 인프라에서 수집되는 데이터를 AI가 분석해 사고 예방, 안전 관리, 운영 효율화로 연결하는 방식이다. ◆ 피지컬 AI 핵심은 ‘현장 가까운 AI’ 노타는 이번 패널에서 온디바이스 AI와 엣지 AI 최적화 기술의 중요성을 강조했다. 엣지 AI는 데이터를 모두 클라우드로 보내 처리하는 대신 카메라, 로봇, 교통 인프라, 산업 장비 등 현장 가까운 기기에서 AI를 구동하는 방식이다. 네트워크 지연을 줄이고 개인정보 보호 부담을 낮추며, 통신 환경이 불안정한 현장에서도 빠르게 대응할 수 있다는 장점이 있다. 특히 스마트시티와 산업공간에서는 실시간성이 중요하다. 사고 위험을 감지하거나 작업자 안전을 확인하는 과정에서 AI 판단이 늦어지면 실제 대응 효과가 떨어질 수 있다. 노타는 AI 모델을 작고 효율적으로 최적화해 제한된 연산 자원과 전력 환경에서도 AI가 안정적으로 작동하도록 하는 기술을 보유하고 있다. 노타는 스마트 공간이 단순한 데이터 수집 공간에서 AI가 맥락을 이해하고 의사결정을 보조하는 지능형 공간으로 진화하고 있다고 봤다. 비전 언어 모델(VLM)과 비전 AI 에이전트가 발전하면서 영상 데이터는 단순 관제 대상을 넘어 현장 상황을 요약하고 보고하며 운영자의 판단을 돕는 핵심 데이터로 활용되고 있다. ◆ 엔비디아 생태계 협력 확대 이번 패널 참여는 노타가 엔비디아 생태계 안에서 쌓아온 협력 흐름을 피지컬 AI와 로보틱스 영역으로 넓히는 계기로 평가된다. 노타는 앞서 엔비디아 커넥트 파트너로 선정됐고 지난 4월 엔비디아 네모트론 해커톤에서 대상과 트랙 1위를 차지하며 AI 최적화 역량을 선보였다. 엔비디아가 최근 로보틱스와 엣지 AI, 피지컬 AI를 차세대 성장축으로 강조하고 있다는 점도 의미가 있다. 로봇과 드론, 스마트시티, 산업 자동화가 확산될수록 현장에서 작동하는 AI 모델의 효율성과 안정성은 중요한 경쟁력이 된다. 노타 입장에서는 엔비디아 젯슨 등 엣지 AI 플랫폼과 연계한 최적화 기술을 글로벌 파트너들에게 알릴 수 있는 기회다. 다만 피지컬 AI 시장 확대를 위해서는 실제 현장 적용 사례 확보가 필요하다. AI 모델 최적화 기술이 도시·교통·산업 현장에서 비용 절감, 운영 효율화, 안전 개선 효과로 이어져야 사업성이 커진다. 노타가 글로벌 파트너들과의 협력을 통해 엣지 AI 레퍼런스를 얼마나 빠르게 늘리느냐가 향후 성장의 핵심 변수가 될 전망이다. 김태호 노타 CTO 겸 공동창업자는 “피지컬 AI 시대에는 AI가 디지털 공간을 넘어 실제 물리 환경에서 상황을 인지하고 판단하며 대응하는 역량이 중요해지고 있다”며 “노타는 온디바이스 AI 최적화 기술을 기반으로 도시, 교통, 산업 현장에서 실시간으로 작동하는 엣지 AI 구현에 집중해왔으며 앞으로도 글로벌 파트너들과 함께 로보틱스와 엣지 AI 생태계 확산에 기여하겠다”고 말했다.2026-06-02 09:21:28
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 사상 최악의 기후재난, 네팔 대홍수가 묻는 것](https://image.ajunews.com/content/image/2026/08/31/20260831101315475035_518_323.jpg)