2026.09.01 화요일
검색
'H100GPU' 검색결과
기간검색
-
~
검색영역
검색어
-
초거대 AI도 '가볍게'…노타, 국가대표 AI 최적화 속도 [경제일보] 국가대표 인공지능(AI) 모델 경쟁이 단순한 성능 경쟁에서 실제 산업 현장에서 얼마나 효율적으로 구동할 수 있느냐를 따지는 방향으로 확대되고 있다. 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에서도 모델 성능뿐 아니라 자원 활용 효율성과 산업 확장성 등이 평가 요소로 떠오른 가운데 국내 기업들의 관련 기술 확보에도 속도가 붙고 있다. 20일 AI 모델 경량화 및 최적화 기술 기업 노타는 자사의 AI 모델 경량화 및 최적화 기술을 바탕으로 국가대표 AI 모델의 활용 경쟁력 강화에 나선다고 밝혔다. 최근 정부가 발표한 독파모 프로젝트 2차 평가에서 업스테이지, SK텔레콤, LG AI연구원 등 3개 컨소시엄이 3차수 진출팀으로 선정됐다. 정부는 단계 평가에서 모델의 정량적 성능뿐 아니라 자원 활용 효율성, 사용성과 실용성, 다양한 산업·서비스 환경으로의 확장 가능성 등을 종합적으로 평가했다고 설명했다. 해당 평가 기준은 국내 AI 경쟁의 기준이 모델 자체의 성능을 넘어 실제 활용 가능성으로 확대되고 있는 것으로 분석된다. 초거대 AI는 모델 규모가 커질수록 GPU와 메모리 등 인프라에 대한 부담도 커지는 만큼 기업과 기관이 실제 서비스를 구축하려면 연산 자원과 운영 비용을 낮추는 기술이 필수적인 것이다. 업스테이지 컨소시엄에서 AI 모델 경량화와 최적화를 맡고 있는 노타는 정부의 평가와 기조에 맞춰 '솔라' 계열 모델의 국내 인프라 활용성을 높이는 데 집중하고 있다. 모델의 성능을 최대한 유지하면서 연산 자원과 메모리 사용량을 줄여 다양한 하드웨어와 서비스 환경에서 구동할 수 있도록 지원하는 방식이다. 앞서 노타는 독파모 2차 평가 결과 발표에 앞서 업스테이지의 '솔라 오픈 2' 경량화 모델을 글로벌 AI 플랫폼 허깅페이스에 공개했다. 기존 모델을 구동하는 데 엔비디아 H100 GPU 8장이 필요했던 환경을 2장으로 줄일 수 있도록 최적화한 해당 모델은 글로벌 누적 다운로드 8만건을 기록했다. 솔라 오픈 2는 2500억개의 매개변수를 갖춘 대규모 AI 모델이다. 노타는 모델 가중치를 INT4와 NVFP4 기반 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리하는 방식으로 모델을 경량화했다고 설명했다. 그 결과 가중치 저장에 필요한 메모리를 기존 500.6GB에서 117.8GB로 76.5% 줄인 것으로 나타났다. 메모리 용량을 기준으로 H100 GPU 8장이 필요했던 모델을 2장으로 구동할 수 있게 된 것이다. 초거대 AI 모델의 활용 과정에서 발생하는 GPU 확보와 전력, 운영 비용 부담을 낮추고 실제 서비스 적용 가능성을 높인 것으로 평가된다. 특히 업스테이지 컨소시엄은 AI 모델뿐 아니라 국산 AI 반도체와의 결합도 추진하고 있다. 독파모 2차 평가 과정에서 퓨리오사AI의 국산 신경망처리장치(NPU)를 활용해 국산 AI 소프트웨어와 하드웨어 생태계를 연계한다는 계획이다. AI 모델과 반도체를 함께 최적화하는 구조가 자리 잡으면 특정 해외 GPU에 대한 의존도를 낮추면서 국내 인프라 환경에 맞는 AI 서비스 구축도 가능해질 전망이다. AI 모델의 경량화는 독파모뿐 아니라 향후 AI 산업 전반에서도 중요성이 커지고 있다. 기업이 자체 서버에 AI를 구축하는 온프레미스 환경부터 엣지·온디바이스 AI까지 활용 영역이 확대될수록 제한된 연산 자원에서 모델을 구동할 수 있는 기술이 필요하기 때문이다. 향후 독파모 3차수 경쟁에서도 모델의 절대적인 성능과 함께 얼마나 적은 자원으로 안정적인 서비스를 구현할 수 있는지가 주요 경쟁 요소가 될 것으로 전망된다. 국산 AI 모델을 개발하는 데 그치지 않고 국산 반도체, 경량화 기술, 서비스 플랫폼을 연결해 실제 산업 현장에 적용할 수 있는 생태계를 구축하는 것이 국가 AI 경쟁력 확보의 핵심 과제로 떠오르고 있다. 채명수 노타 대표는 "국가대표 AI 모델이 다양한 산업 현장에서 비용 효율적으로 활용될 수 있도록 최적화 기술을 지속적으로 고도화할 것"이라며 "업스테이지와 함께 독파모 3차수 평가에서도 좋은 성과를 거둘 수 있도록 최선을 다하겠다"고 말했다.2026-08-20 08:18:35
-
AI 팩토리 시대 핵심은 경량화…노타, 솔라 오픈2 메모리 76% 줄였다 [경제일보] 생성형 인공지능(AI)의 경쟁 기준이 빠르게 변화하고 있다. 과거에는 얼마나 큰 AI 모델을 만들 수 있느냐가 경쟁력이었다면 최근에는 이를 얼마나 효율적으로 운영할 수 있는지가 핵심 요소로 떠오르고 있다. AI 에이전트 시대가 본격화되면서 기업들이 마주한 과제 역시 성능 경쟁을 넘어 GPU 비용과 운영 효율성 확보로 확대되는 가운데, 노타가 대규모 AI 모델을 GPU 2장만으로 구동할 수 있는 경량화 기술을 선보이며 기업들의 AI 전환(AX) 비용 절감에 나섰다. 27일 노타는 업스테이지와 함께 참여 중인 정부 독자 AI 파운데이션 모델 프로젝트의 2차 성과물인 '솔라 오픈2' 전용 경량화 모델을 공개했다고 밝혔다. 최근 글로벌 AI 시장에서는 딥시크와 문샷 AI의 '키미' 시리즈 등 고성능 오픈 웨이트 모델이 주목받고 있다. 다만 AI 경쟁의 기준은 단순히 모델 성능을 넘어 실제 업무 환경에서 얼마나 효율적으로 활용할 수 있는지로 확대되고 있다. 특히 문서 업무와 코딩, 검색, 툴 호출 등을 수행하는 AI 에이전트가 확산되면서 토큰 사용량과 연산 비용이 크게 증가하고 있어 AI 운영 비용을 낮추는 경량화 기술이 새로운 경쟁력으로 부상하고 있다. 기업들의 AI 인프라 경쟁 역시 새로운 국면을 맞고 있다. AI 팩토리와 AI 데이터센터 구축 경쟁이 본격화되면서 GPU 확보가 중요한 과제로 떠올랐지만, 높은 구축 비용과 전력 소비는 여전히 기업들의 부담으로 꼽힌다. 같은 성능을 보다 적은 GPU로 구현할 수 있다면 인프라 구축 비용과 운영 비용을 동시에 절감할 수 있는 만큼 AI 경량화 기술의 중요성도 커지고 있다. 솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 AI 에이전트 구현에 초점을 맞춘 대규모 언어모델(LLM)이다. 총 2500억개의 매개변수를 갖추고 있으며 실제 작업 시에는 필요한 150억개의 매개변수만 활성화하는 '전문가 혼합(MoE)' 구조를 채택했다. 하나의 모델 안에 있는 여러 연산 모듈 가운데 일부만 선택적으로 활용하는 방식으로 연산 효율성을 높인 것이 특징이다. 노타는 해당 솔라 오픈2의 기능을 실제 기업 환경에 보다 효율적으로 배포할 수 있도록 데이터 기반 MoE 양자화와 라우터 인지형 MoE 양자화, 비균일 전역 프루닝 기술 등을 적용했다고 설명했다. 양자화는 모델을 보다 낮은 정밀도의 데이터 형식으로 변환해 메모리 사용량을 줄이는 기술이며, 프루닝은 중요도가 낮은 연산 모듈을 선택적으로 제거해 모델을 경량화하는 기술이다. 특히 데이터 기반 MoE 양자화에는 모델 가중치를 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 'PASCAL-MoE' 기술이 활용됐다. 라우터 인지형 MoE 양자화에는 양자화 이후에도 라우터가 전문가 모듈을 안정적으로 선택할 수 있도록 자체 개발한 양자화 알고리즘이 적용됐다. 이를 통해 노타는 원본 모델의 가중치 메모리를 기존 500.6GB에서 117.8GB로 약 76.5% 줄이는 데 성공했다고 강조했다. 기존에는 엔비디아 'H100 GPU' 8장이 필요했던 환경을 GPU 2장만으로 구동할 수 있도록 최적화했으며, 양자화 이후에도 AI 에이전트의 핵심 기능인 툴 호출 성능을 안정적으로 유지하는 것으로 알려졌다. 실제로 글로벌 AI 시장 역시 성능 경쟁에서 운영 효율성 경쟁으로 무게 중심이 이동하고 있다. 높은 성능의 AI 모델을 보다 적은 인프라로 구동할 수 있는 기술이 기업들의 AI 도입 장벽을 낮추는 핵심 요소로 떠오르면서 경량화 기술이 AI 팩토리 시대의 필수 기술로 자리 잡고 있는 것이다. 노타는 이번 솔라 오픈2 경량화 모델을 통해 국내 기업들이 보다 적은 비용으로 AI 에이전트를 도입하고 활용 범위를 확대할 수 있을 것으로 기대하고 있다. 특히 별도의 대규모 GPU 인프라를 구축하기 어려운 기업들도 효율적으로 AI 서비스를 운영할 수 있도록 지원해 AI 전환을 가속화한다는 계획이다. 노타가 공개한 솔라 오픈2 전용 경량화 모델은 글로벌 AI 플랫폼 허깅페이스를 통해 확인할 수 있다. 김태호 노타 CTO는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사의 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 지속해서 고도화하겠다"고 말했다.2026-07-27 14:27:30
-
구글, '젬마4' 출시로 오픈소스 AI 경쟁 참전…'제미나이' 투트랙 전략 [경제일보] 구글이 오픈형 인공지능(AI) 모델 '젬마 4'를 공개하며 개방형 AI 시장 공략에 속도를 내고 있다. 고급 추론 능력과 온디바이스 실행을 강화한 모델을 앞세워 개발자 생태계를 확대하고 폐쇄형 모델인 제미나이와의 투트랙 전략으로 AI 경쟁력 강화에 나서는 것으로 분석된다. 2일(현지시간) 구글은 고급 추론과 에이전트 기반 워크플로우를 지원하는 오픈형 모델 제품군 '젬마 4'를 출시했다고 밝혔다. 젬마 4는 아파치 2.0 라이선스로 제공되며 상업적 활용이 가능하다. 구글은 오픈형 모델을 통해 개발자와 기업이 다양한 환경에서 AI를 활용할 수 있도록 접근성을 확대한다는 전략이다. 젬마 4는 'Effective 2B(E2B)', 'Effective 4B(E4B)', '26B Mixture of Experts(MoE)', '31B Dense' 등 총 4가지 모델로 구성됐다. 해당 모델들은 단순한 대화 기능을 넘어 복잡한 논리 처리와 에이전트 기반 자동화 작업을 지원하도록 설계됐다. 특히 고급 추론 기능과 코드 생성 능력, 이미지·오디오 처리 기능 등 멀티모달 지원을 강화했으며 최대 256K 컨텍스트를 지원해 긴 문서 처리도 가능하다. 또한 140개 이상의 언어를 지원해 글로벌 애플리케이션 개발 환경을 제공한다. 구글은 이번 젬마 4를 통해 온디바이스 AI 전략도 강화했다. E2B와 E4B 모델은 스마트폰과 노트북, IoT 기기 등 엣지 환경에서 실행할 수 있도록 설계됐다. 이를 통해 클라우드 연결 없이도 AI 기능을 활용할 수 있으며 낮은 레이턴시와 개인정보 보호 측면에서도 장점을 제공한다. 특히 구글 픽셀을 비롯해 퀄컴, 미디어텍 등 주요 반도체 기업과 협력을 통해 스마트폰과 라즈베리 파이, 엔비디아 젯슨 나노 등 다양한 기기에서 오프라인 실행을 지원한다. 온디바이스 AI 확산이 가속화되는 가운데 구글이 모바일 중심 AI 경쟁력 확보에 나선 것으로 풀이된다. 오픈형 AI 모델 경쟁도 한층 치열해지고 있다. 메타의 'Llama' 시리즈를 비롯해 '미스트랄', 알리바바 'Qwen', 마이크로소프트 'Phi' 등 주요 기업들이 오픈형 모델을 잇따라 공개하며 개발자 생태계 확보 경쟁에 나서고 있다. 이에 구글 역시 젬마 4를 통해 오픈형 AI 시장에서 영향력을 확대하려는 전략으로 분석된다. 구글은 폐쇄형 모델인 제미나이를 중심으로 고성능 AI 서비스를 제공하는 동시에 젬마 시리즈를 통해 구글의 AI 전략 다변화를 진행하고 있다. 제미나이가 클라우드 기반 서비스와 기업 고객 중심이라면 젬마는 개발자와 스타트업을 대상으로 한 오픈형 생태계 구축에 초점이 맞춰져 있다. 두 모델을 병행 운영하며 AI 플랫폼 경쟁력을 강화하려는 전략으로 풀이된다. 또한 구글은 허깅페이스, vLLM, Ollama, NVIDIA NIM 등 주요 개발 도구에서 젬마 4를 출시 당일부터 지원해 개발자 생태계 확대에도 집중한다. 또한 구글 AI 스튜디오와 구글 콜랩, 버텍스 AI 등을 통해 모델 학습과 배포 환경을 확인할 수 있어 개발자는 로컬 환경뿐 아니라 구글 클라우드를 통해 확장 가능한 AI 서비스를 구축할 수 있을 것으로 전망된다. 하드웨어 지원 범위도 확대됐다. 젬마 4는 소비자용 GPU부터 엔비디아 H100 GPU, 구글 TPU까지 다양한 환경에서 실행할 수 있도록 최적화됐다. AMD GPU와의 연동도 지원하며 엣지 기기부터 클라우드까지 폭넓은 환경에서 활용 가능하도록 설계됐다. 이번 젬마 4 출시 이후 온디바이스 AI와 개방형 생태계를 중심으로 AI 시장 주도권 경쟁이 확대될 것으로 분석된다. 구글이 젬마 4를 통해 개발자 생태계 확보에 나서면서 AI 플랫폼 경쟁 구도도 한층 치열해질 전망이다.2026-04-03 11:32:17
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 사상 최악의 기후재난, 네팔 대홍수가 묻는 것](https://image.ajunews.com/content/image/2026/08/31/20260831101315475035_518_323.jpg)