2026.09.08 화요일
검색
'AI최적화' 검색결과
기간검색
-
~
검색영역
검색어
-
AI 인프라도 '튜닝' 경쟁…노타, AWS AI칩 최적화 시장 진출 [경제일보] 엔비디아 GPU를 대체할 인공지능(AI) 인프라에 대한 관심이 높아지는 가운데 AI 모델을 클라우드 환경에 맞게 최적화하는 시장도 함께 성장하고 있다. AI 서비스 확산으로 인프라 비용 부담이 커지면서 AWS의 자체 AI 칩인 '트레이니움'과 '인퍼런시아'를 도입하려는 기업이 늘고 있지만, 기존 AI 모델을 새로운 칩 환경에서 효율적으로 구동하기 위해서는 별도의 최적화 작업이 필요하기 때문이다. 7일 노타는 AWS AI 칩 환경에서 기업 고객이 AI 모델의 성능을 극대화할 수 있도록 지원하는 AI 모델 경량화 및 튜닝 서비스를 출시했다고 밝혔다. 노타는 AWS 공인 파트너 자격으로 트레이니움과 인퍼런시아 환경에 맞춘 모델 최적화 서비스를 제공한다. 최근 생성형 AI 도입이 확산되면서 기업들의 관심은 AI 모델 개발뿐 아니라 운영 비용 절감으로도 옮겨가고 있다. 이에 노타는 대규모 언어 모델(LLM)을 서비스하는 기업들이 GPU 확보 비용과 전력 소비 부담이 커지면서 AWS를 비롯한 글로벌 클라우드 사업자들이 자체 개발한 AI 칩 도입을 검토하는 사례가 증가한 것으로 분석한다. AWS의 트레이니움은 AI 모델 학습을, 인퍼런시아는 AI 추론을 위해 설계된 전용 칩이다. AWS는 자체 AI 칩을 통해 가격 대비 성능과 에너지 효율을 높이는 전략을 추진하고 있으며, 글로벌 AI 기업들도 이를 활용해 인프라 비용 절감에 나서고 있다. 다만 기존 AI 모델을 새로운 AI 칩 환경으로 이전하는 과정은 쉽지 않은 것으로 알려졌다. 모델 구조와 연산 방식이 하드웨어마다 달라 별도의 포팅과 최적화가 필요하며, 이를 수행할 전문 인력도 부족한 상황이다. 이로 인해 AI 모델을 다양한 칩 환경에 맞게 경량화하고 성능을 조정하는 최적화 기술의 중요성이 커지고 있다. 노타는 해당 수요를 겨냥해 자사 AI 모델 최적화 플랫폼 '넷츠프레소'를 기반으로 기술검증(PoC)과 모델 포팅, 경량화, 성능 튜닝까지 전 과정을 지원한다. AI 모델 크기를 최대 90% 이상 줄이면서도 정확도를 유지할 수 있도록 지원하고, AWS AI 칩 환경에 맞춘 최적 배포를 제공하는 것이 특징이다. 특히 노타는 AWS 트레이니움과 인퍼런시아 환경에서 대규모 언어 모델을 최적화한 경험도 확보했다고 설명했다. 320억개 파라미터 규모 언어 모델에 경량화 기술을 적용해 모델 크기를 68% 줄이면서도 정확도 손실은 1% 미만으로 유지한 사례를 확보했으며, 다양한 AI 모델 아키텍처에 대한 포팅과 튜닝 경험도 축적했다고 강조했다. 앞서 노타는 모바일 기기뿐 아니라 데이터센터와 엣지 디바이스 등 다양한 환경에서 AI 모델 최적화 기술을 제공해온 바 있다. 그동안 삼성전자, Arm, 퓨리오사AI, 모빌린트 등과 협력하며 하드웨어별 AI 모델 경량화 기술을 검증했으며, 이번 서비스를 계기로 클라우드 AI 인프라 영역까지 사업을 확대한다는 전략이다. 채명수 노타 대표는 "AWS AI 칩은 뛰어난 가격 대비 성능을 제공하며, 노타는 이러한 AWS 칩의 성능을 고객이 자사 모델에서 온전히 활용할 수 있도록 모델 튜닝을 지원한다"며 "AWS AI 칩 기반 인프라 도입을 검토하는 기업 고객에게 실질적인 비용 효율화 성과를 제공하겠다"고 말했다.2026-07-07 08:23:06
-
질문은 한 줄인데 청구서는 백 줄…기업 AI 비용, 토큰 관리가 새 과제 [경제일보] 생성형 인공지능(AI) 도입이 확산되면서 기업들의 새로운 고민으로 '토큰 비용 관리'가 떠오르고 있다. AI 활용이 늘어날수록 생산성은 높아지지만 예상보다 빠르게 증가하는 운영 비용이 부담으로 작용하고 있기 때문이다. . 17일 업계에 따르면 국내 일부 IT 기업과 AI 도입 기업들은 최근 생성형 AI 운영 과정에서 토큰 비용 최적화 방안을 검토하고 있는 것으로 알려졌다. AI 서비스 사용자가 늘어난 영향도 있지만, 단순 이용량 증가보다 AI 서비스 구조 자체가 비용 상승을 유발하고 있는 것으로 분석된다. 토큰은 대규모 언어 모델(LLM)이 텍스트를 처리하는 기본 단위다. 기업들은 일반적으로 AI 사용량에 따라 토큰 비용을 지불한다. 문제는 직원이 입력하는 질문은 짧지만 AI가 답변을 생성하기 위해 처리하는 정보량은 훨씬 많다는 것이다. 특히 RAG 기반 AI 서비스가 토큰 사용량을 급증시키는 것으로 알려졌다. RAG는 사용자의 질문에 답하기 위해 사내 문서와 데이터베이스를 검색한 뒤 관련 정보를 함께 분석하는 기술이다. 최근 기업들은 사내 위키와 규정집, 회의록, 기술 문서, 고객 응대 매뉴얼 등을 AI와 연동해 업무 지원 서비스를 구축하고 있다. 예를 들어 직원이 "출장비 정산 기준을 알려달라"고 한 줄짜리 질문을 입력하더라도 AI는 관련 인사 규정과 회계 규정, 출장 규정, 과거 질의응답 자료 등을 함께 검색해 읽은 뒤 답변을 생성한다. 이 과정에서 실제 입력 토큰 규모는 사용자 질문보다 수십 배에서 많게는 수백 배까지 증가할 수 있다. 장문 컨텍스트 활용 역시 비용 증가의 원인으로 꼽힌다. 최근 AI 서비스는 긴 대화 흐름을 유지하기 위해 과거 대화 기록을 함께 읽는 방식을 활용한다. 사용자가 대화를 이어갈수록 AI는 이전 질문과 답변을 지속적으로 참조하게 되고, 입력 토큰도 누적된다. 업계에서는 기업들이 체감하는 AI 비용 증가의 상당 부분이 이 같은 구조에서 발생하고 있다고 분석한다. RAG 검색 과정에서 불러오는 문서와 누적된 컨텍스트가 비용의 대부분을 차지하는 경우가 적지 않은 것이다. 이에 기업들도 비용 최적화에 나서고 있다. 고성능 모델을 모든 업무에 적용하기보다 경량 모델과 병행 운영하거나, 검색 범위를 축소하는 방식으로 토큰 사용량을 줄이고 있다. 또한 불필요한 대화 기록을 압축하거나 프롬프트를 최적화하는 등 다양한 비용 절감 기법도 도입하고 있다. 일부 기업은 단순 문의나 반복 업무에는 소형 모델을 활용하고 복잡한 분석 업무에만 고성능 모델을 사용하는 방식으로 운영 체계를 개편하고 있다. AI 성능 경쟁 못지않게 운영 효율성이 중요해지면서 비용 최적화 기술이 새로운 경쟁력으로 부상하고 있는 것이다. IT 업계 관계자는 "AI 사용에 따른 토큰 소비 방식이 변해 최근 기업들이 기존보다 AI 사용에 제한을 두고 있다"며 "국내 기업들이 비용 부담을 줄이기 위해 사용 정책을 재정비하는 움직임이 나타나고 있다"고 말했다.2026-06-17 18:00:05
-
노타, GPU·NPU 역할 분담으로 온디바이스 AI 효율 높인다 [경제일보] AI PC 시장이 본격 확대되면서 인공지능(AI) 모델 자체의 성능 경쟁을 넘어 GPU와 NPU, CPU 등 다양한 연산 장치를 얼마나 효율적으로 활용하느냐가 새로운 경쟁력으로 떠오르고 있다. 이에 AI 경량화 및 최적화 기술 기업 노타는 AI PC 환경에서 GPU와 NPU를 함께 활용하는 이기종 컴퓨팅 기반 대규모 언어 모델(LLM) 추론 최적화 기술을 구현하며 온디바이스 AI 시장 공략에 나선 것으로 분석된다. 4일 노타는 '인텔 루나 레이크' 기반 AI PC에서 GPU와 NPU를 동시에 활용하는 이기종 컴퓨팅 기반 LLM 추론 최적화 기술을 구현했다고 밝혔다. 최근 AI PC 시장에서는 NPU 탑재 여부를 넘어 실제 AI 워크로드를 얼마나 효율적으로 처리할 수 있는지가 핵심 경쟁 요소로 부상하고 있다. AI PC 내부에는 CPU와 GPU, NPU 등 서로 다른 특성을 가진 연산 장치가 탑재되는데, 각 장치의 역할을 어떻게 분담하느냐에 따라 성능과 전력 효율이 크게 달라질 수 있기 때문으로 알려졌다. 노타는 해당 환경에 맞춰 LLM 추론 과정을 입력 처리 단계와 답변 생성 단계로 분리해 각각의 특성에 최적화된 연산 장치를 배치하는 '분리형 추론' 방식을 적용해 해결했다고 설명했다. 구체적으로 입력 데이터와 프롬프트를 처리하는 단계는 병렬 연산 성능이 뛰어난 GPU가 담당하고, 실제 답변을 생성하는 추론 단계는 전력 효율성이 높은 NPU가 수행하도록 설계했다. 단일 프로세서에 모든 연산을 집중시키는 기존 방식과 달리 작업 특성에 따라 하드웨어 자원을 분산 배치한 것이다. 노타에 따르면 해당 기술 적용 결과 단일 GPU 기반 추론 방식 대비 토큰당 에너지 소비량은 약 32% 감소했고 생성 처리량은 약 12% 향상됐다. 또한 단일 NPU 기반 추론 방식과 비교하면 첫 응답 지연 시간은 약 89% 단축된 것으로 나타났다. 이번 발표는 단순히 GPU와 NPU를 함께 사용하는 수준을 넘어 AI 모델의 연산 특성을 분석해 각 작업을 가장 적합한 프로세서에 배분한 것이 특징이다. 동일한 AI PC 환경에서도 하드웨어 자원을 어떻게 활용하느냐에 따라 실제 사용자 경험이 크게 달라질 수 있음을 보여준 것이다. 인텔과 엔비디아 등 주요 기업들이 CPU·GPU·NPU를 결합한 AI PC 전략을 공개했으며, 데이터센터 시장에서도 AI 추론 작업을 단계별로 분리해 서로 다른 연산 장치에 할당하는 방식이 확산되고 있다. 앞서 AI 모델 경량화와 압축 기술에 강점을 보여온 노타는 이번 기술을 통해 모델 최적화를 넘어 AI 실행 환경과 하드웨어 활용 방식까지 아우르는 통합 최적화 역량을 선보인 것으로 평가된다. 특히 AI PC와 온디바이스 AI 시장에서는 제한된 전력과 연산 자원 안에서 최대 성능을 구현해야 하는 만큼 하드웨어 자원 활용 효율이 사용자 경험을 좌우하는 핵심 요소로 꼽힌다. 향후 AI PC 보급이 확대될수록 이기종 컴퓨팅과 런타임 최적화 기술의 중요성이 더욱 커질 것으로 전망된다. 채명수 노타 대표는 "AI PC 시대에는 AI 모델을 기기 안에 올리는 것만으로는 충분하지 않으며 GPU, NPU 등 다양한 연산 장치를 모델 특성에 맞게 조합하는 최적화 역량이 실제 AI 경험을 좌우한다"며 "노타는 모델 경량화, 런타임 최적화, 하드웨어 최적화 기술을 결합해 AI PC 시대의 온디바이스 AI 실행 효율을 높여 나가겠다"고 말했다.2026-06-04 14:11:19
-
노타, 1분기 수주 118억…'AI 경량화' 기술 공급하며 '퀀텀 점프' [경제일보] AI 경량화 기술 기업 노타(대표 채명수)가 2026년 1분기 수주액 118억원을 기록하며 전년 동기 대비 111%라는 폭발적인 성장세를 보였다. 이번 성과는 노타의 AI 모델 최적화 플랫폼 ‘넷츠프레소(NetsPresso®)’가 삼성전자, Arm, 퓨리오사AI 등 글로벌 반도체 기업들의 까다로운 검증을 통과하며 기술 공급을 본격화한 결과다. 이는 AI 산업의 무게중심이 거대 모델 개발에서 ‘효율적인 운영’으로 이동하고 있음을 보여주는 상징적인 사건이다. 생성형 AI 모델의 규모가 기하급수적으로 커지면서 이를 구동하는 데 필요한 천문학적인 연산 비용과 전력 소모가 산업계의 가장 큰 골칫거리로 떠올랐다. 특히 스마트폰이나 자율주행차와 같은 ‘온디바이스 AI’ 환경에서는 거대한 모델을 그대로 탑재하는 것이 물리적으로 불가능하다. 바로 이 지점에서 노타의 ‘AI 경량화’ 기술이 빛을 발한다. 노타의 넷츠프레소 플랫폼은 AI 모델의 성능을 유지하면서도 크기를 획기적으로 줄여 저사양의 엣지 디바이스에서도 AI가 원활하게 구동되도록 돕는다. 이는 막대한 데이터센터 구축 비용을 절감하고 AI 서비스의 응답 속도를 높이는 핵심 기술이다. 노타의 터보퀀트(TurboQuant) 기술이 시장의 주목을 받은 이유도 여기에 있다. 추론 효율과 메모리 최적화에 대한 시장의 요구가 높아지면서 노타의 기술은 이제 ‘선택’이 아닌 ‘필수’가 되고 있다. 노타의 기술적 가치는 삼성전자, Arm, 퓨리오사AI 등 글로벌 반도체 기업들과의 연이은 수주 계약으로 증명됐다. 삼성전자와의 계약을 통해 온디바이스 AI 분야의 기술력을 입증한 데 이어 Arm과의 파트너십은 노타가 글로벌 AI 생태계의 핵심 플레이어로 부상했음을 의미한다. Arm은 현재 모바일을 넘어 데이터센터, 자동차, 로보틱스까지 AI 생태계를 확장하고 있다. 노타의 최적화 기술은 Arm 기반의 다양한 컴퓨팅 환경에서 하드웨어 성능을 극대화하는 ‘소프트웨어 계층’의 표준이 될 가능성이 높다. 이는 노타가 단순한 기술 공급사를 넘어 Arm 생태계에 참여하는 모든 개발자들이 반드시 거쳐야 하는 ‘필수 플랫폼’으로 자리매김할 수 있음을 시사한다. 솔루션 부문의 성장도 괄목할 만하다. 비전언어모델(VLM) 기반의 영상 분석 솔루션 ‘노타 비전 에이전트(NVA)’는 단순히 객체를 인식하는 수준을 넘어 추론을 통해 영상의 맥락과 상황을 판단한다. 이를 통해 실시간 상황 요약 및 보고까지 가능해져 조선, ITS, 제조 등 다양한 산업 현장에서 활용 범위를 넓혀가고 있다. 글로벌 자동차 부품 기업을 비롯한 다양한 고객군에서 기술 검증 이후 실제 계약으로 이어지는 사례가 증가하는 것은 NVA의 기술적 완성도와 현장 적용성이 이미 시장의 신뢰를 얻었음을 보여준다. 향후 노타는 플랫폼과 솔루션이라는 두 날개를 통해 성장을 가속할 전망이다. 플랫폼 부문에서는 반도체 및 컴퓨팅 환경 전반으로 협력 범위를 넓히고 솔루션 부문에서는 산업별 맞춤형 공급을 통해 시장 지배력을 강화할 것이다. 채명수 대표는 “확보한 수주를 고객 성과로 연결하고 AI 최적화 시장에서의 기술 리더십을 공고히 하겠다”고 밝혔다. AI 모델의 ‘다이어트’ 기술이 기업의 생존을 결정짓는 시대에, 노타의 행보는 K-소프트웨어 기업이 글로벌 반도체 공급망의 핵심 파트너로 성장할 수 있음을 보여주는 모범 사례가 될 것이다. 한편 AI의 미래는 ‘얼마나 더 큰 모델을 만드느냐’가 아니라 ‘얼마나 더 효율적으로 운영하느냐’에 달려 있다. 노타는 이 질문에 대한 가장 명확한 답을 제시하고 있다. 앞으로 노타가 AI 반도체 시장의 ‘숨은 강자’를 넘어 글로벌 AI 최적화 시장의 표준을 제시하는 ‘게임 체인저’가 될 수 있을지 귀추가 주목된다.2026-04-07 10:45:09
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 법에 된다고 다 해도 되나…공직자의 공정 감수성이 무너지고 있다](https://image.ajunews.com/content/image/2026/09/07/20260907101432314802_518_323.png)