검색결과 총 2건
-
"AI의 무대가 바뀐다"…데이터센터서 단말·공장으로 옮겨가는 AI
[경제일보] 생성형 인공지능(AI) 확산으로 대규모 연산을 데이터센터에서 처리하는 방식이 주류로 자리 잡은 가운데 AI를 단말과 산업 현장에 직접 배치하는 '온디바이스 AI'와 '엣지 AI'가 새로운 경쟁 영역으로 부상하고 있다. 영상 분석과 로봇, 자동차, 스마트팩토리 등 실시간 대응과 데이터 보안이 중요한 분야에서는 모든 데이터를 중앙 데이터센터로 전송하는 방식에 한계가 있기 때문이다. 국내 기업들도 AI 반도체와 경량화된 AI 모델을 결합해 현장에서 AI를 구동하는 사업에 속도를 내고 있다. 19일 업계에 따르면 최근 AI 산업의 경쟁 구도가 대규모 데이터센터와 GPU 확보에서 AI 연산을 실제 서비스가 발생하는 현장으로 분산하는 방향으로 확대되고 있다. 생성형 AI 서비스가 고도화하면서 데이터센터의 대규모 GPU 연산 능력이 중요해졌지만, 모든 데이터를 클라우드나 데이터센터로 보내 처리할 경우 네트워크 지연과 데이터 전송 비용, 보안 등의 문제가 발생할 수 있기 때문이다. 특히 카메라와 센서를 통해 주변 환경을 실시간으로 인식해야 하는 로봇과 자동차, 산업 현장에서는 AI 연산을 가까운 곳에서 처리하는 것이 중요하다. 이에 AI 모델과 연산 장치를 단말이나 현장에 배치하는 온디바이스 AI와 엣지 AI가 주목받고 있다. 온디바이스 AI는 스마트폰이나 로봇, 자동차 등 기기 자체에서 AI 연산을 수행하는 방식이며, 엣지 AI는 데이터가 발생하는 현장과 가까운 서버나 장비에서 AI 연산을 처리하는 개념이다. 두 방식 모두 중앙 데이터센터에 대한 의존도를 낮추고 민감한 데이터를 외부로 전송하지 않으면서 실시간으로 AI를 구동할 수 있는 것으로 평가된다. 이에 AI 반도체 경쟁도 단순히 GPU와 NPU 가운데 어느 쪽이 우위에 있느냐를 넘어 사용처에 맞는 연산 구조를 확보하는 방향으로 바뀌고 있다. 대규모 AI 모델 학습에는 GPU가 활용되고, 현장에서 반복적으로 수행되는 추론 작업은 전력 효율과 지연 시간 등을 고려해 NPU를 활용하는 방식이다. KT는 국산 AI 반도체와 자체 대규모 언어 모델(LLM)을 결합한 기업용 AI 어플라이언스를 출시하며 이 같은 시장 변화에 대응하고 있다. KT가 선보인 'KT NPU LLM 스테이션'은 국내 AI 반도체 기업 리벨리온의 추론 특화 신경망 처리 장치(NPU) 'ATOM-MAX'와 KT의 독자 LLM '믿음 K 2.5 Pro', 운영 API 플랫폼을 하나의 서버에 통합한 완제품형 장치다. 기업 내부에 장비를 설치해 데이터와 AI 연산을 사내에서 처리할 수 있도록 한 것이 특징이다. 망 분리 등 보안 규제가 적용되는 공공·국방·제약·제조·금융 분야에서 외부 클라우드 기반 생성형 AI를 활용하기 어려운 기업을 겨냥한 것으로 풀이된다. KT는 향후 이를 피지컬 AI를 위한 엣지 데이터 센터로 확대해 저전력·저지연 AI 인프라로 활용한다는 계획이다. 제조 현장에서도 AI 연산을 현장 가까이에서 처리하려는 움직임이 나타나고 있다. 포스코DX는 국산 AI 반도체를 활용해 산업 현장에서 발생하는 비정형 데이터를 분석하는 플랫폼 개발에 나섰다. 공장 내 카메라와 센서 등에서 발생하는 데이터를 현장에서 AI로 분석해 설비와 작업 환경을 실시간으로 판단하는 방식으로, 제조 현장의 AI 적용 범위를 확대하려는 시도다. 특히 제조업에서는 생산 과정에서 발생하는 영상·센서 데이터의 양이 많고 외부 전송이 제한되는 경우도 있어 모든 데이터를 중앙 서버로 보내 분석하는 데 비용과 시간이 발생한다. 포스코DX는 현장에서 AI 추론을 수행하면 필요한 데이터만 선별해 처리할 수 있어 실시간성이 중요한 품질 검사와 이상 징후 탐지 등에서 활용도가 높아질 것으로 전망하고 있다. AI가 실제 공간에서 움직이는 피지컬 AI 시장이 커질수록 이러한 엣지 AI 수요도 확대될 전망이다. 로봇과 드론, 자율주행차 등이 주변 환경을 실시간으로 인식하고 판단하려면 카메라와 각종 센서에서 발생하는 데이터를 빠르게 처리해야 한다. 자동차 역시 운전자 상태 분석이나 주행 환경 판단 등 일부 AI 연산을 차량 내부에서 처리하는 구조가 확대될 것으로 분석된다. 이 과정에서 AI 반도체 성능뿐 아니라 AI 모델 최적화와 소프트웨어 생태계 구축도 중요해지고 있다. 같은 NPU를 사용하더라도 AI 모델을 하드웨어 특성에 맞게 최적화하지 못하면 기대한 성능과 전력 효율을 확보하기 어렵기 때문이다. 온디바이스 AI 시장의 경쟁은 'GPU 대 NPU'의 단순한 대결보다는 AI 연산을 어디에서, 어떤 방식으로 처리할 것인지에 대한 경쟁으로 확대될 전망이다. 데이터센터에서 단말과 공장, 자동차, 로봇 등으로 AI의 무대가 넓어지면서 AI 반도체 기업뿐 아니라 통신사와 제조·플랫폼 기업까지 새로운 시장을 둘러싼 경쟁에 뛰어들고 있다. 이진형 KT AX사업본부장 상무는 "'KT NPU LLM 스테이션'은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것"이라며 "데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것"이라고 말했다.
2026-08-19 14:30:55
-
KT클라우드, 리벨리온 NPU 적용한 공공 AI 인프라 구축
[경제일보] 공공 클라우드 시장에서 인공지능(AI) 인프라 패러다임이 GPU 중심에서 신경망처리장치(NPU) 기반으로 이동하고 있다. 정부의 국산 AI 반도체 활용 확대 정책과 맞물리면서 KT 클라우드는 NPU 서비스를 확대하고 있다. 4일 KT 클라우드는 공공기관 전용 클라우드에 리벨리온의 차세대 NPU를 적용한 'NPU 서버' 상품을 출시하고 공공 AI 인프라 시장 확대에 나선다고 밝혔다. 이번 서비스는 공공 전용 데이터센터 환경에서 가상머신(VM) 방식으로 NPU 인프라를 제공하는 것이 특징이다. 또한 국내 NPUaaS(서비스형 NPU) 중 최초로 클라우드 보안 인증(CSAP)을 획득해 공공기관 도입 요건을 충족한 것으로 알려졌다. 공공 클라우드 시장은 보안 규제와 함께 국산 기술 활용 비중 확대가 중요한 평가 요소로 자리 잡고 있다. 이에 AI 모델 학습과 추론 과정에서 발생하는 데이터 보안성과 비용 효율성을 동시에 충족할 수 있는 인프라 확보가 핵심 과제로 떠오르고 있다. KT 클라우드의 NPU 서버는 리벨리온의 데이터센터용 AI 반도체 'ATOM 플러스'를 기반으로 구축됐다. 최근 AI 워크로드가 모델 학습 중심에서 추론 중심으로 빠르게 이동하면서, 추론에 특화된 NPU는 GPU 대비 비용 효율성과 전력 효율성을 동시에 개선할 수 있는 대안으로 주목받고 있다. 이를 통해 공공기관 및 공공 AX 사업 참여 기업들은 보안 규제를 준수하면서도 AI 서비스 구축에 필요한 연산 인프라를 활용할 수 있게 될 전망이다. 특히 민원 상담, 행정 업무 지원, 문서 검색 및 분석 등 공공 서비스 영역에서 AI 에이전트 적용 범위가 확대될 것으로 예상된다. 클라우드 업계에서는 향후 공공 AI 인프라 시장에서 GPU 중심 구조가 점차 변화할 가능성에 주목하고 있다. 그동안 AI 인프라는 엔비디아 GPU 중심으로 구축돼 왔으나, 국산 AI 반도체 생태계 확대 정책과 맞물리면서 NPU 기반 인프라 도입이 본격화되는 흐름이라는 분석이다. 앞서 KT 클라우드는 지난 4월 AI 통합 플랫폼 'AI 넥서스'를 출시하며 AI 인프라 사업을 확장한 바 있다. AI 넥서스는 학습 전용 인프라 'AI 트레인'과 추론 전용 인프라 'AI SERV'를 통합한 서비스로, AI 모델 개발부터 배포, 운영까지 전 과정을 단일 플랫폼에서 지원한다. 특히 모델 서빙(Model Serving) 기능을 통해 복잡한 배포 과정 없이 AI 모델을 실행 환경에 적용할 수 있도록 설계했고, 모델 스토어 기능을 통해 오픈소스 모델 기반 AI 서비스 구축도 지원한다. 또한 'A100', 'H100', 'H200' 등 다양한 GPU 라인업을 제공하고 있으며, 향후 차세대 GPU인 '엔비디아 B300' 기반 서비스로 확장할 계획이다. KT 클라우드는 공공 보안 요건을 충족하는 AI 인프라 제공을 기반으로 공공기관과 지자체의 디지털 전환(AX) 수요에 대응하고, 국내 AI 반도체 생태계 확산에도 기여한다는 방침이다. 김봉균 KT 클라우드 대표는 "정부의 국산 AI 반도체 활용 확대 기조에 맞춰 공공 전용 NPU 상품을 출시하게 됐다"며 "KT 클라우드는 최적의 AI 인프라 플랫폼 사업자로서 공공기관과 기업의 AX 혁신을 지원하고, 국가 AI 산업 경쟁력 강화에 기여하겠다"고 말했다.
2026-06-04 09:59:00