2026.10.16 금요일
검색
'GB200' 검색결과
기간검색
-
~
검색영역
검색어
-
AI 가속 서버서 x86 앞선 Arm…에이전트 실행·보안까지 확장 [경제일보] AI 인프라에서 Arm의 영역이 에이전트 실행과 보안 통제로 넓어지고 있다. GPU 등 가속기를 탑재한 서버 시장에서 Arm 기반 플랫폼에 대한 투자가 x86을 앞선 가운데, AI의 작업을 수행하는 CPU와 행동을 감시하는 DPU 양쪽에 Arm 기술이 활용되고 있다. 시장조사업체 IDC가 집계한 올해 1분기 Arm 기반 가속 서버 지출액은 530억달러로, x86 기반 서버의 346억달러를 웃돌았다. 지난해 4분기 시작된 역전 흐름이 이어졌다. 대형 고객들이 엔비디아 GB200 등 랙 단위 시스템을 도입하면서 서버 플랫폼의 무게중심이 이동했다. Arm이 지난달 28일 공개한 기술 자료는 이러한 인프라 변화가 에이전틱 AI에서 갖는 의미를 짚었다. 에이전트는 질문에 답하는 데 그치지 않고 기업 데이터를 읽고 외부 도구를 호출하며 작업을 완수한다. 여러 에이전트가 오래, 동시에 작동할수록 이를 실행할 컴퓨팅과 접근 권한을 통제할 컴퓨팅이 함께 필요해진다. CPU는 에이전트의 실행 환경, 작업 순서 조율, 도구와 애플리케이션 실행을 맡는다. GPU가 모델 연산을 가속하는 동안 CPU가 실제 업무 수행을 뒷받침하는 구조다. DPU는 네트워크·보안 기능을 호스트 CPU에서 분리해 독립적인 감시와 격리, 보안 정책 집행을 담당한다. Arm 기반 CPU는 AWS의 그라비톤, 구글의 액시온, 마이크로소프트의 코발트, 엔비디아의 베라로 확산돼 있다. 각각 설계는 다르지만 Arm 소프트웨어 생태계와 호환된다. Arm도 올해 3월 자체 설계한 데이터센터용 ‘AGI CPU’를 공개하며 설계 기술 라이선스와 CPU 제품을 함께 제공하는 방향으로 사업을 넓혔다. 엔비디아가 지난달 28일 발표한 ‘오픈 에이전트 세이프티 플랫폼’은 실행과 보호를 분리한 구조를 구현하는 사례다. 에이전트 실행 환경인 ‘오픈셸’과 감시 기능을 맡는 ‘센트리’, DPU인 ‘블루필드4’를 결합한 참조 설계다. 오픈셸은 에이전트 주변에 격리된 실행 환경을 만들고 접근 가능한 파일과 네트워크, 도구, 인증정보를 관리한다. 에이전트 프로세스 바깥에서 정책을 집행해 모델이 어떤 답변을 생성하든 정해진 접근 경계를 유지하도록 설계했다. 센트리는 블루필드4에서 에이전트의 요청과 응답, 데이터·도구 접근을 감시한다. 신원과 권한을 확인하고 허용 범위를 벗어나려는 에이전트를 격리한다. 엔비디아는 밀리초 단위로 격리·중단할 수 있다고 설명했다. 블루필드4에는 Arm 네오버스 V2 기반 CPU 코어 64개가 탑재된다. 작업을 실행하는 서버와 별도의 처리 자원으로 보안을 관리해 호스트가 침해돼도 통제 기능을 유지하도록 하는 방식이다. 이 구조는 기업이 AI에 더 많은 권한을 맡기면서 필요한 보안 기능을 인프라에 결합한다. Arm 기술의 활용 범위도 작업 실행에서 이를 보호하는 인프라 프로세서로 확대되는 셈이다. 기업 서비스 연동도 진행 중이다. 세일즈포스와 엔비디아는 오픈셸을 슬랙에 통합해 담당자가 에이전트 활동과 감사 기록을 확인하고 추가 권한 요청을 승인하거나 거절할 수 있도록 했다. SAP는 기업용 AI 플랫폼의 줄 스튜디오 실행 환경에 오픈셸을 결합하고 있다.2026-10-02 12:33:20
-
오픈AI 자체 추론칩 '할라피뇨' 돌풍…엔비디아 블랙웰 넘었다 [경제일보] 오픈AI가 자체 설계한 인공지능(AI) 추론 칩 ‘할라피뇨(Jalapeño)’의 첫 성능 결과를 공개하면서 AI 반도체 시장에 파장이 일고 있다. 오픈AI가 자체 테스트한 결과 할라피뇨는 엔비디아 GB200·GB300 기반 시스템보다 전력 효율과 응답 속도에서 앞서는 것으로 나타났다. 다만 이번 결과는 오픈AI와 벤치마크 업체 세미애널리시스가 공동으로 테스트한 수치인 만큼, 상용 환경에서의 경쟁력은 실제 대규모 배치 이후 다시 검증할 필요가 있다. 오픈AI는 25일(현지시간) 공식 블로그를 통해 GPT-OSS 120B, 딥시크 R1 670B, 키미 K2.5 1T를 대상으로 세미애널리시스의 ‘InferenceX’ 벤치마크를 적용한 결과를 공개했다. 세 모델 전체에서 할라피뇨는 비교 시스템보다 전력당 처리량이 1.5~1.9배 높았고 종단 간 지연시간은 1.7~3.6배 낮았다. 사용자와 상호작용하는 환경에서는 사용자당 처리 성능도 2.1~4.1배 높았다고 오픈AI는 밝혔다. ◆ 추론 시대 핵심은 ‘성능/W’…GB200·GB300과 정면 비교 가장 눈에 띄는 수치는 GPT-OSS 120B다. 할라피뇨의 최대 전력당 처리량은 초당 8만5448토큰으로 GB200 기반 시스템의 4만4960토큰보다 약 1.9배 높았다. 종단 간 응답시간도 1.03초로 비교 시스템의 1.80초보다 짧았다. 딥시크 R1 670B에서는 전력당 처리량이 1.7배, 지연시간은 3.6배 개선됐고 사용자당 디코딩 처리량은 초당 700토큰으로 GB300 기반 시스템의 169토큰을 웃돌았다. 오픈AI가 전력 효율을 강조한 것은 AI 서비스의 비용 구조가 학습에서 추론 중심으로 이동하고 있기 때문이다. 특히 AI 에이전트는 한 번의 질문에 답하는 대신 검색·도구 호출·추론을 여러 차례 반복하기 때문에 사용량이 늘수록 전력과 서버 비용 부담도 커진다. 오픈AI는 칩 성능뿐 아니라 메모리와 네트워크, 소프트웨어까지 함께 설계해 데이터 이동을 줄이고 KV 캐시를 효율적으로 배치했다고 설명했다. 할라피뇨는 단순한 자체 반도체 개발을 넘어 오픈AI의 풀스택 전략과 연결된다. 오픈AI는 지난 6월 브로드컴과 함께 칩을 공개하면서 제품과 모델, 소프트웨어에 이어 칩까지 직접 설계하는 컴퓨팅 전략을 밝혔다. 칩 구현과 네트워킹은 브로드컴, 보드·랙·시스템 통합은 셀레스티카 등이 맡으며 여러 세대에 걸쳐 기가와트 규모로 배치할 계획이다. 이번 개발에는 AI도 직접 활용됐다. 오픈AI는 설계부터 테이프아웃까지 개발 기간을 단축했고, 코드 생성 도구 ‘코덱스’ 등을 이용해 회로 최적화와 구현·검증을 진행했다고 밝혔다. 세미애널리시스도 할라피뇨가 특정 오픈AI 모델에만 최적화된 칩이 아니라 다양한 모델과 워크로드를 처리할 수 있다고 평가했다. 오픈AI는 올해 말부터 할라피뇨를 자체 컴퓨팅 인프라에 배치하고 2세대와 3세대 제품 개발도 진행 중이라고 밝혔다. 동시에 엔비디아 등 외부 가속기 활용도 계속한다. 결국 할라피뇨의 목적은 엔비디아를 단번에 대체하는 것이 아니라 추론에 특화된 자체 칩을 확보해 AI 서비스의 비용·속도·전력 효율을 직접 통제할 수 있는 선택지를 만드는 것에 가깝다. 한편 AI 반도체 시장 역시 단순 연산 성능 경쟁에서 벗어나 전력당 처리량과 지연시간, 메모리·네트워크까지 포함한 시스템 경쟁으로 이동하고 있다. 할라피뇨가 실제 대규모 서비스에서 이번 벤치마크 수준의 성능을 유지한다면 오픈AI의 칩 내재화가 AI 인프라 시장의 경쟁 구도에도 변화를 줄 가능성이 있다.2026-08-26 10:21:34
-
GPU 72개를 한 랙에…엔비디아 '베라 루빈' 공급, AI 주도권 굳힌다 [경제일보] 엔비디아가 차세대 인공지능(AI) 플랫폼 ‘베라 루빈’ 공급을 본격화했다. 개별 그래픽처리장치(GPU) 성능 경쟁을 넘어 중앙처리장치(CPU)와 네트워크, 전력·냉각 시스템까지 하나의 랙으로 묶어 AI 데이터센터 시장의 주도권을 굳히려는 전략이다. 엔비디아는 21일(현지시간) 베라 루빈 기반 제품이 본격 양산 단계에 들어가 주요 AI·클라우드 사업자에 공급되고 있다고 밝혔다. 베라 루빈은 ‘루빈’ GPU와 ‘베라’ CPU, 네트워크·데이터처리 장치 등 7종의 칩으로 구성된 차세대 AI 플랫폼이다. 핵심 시스템인 ‘베라 루빈 NVL72’는 루빈 GPU 72개와 베라 CPU 36개를 단일 랙에 통합한다. 고속 연결 기술인 NV링크6를 통해 여러 칩이 하나의 가속기처럼 작동하도록 설계했다. AI 모델 학습과 추론에 필요한 연산·메모리·네트워크 병목을 랙 단위에서 줄이는 것이 목표다. 엔비디아가 전면에 내세운 지표는 전력당 토큰 처리량이다. 회사는 코어위브에서 딥시크-R1 모델을 구동한 자체 벤치마크를 근거로 베라 루빈 NVL72가 전작인 GB200 NVL72보다 메가와트당 최대 10배 많은 토큰을 처리하고 토큰 100만개당 비용은 10분의 1로 낮췄다고 주장했다. 다만 이는 엔비디아와 협력사가 특정 환경에서 측정한 결과다. 실제 효율은 사용하는 AI 모델과 정밀도, 소프트웨어 최적화, 데이터센터 가동률에 따라 달라질 수 있어 독립적인 검증이 필요하다. 전력과 냉각도 핵심 경쟁 요소다. 베라 루빈은 섭씨 45도의 냉각수를 사용하는 폐쇄형 액체냉각 구조를 적용했다. 외부 기온 등 조건이 맞으면 냉각기를 사용하지 않고 드라이 쿨러로 열을 식힐 수 있다. 엔비디아는 신규 AI 데이터센터에서 기존 냉각탑 방식보다 1MW당 연간 수백만 갤런의 물을 절감할 수 있다고 설명했다. AI 데이터센터의 전력 확보가 제한되면서 고객의 관심도 단순 연산 성능에서 ‘같은 전력으로 얼마나 많은 토큰을 생산하느냐’로 이동하고 있다. 엔비디아가 GPU뿐 아니라 CPU와 네트워크, 냉각·전력 설계까지 통합하는 이유다. 전체 시스템을 자사 생태계로 묶으면 고객 이탈을 막고 GPU 외 네트워크·소프트웨어 매출도 확대할 수 있다. 공급망도 랙 단위로 확대했다. 엔비디아에 따르면 베라 루빈 생산에는 30개국 350곳 이상의 제조시설이 참여한다. AWS와 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드, 코어위브 등이 도입을 준비하거나 시스템 구축에 나선 상태다. 블룸버그통신은 엔비디아가 공급 일정과 성능을 적극적으로 공개하는 배경에 경쟁 심화가 있다고 분석했다. AMD와 브로드컴이 AI 반도체 시장을 공략하고 있고 아마존과 구글 등 주요 고객도 자체 가속기 개발을 확대하고 있기 때문이다. 특히 AMD는 GPU와 CPU, 네트워크를 결합한 랙 스케일 시스템 ‘헬리오스’를 올해 하반기부터 공급한다. 마이크로소프트는 애저에 헬리오스를 도입해 프런티어 AI 모델 추론과 AI 서비스에 활용하기로 했다. 헬리오스에는 MI455X GPU와 차세대 ‘베니스’ CPU가 탑재된다. 엔비디아는 베라 CPU가 파이썬 작업에서 AMD의 기존 ‘투린’ CPU보다 최대 1.8배 빠르다는 자체 비교 결과도 제시했다. 그러나 AMD가 후속 제품인 베니스를 투입하는 만큼 현재 비교만으로 차세대 CPU 경쟁의 우위를 단정하기는 어렵다. 관건은 양산 속도와 실제 운영 비용이다. 7종의 칩과 액체냉각, 고속 네트워크를 결합한 복잡한 시스템을 계획대로 공급하고 고객 데이터센터에 안정적으로 설치해야 한다. 베라 루빈이 약속한 전력당 성능을 실제 서비스에서 입증한다면 엔비디아는 GPU 기업을 넘어 AI 데이터센터 전체를 설계하는 플랫폼 사업자로 지배력을 강화할 전망이다.2026-07-22 16:12:58
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 반도체 호황에 취한 정부, 민생은 무너진다](https://image.ajunews.com/content/image/2026/10/15/20261015173614583906_518_323.jpg)