[경제일보] 오픈AI가 자체 설계한 인공지능(AI) 추론 칩 ‘할라피뇨(Jalapeño)’의 첫 성능 결과를 공개하면서 AI 반도체 시장에 파장이 일고 있다. 오픈AI가 자체 테스트한 결과 할라피뇨는 엔비디아 GB200·GB300 기반 시스템보다 전력 효율과 응답 속도에서 앞서는 것으로 나타났다. 다만 이번 결과는 오픈AI와 벤치마크 업체 세미애널리시스가 공동으로 테스트한 수치인 만큼, 상용 환경에서의 경쟁력은 실제 대규모 배치 이후 다시 검증할 필요가 있다.
오픈AI는 25일(현지시간) 공식 블로그를 통해 GPT-OSS 120B, 딥시크 R1 670B, 키미 K2.5 1T를 대상으로 세미애널리시스의 ‘InferenceX’ 벤치마크를 적용한 결과를 공개했다. 세 모델 전체에서 할라피뇨는 비교 시스템보다 전력당 처리량이 1.5~1.9배 높았고 종단 간 지연시간은 1.7~3.6배 낮았다. 사용자와 상호작용하는 환경에서는 사용자당 처리 성능도 2.1~4.1배 높았다고 오픈AI는 밝혔다.
◆ 추론 시대 핵심은 ‘성능/W’…GB200·GB300과 정면 비교
가장 눈에 띄는 수치는 GPT-OSS 120B다. 할라피뇨의 최대 전력당 처리량은 초당 8만5448토큰으로 GB200 기반 시스템의 4만4960토큰보다 약 1.9배 높았다. 종단 간 응답시간도 1.03초로 비교 시스템의 1.80초보다 짧았다. 딥시크 R1 670B에서는 전력당 처리량이 1.7배, 지연시간은 3.6배 개선됐고 사용자당 디코딩 처리량은 초당 700토큰으로 GB300 기반 시스템의 169토큰을 웃돌았다.
오픈AI가 전력 효율을 강조한 것은 AI 서비스의 비용 구조가 학습에서 추론 중심으로 이동하고 있기 때문이다. 특히 AI 에이전트는 한 번의 질문에 답하는 대신 검색·도구 호출·추론을 여러 차례 반복하기 때문에 사용량이 늘수록 전력과 서버 비용 부담도 커진다. 오픈AI는 칩 성능뿐 아니라 메모리와 네트워크, 소프트웨어까지 함께 설계해 데이터 이동을 줄이고 KV 캐시를 효율적으로 배치했다고 설명했다.
할라피뇨는 단순한 자체 반도체 개발을 넘어 오픈AI의 풀스택 전략과 연결된다. 오픈AI는 지난 6월 브로드컴과 함께 칩을 공개하면서 제품과 모델, 소프트웨어에 이어 칩까지 직접 설계하는 컴퓨팅 전략을 밝혔다. 칩 구현과 네트워킹은 브로드컴, 보드·랙·시스템 통합은 셀레스티카 등이 맡으며 여러 세대에 걸쳐 기가와트 규모로 배치할 계획이다.
이번 개발에는 AI도 직접 활용됐다. 오픈AI는 설계부터 테이프아웃까지 개발 기간을 단축했고, 코드 생성 도구 ‘코덱스’ 등을 이용해 회로 최적화와 구현·검증을 진행했다고 밝혔다. 세미애널리시스도 할라피뇨가 특정 오픈AI 모델에만 최적화된 칩이 아니라 다양한 모델과 워크로드를 처리할 수 있다고 평가했다.
오픈AI는 올해 말부터 할라피뇨를 자체 컴퓨팅 인프라에 배치하고 2세대와 3세대 제품 개발도 진행 중이라고 밝혔다. 동시에 엔비디아 등 외부 가속기 활용도 계속한다. 결국 할라피뇨의 목적은 엔비디아를 단번에 대체하는 것이 아니라 추론에 특화된 자체 칩을 확보해 AI 서비스의 비용·속도·전력 효율을 직접 통제할 수 있는 선택지를 만드는 것에 가깝다.
한편 AI 반도체 시장 역시 단순 연산 성능 경쟁에서 벗어나 전력당 처리량과 지연시간, 메모리·네트워크까지 포함한 시스템 경쟁으로 이동하고 있다. 할라피뇨가 실제 대규모 서비스에서 이번 벤치마크 수준의 성능을 유지한다면 오픈AI의 칩 내재화가 AI 인프라 시장의 경쟁 구도에도 변화를 줄 가능성이 있다.
댓글 더보기