AI 추론 수요 폭증…삼성SDS, 'B300' 기반 구독형 서비스 출격

[경제일보] AI 모델이 실제 서비스에 적용되는 '추론' 단계로 빠르게 이동하면서 이를 뒷받침할 고성능 GPU 인프라 확보 경쟁이 본격화되고 있다. 삼성SDS가 최신 GPU 기반 구독형 서비스를 선보이며 기업용 AI 인프라 시장 공략에 속도를 내고 있다.

23일 삼성SDS는 자사의 클라우드 '삼성 클라우드 플랫폼(SCP)'을 통해 엔비디아의 최신 GPU인 'B300(블랙웰 울트라)' 기반 GPUaaS(GPU 구독형 서비스)를 출시했다고 밝혔다. 이번 서비스는 기업들이 AI 모델 개발을 넘어 실제 서비스에 적용하는 단계로 진입하면서 급증하는 연산 수요에 대응하기 위한 전략으로 풀이된다.

최근 AI 활용이 확산되면서 다수의 기업들은 단순 모델 학습을 넘어 실시간 응답과 대규모 처리 성능이 요구되는 추론 환경 구축에 집중하고 있다. 특히 대규모 언어모델(LLM) 운영 과정에서는 연산 성능뿐 아니라 메모리 처리 속도가 전체 성능을 좌우하는 핵심 요소로 부상하고 있다.

이번에 적용된 B300 GPU는 해당 흐름에 맞춰 메모리 성능을 대폭 강화한 것이 특징이다. 고대역폭 메모리를 기반으로 데이터 전송 속도를 높여 기존 환경에서 발생하던 병목 현상을 줄이고 보다 안정적인 AI 서비스 운영을 지원하도록 설계됐다. 이에 삼성SDS는 대규모 AI 모델을 기반으로 한 서비스에서도 지연 시간을 최소화하고 처리 효율을 높일 수 있을 것이라고 설명했다.

삼성SDS는 그동안 A100, H100 등 최신 GPU 기반 서비스를 선제적으로 도입하며 클라우드 환경에서 GPU 인프라를 활용할 수 있는 기반을 구축해 왔다. 이번 B300 GPUaaS 출시를 통해 보다 고성능 연산 환경을 제공하고 AI 인프라 서비스 경쟁력을 강화한다는 계획이다.

고객 입장에서는 초기 투자 부담 없이 필요한 만큼 GPU 자원을 사용하는 구독형 모델을 통해 비용 효율성을 높일 수 있다. 또한 GPU 수급이 제한적인 상황에서도 최신 아키텍처를 빠르게 도입할 수 있다는 점에서 활용도가 높을 전망이다. 또한 클라우드 환경에서의 보안 기능을 결합해 민감한 데이터를 안정적으로 처리할 수 있는 점도 주요 요소로 꼽힌다.

삼성SDS는 향후 AI 인프라 서비스 고도화를 진행할 방침이다. AI 모델 적용 시 별도의 인프라 관리 없이 사용한 만큼만 비용을 지불하는 '서버리스 추론 서비스'와 개발자가 코드와 데이터를 입력하면 자동으로 분산 학습을 수행하는 'AI 학습 서비스'를 올해 3분기 중 선보일 계획이다.

AI 활용이 확산되며 인프라 경쟁이 심화되는 가운데 GPU를 중심으로 한 클라우드 서비스 시장의 경쟁 구도도 한층 치열해질 전망이다. 특히 학습 중심에서 추론 중심으로 무게가 이동하는 흐름 속에서 고성능 GPU와 이를 효율적으로 활용할 수 있는 서비스 모델이 기업 경쟁력의 핵심 요소로 부상하고 있다.

이호준 삼성SDS 클라우드서비스사업부장 부사장은 "SCP가 보유한 자원 최적화·에너지 절감 등 GPU 효율화 역량을 바탕으로 대기업, 중견·중소, 공공 등 AI를 업무에 적용하려는 고객에게 국내 최초 B300 GPU 서비스를 제공해 AX 전환을 적극 지원하겠다"고 말했다.