바운드포, AI API 비용 폭증 막는다…'파레토'로 토큰 지출 사전 통제

[경제일보] 생성형 인공지능(AI)과 AI 에이전트 도입이 확산하면서 기업들의 관심이 'AI를 얼마나 많이 활용하느냐'에서 'AI를 얼마나 효율적으로 활용하느냐'로 옮겨가고 있다. 이에 데이터 파운드리 기업 바운드포가 AI 토큰 비용을 사전에 통제하는 서비스를 선보이며 기업용 AI 비용 관리 시장 공략에 나섰다. 단순히 사용량과 비용을 보여주는 기존 모니터링 방식에서 나아가 예산을 초과할 것으로 예상되는 AI API 호출을 실행 단계에서 차단하는 방식이다.

12일 바운드포는 자사 AI 데이터 운영 플랫폼 '드로파이'에 AI 토큰 지출 관리 서비스 '파레토'를 새롭게 추가했다고 밝혔다.

최근 기업들은 하나의 AI 모델만 사용하는 것이 아니라 업무 성격에 따라 여러 생성형 AI 모델과 API를 동시에 활용하고 있다. 고성능 모델을 적극적으로 활용해 AI 사용량 자체를 늘리는 이른바 '토큰맥싱'이 확산하는 등 AI 활용 확대가 기업 경쟁력으로 여겨지고 있지만, 사용량이 늘어날수록 비용 부담 역시 커지는 구조다.

특히 AI 에이전트가 확산하면서 토큰 비용의 성격도 달라지고 있다. 사람이 직접 AI를 사용하는 경우에는 사용 시간이나 빈도에 일정한 한계가 있지만, AI 에이전트는 업무가 완료될 때까지 API를 자동으로 호출할 수 있다. 로봇이나 각종 디바이스에 AI가 탑재되면 24시간 작동하면서 지속적으로 모델을 호출하는 환경도 가능하다.

이 과정에서 오류가 발생해 같은 요청을 반복하거나, 단순한 작업에 고성능 모델을 계속 사용하는 경우 예상하지 못한 비용이 누적될 수 있다. AI 사용량을 늘리는 것 자체가 목표였던 단계에서 벗어나 기업이 AI 비용의 발생 구조까지 관리해야 하는 단계로 넘어가고 있는 것이다.
기존 기업용 비용 관리 방식만으로는 해당 변화에 대응하기 어렵다는 지적도 나온다. 일반적으로 기업은 월말 청구서나 사용량 데이터를 통해 어느 서비스에서 비용이 발생했는지를 확인한다. 다만 AI API는 호출량과 토큰 사용량에 따라 비용이 실시간으로 증가하기 때문에 사후에 비용을 확인하는 것만으로는 이미 발생한 지출을 되돌리기 어려운 것으로 평가된다.

바운드포는 파레토를 내놓은 것도 해당 문제를 겨냥했다. 바운드포는 파레토가 관리자가 설정한 예산 한도와 정책을 AI API 호출 과정에 적용해 일정 수준을 넘어서는 요청을 실행 전에 차단할 수 있도록 설계됐다고 설명했다. 사용 이후 비용을 분석하는 '사후 관측'보다 비용이 발생하기 전에 통제하는 '사전 통제'에 초점을 맞춘 것이 특징이다.

기업은 팀이나 프로젝트별로 AI 사용 예산을 설정할 수 있으며 현재 사용량과 예상 지출을 확인할 수 있도록 구성됐다. AI 에이전트가 자동으로 API를 호출하는 환경에서도 정해진 예산 범위 안에서 서비스를 운영할 수 있도록 하는 방식이다.

비용이 발생하는 패턴을 분석해 불필요한 지출을 찾아내는 기능도 제공한다. 실패한 API 요청이 반복되면서 비용이 누적되는 재시도, 사실상 동일한 요청을 반복 처리하는 중복 호출, 상대적으로 단순한 작업에 고성능 모델을 사용하는 과사양 모델 사용 등을 분석해 절감 가능성이 있는 영역을 리포트로 제공한다.

기업 입장에서는 어떤 모델을 얼마나 사용했는지를 확인하는 것뿐 아니라 어떤 업무에 어떤 모델을 사용했는지, 불필요한 호출이 발생하고 있는지, 설정한 예산을 넘어설 가능성이 있는지까지 관리해야 하기 때문에 AI 에이전트가 업무 자동화의 중심으로 자리 잡을수록 비용 통제의 중요성은 더욱 커질 전망이다. AI 에이전트가 여러 단계의 업무를 수행하는 과정에서 하나의 요청에 그치지 않고 여러 모델과 API를 연속적으로 호출할 수 있기 때문이다.

피지컬 AI 확산도 변수다. 로봇이나 자율 시스템 등이 AI 모델을 활용해 주변 상황을 판단하고 행동하는 환경에서는 서비스가 작동하는 동안 지속적인 AI 추론과 API 호출이 발생할 수 있다. AI가 소프트웨어 안에서만 사용되는 것이 아니라 현실 세계의 기기와 연결될수록 토큰 비용이 기업의 운영비와 직접 연결될 가능성도 커지고 있다.

AI 시장의 경쟁 기준이 변하고 있다. 기존에는 더 뛰어난 성능의 모델을 확보하거나 이를 다양한 업무에 빠르게 적용하는 것이 기업의 AI 경쟁력으로 평가됐다면, 앞으로는 동일한 업무를 얼마나 적은 비용으로 처리할 수 있는지까지 중요한 요소가 될 전망이다.

바운드포는 파레토를 자사 AI 데이터 운영 플랫폼인 드로파이에 결합하면서 데이터 관리와 AI 비용 통제를 하나의 플랫폼에서 제공하는 방향으로 사업을 확대한다는 구상이다. AI 활용 과정에서 발생하는 데이터를 관리하는 동시에 해당 데이터를 바탕으로 AI 사용 패턴과 비용 구조를 분석해 운영 효율까지 높이겠다는 것이다.

황인호 바운드포 대표는 "로봇과 디바이스가 24시간 AI를 호출하는 환경에서는 비용을 사후에 분석하는 방식만으로는 한계가 있었고, 파레토는 피지컬 AI 현장에서 바운드포가 직접 겪은 문제를 해결하는 과정에서 탄생한 서비스"라며 "앞으로도 현장에서 검증한 운영 경험을 서비스로 고도화해 AI 데이터 관리부터 비용 통제까지 기업의 AI 운영 전반을 지원해 나가겠다"고 말했다.