2026.06.17 수요일
검색
'AI운영' 검색결과
기간검색
-
~
검색영역
검색어
-
질문은 한 줄인데 청구서는 백 줄…기업 AI 비용, 토큰 관리가 새 과제 [경제일보] 생성형 인공지능(AI) 도입이 확산되면서 기업들의 새로운 고민으로 '토큰 비용 관리'가 떠오르고 있다. AI 활용이 늘어날수록 생산성은 높아지지만 예상보다 빠르게 증가하는 운영 비용이 부담으로 작용하고 있기 때문이다. . 17일 업계에 따르면 국내 일부 IT 기업과 AI 도입 기업들은 최근 생성형 AI 운영 과정에서 토큰 비용 최적화 방안을 검토하고 있는 것으로 알려졌다. AI 서비스 사용자가 늘어난 영향도 있지만, 단순 이용량 증가보다 AI 서비스 구조 자체가 비용 상승을 유발하고 있는 것으로 분석된다. 토큰은 대규모 언어 모델(LLM)이 텍스트를 처리하는 기본 단위다. 기업들은 일반적으로 AI 사용량에 따라 토큰 비용을 지불한다. 문제는 직원이 입력하는 질문은 짧지만 AI가 답변을 생성하기 위해 처리하는 정보량은 훨씬 많다는 것이다. 특히 RAG 기반 AI 서비스가 토큰 사용량을 급증시키는 것으로 알려졌다. RAG는 사용자의 질문에 답하기 위해 사내 문서와 데이터베이스를 검색한 뒤 관련 정보를 함께 분석하는 기술이다. 최근 기업들은 사내 위키와 규정집, 회의록, 기술 문서, 고객 응대 매뉴얼 등을 AI와 연동해 업무 지원 서비스를 구축하고 있다. 예를 들어 직원이 "출장비 정산 기준을 알려달라"고 한 줄짜리 질문을 입력하더라도 AI는 관련 인사 규정과 회계 규정, 출장 규정, 과거 질의응답 자료 등을 함께 검색해 읽은 뒤 답변을 생성한다. 이 과정에서 실제 입력 토큰 규모는 사용자 질문보다 수십 배에서 많게는 수백 배까지 증가할 수 있다. 장문 컨텍스트 활용 역시 비용 증가의 원인으로 꼽힌다. 최근 AI 서비스는 긴 대화 흐름을 유지하기 위해 과거 대화 기록을 함께 읽는 방식을 활용한다. 사용자가 대화를 이어갈수록 AI는 이전 질문과 답변을 지속적으로 참조하게 되고, 입력 토큰도 누적된다. 업계에서는 기업들이 체감하는 AI 비용 증가의 상당 부분이 이 같은 구조에서 발생하고 있다고 분석한다. RAG 검색 과정에서 불러오는 문서와 누적된 컨텍스트가 비용의 대부분을 차지하는 경우가 적지 않은 것이다. 이에 기업들도 비용 최적화에 나서고 있다. 고성능 모델을 모든 업무에 적용하기보다 경량 모델과 병행 운영하거나, 검색 범위를 축소하는 방식으로 토큰 사용량을 줄이고 있다. 또한 불필요한 대화 기록을 압축하거나 프롬프트를 최적화하는 등 다양한 비용 절감 기법도 도입하고 있다. 일부 기업은 단순 문의나 반복 업무에는 소형 모델을 활용하고 복잡한 분석 업무에만 고성능 모델을 사용하는 방식으로 운영 체계를 개편하고 있다. AI 성능 경쟁 못지않게 운영 효율성이 중요해지면서 비용 최적화 기술이 새로운 경쟁력으로 부상하고 있는 것이다. IT 업계 관계자는 "AI 사용에 따른 토큰 소비 방식이 변해 최근 기업들이 기존보다 AI 사용에 제한을 두고 있다"며 "국내 기업들이 비용 부담을 줄이기 위해 사용 정책을 재정비하는 움직임이 나타나고 있다"고 말했다.2026-06-17 18:00:05
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 일본 금리 인상, 한국 경제에 던진 세 가지 경고](https://image.ajunews.com/content/image/2026/06/17/20260617073720968879_518_323.png)