KT AI 모델 선택 기술, 국제 공개 평가서 2위

[경제일보] KT가 자체 개발한 인공지능(AI) 모델 선택 기술이 국제 공개 평가에서 2위에 올랐다. 질문마다 적합한 AI 모델을 골라 연결하는 능력을 평가한 결과다. 기업이 여러 모델을 함께 쓰면서 응답 품질과 이용 비용을 관리하려는 KT의 ‘토큰 팩토리’ 사업에도 힘이 실릴 전망이다.

KT는 ‘오토모델라우터(AutoModelRouter)’가 미국 라이스대 연구진의 평가 플랫폼 ‘라우터 아레나(RouterArena)’에서 정확도와 비용을 함께 따지는 ‘Acc-Cost Arena’ 부문 2위를 기록했다고 27일 밝혔다. 공개 리더보드에 ‘KT-ModelRouter’로 오른 이 기술의 종합 점수는 76.28점이다. 정확도 점수는 78.14점, 평가 환경에서 질의 1000건을 처리하는 데 든 모델 이용 비용은 0.27달러로 표시됐다.

모델 라우터는 이용자의 요청을 분석해 여러 AI 모델 중 어느 모델이 답할지 결정한다. 짧은 번역이나 정보 확인에는 비용이 낮은 모델을, 복잡한 분석에는 성능이 높은 모델을 연결하는 식이다. 모든 질문에 고성능 모델을 쓰면 비용이 커지고, 저렴한 모델만 쓰면 어려운 질문의 답변 품질이 떨어질 수 있다. 라우터의 역할은 그 사이에서 업무에 맞는 선택을 하는 것이다.
 
KT의 오토모델라우터는 요청의 업무 유형과 난이도, 지식 분야를 분석하고 모델별 응답 품질과 비용을 고려해 연결 대상을 정한다. 라우터 아레나는 다양한 분야와 난도의 질문으로 이런 선택을 평가한다. 공개된 연구 자료에 따르면 평가 데이터는 9개 분야, 44개 범주로 구성되며 정확도와 비용 외에 입력 변화에 대한 견고성 등도 별도로 살핀다. 따라서 이번 2위는 AI 모델 자체의 성능 순위가 아니라, 모델을 선택하는 기술의 정확도·비용 평가 순위다.

이번 결과는 KT가 추진하는 토큰 팩토리와 맞닿아 있다. 토큰은 AI가 글을 읽고 답을 생성할 때 처리하는 데이터 단위로, 이용량에 따라 비용이 늘어난다. KT는 지난 7월 토큰 팩토리를 AI 모델 선택부터 사용량 관리·과금까지 지원하는 기업용 플랫폼으로 키우겠다는 구상을 밝혔다. 오토모델라우터는 그 가운데 이용자 요청을 처리할 모델을 고르는 기능에 활용된다.

KT는 앞으로 연결할 수 있는 AI 모델을 늘리고 라우팅 기술을 고도화할 계획이다. 김준석 KT Agentic AI Lab장(상무)은 “AI 시대에는 가장 뛰어난 단일 모델을 확보하는 것뿐 아니라, 상황에 맞는 최적의 모델을 얼마나 지능적으로 활용하느냐가 중요하다”고 말했다.