카카오, '카나나' 경량 언어모델 4종 공개…한국어 AI 생태계 확대 나선다

허깅페이스에 '카나나-2' 시리즈 공개…상업적 활용 가능한 오픈 라이선스 적용

한국어 처리 효율 30% 이상 개선…최대 3만2000 토큰 대화 지원

카카오의 자체 AI 모델 카나나-2의 온디바이스 모델 성능 비교 그래프 사진카카오 — 카카오의 자체 AI 모델 '카나나-2'의 온디바이스 모델 성능 비교 그래프. [사진=카카오]

[경제일보] 인공지능(AI) 시장의 경쟁이 거대언어모델(LLM)을 넘어 스마트폰과 PC 등 기기에서 직접 구동되는 온디바이스 AI로 확대되면서 경량 언어모델(SLM)의 중요성이 커지고 있다. 글로벌 빅테크들이 경량 AI 모델을 앞세워 온디바이스 AI 생태계 선점에 나선 가운데 카카오가 자체 AI 모델 '카나나'의 경량 언어모델을 오픈소스로 공개하며 한국어 기반 AI 생태계 확대에 나섰다.

28일 카카오는 글로벌 AI 오픈소스 플랫폼 허깅페이스에 스마트폰 등과 같은 디바이스 환경에서 구동할 수 있는 경량 언어모델(SLM) 4종을 공개했다고 밝혔다. 공개된 모델은 'Kanana-2-1.3B-base', 'Kanana-2-1.3B-instruct', 'Kanana-2-3B-base', 'Kanana-2-3B-instruct' 등 총 4종이다.

최근 AI 업계는 거대언어모델 중심의 경쟁과 함께 스마트폰과 개인용 PC 등에서 직접 구동되는 온디바이스 AI 경쟁이 본격화되고 있다. 클라우드 기반 AI 서비스가 높은 성능을 제공하는 대신 높은 비용과 개인정보 보호 문제가 제기되면서 경량 AI 모델의 중요성이 커지고 있기 때문이다. 글로벌 기업들 역시 온디바이스 AI를 핵심 전략으로 내세우거나 경량 오픈소스 모델을 공개하며 관련 생태계 확대에 속도를 내고 있다.

카카오 역시 이 같은 흐름에 맞춰 클라우드 기반 대규모 AI와 온디바이스 AI를 동시에 확보하는 '투트랙' 전략을 강화하고 있다. 이번에 공개한 모델들은 카카오가 다양한 AI 모델을 개발하며 축적한 기술과 경험을 바탕으로 개발됐으며, 현재 '카나나 인 카카오톡'과 카카오톡 대화 요약 및 통화 요약, AI 국민비서 등 다양한 서비스에 카카오의 경량 AI 모델이 적용되고 있다.

카카오는 이번 모델들의 가장 큰 특징이 작은 크기에도 한국어와 영어 모두에서 경쟁력 있는 성능을 구현했다는 것이라고 설명했다. 카카오는 유사 규모의 최신 오픈소스 모델과 비교해 한국어와 영어, 지식, 수학, 코드 등 주요 벤치마크 대부분에서 우수한 성능을 기록했다고 강조했다.

특히 'Kanana-2-1.3B-instruct'와 함께 개발된 'Kanana-2-0.9B-instruct'는 대화와 지식, 코드 생성, 수학, 지시 이행, 툴 호출 등 실제 서비스 활용 역량에서도 글로벌 모델과 경쟁력 있는 성능을 보였다. 경량 모델임에도 실제 서비스 적용이 가능한 수준의 성능을 확보하는 데 초점을 맞춘 것이다.

특히 카카오는 자체 개발한 한국어 특화 토크나이저를 모델 전반에 적용해 기존 대비 한국어 처리 효율을 30% 이상 개선했다. 토크나이저는 AI가 텍스트를 이해하기 위해 문장을 일정 단위로 분리하는 핵심 기술이다. 한국어에 최적화된 토크나이저를 적용할수록 같은 문장을 보다 적은 토큰으로 처리할 수 있어 연산 속도는 빨라지고 비용은 줄어드는 것으로 알려졌다.

사양이 상대적으로 부족한 노트북을 이용해 LM Studio로 카나나의 경량 언어모델 Kanana-2-3B-instruct을 구동하고 있다 사진류청빛 기자 — 사양이 상대적으로 부족한 노트북을 이용해 LM Studio로 카나나의 경량 언어모델 'Kanana-2-3B-instruct'을 구동하고 있다. [사진=류청빛 기자]

온디바이스 환경에 최적화된 설계도 적용됐다. 카카오는 긴 대화를 처리할 때 메모리 사용량이 급격히 증가하는 문제를 해결하기 위해 '슬라이딩 윈도우 어텐션' 구조를 도입했다. 이를 통해 최대 3만2000 토큰(약 2만4000 단어) 길이의 대화에서도 메모리 사용량을 최대 72.7%까지 줄이면서 안정적인 성능을 유지할 수 있는 것으로 나타났다.

카카오는 이번 모델을 상업적 활용까지 허용하는 '카나나 오픈 라이선스'로 배포한다. 개발자와 스타트업, 연구기관 등이 별도의 제약 없이 활용할 수 있도록 개방해 국내 한국어 AI 생태계 확대에도 기여한다는 방침이다.

AI 시장이 클라우드 기반 거대언어모델과 온디바이스 AI를 중심으로 재편되면서 경량 AI 모델 확보 경쟁 역시 본격화되고 있다. 카카오는 이번 오픈소스 공개를 계기로 자체 AI 모델 경쟁력을 강화하는 동시에 한국어 기반 AI 생태계 확대에도 속도를 낸다는 계획이다.

노병석 카카오 유니파이드 파운데이션 모델 성과리더는 "에이전틱 AI 시대를 준비하며 클라우드의 대규모 AI와 온디바이스 경량 AI 모두의 중요성을 체감하고 있다"며 "카카오는 두 영역에서 기술 경쟁력을 높여가고 있으며, 이번 오픈소스 공개 모델들이 더 많은 개발자와 기업의 새로운 AI 서비스 개발로 이어져 국내 AI 생태계 활성화에 기여할 수 있기를 바란다"고 말했다.