고화질 영상 AI의 숙제 '연산량'…카카오, 토큰부터 줄인다

[경제일보] 인공지능(AI) 영상 생성 기술이 고해상도·장시간 영상으로 발전하면서 막대한 연산량과 비용을 줄이는 기술이 새로운 경쟁 요소로 떠오르고 있다. 영상은 이미지보다 처리해야 할 데이터가 훨씬 많은 만큼 생성 과정에서 필요한 컴퓨팅 자원도 급증하기 때문이다. 이에 카카오는 영상의 복잡도에 따라 인공지능(AI)이 처리할 정보량을 스스로 조절하는 적응형 토큰화 기술을 공개하며 영상 생성 과정의 연산 효율화에 나선다.

9일 카카오는 스웨덴에서 열리고 있는 컴퓨터 비전 분야 국제학회 'ECCV 2026'에서 영상 생성 AI의 연산량을 줄이는 기술 'KATok(Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation)'을 발표한다고 밝혔다. 이번 연구는 카카오 연구진이 주도했으며 이연경 카카오 리서치 엔지니어가 10일(현지시간) 포스터 세션에서 직접 논문을 발표할 계획이다.

최근 AI 영상 생성 분야에서는 단순히 더 높은 해상도와 긴 영상을 만들어내는 것을 넘어 이를 얼마나 효율적으로 처리할 수 있는지가 주요 과제로 부상하고 있다. 영상의 해상도가 높아지고 길이가 길어질수록 AI가 처리해야 하는 데이터가 기하급수적으로 늘어나면서 모델 학습과 영상 생성에 필요한 GPU 등 컴퓨팅 자원도 함께 증가하고 있다.

특히 AI가 영상을 처리하기 위해 사용하는 '토큰'의 효율성이 중요한 것으로 꼽힌다. 생성형 AI는 영상을 그대로 처리하는 대신 영상의 정보를 작은 단위인 토큰으로 변환해 처리한다. 기존의 밀집형 토큰화 방식은 영상의 내용과 관계없이 일정한 비율로 데이터를 압축하기 때문에 움직임이 거의 없는 배경이나 반복되는 장면에서도 일정 수준의 토큰을 생성해야 한다.

영상 전체에 동일한 기준을 적용하면 불필요한 연산이 발생할 수밖에 없는 것으로 알려졌다. 움직임이 많은 사람이나 사물에는 많은 정보가 필요하지만 하늘이나 벽처럼 변화가 적은 배경까지 동일한 수준으로 처리할 필요는 없기 때문이다. 영상이 고해상도·장시간화될수록 이런 차이가 전체 연산량과 비용에 미치는 영향도 커지는 것이다.

카카오가 연구한 KATok은 이 같은 문제를 영상의 '시공간적 복잡도'에 따라 토큰 수를 조절하는 방식으로 접근했다. 움직임이 크거나 정보량이 많은 영역에는 상대적으로 많은 토큰을 배분하고, 정적인 장면이나 중복 정보가 많은 영역에서는 토큰을 줄인다. 사람이 영상마다 압축률이나 토큰 수를 일일이 설정하지 않아도 AI가 영상의 내용을 분석해 필요한 정보량을 판단하도록 한 것이다.
특히 단순히 영상 파일의 크기를 줄이는 데 그치지 않는다는 것이 이번 카카오 연구의 특징이다. KATok은 압축 단계에서 생성한 토큰 표현을 실제 영상 생성 모델과 연결해 생성 과정에서 처리해야 하는 데이터 자체를 줄이는 데 중점을 두고 설계됐다. 영상의 복잡도가 낮은 부분에서 불필요한 토큰을 줄이면 생성 모델이 수행해야 할 연산도 함께 감소하는 구조다.

카카오가 공개한 실험 결과에 따르면 KATok은 기존 밀집형 토큰화 방식보다 적은 토큰으로도 고품질 영상을 재구성했으며, 이를 비디오 생성 파이프라인 전체에 적용했을 때 기존 방식 대비 학습 속도가 약 6.9배, 영상 생성 처리량은 약 3.2배 향상됐다. 같은 수준의 영상 품질을 유지하면서 처리해야 할 정보와 연산을 줄이면 동일한 컴퓨팅 자원으로 더 많은 영상을 생성하거나 학습 시간을 단축할 수 있는 것이다.

카카오는 향후 KATok을 고도화하고 다양한 AI 비디오 생성 모델을 대상으로 범용성을 검증해 더 높은 해상도와 장시간 영상 생성 환경으로 적용 범위를 확대할 계획이다. 영상 생성 서비스를 단순히 확대하는 차원을 넘어 AI 모델의 연산 효율을 높이는 기반 기술을 확보한다는 것으로 풀이된다.

최동진 카카오 어플라이드 AI 모델 성과리더는 "고해상·장시간 영상처럼 연산량이 급증하는 환경일수록 KATok의 적응형 토큰화 기술이 발휘하는 연산 절감 효과는 더욱 커질 것"이라며 "향후 다양한 AI 비디오 생성 모델과의 범용성을 검증해 연산량은 줄이면서도 뛰어난 화질을 유지하는 대규모 비디오 생성의 핵심 기반 기술로 발전시켜 나가겠다"고 말했다.