패밀리 사이트
아주일보
베트남
회원서비스
로그인
회원가입
지면보기
KAIST, 입모양 또렷한 단어부터 읽었다…영어 단어 오류 25% 줄여
기사 읽기 도구
공유하기
기사 프린트
글씨 크게
글씨 작게
2026.11.16 월요일
안개 서울 9˚C
흐림 부산 12˚C
안개 대구 9˚C
흐림 인천 11˚C
흐림 광주 13˚C
흐림 대전 11˚C
흐림 울산 14˚C
흐림 강릉 10˚C
흐림 제주 15˚C
IT

KAIST, 입모양 또렷한 단어부터 읽었다…영어 단어 오류 25% 줄여

기자정보, 기사등록일
선재관 기자
2026-11-16 10:03:53

앞뒤 문맥으로 빈칸 채워 오류율 25.8%→19.4%…EMNLP 우수논문상  

다른 영어 영상에선 오류율 39.9%…한국어·실시간 자막 적용은 후속 과제

KAIST한국과학기술원 전기및전자공학부 노용만 교수 연구팀의 교신저자인 노 교수왼쪽와 제1저자 여정훈 박사후연구원이 EMNLP 2026 우수논문상 상장을 들고 기념촬영을 하고 있다사진KAIST
KAIST(한국과학기술원) 전기및전자공학부 노용만 교수 연구팀의 교신저자인 노 교수(왼쪽)와 제1저자 여정훈 박사후연구원이 'EMNLP 2026' 우수논문상 상장을 들고 기념촬영을 하고 있다.[사진=KAIST]

[경제일보] 소리를 끈 영어 영상에서 입모양이 뚜렷한 단어부터 읽고 나머지를 문맥으로 채우자 단어 오류율이 약 25% 줄었다. 한국과학기술원(KAIST) 연구진이 문장을 읽는 순서를 바꿔 얻은 결과다. 영어 강연 영상에서는 오류율을 19.4%까지 낮췄지만, 학습에 쓰지 않은 별도 평가 자료에서는 39.9%를 기록했다. 소음이 큰 현장의 자막이나 청각장애인·난청인 보조 도구에 활용하려면 실제 대화 환경에서 성능을 검증해야 한다.

KAIST는 노용만 전기및전자공학부 교수와 여정훈 박사후연구원 등이 입술 움직임을 문자로 바꾸는 시각적 음성 인식(VSR) 기술의 정확도를 높였다고 15일 밝혔다. 연구 논문은 자연어처리 국제학술대회 ‘EMNLP 2026’에서 우수논문상(Outstanding Paper Award)을 받았다.

입모양만으로는 서로 다른 소리를 가려내기 어려울 때가 있다. 문장 앞에서 잘못 읽은 말이 뒤쪽 해석에도 영향을 줄 수 있다. 연구팀은 그래서 문장 전체를 빈칸으로 두고, 위치와 관계없이 확신이 높은 부분부터 채우는 확산 대형 언어 모델(DLLM)을 적용했다. 앞뒤에서 먼저 읽어낸 말을 단서로 삼아 모호한 부분을 해독하는 방식이다.

학습은 입술 움직임과 글자를 연결하고 문장이 끝나는 위치를 익히는 단계, 길이가 다른 문장을 완성하는 단계로 나눴다. 실제 인식 과정에서는 영상 길이 등을 바탕으로 길이가 다른 문장 후보를 만든 뒤, 각 후보의 인식 신뢰도와 예상 길이 등을 비교해 결과를 골랐다.

영어 TED·TEDx 강연 영상으로 구성된 ‘LRS3’ 평가에서 단어 오류율은 19.4%였다. 같은 영상 특징 추출기를 쓴 비교 모델을 연구팀이 재현했을 때의 25.8%보다 6.4%포인트 낮다. 기존 오류율을 기준으로 약 24.8% 줄어든 수치다. 정답 문장이 붙은 학습 영상으로 LRS3만 사용한 논문 내 비교군 가운데 가장 낮았다.

기존 ‘오토-AVSR(Auto-AVSR)’의 영상 단독 인식 결과는 19.1%였다. 이 모델이 정답이 붙은 학습 영상 3448시간분을 활용한 데 비해 KAIST 모델은 해당 단계에서 433시간분을 사용했다. 433시간과 3448시간은 영상 재생 분량을 뜻한다. KAIST 모델에는 별도의 3305시간분 자료로 사전학습한 영상 특징 추출기와 기존 언어 모델도 쓰였다.

정확도와 처리 속도 사이에는 차이가 있었다. 논문의 단일 그래픽처리장치(GPU) 실험에서 길이 후보를 따로 비교하지 않았을 때 오류율은 20.5%였다. 후보 7개를 비교하자 19.4%로 낮아졌지만, 처리 시간은 영상 길이의 0.14배에서 0.87배로 늘었다. 같은 모델을 별도 영어 영상 평가 자료인 ‘와일드VSR(WildVSR)’에 적용한 결과도 강연 영상 성적과 차이를 보였다.

연구팀은 모델 크기와 연산량을 줄여 다양한 기기에 적용할 계획이다. 실시간 자막으로 쓰려면 한국어 일상 대화에서의 오류율과 스마트폰 등에서 말이 끝난 뒤 자막이 표시되기까지 걸리는 시간을 함께 검증해야 한다. 이름이나 숫자처럼 잘못 읽었을 때 의미가 크게 달라지는 말의 오류를 얼마나 줄일 수 있는지도 실제 사용성을 가를 대목이다.


0개의 댓글
0 / 300
댓글 더보기
미래에셋
하이닉스
부광약품
스마일게이트
한국유나이티드제약
한국투자증권
DB손해보험
하나금융그룹
국민그룹
씨티
교촌
한화생명
한화투자증권
삼성화재
삼성전자
농협
국민카드
우리카드
우리은행
기업은행
국민그룹
db
국민그룹
카카오
하나증권
포스코
태광
kb국민은행
삼성중공업
신한투자
매일유업
삼성화재
롯데캐슬
효성
KB
미래에셋자산운용
NH투자증
kb국민은행
다음
이전
좋은 하루를 위한 작은 쉼표, 경제일보 Fun과 함께 하세요.
2026년 11월 16일 별자리/띠별 운세

양자리 ♈ (Aries) 행동력이 비교적 원활한 흐름으로, 새로운 시도에 에너지가 실리기 좋은 날이다. 다만 Saturn이 같은 자리에서 역행 중이라 책임이나 일정의 세부를 한 번 더 점검해두면 안정적일 수 있다. 업무 - 구체적 실행으로 결과를 내기 좋은 흐름이니 우선순위를 정해 단계적으로 진행해보자. 관계 - 직설적인 표현이 잘 통하되 상대의 일정이나 부담을 함께 고려하면 더 수월하다. 소비·예산 - 큰 변화보다는 현재 지출을 정리하고 필요한 항목을 먼저 확인하는 편이 유리하다. 컨디션 - 에너지가 올라올 수 있으니 중간에

더 많은 운세 보기
Shorts
kyungjeilbo Shorts 최신 1번째 영상
kyungjeilbo Shorts 최신 2번째 영상
kyungjeilbo Shorts 최신 3번째 영상
kyungjeilbo Shorts 최신 4번째 영상
댓글을 삭제 하시겠습니까?
닫기
로그인 후 댓글작성이 가능합니다.
로그인 하시겠습니까?
닫기
기사 이미지 확대 보기
닫기