KAIST, MS 'AI 레드팀' 합류…국내 대학 중 유일

[경제일보] 한국과학기술원(KAIST)이 국내 대학 가운데 유일하게 마이크로소프트(MS)의 글로벌 인공지능(AI) 안전성 연구 네트워크에 합류했다. 생성형 AI와 AI 에이전트의 활용이 확산하는 가운데 글로벌 기업과 대학이 협력해 실제 서비스에서 발생할 수 있는 보안 위협을 선제적으로 검증한다.

KAIST는 전산학부 손수엘 교수 연구팀이 MS AI 레드팀이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘엑스트라(EXTRA·External Red Team Alliance)’ 연구팀으로 선정됐다고 28일 밝혔다.

엑스트라는 MS가 올해 시작한 외부 AI 레드팀 연구 지원 프로그램이다. 기업 내부 조직에 머물던 AI 안전성 평가를 세계 대학과 연구기관으로 확대해 다양한 관점에서 생성형 AI의 취약점과 위험성을 검증하는 것이 목적이다.

프로그램에는 6개 대륙의 10여개 대학과 연구기관이 참여한다. 국내 대학 가운데 선정된 곳은 KAIST가 유일하다. 손 교수 연구팀은 2만5000달러, 약 3700만원의 연구비를 지원받아 글로벌 연구진과 함께 AI 보안과 신뢰성 연구를 수행한다.

손 교수 연구팀은 생성형 AI와 대규모언어모델(LLM)을 대상으로 해킹을 통한 모델 탈취와 개인정보 유출, 악성 명령을 주입해 의도하지 않은 행동을 유도하는 프롬프트 주입 공격 등을 분석하고 있다.

연구 범위는 단순한 챗봇을 넘어 외부 시스템과 연결돼 스스로 업무를 수행하는 AI 에이전트까지 확대된다. AI 에이전트는 문서 작성과 정보 검색뿐 아니라 외부 도구 호출, 데이터 처리, 시스템 제어 등을 연속적으로 수행한다. 권한과 접근 범위를 적절히 통제하지 못하면 개인정보나 기업 내부 정보가 노출될 수 있어 서비스 구축 단계부터 공격 가능성을 점검해야 한다.

연구팀은 실제 서비스 환경에서 발생할 수 있는 공격 경로를 찾아내고, AI가 악성 명령이나 조작된 정보를 구분하도록 하는 방어 기술을 개발할 계획이다. 공격자의 관점에서 취약점을 검증하는 레드팀 연구와 이를 차단하는 보안 기술을 함께 고도화한다.

최근 글로벌 AI 기업들은 모델 성능 경쟁과 함께 안전성 검증을 핵심 과제로 삼고 있다. AI가 금융과 의료, 공공, 제조 등 민감한 데이터를 다루는 산업으로 확산하면서 모델 자체뿐 아니라 데이터와 외부 도구, 네트워크를 연결하는 전체 서비스 구조의 보안이 중요해졌기 때문이다.

이번 프로그램 참여는 KAIST가 MS의 AI 보안 연구진 및 세계 대학들과 연구 성과를 교류하고, 국제적인 AI 안전성 평가 체계 마련에 참여할 기회가 될 전망이다. 국내 연구진의 공격·방어 기술이 글로벌 AI 서비스의 보안 기준과 평가 방법에 반영될 가능성도 커졌다.

손수엘 교수는 “AI는 성능뿐 아니라 안전성과 신뢰성이 중요해지고 있다”며 “실제 서비스에서 발생할 수 있는 보안 위협을 분석하고 누구나 안심하고 사용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다.

MS AI 레드팀을 이끄는 램 샹카르 시바 쿠마르는 “AI 안전성 연구에서 대학은 핵심적인 역할을 하고 있다”며 “점점 강력해지는 AI 시스템을 평가하고 보호하며 책임감 있게 관리할 수 있도록 관련 연구를 지원하겠다”고 밝혔다.