2026.07.28 화요일
검색
'프롬프트 주입' 검색결과
기간검색
-
~
검색영역
검색어
-
KAIST, MS 'AI 레드팀' 합류…국내 대학 중 유일 [경제일보] 한국과학기술원(KAIST)이 국내 대학 가운데 유일하게 마이크로소프트(MS)의 글로벌 인공지능(AI) 안전성 연구 네트워크에 합류했다. 생성형 AI와 AI 에이전트의 활용이 확산하는 가운데 글로벌 기업과 대학이 협력해 실제 서비스에서 발생할 수 있는 보안 위협을 선제적으로 검증한다. KAIST는 전산학부 손수엘 교수 연구팀이 MS AI 레드팀이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘엑스트라(EXTRA·External Red Team Alliance)’ 연구팀으로 선정됐다고 28일 밝혔다. 엑스트라는 MS가 올해 시작한 외부 AI 레드팀 연구 지원 프로그램이다. 기업 내부 조직에 머물던 AI 안전성 평가를 세계 대학과 연구기관으로 확대해 다양한 관점에서 생성형 AI의 취약점과 위험성을 검증하는 것이 목적이다. 프로그램에는 6개 대륙의 10여개 대학과 연구기관이 참여한다. 국내 대학 가운데 선정된 곳은 KAIST가 유일하다. 손 교수 연구팀은 2만5000달러, 약 3700만원의 연구비를 지원받아 글로벌 연구진과 함께 AI 보안과 신뢰성 연구를 수행한다. 손 교수 연구팀은 생성형 AI와 대규모언어모델(LLM)을 대상으로 해킹을 통한 모델 탈취와 개인정보 유출, 악성 명령을 주입해 의도하지 않은 행동을 유도하는 프롬프트 주입 공격 등을 분석하고 있다. 연구 범위는 단순한 챗봇을 넘어 외부 시스템과 연결돼 스스로 업무를 수행하는 AI 에이전트까지 확대된다. AI 에이전트는 문서 작성과 정보 검색뿐 아니라 외부 도구 호출, 데이터 처리, 시스템 제어 등을 연속적으로 수행한다. 권한과 접근 범위를 적절히 통제하지 못하면 개인정보나 기업 내부 정보가 노출될 수 있어 서비스 구축 단계부터 공격 가능성을 점검해야 한다. 연구팀은 실제 서비스 환경에서 발생할 수 있는 공격 경로를 찾아내고, AI가 악성 명령이나 조작된 정보를 구분하도록 하는 방어 기술을 개발할 계획이다. 공격자의 관점에서 취약점을 검증하는 레드팀 연구와 이를 차단하는 보안 기술을 함께 고도화한다. 최근 글로벌 AI 기업들은 모델 성능 경쟁과 함께 안전성 검증을 핵심 과제로 삼고 있다. AI가 금융과 의료, 공공, 제조 등 민감한 데이터를 다루는 산업으로 확산하면서 모델 자체뿐 아니라 데이터와 외부 도구, 네트워크를 연결하는 전체 서비스 구조의 보안이 중요해졌기 때문이다. 이번 프로그램 참여는 KAIST가 MS의 AI 보안 연구진 및 세계 대학들과 연구 성과를 교류하고, 국제적인 AI 안전성 평가 체계 마련에 참여할 기회가 될 전망이다. 국내 연구진의 공격·방어 기술이 글로벌 AI 서비스의 보안 기준과 평가 방법에 반영될 가능성도 커졌다. 손수엘 교수는 “AI는 성능뿐 아니라 안전성과 신뢰성이 중요해지고 있다”며 “실제 서비스에서 발생할 수 있는 보안 위협을 분석하고 누구나 안심하고 사용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다. MS AI 레드팀을 이끄는 램 샹카르 시바 쿠마르는 “AI 안전성 연구에서 대학은 핵심적인 역할을 하고 있다”며 “점점 강력해지는 AI 시스템을 평가하고 보호하며 책임감 있게 관리할 수 있도록 관련 연구를 지원하겠다”고 밝혔다.2026-07-28 15:00:10
-
수만쪽 원전 지침, AI가 찾아 보고서로…한컴, 한수원 폐쇄망 뚫었다 [경제일보] 한컴이 한국수력원자력의 폐쇄망에 인공지능(AI) 문서작성 솔루션을 공급하며 원전 분야 AI 전환(AX) 시장에 진입했다. 원전 설비를 AI가 직접 제어하는 방식이 아니라, 임직원이 방대한 정비 지침과 안전 자료를 빠르게 검색하고 보고서를 작성하도록 지원하는 업무용 AI다. 한컴은 한수원이 자체 구축한 원전 특화 생성형 AI 플랫폼 ‘하이누리(Hy-NuRI)’와 ‘한컴어시스턴트’를 연계했다고 23일 밝혔다. 하이누리가 원전 운영·발전·건설·안전 분야의 내부 지식을 검색하고 답변을 생성하면, 한컴어시스턴트가 이를 실제 문서 작성으로 연결하는 구조다. 임직원은 자연어로 필요한 내용을 질문해 관련 규정과 정비 절차를 찾고, 검색 결과를 바탕으로 보고서 초안을 만들 수 있다. 기존 문서 요약과 문장 교정, 표준 서식 적용, 데이터와 연계한 문서 작성도 지원한다. 수만쪽에 이르는 정비 지침서와 사규, 안전 자료를 사람이 일일이 확인하는 시간을 줄이는 것이 핵심이다. 예컨대 특정 설비의 점검 이력과 관련 규정을 찾아 정비 보고서의 뼈대를 만들거나, 여러 안전 지침의 차이를 비교해 회의자료로 정리하는 방식으로 활용할 수 있다. 다만 생성형 AI가 작성한 내용은 참고 자료와 초안에 해당하며, 안전 판단과 최종 문서 승인은 담당자가 수행해야 한다. 이번 사업에서 주목할 부분은 폐쇄망 적용이다. 원전은 설비·운영 정보가 외부로 유출될 경우 국가 안보와 시설 안전에 영향을 줄 수 있어 외부 클라우드형 AI를 그대로 사용하기 어렵다. 한컴어시스턴트는 외부망과 분리된 한수원 내부 환경에서 하이누리를 호출하도록 구성돼 민감한 문서와 질문 내용이 외부 AI 사업자에게 전송될 위험을 줄였다. 폐쇄망이 모든 위험을 없애는 것은 아니다. 생성형 AI가 사실과 다른 내용을 만드는 ‘환각’을 줄이고, 직무와 보안 등급에 따라 열람 가능한 문서를 구분해야 한다. 답변의 근거 문서를 표시하고 질의·응답 기록을 남기는 한편, 오염된 문서나 악성 명령이 AI에 영향을 주는 프롬프트 주입 공격에도 대비해야 한다. 원전 AX의 성패는 모델 성능뿐 아니라 출처 확인과 권한 통제, 사람의 최종 검증 체계에 달린 셈이다. 한수원은 2024년부터 약 456억원 규모의 원전 특화 생성형 AI 플랫폼 구축을 추진해왔다. 외부망과 분리된 자체 데이터센터에 원전 데이터를 학습·연계해 보안성과 업무 전문성을 함께 확보한다는 구상이다. 이번 한컴어시스턴트 도입은 기반 모델과 지식검색 시스템을 실제 임직원의 문서 업무로 확장하는 단계로 풀이된다. 한컴에도 이번 공급은 문서 소프트웨어 사업을 공공·에너지 AX 플랫폼으로 넓히는 시험대다. 한컴은 AI국회와 BGF그룹 지식검색, 한국서부발전 생성형 AI 사업 등에 관련 제품을 공급해왔다. 향후 경쟁력은 솔루션 도입 건수보다 문서 작성시간 단축과 검색 정확도 향상 등 현장에서 확인 가능한 성과로 판가름 날 전망이다. 박성호 한수원 AI혁신처장은 “하이누리에 한컴어시스턴트를 더해 임직원이 체감할 수 있는 AI 업무 환경으로 도약했다”며 편의 기능을 계속 확대하겠다고 밝혔다. 김연수 한컴 대표는 “국가 핵심 산업인 원전에서 생성형 AI를 안전하게 활용할 수 있는 환경을 구축했다”며 산업별 소버린 AI 사업을 확대하겠다고 말했다.2026-07-23 12:12:30
많이 본 뉴스
영상
Youtube 바로가기
![[사설] 소상공인 대출에 AI 도입, 새로운 기회인가 새로운 차별인가](https://image.ajunews.com/content/image/2026/07/28/20260728100134503869_518_323.png)