검색결과 총 6건
-
KAIST, MS 'AI 레드팀' 합류…국내 대학 중 유일
[경제일보] 한국과학기술원(KAIST)이 국내 대학 가운데 유일하게 마이크로소프트(MS)의 글로벌 인공지능(AI) 안전성 연구 네트워크에 합류했다. 생성형 AI와 AI 에이전트의 활용이 확산하는 가운데 글로벌 기업과 대학이 협력해 실제 서비스에서 발생할 수 있는 보안 위협을 선제적으로 검증한다. KAIST는 전산학부 손수엘 교수 연구팀이 MS AI 레드팀이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘엑스트라(EXTRA·External Red Team Alliance)’ 연구팀으로 선정됐다고 28일 밝혔다. 엑스트라는 MS가 올해 시작한 외부 AI 레드팀 연구 지원 프로그램이다. 기업 내부 조직에 머물던 AI 안전성 평가를 세계 대학과 연구기관으로 확대해 다양한 관점에서 생성형 AI의 취약점과 위험성을 검증하는 것이 목적이다. 프로그램에는 6개 대륙의 10여개 대학과 연구기관이 참여한다. 국내 대학 가운데 선정된 곳은 KAIST가 유일하다. 손 교수 연구팀은 2만5000달러, 약 3700만원의 연구비를 지원받아 글로벌 연구진과 함께 AI 보안과 신뢰성 연구를 수행한다. 손 교수 연구팀은 생성형 AI와 대규모언어모델(LLM)을 대상으로 해킹을 통한 모델 탈취와 개인정보 유출, 악성 명령을 주입해 의도하지 않은 행동을 유도하는 프롬프트 주입 공격 등을 분석하고 있다. 연구 범위는 단순한 챗봇을 넘어 외부 시스템과 연결돼 스스로 업무를 수행하는 AI 에이전트까지 확대된다. AI 에이전트는 문서 작성과 정보 검색뿐 아니라 외부 도구 호출, 데이터 처리, 시스템 제어 등을 연속적으로 수행한다. 권한과 접근 범위를 적절히 통제하지 못하면 개인정보나 기업 내부 정보가 노출될 수 있어 서비스 구축 단계부터 공격 가능성을 점검해야 한다. 연구팀은 실제 서비스 환경에서 발생할 수 있는 공격 경로를 찾아내고, AI가 악성 명령이나 조작된 정보를 구분하도록 하는 방어 기술을 개발할 계획이다. 공격자의 관점에서 취약점을 검증하는 레드팀 연구와 이를 차단하는 보안 기술을 함께 고도화한다. 최근 글로벌 AI 기업들은 모델 성능 경쟁과 함께 안전성 검증을 핵심 과제로 삼고 있다. AI가 금융과 의료, 공공, 제조 등 민감한 데이터를 다루는 산업으로 확산하면서 모델 자체뿐 아니라 데이터와 외부 도구, 네트워크를 연결하는 전체 서비스 구조의 보안이 중요해졌기 때문이다. 이번 프로그램 참여는 KAIST가 MS의 AI 보안 연구진 및 세계 대학들과 연구 성과를 교류하고, 국제적인 AI 안전성 평가 체계 마련에 참여할 기회가 될 전망이다. 국내 연구진의 공격·방어 기술이 글로벌 AI 서비스의 보안 기준과 평가 방법에 반영될 가능성도 커졌다. 손수엘 교수는 “AI는 성능뿐 아니라 안전성과 신뢰성이 중요해지고 있다”며 “실제 서비스에서 발생할 수 있는 보안 위협을 분석하고 누구나 안심하고 사용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다. MS AI 레드팀을 이끄는 램 샹카르 시바 쿠마르는 “AI 안전성 연구에서 대학은 핵심적인 역할을 하고 있다”며 “점점 강력해지는 AI 시스템을 평가하고 보호하며 책임감 있게 관리할 수 있도록 관련 연구를 지원하겠다”고 밝혔다.
2026-07-28 15:00:10
-
SK쉴더스 EQST, 코드게이트 2026 준우승…세계 해킹대회 존재감
[경제일보] SK쉴더스의 화이트해커 그룹 EQST가 국제해킹방어대회 ‘코드게이트 2026’에서 준우승을 차지하며 글로벌 무대에서 기술력을 입증했다. SK쉴더스는 EQST가 연합팀으로 코드게이트 2026 캡처더플래그(CTF) 일반부에 출전해 최종 2위에 올랐다고 27일 밝혔다. 과학기술정보통신부가 주최하고 코드게이트보안포럼과 한컴그룹이 주관한 이번 대회는 지난 23일부터 이틀간 서울 강남구 코엑스에서 열렸다. 올해 온라인 예선에는 88개국 3333명이 참가했으며, 일반부에서는 8개국 20개 팀이 본선에 진출했다. CTF는 참가자들이 제한된 시간 안에 시스템의 취약점을 찾거나 보안 문제를 해결해 점수를 겨루는 방식이다. 올해 일반부 본선에서는 AI와 웹, 시스템, 리버싱, 암호, 블록체인 분야의 문제가 출제됐으며 참가자들은 24시간 동안 경쟁을 펼쳤다. EQST 연합팀은 다양한 분야의 문제를 해결하며 일본의 ‘BunkyoWesterns’에 이어 2위를 차지했다. 특히 최근 공개된 게임 소프트웨어의 실제 취약점 연구를 바탕으로 구성된 시스템 해킹 문제를 풀어 높은 점수를 확보했다. 해당 문제는 공개된 지 약 7주에 불과한 최신 보안 연구를 리눅스 환경에 맞게 재구성한 것으로 알려졌다. 기존 공격 코드를 그대로 적용하는 방식이 아니라 취약점이 발생하는 원리를 분석하고 이를 새로운 운영환경에 맞춰 구현하는 능력이 요구됐다. EQST는 약 200명 규모로 구성된 SK쉴더스의 화이트해커 조직이다. 모의해킹과 취약점 연구, 레드팀, AI 보안 연구 등을 수행하며 금융과 제조, 통신, 공공 등 다양한 산업의 보안 프로젝트에 참여하고 있다. 대회에서 축적한 공격·방어 경험은 실제 고객사의 취약점 진단과 침해사고 대응 서비스에도 반영한다. 대회에 참가한 이동주 EQST Lab 선임은 “최신 취약점과 보안 연구를 꾸준히 살펴보고 관련 업무를 수행하며 쌓은 경험이 큰 도움이 됐다”며 “24시간 동안 정보를 빠르게 공유하고 각자의 강점을 살린 협업이 준우승으로 이어졌다”고 말했다. EQST는 올해 드림핵 해킹방어대회 우승과 글로벌 AI 레드팀 대회 ‘Judgement Day’ 1위도 기록했다. 오는 8월 미국 라스베이거스에서 열리는 ‘데프콘 34 CTF’ 본선에도 진출해 세계 정상급 해킹팀들과 경쟁할 예정이다. SK쉴더스 관계자는 “보안은 실제 환경을 지속적으로 연구하고 검증하는 과정이 중요하다”며 “EQST의 연구 활동을 지원하고 축적한 역량을 고객 보안 서비스 고도화에 반영하겠다”고 밝혔다. 생성형 AI 확산으로 공격 자동화와 취약점 악용 속도가 빨라지는 상황에서 최신 공격 기법을 직접 분석할 수 있는 화이트해커의 중요성도 커지고 있다. SK쉴더스는 코드게이트 준우승과 데프콘 본선 진출을 발판으로 글로벌 보안 연구 활동과 AI 기반 사이버 위협 대응 역량을 확대한다는 계획이다.
2026-07-27 11:07:39
-
SK쉴더스 EQST, AI 레드팀 대회 1위…판단 오류 취약점 공략
[경제일보] SK쉴더스 화이트해커 그룹 EQST가 글로벌 AI 레드팀 해킹대회에서 우승하며 인공지능 보안 역량을 입증했다. 생성형 AI가 산업 현장과 공공서비스 전반으로 확산되는 가운데 AI의 판단 오류를 유도하는 새로운 위협에 대응할 전문성이 중요해지고 있다는 평가다. SK쉴더스는 글로벌 AI 레드팀 해킹대회 ‘Judgement Day’에서 EQST 소속 김병현 선임이 최종 1위를 차지했다고 15일 밝혔다. 같은 팀의 마준영 선임과 김신우 선임도 각각 5위와 7위에 올라 상위권에 이름을 올렸다. 이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 방식으로 진행됐다. 단순히 시스템을 침투하는 기존 해킹과 달리 AI의 의사결정 과정을 교란하는 데 초점을 맞췄다. 시나리오는 실제 산업 환경을 반영했다. 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 8개 과제가 제시됐다. AI 판단이 잘못될 경우 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 인식되는 등 금전적 손실을 넘어 인명 피해로 이어질 수 있음을 보여준 것이다. 김병현 선임은 이미지, 음성, 영상 등 여러 형태의 입력을 활용하는 멀티모달 프롬프트 인젝션 공격으로 높은 점수를 얻었다. 이미지 안에 잘못된 행동을 유도하는 문구를 숨기거나 실제 시스템 로그처럼 보이는 입력을 설계해 AI가 기존 규칙을 따르지 않도록 유도했다. 동일한 문제를 다양한 방식으로 빠르게 공략한 점도 높은 평가를 받았다. EQST는 국내외 주요 해킹대회에서 꾸준히 성과를 내 온 SK쉴더스의 화이트해커 조직이다. 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 등 글로벌 보안 무대에서 실전 역량을 축적해왔다. 최근에는 AI 시스템을 겨냥한 레드팀 서비스와 위협 분석 역량을 강화하고 있다. SK쉴더스는 EQST가 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 바탕으로 고객사의 AI 시스템 취약점 사전 식별을 지원하고 있다고 설명했다. 글로벌 기준인 ‘OWASP Top 10 for LLM’을 반영한 자체 프레임워크를 통해 AI 보안 점검과 대응 전략도 제공하고 있다. 김병현 SK쉴더스 EQST Lab팀 선임은 “AI 판단을 교란하는 공격 가능성을 실제로 검증하고 그 결과가 AI 안전성 연구로 이어진다는 점에서 큰 보람을 느낀다”며 “앞으로도 새로운 AI 위협에 대응하는 연구를 지속하겠다”고 말했다. 김병무 SK쉴더스 사이버보안부문장 부사장은 “생성형 AI가 산업 전반으로 확산되면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다”며 “이번 대회에서 검증한 AI 레드팀 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 지원하겠다”고 밝혔다. 이번 성과는 AI 보안의 무게중심이 침입 차단에서 판단 검증으로 옮겨가고 있음을 보여준다. AI가 의료, 항공, 재난 대응처럼 사람의 생명과 직결된 의사결정에 활용될수록 공격자는 시스템의 벽보다 판단의 틈을 노릴 가능성이 크다. SK쉴더스 EQST의 우승은 국내 보안업계가 이 새로운 전장에서도 경쟁력을 갖추고 있음을 보여준 사례다.
2026-06-15 09:55:44
-
앤트로픽, '미토스'로 사이버 보안 동맹 구축… '기술 유출' 아닌 '방어 우선' 선택
[경제일보] 인공지능(AI) 기업 앤트로픽이 아직 일반에 공개되지 않은 최신 AI 모델 ‘미토스(Mythos)’를 아마존웹서비스(AWS), 구글, 애플, 마이크로소프트(MS) 등 주요 빅테크 기업들에 선제적으로 제공한다. 7일(현지시간) 앤트로픽은 ‘프로젝트 글래스윙(Project Glasswing)’이라는 이름의 공동 계획을 발표하며 AI가 해커의 손에 들어가 악용되기 전에 방어하는 쪽이 기술적 우위를 점해야 한다고 밝혔다. 이는 AI 기술의 고도화가 가져올 잠재적 위험성을 인정하고 기술 기업들이 자발적으로 ‘방어 동맹’을 구축한 첫 사례라는 점에서 의미가 깊다. 이번 결정의 배경에는 ‘미토스’가 지닌 압도적인 성능이 있다. 사이버 보안 취약점 재현 성능지표(벤치마크)인 ‘사이버짐’ 평가에서 미토스의 점수는 83.1%로 기존 최상위 모델인 ‘오퍼스 4.6’(66.6%)을 큰 격차로 뛰어넘었다. 앤트로픽은 “미토스가 소프트웨어 취약점을 발견하는 데 있어 최고 숙련자들을 제외한 대부분의 인간을 능가한다”고 밝혔다. 이러한 능력은 곧 ‘양날의 검’이다. 방어하는 입장에서는 보이지 않던 취약점을 찾아내는 강력한 무기가 되지만 공격하는 입장에서는 기존의 보안 시스템을 무력화하는 ‘만능키’가 될 수 있다. 특히 분야별 박사급 전문가 수준의 문제를 모은 ‘인류의 마지막 시험(HLE)’ 점수에서 AI 모델 최초로 50%의 벽을 넘어선 것은 미토스가 인간의 지능에 근접했음을 시사한다. 이 기술이 통제 없이 외부에 유출될 경우 국가 단위의 사이버 전쟁이나 금융 시스템 마비 등 예측 불가능한 대혼란이 발생할 수 있다. 이에 앤트로픽은 미토스를 일반에 공개하는 대신 ‘프로젝트 글래스윙’이라는 방어 동맹을 선택했다. 이 프로젝트에는 AWS, 애플, 구글, MS, 엔비디아 등 AI 인프라를 지배하는 빅테크 기업들과 시스코, 팔로알토 등 보안 전문 기업 그리고 JP모건체이스와 같은 금융 기업까지 초기 파트너로 참여했다. 앤트로픽은 이들 기업에 최대 1억 달러 규모의 모델 사용권을 제공하고 오픈소스 보안 단체들에는 400만 달러를 기부할 계획이다. 이는 기술을 독점하려는 것이 아니라 인터넷 생태계의 주요 플레이어들이 힘을 합쳐 AI가 가져올 수 있는 부작용을 최소화하자는 ‘공동 책임’의 선언이다. 다리오 아모데이 CEO는 “AI를 잘못 다루면 위험하지만, 잘만 다루면 근본적으로 더 안전한 세상을 만들 기회가 생긴다”며 이번 프로젝트의 의미를 강조했다. 앤트로픽은 이번 프로젝트를 미 정부 당국자들과도 논의해왔다고 밝혔다. 이는 AI 기술이 더 이상 민간 기업의 영역을 넘어 ‘국가 안보’의 핵심 자산이 되었음을 의미한다. 앤트로픽은 “이러한 사이버 역량의 등장은 미국과 동맹국들이 AI 기술 분야에서 확고한 우위를 유지해야 하는 또 다른 이유”라며 정부와의 협력 의지를 분명히 했다. 향후 AI 기술 개발은 ‘성능 경쟁’과 ‘안전 경쟁’이라는 두 가지 축으로 전개될 것이다. 오픈AI, 구글, 앤트로픽 등 선두 기업들은 이제 단순히 더 똑똑한 AI를 만드는 것을 넘어 ‘우리의 AI가 얼마나 안전한가’를 증명해야 하는 시대에 진입했다. 미토스와 같은 공격적인 AI를 활용해 자사의 시스템 취약점을 점검하는 ‘AI 레드팀’이 기업 보안의 표준이 될 것이다. 정부는 AI 기술의 군사적 전용을 막기 위해 핵심 모델에 대한 수출 통제나 라이선스 규제를 강화할 가능성이 높다. 앤트로픽의 이번 ‘선제적 협력’은 이러한 규제 흐름 속에서 기업의 자율성을 확보하려는 전략적 행보로도 볼 수 있다. AI가 창과 방패 역할을 모두 하게 되면서 AI 기반의 사이버 보안 솔루션 시장은 폭발적으로 성장할 것이다. 앤트로픽의 이번 결정은 AI 기술 개발의 패러다임을 바꾸는 중요한 전환점이다. 그동안 기술 기업들은 ‘성능’을 최우선으로 추구하며 ‘안전’ 문제를 부차적인 것으로 여겨왔다. 하지만 앤트로픽은 자사가 개발한 강력한 기술이 가져올 수 있는 위험을 스스로 인정하고 이를 해결하기 위해 경쟁사들과 손을 잡는 전례 없는 선택을 했다. 물론 이러한 ‘자발적 규제’가 얼마나 실효성을 가질지에 대한 회의적인 시각도 존재한다. 하지만 인류를 위협할 수 있는 기술을 개발한 기업이 스스로 그 위험을 통제하려는 책임감 있는 자세를 보였다는 점만으로도 이번 ‘프로젝트 글래스윙’은 AI 시대의 윤리적 이정표로 기록될 것이다. 미토스의 등장은 우리에게 질문을 던진다. 우리는 과연 이 강력한 지능을 통제할 준비가 되어 있는가. 앤트로픽과 빅테크들의 동맹은 그 질문에 대한 첫 번째 응답이다.
2026-04-08 07:45:06
-
-