2026.06.15 월요일
검색
'AI 레드팀' 검색결과
기간검색
-
~
검색영역
검색어
-
SK쉴더스 EQST, AI 레드팀 대회 1위…판단 오류 취약점 공략 [경제일보] SK쉴더스 화이트해커 그룹 EQST가 글로벌 AI 레드팀 해킹대회에서 우승하며 인공지능 보안 역량을 입증했다. 생성형 AI가 산업 현장과 공공서비스 전반으로 확산되는 가운데 AI의 판단 오류를 유도하는 새로운 위협에 대응할 전문성이 중요해지고 있다는 평가다. SK쉴더스는 글로벌 AI 레드팀 해킹대회 ‘Judgement Day’에서 EQST 소속 김병현 선임이 최종 1위를 차지했다고 15일 밝혔다. 같은 팀의 마준영 선임과 김신우 선임도 각각 5위와 7위에 올라 상위권에 이름을 올렸다. 이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 방식으로 진행됐다. 단순히 시스템을 침투하는 기존 해킹과 달리 AI의 의사결정 과정을 교란하는 데 초점을 맞췄다. 시나리오는 실제 산업 환경을 반영했다. 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 8개 과제가 제시됐다. AI 판단이 잘못될 경우 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 인식되는 등 금전적 손실을 넘어 인명 피해로 이어질 수 있음을 보여준 것이다. 김병현 선임은 이미지, 음성, 영상 등 여러 형태의 입력을 활용하는 멀티모달 프롬프트 인젝션 공격으로 높은 점수를 얻었다. 이미지 안에 잘못된 행동을 유도하는 문구를 숨기거나 실제 시스템 로그처럼 보이는 입력을 설계해 AI가 기존 규칙을 따르지 않도록 유도했다. 동일한 문제를 다양한 방식으로 빠르게 공략한 점도 높은 평가를 받았다. EQST는 국내외 주요 해킹대회에서 꾸준히 성과를 내 온 SK쉴더스의 화이트해커 조직이다. 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 등 글로벌 보안 무대에서 실전 역량을 축적해왔다. 최근에는 AI 시스템을 겨냥한 레드팀 서비스와 위협 분석 역량을 강화하고 있다. SK쉴더스는 EQST가 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 바탕으로 고객사의 AI 시스템 취약점 사전 식별을 지원하고 있다고 설명했다. 글로벌 기준인 ‘OWASP Top 10 for LLM’을 반영한 자체 프레임워크를 통해 AI 보안 점검과 대응 전략도 제공하고 있다. 김병현 SK쉴더스 EQST Lab팀 선임은 “AI 판단을 교란하는 공격 가능성을 실제로 검증하고 그 결과가 AI 안전성 연구로 이어진다는 점에서 큰 보람을 느낀다”며 “앞으로도 새로운 AI 위협에 대응하는 연구를 지속하겠다”고 말했다. 김병무 SK쉴더스 사이버보안부문장 부사장은 “생성형 AI가 산업 전반으로 확산되면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다”며 “이번 대회에서 검증한 AI 레드팀 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 지원하겠다”고 밝혔다. 이번 성과는 AI 보안의 무게중심이 침입 차단에서 판단 검증으로 옮겨가고 있음을 보여준다. AI가 의료, 항공, 재난 대응처럼 사람의 생명과 직결된 의사결정에 활용될수록 공격자는 시스템의 벽보다 판단의 틈을 노릴 가능성이 크다. SK쉴더스 EQST의 우승은 국내 보안업계가 이 새로운 전장에서도 경쟁력을 갖추고 있음을 보여준 사례다.2026-06-15 09:55:44
-
앤트로픽, '미토스'로 사이버 보안 동맹 구축… '기술 유출' 아닌 '방어 우선' 선택 [경제일보] 인공지능(AI) 기업 앤트로픽이 아직 일반에 공개되지 않은 최신 AI 모델 ‘미토스(Mythos)’를 아마존웹서비스(AWS), 구글, 애플, 마이크로소프트(MS) 등 주요 빅테크 기업들에 선제적으로 제공한다. 7일(현지시간) 앤트로픽은 ‘프로젝트 글래스윙(Project Glasswing)’이라는 이름의 공동 계획을 발표하며 AI가 해커의 손에 들어가 악용되기 전에 방어하는 쪽이 기술적 우위를 점해야 한다고 밝혔다. 이는 AI 기술의 고도화가 가져올 잠재적 위험성을 인정하고 기술 기업들이 자발적으로 ‘방어 동맹’을 구축한 첫 사례라는 점에서 의미가 깊다. 이번 결정의 배경에는 ‘미토스’가 지닌 압도적인 성능이 있다. 사이버 보안 취약점 재현 성능지표(벤치마크)인 ‘사이버짐’ 평가에서 미토스의 점수는 83.1%로 기존 최상위 모델인 ‘오퍼스 4.6’(66.6%)을 큰 격차로 뛰어넘었다. 앤트로픽은 “미토스가 소프트웨어 취약점을 발견하는 데 있어 최고 숙련자들을 제외한 대부분의 인간을 능가한다”고 밝혔다. 이러한 능력은 곧 ‘양날의 검’이다. 방어하는 입장에서는 보이지 않던 취약점을 찾아내는 강력한 무기가 되지만 공격하는 입장에서는 기존의 보안 시스템을 무력화하는 ‘만능키’가 될 수 있다. 특히 분야별 박사급 전문가 수준의 문제를 모은 ‘인류의 마지막 시험(HLE)’ 점수에서 AI 모델 최초로 50%의 벽을 넘어선 것은 미토스가 인간의 지능에 근접했음을 시사한다. 이 기술이 통제 없이 외부에 유출될 경우 국가 단위의 사이버 전쟁이나 금융 시스템 마비 등 예측 불가능한 대혼란이 발생할 수 있다. 이에 앤트로픽은 미토스를 일반에 공개하는 대신 ‘프로젝트 글래스윙’이라는 방어 동맹을 선택했다. 이 프로젝트에는 AWS, 애플, 구글, MS, 엔비디아 등 AI 인프라를 지배하는 빅테크 기업들과 시스코, 팔로알토 등 보안 전문 기업 그리고 JP모건체이스와 같은 금융 기업까지 초기 파트너로 참여했다. 앤트로픽은 이들 기업에 최대 1억 달러 규모의 모델 사용권을 제공하고 오픈소스 보안 단체들에는 400만 달러를 기부할 계획이다. 이는 기술을 독점하려는 것이 아니라 인터넷 생태계의 주요 플레이어들이 힘을 합쳐 AI가 가져올 수 있는 부작용을 최소화하자는 ‘공동 책임’의 선언이다. 다리오 아모데이 CEO는 “AI를 잘못 다루면 위험하지만, 잘만 다루면 근본적으로 더 안전한 세상을 만들 기회가 생긴다”며 이번 프로젝트의 의미를 강조했다. 앤트로픽은 이번 프로젝트를 미 정부 당국자들과도 논의해왔다고 밝혔다. 이는 AI 기술이 더 이상 민간 기업의 영역을 넘어 ‘국가 안보’의 핵심 자산이 되었음을 의미한다. 앤트로픽은 “이러한 사이버 역량의 등장은 미국과 동맹국들이 AI 기술 분야에서 확고한 우위를 유지해야 하는 또 다른 이유”라며 정부와의 협력 의지를 분명히 했다. 향후 AI 기술 개발은 ‘성능 경쟁’과 ‘안전 경쟁’이라는 두 가지 축으로 전개될 것이다. 오픈AI, 구글, 앤트로픽 등 선두 기업들은 이제 단순히 더 똑똑한 AI를 만드는 것을 넘어 ‘우리의 AI가 얼마나 안전한가’를 증명해야 하는 시대에 진입했다. 미토스와 같은 공격적인 AI를 활용해 자사의 시스템 취약점을 점검하는 ‘AI 레드팀’이 기업 보안의 표준이 될 것이다. 정부는 AI 기술의 군사적 전용을 막기 위해 핵심 모델에 대한 수출 통제나 라이선스 규제를 강화할 가능성이 높다. 앤트로픽의 이번 ‘선제적 협력’은 이러한 규제 흐름 속에서 기업의 자율성을 확보하려는 전략적 행보로도 볼 수 있다. AI가 창과 방패 역할을 모두 하게 되면서 AI 기반의 사이버 보안 솔루션 시장은 폭발적으로 성장할 것이다. 앤트로픽의 이번 결정은 AI 기술 개발의 패러다임을 바꾸는 중요한 전환점이다. 그동안 기술 기업들은 ‘성능’을 최우선으로 추구하며 ‘안전’ 문제를 부차적인 것으로 여겨왔다. 하지만 앤트로픽은 자사가 개발한 강력한 기술이 가져올 수 있는 위험을 스스로 인정하고 이를 해결하기 위해 경쟁사들과 손을 잡는 전례 없는 선택을 했다. 물론 이러한 ‘자발적 규제’가 얼마나 실효성을 가질지에 대한 회의적인 시각도 존재한다. 하지만 인류를 위협할 수 있는 기술을 개발한 기업이 스스로 그 위험을 통제하려는 책임감 있는 자세를 보였다는 점만으로도 이번 ‘프로젝트 글래스윙’은 AI 시대의 윤리적 이정표로 기록될 것이다. 미토스의 등장은 우리에게 질문을 던진다. 우리는 과연 이 강력한 지능을 통제할 준비가 되어 있는가. 앤트로픽과 빅테크들의 동맹은 그 질문에 대한 첫 번째 응답이다.2026-04-08 07:45:06
-
SKT·LG유플러스, 레드팀 챌린지로 글로벌 검증 돌입…AI 성능 넘어 안전성 경쟁 [이코노믹데일리] 세계 이동통신사들이 독자 인공지능(AI) 모델을 앞세워 글로벌 신뢰성 검증 경쟁에 본격적으로 나섰다. AI 성능뿐 아니라 안전성과 책임성까지 경쟁력의 핵심 요소로 부상하면서 통신사들이 AI 기업으로의 전환을 가속화하는 데 있어 이번 기회를 통해 안전성과 신뢰성을 확보한다는 구상이다. 25일 SK텔레콤과 LG유플러스는 스페인 바르셀로나에서 열리는 MWC26 기간 중 진행되는 '글로벌 AI 레드팀 챌린지'에 참여해 자체 개발 대형언어모델(LLM)의 안전성과 신뢰성 검증에 나선다고 밝혔다. 이번 챌린지는 세계이동통신사업자연합회(GSMA)와 AI 평가 전문기업 셀렉트스타가 공동 주최하는 프로그램으로 약 100명의 평가단이 안전장치 우회, 편향 및 차별, 허위정보 생성, 불법 콘텐츠 대응, 사이버 공격 대응 등 7개 분야로 나눠 AI가 해서는 안 되는 응답을 생성하는지 여부를 평가한다. SK텔레콤은 독자 개발한 LLM 'A.X K1'을 출품한다. A.X K1은 모델 설계부터 학습까지 전 과정을 자체 기술로 구축한 모델로 통신 서비스 '에이닷'을 비롯해 그룹 내부 업무 전반에 적용되고 있다. SK텔레콤은 이번 검증을 통해 글로벌 기준에서 모델의 안전성과 신뢰성을 확보하고 그 결과를 반영해 AI 서비스 완성도를 높인다는 계획이다. LG유플러스는 통신 특화 AI 모델 '익시젠'으로 챌린지에 참여한다. 익시젠은 통신 환경에 최적화된 생성형 AI 모델로 실제 사용자 환경에서 발생할 수 있는 다양한 위험 시나리오 대응 능력을 점검받는다. LG유플러스는 검증 결과를 바탕으로 모델 취약점을 보완하고 글로벌 수준의 AI 안전성을 확보할 방침이다. 이번 레드팀 챌린지는 단순한 기술 시연을 넘어 글로벌 AI 주도권 경쟁의 핵심 전장으로 평가된다. 생성형 AI 산업이 빠르게 확산되면서 성능 경쟁을 넘어 안전성과 신뢰성 확보가 AI 경쟁력의 핵심 기준으로 자리 잡고 있기 때문이다. AI 모델이 잘못된 정보나 부적절한 응답을 생성할 경우 서비스 신뢰도는 물론 기업 경쟁력에도 직접적인 영향을 미칠 수 있다. AI 에이전트의 의사결정 통제와 안전성 문제가 현실적인 리스크로 부각되고 있다. 최근 한 자동화 암호화폐 거래 AI는 사용자 요청을 처리하는 과정에서 약 25만 달러(약 3억6000만원) 상당의 토큰을 의도와 다르게 전송하는 사고가 발생했고 지난 2023년에는 미국 뉴욕 연방법원에서 변호사가 생성형 AI가 만든 허위 판례를 실제 사례로 제출했다가 법원 제재를 받는 사건이 발생한 것으로 알려졌다. AI의 활용도가 점점 높아지면서 AI의 오용 가능성과 예측 불가능성에 대한 우려도 동시에 커지고 있다. 이에 문제를 점검할 수 있는 레드팀 방식의 검증은 글로벌 표준으로 자리 잡고 있다. 레드팀은 실제 공격자 관점에서 AI 모델의 취약점을 탐색하는 방식으로 AI의 안전성과 신뢰성을 객관적으로 평가할 수 있는 방법으로 평가된다. 통신사들의 이번 참여는 AI 기업으로의 전환 전략과도 맞물려 있다. 통신사들은 기존 네트워크 중심 사업 구조에서 벗어나 AI 모델과 플랫폼을 중심으로 한 새로운 성장 동력을 확보하고 있다. 김태윤 SK텔레콤 파운데이션 모델 담당은 "AI가 고객의 일상과 사회 전반에 널리 확산되면서 기술 경쟁력과 함께 안전성과 신뢰성 확보가 더욱 중요해지고 있다"며 "'글로벌 AI 레드팀 챌린지' 참여를 통해 SKT가 보유한 AI 기술에 대한 신뢰성을 한층 높이는 계기로 삼겠다"고 말했다. 이혜진 LG유플러스 기술전략담당은 "AI가 통신과 고객 서비스 전반에 빠르게 적용되고 있는 만큼 성능뿐 아니라 신뢰성과 안전성을 검증하는 과정이 무엇보다 중요하다"며 "글로벌 AI 레드팀 챌린지 참여를 통해 익시젠의 경쟁력을 한층 강화하고 고객이 안심하고 사용할 수 있는 AI 서비스를 제공해 나가겠다"고 말했다.2026-02-25 11:30:40
-
LG유플러스 '익시젠', MWC서 'AI 레드팀 챌린지' 출전 [이코노믹데일리] LG유플러스(대표 홍범식)는 생성형 AI의 안전성과 신뢰성을 검증하기 위해 모바일월드콩그레스(MWC) 기간 중 열리는 '글로벌 AI 레드팀 챌린지'에 참여한다고 19일 밝혔다. 이번 챌린지는 세계이동통신사업자연합회(GSMA)가 주관하는 AI 검증 프로그램으로 내달 2일(현지시간)부터 스페인 바르셀로나에서 진행되는 MWC 2026에서 개최된다. 글로벌 AI 레드팀 챌린지는 MWC와 공식 공동 개최되는 개발자·디지털 인재 행사 '탤런트 아레나 2026'의 핵심 프로그램 중 하나로 글로벌 통신사와 테크 기업이 개발한 AI 모델을 대상으로 실전 검증을 진행할 예정이다. LG유플러스는 이번 챌린지에 자체 개발한 통신 특화 AI 모델 '익시젠'을 출품해 실제 사용자 관점에서 발생할 수 있는 다양한 위험 시나리오에 대한 대응 역량을 점검할 계획이다. 총 180분간 약 100명의 참가자가 '레드팀'으로 참여해 무작위로 배정된 AI 모델을 대상으로 프롬프트 설계만으로 AI의 취약점을 찾아내는 방식으로 진행된다. 결과는 3명의 심사위원이 평가하며 성공 미션 수와 성공률을 기준으로 순위를 정할 예정이다. 이번 챌린지는 기술적 해킹이 아닌 대화·프롬프트 기반 공격을 통해 AI의 정책과 안전 장치를 우회할 수 있는지를 검증한다. 참가자들은 안전장치 우회, 편향·차별, 인권 침해, 사이버 공격, 불법 콘텐츠, 허위정보, 응답 비일관성 등 7개 항목에서 AI의 대응 수준을 평가한다. 특히 이번 챌린지는 AI 응답의 정확성 여부가 아니라 '해서는 안 되는 응답을 했는지'를 성공 기준으로 삼는다. 해당 AI가 제공한 불법 행위나 인권 침해 등과 관련한 정보가 사실과는 다르더라도 AI가 정보를 제공했다면 취약점으로 판단한다. 이는 생성형 AI가 초래할 수 있는 간접적·잠재적 위험까지 점검할 전망이다. LG유플러스는 이번 참여를 통해 '익시젠'의 안전성과 신뢰성을 객관적으로 검증하고, 확인된 취약점을 바탕으로 모델을 지속 고도화할 계획이다. 또한 글로벌 통신사 및 AI 전문가들과의 교류를 확대해 AI 보안과 책임 있는 활용 방안을 모색할 방침이다. 이혜진 LG유플러스 기술전략담당은 "AI가 통신과 고객 서비스 전반에 빠르게 적용되고 있는 만큼 성능뿐 아니라 신뢰성과 안전성을 검증하는 과정이 무엇보다 중요하다"며 "글로벌 AI 레드팀 챌린지 참여를 통해 익시젠의 경쟁력을 한층 강화하고 고객이 안심하고 사용할 수 있는 AI 서비스를 제공해 나가겠다"고 말했다.2026-02-19 09:05:16
많이 본 뉴스
영상
Youtube 바로가기
![[사설] 수출은 웃는데 일자리는 운다…고용 없는 성장의 늪에서 벗어나야](https://image.ajunews.com/content/image/2026/06/15/20260615092226320900_518_323.jpg)