검색
'OWASP Top 10 for LLM' 검색결과
검색결과 총 2건
-
"AI도 해킹 표적 된다"…S2W, AI 취약점 진단 시장 공략
[경제일보] 기업들의 생성형 인공지능(AI) 도입이 본격화되며 AI가 직접 업무를 수행하는 '에이전틱 AI' 시대가 열리면서 AI 자체를 겨냥한 새로운 보안 위협이 빠르게 증가하고 있다. 프롬프트 인젝션과 데이터 탈취, 권한 오남용 등 기존 보안 체계만으로 대응하기 어려운 공격 기법이 등장하는 가운데, AI 서비스를 공격자의 관점에서 점검하는 'AI 레드티밍'과 취약점 진단 시장도 확대되고 있다. 30일 빅데이터 분석 AI 기업 S2W는 기업의 안전한 AI 도입과 활용을 지원하기 위해 AI 서비스 취약점 진단 사업을 본격 확대한다고 밝혔다. S2W는 이번 사업이 대규모 언어모델(LLM)과 AI 에이전트를 활용한 서비스가 빠르게 확산되는 상황에서 기업들이 AI 서비스에 대한 보안성을 사전에 검증하고 잠재적 위험을 최소화할 수 있도록 지원하기 위해 마련됐다고 설명했다. 최근 금융과 제조, 공공 분야를 중심으로 생성형 AI 도입이 확대되면서 AI가 기업의 핵심 업무 시스템과 연계되는 사례가 늘어나고 있지만, AI 특성을 고려한 보안 점검 체계는 아직 초기 단계에 머물러 있다는 것이다. 특히 AI 서비스는 기존 정보기술(IT) 시스템과 달리 프롬프트 조작을 통한 정보 유출과 권한 탈취, 악성 데이터 입력을 통한 오작동 유발 등 새로운 유형의 보안 위협에 노출돼 있다. AI 에이전트가 외부 서비스와 연동해 자율적으로 업무를 수행하는 사례가 늘어나면서 AI 보안의 중요성 역시 더욱 커지고 있다. 실제로 최근 정부도 AI 보안 체계 마련에 속도를 내고 있다. 과학기술정보통신부와 한국인터넷진흥원(KISA)은 최근 'AI 보안 레드티밍 가이드'를 발간하고 공격자 관점에서 AI 서비스의 보안성을 점검하기 위한 절차와 방법론을 제시했다. AI 도입이 기업 경쟁력과 직결되는 시대가 도래하면서 사전 보안 검증의 필요성이 커지고 있다는 분석이다. S2W는 해당 흐름에 맞춰 공격자의 시각에서 AI 서비스의 잠재적 취약점을 진단하는 AI 서비스 취약점 진단 사업을 확대한다. 다크웹과 텔레그램, 해킹 포럼 등에서 수집한 실제 LLM 공격 기법을 점검 과정에 즉시 적용할 수 있는 오펜시브 보안 역량을 기반으로 AI 서비스 전반의 보안성을 검증한다는 계획이다. 특히 S2W는 국제 비영리 보안 단체인 OWASP가 제정한 'OWASP Top 10 for LLM'을 기본 기준으로 활용하고, 산업별 특수성을 고려한 추가 점검 항목을 적용해 도메인 적합성을 높였다고 설명했다. 이를 통해 모델과 프롬프트, 데이터, AI 에이전트 등 AI 서비스를 구성하는 다양한 요소에 내재된 취약점을 정밀 진단하고 공격자의 악용 가능성을 다면적으로 검증할 예정이다. 기업들이 AI를 핵심 업무 시스템과 연계하는 사례가 늘어나면서 AI 서비스에 대한 보안 요구 수준도 높아지고 있다. 생성형 AI가 단순 질의응답을 넘어 업무 자동화와 의사결정 지원 역할까지 수행하게 되면서 서비스 도입 이전 단계부터 취약점을 점검하려는 수요 역시 증가하는 추세다. AI 보안 시장이 기존 정보보안의 하위 영역이 아닌 독립적인 시장으로 성장하고 있다는 평가가 나오는 이유다. S2W는 AI 서비스 취약점 진단 사업 개시와 동시에 최근 국내 대형 금융사의 AI 서비스 취약점 진단 사업도 수주했다. 금융권의 엄격한 보안 기준과 규제 환경을 고려한 취약점 진단을 수행 중이며, 향후 제조와 공공 등 다양한 산업 분야로 사업 영역을 확대할 계획이다. 또한 각 산업별 AI 활용 방식과 서비스 구조, 보안 요구사항 등을 종합적으로 반영한 맞춤형 취약점 진단 서비스를 제공하고, 자체 개발한 AI 기반 점검 도구와 오펜시브 보안 전문가들의 노하우를 결합해 AI 서비스의 안전한 도입을 지원한다는 방침이다. 양종헌 S2W 통합분석실장은 "AI 서비스의 잠재적 위험을 사전에 찾아내기 위해서는 AI를 활용한 정교한 점검과 공격자 관점의 전문적인 검증이 함께 이뤄져야 한다"며 "S2W는 자체 개발한 AI 기반 도구에 오펜시브 보안 전문가의 노하우를 결합해 기업이 AI 서비스를 보다 안전하게 도입하고 운영할 수 있도록 실효성 높은 진단 서비스를 제공하고 있다"고 말했다.
2026-07-30 14:51:19
-
SK쉴더스 EQST, AI 레드팀 대회 1위…판단 오류 취약점 공략
[경제일보] SK쉴더스 화이트해커 그룹 EQST가 글로벌 AI 레드팀 해킹대회에서 우승하며 인공지능 보안 역량을 입증했다. 생성형 AI가 산업 현장과 공공서비스 전반으로 확산되는 가운데 AI의 판단 오류를 유도하는 새로운 위협에 대응할 전문성이 중요해지고 있다는 평가다. SK쉴더스는 글로벌 AI 레드팀 해킹대회 ‘Judgement Day’에서 EQST 소속 김병현 선임이 최종 1위를 차지했다고 15일 밝혔다. 같은 팀의 마준영 선임과 김신우 선임도 각각 5위와 7위에 올라 상위권에 이름을 올렸다. 이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 방식으로 진행됐다. 단순히 시스템을 침투하는 기존 해킹과 달리 AI의 의사결정 과정을 교란하는 데 초점을 맞췄다. 시나리오는 실제 산업 환경을 반영했다. 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 8개 과제가 제시됐다. AI 판단이 잘못될 경우 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 인식되는 등 금전적 손실을 넘어 인명 피해로 이어질 수 있음을 보여준 것이다. 김병현 선임은 이미지, 음성, 영상 등 여러 형태의 입력을 활용하는 멀티모달 프롬프트 인젝션 공격으로 높은 점수를 얻었다. 이미지 안에 잘못된 행동을 유도하는 문구를 숨기거나 실제 시스템 로그처럼 보이는 입력을 설계해 AI가 기존 규칙을 따르지 않도록 유도했다. 동일한 문제를 다양한 방식으로 빠르게 공략한 점도 높은 평가를 받았다. EQST는 국내외 주요 해킹대회에서 꾸준히 성과를 내 온 SK쉴더스의 화이트해커 조직이다. 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 등 글로벌 보안 무대에서 실전 역량을 축적해왔다. 최근에는 AI 시스템을 겨냥한 레드팀 서비스와 위협 분석 역량을 강화하고 있다. SK쉴더스는 EQST가 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 바탕으로 고객사의 AI 시스템 취약점 사전 식별을 지원하고 있다고 설명했다. 글로벌 기준인 ‘OWASP Top 10 for LLM’을 반영한 자체 프레임워크를 통해 AI 보안 점검과 대응 전략도 제공하고 있다. 김병현 SK쉴더스 EQST Lab팀 선임은 “AI 판단을 교란하는 공격 가능성을 실제로 검증하고 그 결과가 AI 안전성 연구로 이어진다는 점에서 큰 보람을 느낀다”며 “앞으로도 새로운 AI 위협에 대응하는 연구를 지속하겠다”고 말했다. 김병무 SK쉴더스 사이버보안부문장 부사장은 “생성형 AI가 산업 전반으로 확산되면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다”며 “이번 대회에서 검증한 AI 레드팀 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 지원하겠다”고 밝혔다. 이번 성과는 AI 보안의 무게중심이 침입 차단에서 판단 검증으로 옮겨가고 있음을 보여준다. AI가 의료, 항공, 재난 대응처럼 사람의 생명과 직결된 의사결정에 활용될수록 공격자는 시스템의 벽보다 판단의 틈을 노릴 가능성이 크다. SK쉴더스 EQST의 우승은 국내 보안업계가 이 새로운 전장에서도 경쟁력을 갖추고 있음을 보여준 사례다.
2026-06-15 09:55:44