AI도 해킹당한다…정부, 프롬프트 공격 막는 보안 매뉴얼 냈다

[경제일보] 정부가 인공지능(AI) 서비스 보안 위협에 대응하기 위한 실무 매뉴얼을 내놨다. AI가 금융, 의료, 공공, 제조, 통신 등 주요 산업으로 빠르게 확산되면서 프롬프트 인젝션과 권한 오남용, 데이터 유출 같은 새로운 공격에 대응할 기준이 필요해졌기 때문이다.

과학기술정보통신부는 한국인터넷진흥원(KISA)과 함께 ‘AI 보안 위협 대응 매뉴얼’과 ‘AI 보안 레드티밍 가이드’를 발간했다고 8일 밝혔다. 두 자료는 AI 환경에서 발생할 수 있는 주요 보안 위협을 분류하고 산업 현장에서 활용할 수 있는 점검·대응 절차를 제시하는 데 초점을 맞췄다.

AI 보안 위협은 기존 정보보호 체계만으로 충분히 막기 어렵다. 공격자가 AI 모델에 악성 명령을 숨겨 원하는 답변을 유도하는 프롬프트 인젝션, 에이전트 권한을 악용한 데이터 접근, 학습 데이터 유출, 외부 모델과 플러그인 공급망 공격 등이 대표적이다. AI가 스스로 도구를 호출하고 업무를 수행하는 에이전트 형태로 발전할수록 공격 표면도 넓어진다.

‘AI 보안 위협 대응 매뉴얼’은 AI 보안 위험을 데이터, 모델, 에이전트, 공급망, 고성능 모델 등 5개 영역으로 나눴다. 각 영역별 진단 지표를 제시하고 금융, 의료, 공공·행정, 교육, 제조·에너지, 통신, 법률, IT 등 8개 분야별 위협 시나리오와 대응 방안도 담았다.

경영진과 실무자의 활용 방식도 구분했다. 최고경영자 등 C레벨에는 AI 보안 위협의 종류와 실제 사례를 쉽게 설명하고, 보안 담당자와 IT 운영자에게는 위협을 어떻게 진단하고 어떤 기준으로 대응할지 안내한다. AI 도입이 기술 부서만의 일이 아니라 경영 리스크 관리로 옮겨가고 있다는 점을 반영한 구성이다.

함께 발간된 ‘AI 보안 레드티밍 가이드’는 기업 내부에서 AI 보안 점검을 직접 수행해야 하는 실무진을 위한 안내서다. 레드팀은 공격자 관점에서 시스템을 시험해 취약점을 찾아내는 조직이다. 이번 가이드는 AI 레드팀을 기획하고 구성하는 단계부터 준비, 실행, 결과 보고까지 전 과정을 다룬다.

현장 활용성을 높이기 위한 부록도 포함됐다. 레드티밍 체크리스트, 점검 도구, 인력별 직무기술서가 담겼다. 정부 차원에서 여러 산업 분야에 적용 가능한 AI 보안 레드팀 운영 기준을 제시했다는 점에서 의미가 있다.

이번 가이드는 기업의 AI 도입 속도가 빨라지는 상황에서 나왔다. 생성형 AI를 고객 상담, 문서 작성, 코드 개발, 데이터 분석에 활용하는 기업이 늘고 있지만 보안 검증 체계는 아직 초기 단계인 경우가 많다. 특히 외부 AI 모델과 사내 데이터가 연결될 경우 정보 유출과 권한 관리 문제가 함께 발생할 수 있다.

임정규 과기정통부 정보보호네트워크정책관은 “AI 기술의 확산과 함께 보안 위협도 빠르게 진화하고 있다”며 “이번 가이드가 AI 서비스의 보안 수준을 높이고 현장에서 활용할 수 있는 실질적인 기준이 되기를 기대한다”고 말했다.