해킹 넘어 내부 AI도 관리 대상…마이크로소프트, '에이전틱 내부자' 경고

[경제일보] 기업이 업무 효율화를 위해 도입한 인공지능(AI) 에이전트가 새로운 보안 위협으로 떠오르고 있다. AI가 외부 공격자의 해킹 도구로 활용되는 것을 넘어 기업 내부 데이터와 시스템에 접근해 업무를 수행하는 과정에서도 예상하지 못한 행동을 할 수 있기 때문이다. 마이크로소프트는 기업이 직접 배포한 AI 에이전트도 지속적으로 감독하고, 위험 수준에 따라 행동 권한을 조정해야 할 것으로 전망했다.

20일 마이크로소프트는 기업 내부에서 활동하는 AI 에이전트를 '에이전틱 내부자'로 규정하고, 이를 보호하기 위한 보안 접근법을 제시했다고 밝혔다.

최근 AI를 활용한 사이버 공격 사례도 잇따르고 있다. 최근 해커가 자율형 AI 에이전트를 이용해 미국과 캐나다, 호주, 일본 등의 기업 웹사이트 100곳 이상을 공격하는 등 공격 사례가 많아지고 있다. AI를 활용해 취약점을 탐색하고 침입 과정을 자동화한 사례로 분석된다.

◆ 기업 내부에서 활동하는 '에이전틱 내부자'

마이크로소프트는 기업이 직접 도입한 AI 에이전트도 별도의 보안 관리 대상이 돼야 한다고 보고 있다. 에이전트는 코드 작성과 정보 조사뿐 아니라 매출 분석, 비용 처리 등 실제 업무를 수행하며 사내 문서와 데이터베이스, 클라우드 서비스 등에 접근할 수 있다. 이 과정에서 권한이 과도하게 부여되거나 예상과 다른 행동을 하면 민감 정보 유출과 시스템 오작동으로 이어질 수 있는 것이다.

AI 모델이 목표 달성에 집중하는 과정에서 의도하지 않은 수단을 선택하는 '보상 해킹'도 위험 요인으로 꼽힌다. 주변 상황이나 입력 정보가 달라지면 에이전트의 계획과 행동이 바뀔 수 있는 만큼, 배포 단계의 권한 설정만으로는 충분하지 않은 것이다.

마이크로소프트가 제시한 대응책의 핵심은 에이전트의 행동을 실행하기 전에 위험을 평가하고, 위험 수준에 따라 권한을 조정하는 것이다. 이를 위해 다른 AI 에이전트의 행동을 지속적으로 감독하는 '가디언 에이전트'를 제시했다.
가디언 에이전트는 지난 7월 발표한 에이전틱 보안 시스템 '프로젝트 퍼셉션'을 기반으로 한다. 해당 시스템은 레드·블루·그린 에이전트 팀과 보안 기술을 결합해 위협을 탐지하고 대응하도록 설계됐다. 마이크로소프트는 이를 외부 공격 방어뿐 아니라 기업 내부 에이전트의 관리·통제에도 적용할 수 있다고 설명했다.

프로젝트 퍼셉션은 기업 내 에이전트를 탐지하고, 행동 맥락에 따라 위험도를 산정한 뒤, 위험 수준에 맞춰 감독과 대응을 수행하는 구조다. ID와 권한, 데이터, 클라우드, 네트워크, 실행 환경 등 여러 계층을 함께 보호해 에이전트의 접근과 행동을 통제한다는 구상이다.

◆ 국내 기업도 권한 관리 점검 필요성 커진다

이 같은 접근법은 AI 에이전트를 도입하는 기업에도 과제를 던진다. 에이전트가 어떤 데이터와 시스템에 접근할 수 있는지 파악하고, 업무에 필요한 최소한의 권한만 부여해야 한다. 중요한 작업에는 사람의 승인을 거치도록 하고, 작업 기록을 남겨 문제가 발생했을 때 원인을 추적할 수 있는 체계도 필요하다.

보안 담당자의 역할도 중요하다. AI 기반 보안 시스템이 위험을 빠르게 탐지하더라도 담당자가 결과를 확인하고 정책과 통제 기준을 조정해야 하기 때문이다. 에이전트의 자율성을 지나치게 제한하면 업무 효율이 떨어질 수 있어 보안과 자동화 수준 사이의 균형도 고려해야 하는 것이다.

마이크로소프트는 에이전트가 어떤 행동을 하는지 파악하는 것을 넘어 행동의 원인과 업무 목적의 부합 여부까지 확인할 수 있도록 모델 투명성을 높여야 한다고 강조했다. 다만 모델의 추론 정보만으로 안전성을 완전히 판단할 수는 없어 독립적인 보안 통제와 결합할 필요가 있는 것으로 진단했다.

하예테 갈로트 마이크로소프트 시큐리티 총괄 수석 부사장은 "AI 에이전트가 기업 전반에 빠르게 확산되면서 데이터와 도구, 시스템에 접근해 중요한 업무를 수행하고 의사결정에도 관여하고 있다"며 "기업은 에이전트의 활동과 위험을 실시간으로 파악하고, 위험 변화에 따라 행동 권한을 지속적으로 조정해야 한다"고 말했다.