[AI, 통제의 경계를 넘다②] AI 비서가 회사 내부자가 된다…송금·삭제 권한까지 맡겨도 될까

[경제일보] 인공지능(AI)이 기업의 업무시스템을 사용하는 새로운 주체로 들어오고 있다. 이메일과 문서를 읽고 고객정보를 조회하는 데서 나아가 파일 수정과 외부 서비스 호출까지 맡는다. 기업이 AI 에이전트에 일을 넘길수록 보안의 초점도 답변의 정확성에서 실행 권한과 승인 절차로 넓어지고 있다.

AI 에이전트는 주어진 목표를 수행하기 위해 필요한 도구를 호출하고 여러 단계의 작업을 이어간다. 메일·문서 저장소·사내 메신저·전사적자원관리(ERP) 시스템을 연결하면 직원이 프로그램을 일일이 열지 않아도 업무를 처리할 수 있다. 중요한 차이는 챗봇이라는 이름이 아니라 어떤 데이터와 기능에 접근하도록 설계했느냐에 있다.

이때 직원 계정을 훔치지 않고도 정보를 빼낼 수 있는 공격 경로가 생긴다. 대표적인 것이 ‘간접 프롬프트 인젝션’이다. 공격자가 이메일이나 웹페이지, 문서에 지시를 넣고 AI가 이를 업무 명령으로 받아들이도록 유도하는 방식이다. 업무상 읽어야 할 자료가 AI의 행동을 바꾸는 통로가 되는 것이다.

이는 가정에만 머물지 않는다. 보안 연구진이 2025년 공개한 ‘에코리크(EchoLeak)’는 마이크로소프트 365 코파일럿이 외부 이메일의 지시에 영향을 받아 내부 정보를 외부로 보낼 수 있음을 입증한 취약점이다. 별도로 직원 계정에 로그인하거나 이용자가 악성 링크를 클릭하게 할 필요가 없었다. 다만 연구진은 공개 당시 실제 고객 피해는 확인하지 못했다고 밝혔다.

이 사례는 AI에 파일 전송 버튼을 맡기지 않았다고 안심할 수 없다는 점도 보여준다. 당시에는 응답에 포함된 이미지를 불러오는 통신 경로가 정보 전송에 악용됐다. 자료를 읽는 권한뿐 아니라 응답을 표시하는 방식과 외부 통신 경로까지 함께 점검해야 한다는 의미다.

국제 비영리 보안단체 OWASP도 ‘에이전트 애플리케이션 10대 보안 위험 2026년판’에서 목표 탈취, 도구 오용, 신원·권한 남용, 메모리·맥락 오염 등을 제시했다. 2025년 12월 공개된 이 목록은 AI가 읽는 자료와 연결 도구, 다른 에이전트와의 통신까지 공격 대상이 될 수 있음을 다룬다.

국내에서도 생활 서비스와 기업·공공 업무 양쪽에서 실행형 AI 개발이 진행되고 있다. 카카오는 지난 13일 개발자 행사에서 ‘카나나 스페이스’를 공개했다. 메시지 전송과 일정 관리, 검색 등을 요청하는 서비스로, 오는 12월 사전 신청자 일부를 대상으로 비공개 베타 테스트를 진행할 계획이다.

주문·선물·예약·송금은 향후 고도화 방향으로 제시됐다. 카카오는 에이전트에 필요한 정보만 허용된 범위에서 전달하고, 행동 계획과 실행이 이용자의 동의 범위 안에서 이뤄지도록 안전체계를 고도화하겠다고 밝혔다.

네이버클라우드는 지난 8월 에이전트 구축 솔루션 ‘EASY’를 소개했다. 자연어로 업무를 설명하면 기관별 에이전트를 만들고 운영하도록 지원하는 구상이다. 당시 발표한 정식 출시 목표는 2027년 상반기다. 공공 협업 플랫폼에서 내부 문서와 업무 실행을 연결하려는 방향으로, 개인용 생활 비서와 적용 대상은 다르다.

공통 과제는 사용자가 일을 맡기는 범위와 시스템이 허용하는 권한을 일치시키는 것이다. ‘출장비를 정리해 달라’는 요청에 필요한 것은 영수증 조회와 정산서 작성일 수 있다. 이를 이유로 모든 계좌정보와 지급 승인권을 상시 부여하면 업무에 필요한 범위를 넘어선다.

보안업계는 비인간 신원(NHI·Non-Human Identity) 관리에 주목하고 있다. 서비스 계정과 API 키, 자동화 프로그램의 인증정보는 AI 이전에도 관리 대상이었다. 여기에 에이전트의 신원과 위임 권한, 실행 범위를 연결해 관리할 필요가 커진 것이다.

SK쉴더스는 8월 19일 NHI를 대상으로 제로트러스트 기반 AI 보안사업을 강화한다고 밝혔다. AI가 접근하는 시스템과 데이터, 권한의 적정성을 진단하고 거버넌스와 보안체계 구축을 지원한다는 내용이다. 한 번 인증한 주체라도 모든 접근을 신뢰하지 않고 요청별 권한을 검증하는 방식이다.

신원을 확인하는 것만으로 문제를 해결할 수는 없다. 정상적인 인증정보를 사용하는 에이전트가 외부 문서의 지시에 휘둘릴 수도 있기 때문이다. 도구를 실행하는 시스템에서 수신처·금액·파일 범위 등을 검사하고 허용되지 않은 요청을 거부해야 한다. 모델에 ‘조심해서 처리하라’고 지시하는 것과 실제 실행을 제한하는 장치는 구분된다.

사람의 승인도 구체적인 실행 내용과 연결돼야 한다. 송금이라면 수취인과 계좌·금액을, 삭제라면 대상과 복구 가능 여부를 확인하도록 설계할 수 있다. 승인 후 대상이나 금액이 바뀌면 다시 확인하게 해야 한다. 형식적인 확인 버튼만으로는 승인한 작업과 실제 작업이 같은지 보장하기 어렵다.

권한은 업무에 필요한 기간과 범위로 제한하고, 업무가 끝나면 인증정보를 회수하거나 만료시키는 관리가 필요하다. 영업용 AI가 인사정보까지 조회하거나 시험용 에이전트가 운영 시스템의 인증정보를 공유하지 않도록 역할과 환경도 나눠야 한다.

실행 기록에는 누가 무엇을 요청했는지, 어떤 자료와 도구를 이용했는지, 누가 승인했고 시스템에서 무엇이 바뀌었는지가 연결돼야 한다. 모델의 내부 추론을 전부 저장하는 것과는 다른 문제다. 로그 자체에 개인정보와 영업비밀이 쌓일 수 있어 보관기간과 접근권한, 마스킹 기준도 함께 정해야 한다.

정부도 관련 기준을 논의하고 있다. 한국인터넷진흥원(KISA)은 지난 22일 게시한 ‘2026 개인정보 이슈 심층 분석 보고서’ 3호에서 AI 에이전트 외부연동 환경의 개인정보 보호 쟁점을 다뤘다.

개인정보보호위원회가 9월 공개한 국내외 AI 개발·도입 기관 15곳의 인터뷰 결과에서도 프롬프트 인젝션과 과도한 권한이 주요 위험으로 꼽혔다. 참여 기관들은 자율 실행과 승인 절차의 경계, 참여 주체별 책임, 로그·메모리의 보관·파기 기준이 필요하다고 제시했다. 개인정보위는 논의 결과를 올해 말 공개 예정인 에이전틱 AI 개인정보 처리 안내서 등에 반영할 계획이다.

AI 비서에게 정산서 작성을 맡기는 것과 돈을 보내도록 허용하는 것은 별도로 설계할 수 있다. 조회·작성·승인·실행 권한을 나누고, 허용 범위를 넘는 행동은 시스템에서 차단하는 방식이다. 기업이 확인해야 할 것은 AI가 일을 끝냈다는 답변뿐 아니라 실제로 어떤 권한을 사용해 무엇을 바꿨는지다.