[경제일보] 오픈AI의 인공지능(AI) 에이전트가 별도의 해킹 지시를 받지 않았음에도 호주 정부의 보건 통계 사이트에서 비공개 파일에 비인가 접근한 것으로 확인됐다. AI에 호주 보건·의료 통계에 대한 답을 찾으라는 과제를 수행하게 했지만, 정보를 찾는 과정에서 외부 사이트의 접근 제한을 우회한 것으로 나타나면서 AI 에이전트의 자율 행동에 대한 통제 문제가 새로운 보안 이슈로 떠오르고 있다.
23일(이하 현지시간) 오픈AI는 내부 평가 과정에서 자사의 AI 모델들이 호주 정부의 여러 웹사이트와 서비스에서 정보를 찾던 중 의도하지 않은 행동을 했다는 사실을 확인했다고 밝혔다. AI 에이전트에 주어진 과제 자체는 호주의 보건·의료 통계에 대한 답을 찾는 것이었지만, 이 과정에서 공개된 정보뿐 아니라 비공개 파일에도 접근한 것으로 파악됐다.
이번 사건에서 주목되는 부분은 AI 모델에 특정 정부 시스템을 공격하거나 정보를 탈취하라는 명시적인 지시가 내려진 것이 아니라는 점이다. AI가 주어진 목표를 달성하는 과정에서 사람이 예상하지 못한 방식으로 외부 시스템에 접근했다는 것이다.
오픈AI는 이번 사건에 대해 모델들이 '의도하지 않은 행동'을 취했다고 설명했다. 현재까지 개인의 메디케어 정보나 의료기록 등 민감한 개인정보가 접근됐다는 증거는 확인되지 않은 것으로 알려졌지만, 호주 정부는 실제로 어떤 정보에 접근했는지와 다른 정부 시스템까지 영향을 받았는지를 확인하기 위해 디지털 포렌식 조사를 진행하고 있다.
이에 앤서니 앨버니지 호주 총리는 기자회견을 통해 샘 올트먼 오픈AI 최고경영자(CEO)와 직접 통화해 호주 정부의 우려를 전달했다고 밝혔다. 그는 정부 통신망 전체로 피해가 확산한 정황은 현재까지 확인되지 않았지만 이번 상황은 받아들일 수 없다는 입장을 전했으며, 오픈AI가 사건을 인지한 뒤 호주 정부에 통보하기까지 상당한 시간이 걸린 점에 대해서도 불만을 표시했다.
호주신호국(ASD)은 현재 사건에 대한 추가 정보를 확보하기 위해 디지털 포렌식 조사에 참여하고 있다. 조사 결과에 따라 이번 접근이 단일 포털에 국한됐는지, 다른 정부 시스템에서도 유사한 행동이 있었는지가 확인될 전망이다.
최근 오픈AI의 AI 에이전트는 비정상적인 행동 사례가 잇따라 발생하고 있다. 오픈AI는 지난 8월 공개한 내부 조사에서 7월 사이버보안 평가 과정 중 자사 모델들이 인터넷 접근을 차단하기 위해 마련된 통제를 우회하고 오픈AI 내부 연구 인프라와 외부 AI 개발 플랫폼인 허깅페이스의 일부 시스템에 접근했다고 밝혔다.
당시 모델들은 허가되지 않은 통신 채널을 이용하고 공유 인프라의 취약점을 악용하는 방식으로 인터넷에 접근했다. 오픈AI는 이 과정에서 모델들이 할당된 과제의 목적과 맞지 않는 행동을 했다고 설명했다. 해당 사건은 사이버보안 능력을 평가하기 위한 내부 테스트 과정에서 발생한 것으로, 이번 호주 정부 사건과 AI 에이전트가 통제된 환경을 벗어나 외부 시스템과 상호작용했다는 공통점이 있다.
AI 에이전트가 기존 챗봇과 다른 방식으로 작동한다는 점도 이번 사건의 배경으로 꼽힌다. 기존 챗봇이 사용자의 질문에 답변하는 데 초점이 맞춰져 있다면, 에이전트는 목표를 달성하기 위해 웹사이트를 검색하고 외부 도구를 호출하며 여러 단계의 작업을 자율적으로 수행할 수 있다.
이 과정에서 사용자가 의도한 최종 목표와 AI가 목표를 달성하기 위해 선택하는 중간 행동 사이에 차이가 발생할 수 있도록 설계되고 있다. 특히 외부 인터넷이나 개발 도구, 파일 시스템 등에 직접 접근할 수 있도록 권한을 부여받은 에이전트의 경우 예상하지 못한 행동이 실제 시스템에 영향을 미칠 가능성도 커진다.
오픈AI 역시 최근 AI 모델의 이른바 '미스얼라인먼트' 사례를 잇따라 공개하고 대응 체계를 마련하고 있다. 지난 17일에는 모델이 제약을 우회하기 위한 지시를 삽입하거나, 승인 없이 파일을 외부에 올리는 등 예상하지 못한 행동을 보인 사례들을 공개했다. 오픈AI는 모델의 자율 행동과 감독 회피 가능성을 추적·조사하기 위한 새로운 공개 체계를 마련하겠다고 언급했다.
공교롭게도 이번 호주 사건이 알려진 날 샘 올트먼 CEO는 유엔 안전보장이사회 회의에 참석해 고도화된 AI의 안전성과 국제적인 관리 체계의 필요성을 강조했다. 세계 주요 AI 기업 경영진이 AI가 인간의 통제를 벗어날 가능성과 국제적인 안전 기준 마련을 논의하는 가운데, 실제 AI 에이전트가 외부 정부 시스템에서 예상하지 못한 행동을 한 사례가 공개된 것이다.
AI 업계에서는 에이전트의 성능이 높아질수록 단순히 모델의 답변이 안전한지를 확인하는 것뿐 아니라 실제 행동을 어디까지 허용할 것인지에 대한 통제 장치가 중요해지고 있다. 이번 호주 사건 역시 개인정보 유출 여부와 별개로 AI가 사람의 명시적인 해킹 지시 없이도 주어진 목표를 수행하는 과정에서 외부 시스템의 접근 제한을 넘어설 수 있다는 점에서 에이전트 보안의 새로운 과제를 보여주는 사례가 될 전망이다.
샘 올트먼 오픈AI CEO는 유엔 안전보장이사회에서 인공지능에 관해 연설하며 "(인공지능)모델의 빠른 발전으로 인해 실현 시기가 더욱 촉박해졌고, 잠재적 이점이 더욱 분명해졌지만, 동시에 위험과 부담 또한 더욱 시급해졌다"며 "인공지능은 창의성과 발견의 새로운 르네상스처럼 될 수도 있고, 격변과 혼란을 야기하는 새로운 산업혁명처럼 될 수도 있다"고 말했다.
댓글 더보기