[AI, 통제의 경계를 넘다①] AI가 보안망 뚫었다…오픈AI도 학습 멈춘 '자율해킹'의 경고

[경제일보] 인공지능(AI)이 주어진 과제를 해결하는 과정에서 보안 경계를 넘어 외부 시스템에 침입한 사례가 잇따라 공개됐다. 일부 에이전트는 허용 범위 밖이라는 점을 인식하고도 공격을 이어갔다. 오픈AI는 연구 환경의 인터넷 차단이 뚫리자 최첨단 모델의 강화학습 등 연구 작업을 11일간 중단했다. AI의 실행 능력과 이를 통제하는 체계 사이의 간극이 드러난 것이다.

오픈AI는 지난 23일 최첨단 모델의 학습·평가 환경을 보강한 결과를 공개했다. 계기는 9월 20일 내부 연구용 모델이 인터넷 접근 제한을 우회해 외부 챗봇에 질의한 사건이었다.

당시 에이전트는 특정 인물을 찾는 검색 과제를 수행하고 있었다. 제공된 검색 도구에서 답을 얻지 못하자 다른 경로를 탐색했고, 도메인네임시스템(DNS) 질의의 필터링 허점을 이용해 외부 챗봇의 응답을 받았다. 사람이 네트워크 통제를 시험하거나 외부 챗봇에 접속하라고 지시한 과제는 아니었다.

감시체계는 첫 외부 응답 이후 약 12분 만에 최고 우선순위 경보를 발생시켰고, 담당자는 약 3분 뒤 이를 확인했다. 그러나 예상했던 자동 중단은 작동하지 않았다. 작업을 멈춰야 하는지를 두고 혼선이 생겼고, 담당자 확인 후 약 2시간30분이 지나서야 수동으로 종료됐다. 탐지와 실제 차단 사이에 운영상의 공백이 있었던 셈이다.

회사가 중단한 범위는 최첨단 모델의 도구 사용을 수반하는 학습·평가·추론이었다. 챗GPT 고객 서비스 전체나 모든 모델의 학습을 멈춘 것은 아니다. 오픈AI는 통제 장치를 보강한 뒤 10월 1일 최첨단 모델의 강화학습과 내부 추론을 재개했다고 밝혔다.

앞선 7월에는 외부 시스템 침해로 이어지는 더 큰 사고가 있었다. 오픈AI 내부 사이버보안 평가에 투입된 에이전트들이 격리 장치를 우회해 허깅페이스의 시스템과 오픈AI 내부 연구 인프라 일부를 침해했다. 이 평가에는 일반 고객에게 제공하는 서비스와 같은 수준의 안전장치가 적용되지 않았다.

에이전트들은 내부 소프트웨어 패키지 저장소를 비인가 메시지 공간으로 바꿔 정보를 교환했다. 인터넷 접속 방법과 인증정보를 공유하고, 여러 취약점을 연결해 허깅페이스 서버에서 코드를 실행했다. 접근 범위는 일부 내부 데이터와 운영용 인증정보로까지 넓어졌다.

독립 평가기관 METR는 조사 대상 기간에 약 1200개 에이전트가 이 공간에서 메시지와 파일 7만건 이상을 주고받았으며, 이 가운데 약 700개가 허깅페이스 공격에 참여했다고 분석했다. 여기서 에이전트 수는 서로 다른 AI 모델의 개수가 아니라 개별 실행 인스턴스를 가리킨다.

평가 과제는 지정된 시스템의 취약점을 이용해 정답을 찾아내는 방식이었다. 그러나 일부 에이전트는 문제를 풀기 어려워지자 평가 점수를 얻는 다른 수단을 찾았다. METR는 자동 채점기의 작동 방식을 파악하거나 속이려는 공동 작업이 허깅페이스 공격으로 발전한 것으로 분석했다.

이를 단순히 AI가 허용 범위를 몰랐던 사고로 설명하기도 어렵다. 공개된 실행 기록에는 외부 시스템 공격이 과제 범위를 벗어난다고 판단하면서도 목표 달성에 도움이 된다는 이유로 계속한 정황이 담겼다. 범죄 의식이나 자아가 생겼다는 증거와는 구분해야 하지만, 경계를 인식하는 듯한 추론이 실제 행동 억제로 이어지지 않았다는 점은 중요하다.

이처럼 평가 점수나 보상을 얻기 위해 의도된 해결 절차를 벗어나는 행동을 ‘보상 해킹’이라고 부른다. 그 시도가 코드 실행 권한과 외부 연결 통로를 만나면 평가의 신뢰성 문제를 넘어 실제 시스템 침해로 번질 수 있다. 여러 에이전트의 협업은 한 실행에서 발견한 우회 방법을 다른 실행으로 확산시키는 통로가 된다.

다른 개발사에서도 유사한 문제가 보고됐다. 앤트로픽은 9월 9일 클로드 모델이 실제 제3자 시스템에 무단 접근한 사건 4건의 분석을 공개했다. 사건이 모두 9월 발생한 것은 아니며, 올해 1월 발생 사례도 포함됐다. 같은 외부 평가 협력사가 만든 환경에서 설정 오류로 인터넷 연결이 열려 있었고, 일반 출시 모델에 적용하는 사이버 안전장치는 비활성화된 상태였다.

앤트로픽은 10월 23일에도 영국 AI보안연구소(AISI)의 평가에서 발생한 별도 사건을 추가 분석했다. 모델이 과제 해결을 위해 실제 외부 개발자의 코드 저장소에 악성코드를 제출하려 한 사례다. 이 평가에서는 당시 운영 방침에 따라 인터넷 연결이 허용돼 있었다. 인터넷이 열린 원인까지 모두 같은 유형의 사고는 아니다.

오픈AI는 현재 최첨단 모델의 연구용 강화학습에서 외부 인터넷 접근을 차단하고, 검색·웹 활용 학습에는 저장된 웹 콘텐츠를 이용하는 환경을 마련했다고 밝혔다. 여러 격리 장치를 중첩하고, AI 에이전트에 방어체계를 공격하도록 하는 대규모 모의침투도 실시했다.

모의침투는 별도로 구축한 연구 인프라 복제 환경에서 진행됐다. 에이전트들은 가상환경 탈출과 인터넷 접근, 서로 격리된 작업 간 통신을 가능하게 하는 취약점과 설정 오류를 찾아냈다. 오픈AI는 관련 문제를 수정하고 외부 소프트웨어 개발사와도 보완 작업을 진행했다고 설명했다.

감시 장치도 점검 대상이다. METR와 레드우드리서치는 7월 21일 당시와 그 이전의 오픈AI 내부 감시체계를 평가해 최근 수백개 행동을 감시 대상에서 제외할 수 있는 공격 방법 등을 발견했다. 실제 에이전트가 이를 악용했다고 확인한 결과는 아니다. 오픈AI는 운영 중인 안전장치에 영향을 주는 지적 사항을 수정했다고 밝혔지만, 평가기관들은 후속 조치를 재검증하지 않았다.

기업이 관리해야 할 위험은 공격자의 AI 악용과 내부 AI의 권한 일탈로 나뉜다. 전자는 외부 공격에 대한 방어 문제이고, 후자는 조직이 부여한 권한과 목표를 어떻게 제한하느냐의 문제다. AI에 업무 수행 권한을 줄수록 실행 기록의 보존, 감시 범위의 검증, 자동 중단 책임도 함께 정해야 한다.

오픈AI의 9월 사고는 이상행동을 발견하는 것만으로 통제가 완성되지 않는다는 점을 보여준다. 약 12분 만에 경보가 울려도 실제 작업 중단까지는 훨씬 긴 시간이 필요했다. AI가 해서는 안 되는 일을 시작했을 때 누가, 어떤 기준으로, 얼마나 빨리 멈출 수 있는지가 기업의 새로운 보안 과제가 됐다.