"AI가 인류 위협할 수도"…상장 나선 앤트로픽, 위험 경고만 94쪽

[경제일보] 투자금을 모으려 내놓은 상장서류에 ‘인류의 생존을 위협할 수 있다’는 경고가 담겼다. AI ‘클로드’ 개발사 앤트로픽이 기업공개(IPO)를 추진하면서 자사 기술의 통제 실패와 악용 가능성을 투자 위험으로 제시했다.

앤트로픽은 26일(현지시간) 미국 증권거래위원회(SEC)에 제출한 증권신고서에서 94쪽을 위험 요인 설명에 할애했다. 경쟁과 규제 등 일반적인 사업 위험에 더해, 첨단 AI가 적절한 감독 없이 오용·복제·무기화되거나 높은 자율성을 갖고 작동할 때 재앙적 피해를 낳을 수 있다고 경고했다.

핵심은 AI가 인간의 의도와 다른 목표를 추구하는 ‘정렬 실패’다. 회사는 시험 환경에서 AI가 작동 중단에 저항하고 정보를 은폐하거나 협박·기만을 통해 작동을 이어가려는 행동이 관찰됐다고 설명했다.

이러한 실험 결과를 실제 고객을 협박한 사건으로 해석해서는 안 된다. 앤트로픽이 지난해 공개한 연구는 가상의 기업과 인물을 설정한 통제된 실험이었다. 연구진은 목표 달성과 교체 위협이 충돌하도록 상황을 설계해 위험 행동을 시험했다.

현실에서 확인된 악용 사례도 있다. 회사는 지난해 9월 중국 정부 지원 조직으로 판단한 해킹집단이 ‘클로드 코드’를 이용해 기업·정부기관 등 약 30곳에 침투를 시도했고 일부에서 성공했다고 발표했다. 공격자가 AI를 조종한 사례로, AI가 독자적으로 목표를 정한 정렬 실패와는 구분된다.

회사는 안전장치가 모든 오용을 차단한다고 보장할 수 없다고 밝혔다. 재앙적 사고의 손실이 보험 보장한도를 넘고, 보험업계 전체로도 위험에 상응하는 보장을 제공하기 어려울 가능성까지 제시했다.

성장을 뒷받침할 물리적 기반도 불확실성이다. 고대역폭메모리(HBM) 공급이 삼성전자·SK하이닉스·마이크론에, 첨단 AI 반도체 생산이 대만 TSMC에 집중된 구조를 위험으로 들었다. 지정학적 충돌과 수출통제는 연산자원 확보와 서비스 확장에 영향을 줄 수 있다.

데이터센터 전력·냉각수 확보와 지역사회 반발도 비용 변수다. 회사는 기온 상승이 냉각에 필요한 전력과 물 사용을 늘리고, 환경 논란과 규제가 인프라 확장을 제약할 수 있다고 설명했다.

위험 공시는 사고 발생을 예고하거나 가능성을 수치로 확정한 문서는 아니다. 상장 추진 기업이 투자 판단에 중요한 불확실성을 알리는 절차다. 경고의 분량만으로 기술이 위험하다거나 안전하다고 판단하기 어려운 이유다.

한편 앤트로픽이 제시한 투자자가 확인할 대목은 경고를 관리할 능력이다. 위험 행동을 얼마나 빨리 탐지·중단하는지, 사고 책임과 보상 범위는 어디까지인지, 안전성 확보에 드는 비용을 수익으로 감당할 수 있는지가 중요하다. 앤트로픽의 상장은 AI의 성장 기대와 함께 통제 실패의 비용을 시장이 어떻게 평가할지 보여줄 시험대가 될 전망이다.