[데스크 칼럼] AI가 스스로 AI를 만든다면, 브레이크는 누가 잡나

[경제일보] AI 업계에는 오래된 질문이 하나 있다. 더 똑똑해진 AI가 다음 AI를 만들기 시작하면 누가 그 속도를 정할 것인가.

이를 ‘지능 폭발(Intelligence Explosion)’이라 부른다. AI가 스스로 더 나은 AI를 만들고, 그 AI가 다시 더 뛰어난 후속 모델을 만드는 과정이 반복되면서 인간이 따라가기 어려운 속도로 지능이 높아지는 상황이다. 아직 현실이 된 것은 아니다. 그렇다고 공상과학 속 이야기로만 치부하기도 어려워졌다.

이미 AI는 AI를 만드는 데 쓰이고 있다. 코드를 짜고 오류를 찾고 실험 결과를 분석한다. 연구자가 하던 작업의 상당 부분을 에이전트가 맡기 시작했다. 사람은 방향을 정하고 결과를 검토하지만 그 사이의 과정은 점점 기계의 몫으로 넘어간다.

여기까지는 생산성 혁명이다. 문제는 다음 단계다. AI가 실험 방법을 정하고 성능 개선안을 만들고 스스로 검증한 뒤 후속 모델 개발까지 맡게 된다면 인간은 언제 개입해야 하는가.

AI 기업들도 이런 위험을 공개적으로 언급하기 시작했다. 앤트로픽은 최근 AI가 자체 개발 과정에 참여하는 비중이 빠르게 커지고 있다고 밝혔다. OpenAI 역시 완전한 재귀적 자기개선은 아직 일어나고 있지 않지만 AI가 차세대 모델 개발을 가속하는 방향으로 움직이고 있다는 점은 인정하고 있다.

중요한 것은 지금 AI가 인간을 넘어섰느냐가 아니다. 통제 장치가 기술 발전보다 늦어지고 있지 않은가 하는 점이다.

과거의 기술은 문제가 생기면 공장을 멈추거나 제품을 회수할 수 있었다. AI는 다르다. 복제 속도가 빠르고 국경도 없다. 하나의 모델이 수많은 서비스와 기업 시스템에 동시에 들어간다. 판단 과정도 사람이 완전히 이해하지 못하는 경우가 많다. 성능이 높아질수록 편리함은 커지지만 잘못됐을 때 영향을 되돌리는 일은 더 어려워질 수 있다.

그렇다고 AI 개발을 멈추자는 결론으로 갈 필요는 없다. 의료와 과학, 제조와 에너지에서 AI가 만들어낼 이익은 크다. 개발을 늦춘다고 다른 나라와 기업까지 함께 멈춘다는 보장도 없다.

필요한 것은 브레이크다. 자동차가 빨라질수록 엔진만 키우는 것이 아니라 제동장치도 함께 발전시킨다. AI도 그래야 한다.

일정 수준 이상의 자율성과 자기개선 능력을 가진 모델에는 별도의 안전평가가 필요하다. 개발 기업의 자체 판단만으로 출시 여부를 결정하는 구조도 다시 볼 필요가 있다. 외부 검증과 사고 보고, 비상 중단 절차가 작동해야 한다. 무엇보다 AI가 다음 AI를 만드는 과정에서 인간의 승인과 검증을 어디까지 남길 것인지 기준을 세워야 한다.

한국도 이 논의를 남의 일처럼 볼 때가 아니다. AI 3강을 외치고 GPU와 데이터센터 확보에 속도를 내는 만큼 안전과 통제 기술에도 투자해야 한다. 성능 경쟁만 따라가다 안전 규칙을 해외 기업이 만든 뒤 받아쓰는 처지가 돼서는 안 된다.

지능 폭발이 실제로 올지는 누구도 확신할 수 없다. 그러나 한 가지는 분명하다. 위험이 확인된 뒤 브레이크를 만드는 방식으로는 너무 늦을 수 있다는 점이다.

AI 시대의 경쟁력은 가장 빠른 모델을 만드는 능력만으로 결정되지 않는다. 빠르게 달리면서도 필요할 때 멈출 수 있는 능력까지 갖춘 나라와 기업이 오래간다. 엔진은 이미 충분히 빨라지고 있다. 이제 물어야 할 것은 속도가 아니다. 인간이 끝까지 운전대를 잡고 있을 수 있느냐다.