2026.10.16 금요일
검색
'AI안전연구소' 검색결과
기간검색
-
~
검색영역
검색어
-
![[2026 국감] AI 성능에 6조, 안전엔 274억…과기부, 국감서 브레이크](https://image.ajunews.com//content/image/2026/10/06/20261006144453107566.jpg)
AI 성능에 6조, 안전엔 274억…과기부, 국감서 '브레이크' [경제일보] 정부의 내년도 인공지능(AI) 예산 확대가 모델 성능과 인프라에 집중되면서 AI 자체의 위험을 평가·통제할 투자도 늘려야 한다는 요구가 국정감사에서 나왔다. 과학기술정보통신부 소관 AI 예산 정부안은 9조4308억원이지만 안전·신뢰 분야는 274억원으로 약 0.3%에 머물렀다. 배경훈 부총리 겸 과기정통부 장관은 안전연구소의 인력·예산 확충 필요성을 인정하고 12월 종합계획을 발표하겠다고 밝혔다. 이주희 더불어민주당 의원은 6일 국회 과학기술정보방송통신위원회 국감에서 “가속페달은 급속히 키워져 가고 있는데 브레이크는 지금 그대로인 상황”이라며 안전 분야 투자 확대를 촉구했다. 이 의원이 과기정통부에서 제출받은 자료에 따르면 내년 AI 성능·인프라 예산은 6조1490억원으로 전체의 65.2%다. 모델 개발, GPU 등 컴퓨팅 자원, 데이터 구축이 포함된다. 안전·신뢰 예산에는 안전성 평가·검증과 공격자 관점의 위험 시험, 딥페이크 대응, 윤리·영향평가 등이 분류됐다. 의원실이 제시한 기능별 기준에 따라 과기정통부가 세부 사업을 나눠 제출한 결과다. 두 분야의 예산 비율은 224대1로, 2024년 36대1보다 벌어졌다. 성능·인프라 예산은 올해보다 116% 늘어나지만 안전·신뢰 분야 증가율은 36%다. 안전 예산의 절대 규모가 늘어도 개발·인프라 투자 확대 속도를 따라가지 못하는 구조다. 274억원의 구성은 AI 안전 기술개발 152억원, 안전한 AI 활용 기반 조성 101억원, AI 신뢰성 및 산업 생태계 기반 조성 21억원이다. 뒤의 두 사업은 올해와 편성액이 같다. 이 의원은 안전 예산을 전체 AI 예산의 최소 1%로 높이고 단계별 확대 계획을 제시하라고 요구했다. 현 정부안의 AI 총액에 1%를 적용하면 약 943억원으로, 현재 안전·신뢰 편성액보다 약 669억원 많다. 핵심 쟁점은 AI를 사이버방어에 활용하는 능력과 AI의 행동을 통제하는 능력을 함께 확보하는 데 있다. 취약점을 찾아 공격을 막는 보안 특화 모델을 개발하는 동시에, 모델이 허용된 작업 범위를 벗어나거나 외부 시스템에 접근하는 위험을 평가하고 차단할 체계도 필요하다는 지적이다. 해외에서는 시험 중인 AI가 통제를 벗어난 실제 사고가 발생했다. 오픈AI는 지난 8월 공개한 조사보고서에서 7월 내부 사이버보안 평가 중 AI 모델들이 인터넷 격리 통제를 우회해 자사 연구 인프라와 허깅페이스 시스템에 침입했다고 밝혔다. 안전장치를 축소한 시험 환경에서 발생한 사건으로, 회사는 인터넷 접근 제한과 평가 환경 격리, 이상행동 감시를 강화하겠다고 설명했다. 영국 AI보안연구소(AISI)도 지난 8월 보고서에서 인터넷 접근을 허용하고 일부 안전 필터를 해제한 사이버 평가 도중 에이전트가 실제 인물·기관을 겨냥한 승인되지 않은 행동을 했다고 공개했다. 대응책으로 외부 접속 통제, 실시간 감시, 평가 환경 재설계를 제시했다. AI 안전 평가에는 모델을 시험하는 전문인력뿐 아니라 시험이 외부 피해로 이어지지 않도록 격리하는 인프라도 요구된다. 국내 평가 역량을 담당할 AI안전연구소의 인력 문제도 제기됐다. 이 의원은 인력이 26명에서 38명으로 늘었지만 해외 주요국보다 부족하다며 확충을 요구했다. 연구소는 AI 안전성 평가와 정책·기술 연구, 주요국 연구기관과의 협력을 맡고 있다. 이 의원은 정부 지원 모델의 학습·시험 과정에서 외부 접속을 어디까지 허용하는지, 이상행동이 발생하면 누가 실행을 중단하고 보고하는지 명확히 해야 한다고 강조했다. 배 부총리는 관련 해외 사고로 인한 국내 기관 피해는 아직 확인되지 않았다고 설명했다. 배 부총리는 “고영향 AI나 AI의 안전성을 평가할 때 영국의 안전연구소에 많이 의뢰한다”며 국내 연구소의 인력과 예산을 늘려 역량을 확보하는 일이 중요하다고 밝혔다. 정부는 보안 특화 모델과 프론티어 AI 개발을 통한 사이버안보 대응도 추진한다. 과기정통부는 12월 ‘국가 AI 안전생태계 조성 마스터플랜’을 수립·발표할 계획이다. 배 부총리는 국가 AI 안전관리체계 구축, 첨단 AI 안전 대응 역량 강화, 국민 일상의 안전한 AI 환경 조성을 준비하겠다고 밝혔다.2026-10-06 14:46:43
-
네이버, AI 안전도 개발 단계부터 관리…110개 위험 항목으로 점검 [경제일보] 네이버가 인공지능(AI) 안전 관리를 모델 자체의 성능 검증을 넘어 서비스 개발·운영 전 과정으로 확대한다. AI 서비스에서 발생할 수 있는 위험을 110개 세부 항목으로 분류하고, AI 답변도 유해성뿐 아니라 이용자에게 적절한 응답인지까지 함께 평가하는 체계를 구축했다. AI가 검색·쇼핑 등 네이버 주요 서비스에 빠르게 적용되는 만큼 서비스 출시 이후 대응하는 방식에서 벗어나 개발 단계부터 위험을 관리한다는 전략이다. 16일 네이버는 첫 번째 'AI 세이프티 프로그레스 리포트'를 공개하고 자체 AI 안전 프레임워크 'ASF 2.0'을 기반으로 AI 서비스의 안전성을 관리하고 있다고 밝혔다. ASF 2.0은 AI 모델의 성능과 위험뿐 아니라 이용자와 서비스 보호까지 관리 범위를 확대한 것이 특징이다. 네이버는 AI 서비스의 설계·개발 단계부터 출시와 운영까지 전 과정에서 안전성을 점검하는 체계를 마련했다. 실행 체계인 'CHEC 2.0'을 통해 실제 서비스 개발 과정에 안전성 검토를 적용한다. AI 서비스에서 발생할 수 있는 위험을 구체적으로 분류한 기준도 마련했다. 'N-ARTI(네이버 AI 리스크 분류 & 식별)'는 법률·사회·산업 현장에서 나타난 사례를 바탕으로 AI 서비스의 위험을 110개 세부 항목으로 분류한다. AI 서비스마다 발생할 수 있는 위험이 다른 만큼 서비스 특성을 반영하면서도 회사 전체에서 일관된 기준으로 안전성을 점검하기 위한 목적으로 해당 항목으로 나눴다. 네이버는 N-ARTI를 기반으로 서비스별 위험 요소를 파악하고 필요한 안전장치인 가드레일을 구축한다는 구상이다. AI가 내놓는 답변을 평가하는 방식도 단순히 유해한 답변을 차단하는 데서 벗어났다. 네이버는 'N-ASET(네이버 AI 안전 평가 툴킷)'을 통해 AI 서비스의 응답을 '유해성'과 '사용성' 측면에서 함께 평가한다. 유해성 평가는 AI가 위험하거나 부적절한 답변을 제공하는지를 확인하는 방식이다. 사용성 평가는 이용자의 질문 의도에 맞는 답변을 제공하는지 살펴보는 데 초점을 둔다. 안전을 이유로 필요한 답변까지 일괄적으로 제한하기보다는 답변에 주의사항이나 전문가 안내 등 적절한 안전 요소를 포함하면서 이용자에게 필요한 정보를 제공하는지를 함께 평가한다는 설명이다. 네이버는 실제 서비스에도 이 같은 안전관리 체계를 적용하고 있다. AI 쇼핑 에이전트와 날씨 서비스에는 AI가 활용됐다는 사실을 이용자가 알 수 있도록 표시·고지하고 있다. 지난 6월 출시한 AI 탭도 서비스 출시 과정에서 CHEC 2.0에 따른 안전성 점검을 진행했다. 최근 AI가 검색과 쇼핑 등 이용자 접점이 넓은 서비스로 확산하면서 안전관리 역시 서비스 개발의 일부로 다뤄야 하는 것으로 꼽힌다. AI 모델의 성능이 높아지더라도 실제 서비스에서는 개인정보, 잘못된 정보, 부적절한 답변 등 다양한 위험이 발생할 수 있어 서비스 특성에 따른 사전 점검이 필요하기 때문이다. 네이버는 AI 안전 체계를 외부 전문기관과 함께 고도화할 계획이다. KAIST, 서울대학교 AI정책 이니셔티브(SAPI), 고려대학교 AI안전연구센터, AI안전연구소(AISI) 등과 협력해 AI 안전 관련 연구와 정책 논의를 이어간다. 원성재 네이버 AI 안전 센터장은 "AI 기술이 이용자의 일상에 빠르게 스며들면서 AI 안전성 역시 이론적 논의를 넘어 실제 서비스 환경에서 구체적으로 다뤄야 하는 단계에 접어들고 있다"며 "네이버는 AI의 개발과 이용 전 과정에서 인간 중심의 가치를 최우선으로 두고, AI 서비스에서 발생할 수 있는 위험을 예방하고 완화할 수 있도록 ASF 2.0을 지속적으로 고도화하고 적용해 나갈 것"이라고 말했다.2026-09-16 16:51:49
-
앤트로픽 최신 AI 멈췄다…美정부, 외국인 접근 전면 차단 [경제일보] 미국 인공지능(AI) 기업 앤트로픽이 최신 AI 모델 ‘Fable 5’와 ‘Mythos 5’ 서비스를 전면 중단했다. 미국 정부가 국가안보 우려를 이유로 외국 국적자의 접근을 금지하는 수출통제 지침을 내리면서다. AI 모델 자체가 반도체처럼 전략 기술 통제 대상에 오를 수 있음을 보여준 사건이다. 앤트로픽은 12일 공식 성명을 통해 미국 정부가 Fable 5와 Mythos 5에 대해 외국 국적자의 접근을 중단하라는 지침을 내렸다고 밝혔다. 적용 대상은 미국 밖 이용자뿐 아니라 미국 내 외국 국적자, 앤트로픽 소속 외국인 직원까지 포함된다. 회사는 규정 준수를 위해 일부 이용자만 제한하는 대신 전체 고객을 대상으로 두 모델 접근을 비활성화했다. 이번 조치의 발단에는 아마존의 문제 제기가 있었던 것으로 알려졌다. 월스트리트저널은 앤디 재시 아마존 최고경영자(CEO)가 스콧 베센트 미 재무장관 등 정부 고위 관계자에게 앤트로픽 모델의 보안 위험을 전달했다고 보도했다. 로이터통신도 아마존이 앤트로픽의 최신 모델과 관련한 보안 우려를 미 정부에 제기했다고 전했다. 핵심 쟁점은 ‘탈옥’ 가능성이다. 정부는 Fable 5의 안전장치를 우회해 소프트웨어 취약점을 찾는 방식이 사이버 공격에 악용될 수 있다고 본 것으로 전해졌다. 고성능 AI 모델이 보안 결함 탐지와 코드 분석 능력을 갖추면 방어 목적뿐 아니라 공격 준비에도 활용될 수 있다는 우려다. 앤트로픽은 정부 판단에 반발했다. 회사는 정부가 구체적이고 충분한 기술 근거를 제시하지 않았으며, 자사가 확인한 사례는 이미 알려진 소수의 경미한 취약점을 찾는 수준이라고 밝혔다. 또 다른 공개 AI 모델들도 비슷한 정보를 제공할 수 있어 Fable 5와 Mythos 5만 특별히 위험하다고 보기 어렵다는 입장이다. 앤트로픽은 Fable 5 출시 전 미국 정부, 영국 AI안전연구소, 민간 보안기관과 함께 수천 시간의 레드팀 검증을 진행했다고 설명했다. 또 광범위한 안전장치 우회, 이른바 범용 탈옥은 아직 확인되지 않았다고 주장했다. 다만 완벽한 탈옥 방지는 현재 어떤 모델 제공자에게도 쉽지 않다는 점은 인정했다. 이번 사태는 AI 안전 논쟁이 ‘자율 규제’에서 ‘국가안보 통제’로 넘어가는 신호로 해석된다. 미국은 그동안 첨단 AI 반도체와 장비 수출을 통제해 왔지만 이번에는 AI 모델 접근 자체를 제한했다. 모델의 성능이 사이버 안보와 생물학 연구, 소프트웨어 자동화 등 이중용도 영역으로 확장되면서 규제의 초점이 하드웨어에서 소프트웨어와 이용자 접근권으로 넓어진 셈이다. 아마존과 앤트로픽의 관계도 주목된다. 아마존은 앤트로픽의 주요 투자자이자 클라우드·AI 칩 인프라 협력사다. 양사는 AWS 트레이니움 칩을 활용한 대규모 컴퓨팅 협력을 확대하고 있다. 그런 아마존이 보안 우려를 정부에 전달했고 결과적으로 앤트로픽의 핵심 모델 중단으로 이어졌다는 점은 AI 생태계 내부의 긴장도 보여준다. 앤트로픽 입장에서는 타격이 작지 않다. Fable 5는 일반 이용자에게 개방된 최상위급 모델이고 Mythos 5는 사이버 방어와 생명과학 연구 등 제한된 파트너에게 제공되는 고성능 모델이다. 두 모델은 앤트로픽이 오픈AI와 정면 경쟁하기 위해 내세운 핵심 무기였다. 출시 직후 정부 통제로 서비스가 중단되면서 기술력보다 규제 리스크가 먼저 부각됐다. 기업공개(IPO)를 앞둔 투자심리에도 부담이 될 수 있다. 앤트로픽은 최근 미국 증시 상장을 위한 절차에 들어간 것으로 알려져 있다. 투자자들은 고성능 모델의 매출 성장성과 기업 고객 확장을 기대해 왔지만 이번 사태는 AI 기업의 성장성이 정부 규제와 안보 판단에 따라 순식간에 흔들릴 수 있음을 보여줬다. 반사이익은 경쟁사로 향할 가능성이 있다. 오픈AI, 구글, xAI 등 경쟁 업체들은 같은 수준의 규제가 적용될지 촉각을 곤두세우고 있다. 앤트로픽만 규제 대상이 되는 경우 기업 고객 일부가 대체 모델로 이동할 수 있다. 반대로 미국 정부가 같은 기준을 전 업계에 적용하면 프런티어 AI 모델 출시 속도 자체가 느려질 수 있다. 이번 사태의 본질은 한 모델의 취약점 논란에 그치지 않는다. AI가 코드를 쓰고 취약점을 찾고 과학 연구를 보조하는 단계에 들어서면서 모델 성능은 곧 안보 자산이자 통제 대상이 되고 있다. 앤트로픽은 “오해”라고 말하고 정부는 “국가안보”를 말한다. 어느 쪽이 옳은지는 후속 검증이 필요하지만 분명한 것은 AI 산업의 규칙이 바뀌고 있다는 점이다. 이번 앤트로픽의 Fable 5 중단은 AI 시대의 성장 공식이 기술 혁신과 규제 대응을 동시에 요구하는 국면으로 접어들었음을 보여주는 사건이다.2026-06-14 11:06:57
-
정부, 오픈AI GTAC 참여 공식화...앤스로픽 '글래스윙'도 가시권 [경제일보] 우리 정부가 오픈AI의 사이버보안 협력 프로그램에 참여하며 고성능 인공지능(AI)이 불러온 새로운 보안 위협 대응에 나선다. 앤트로픽의 ‘클로드 미토스’처럼 취약점 탐지와 공격 경로 분석 능력을 갖춘 AI 모델이 등장하면서, 국가 핵심 시스템 방어를 위해 글로벌 AI 기업과의 협력을 확대하는 흐름이다. 과학기술정보통신부는 오픈AI의 ‘신뢰 기반 사이버 접근 프로그램’(TAC)에 참여한다고 27일 밝혔다. 일부에서는 정부·기관 협력 성격을 강조해 GTAC로 부르지만, 공개된 설명상 공식 명칭은 TAC다. 이 프로그램은 검증된 정부·공공기관과 보안 조직이 고성능 AI 모델의 사이버보안 기능을 제한적으로 활용할 수 있도록 하는 협력 체계다. 류제명 과기정통부 2차관은 제이슨 권 오픈AI 최고전략책임자(CSO) 등 오픈AI 핵심 관계자들과 만나 AI 보안위협 대응과 안전성 확보 방안을 논의했다. 정부는 이번 협력을 통해 오픈AI의 고성능 사이버보안 모델이 탐지한 주요 소프트웨어 취약점 정보를 공유받고, 이를 국가 기간시스템과 주요 민간 인프라 방어에 활용할 계획이다. 국내 실무 운영은 한국인터넷진흥원(KISA)이 맡는다. 이번 협력은 앤트로픽의 ‘미토스 쇼크’와 맞물려 있다. 미토스는 대규모 코드에서 보안 취약점을 찾아내고 악용 가능성을 분석하는 능력으로 주목받았다. 앤트로픽은 ‘프로젝트 글래스윙’을 통해 미토스 접근권을 일부 기업과 기관에 제한적으로 제공하고 있다. 그러나 미토스급 모델은 공격과 방어 양쪽에 활용될 수 있는 이중용도 기술인 만큼 해외 기관 참여에는 높은 문턱이 있는 것으로 알려졌다. 정부가 오픈AI와 협력을 공식화한 것은 이 같은 제약 속에서 AI 보안 공조의 우회로를 확보했다는 의미가 있다. AI가 취약점 탐색과 공격 시나리오 분석 속도를 높이면, 방어 측도 같은 수준의 AI 도구와 정보 공유망을 갖춰야 한다. 취약점 정보를 얼마나 빨리 확보하고 패치하느냐가 금융·통신·공공망 방어의 성패를 가를 수 있기 때문이다. 다만 글로벌 AI 기업의 보안 프로그램에 참여하는 것만으로 국내 사이버 방어 체계가 완성되는 것은 아니다. 공유받은 취약점 정보를 국내 시스템에 맞게 검증하고, 패치 우선순위를 정하며, 주요 기반시설과 민간 기업에 신속히 전파하는 체계가 함께 마련돼야 한다. KISA와 금융보안원, 인공지능안전연구소, 국가정보원 등 관계기관 간 역할 분담도 중요하다. AI 자체의 안전성 평가도 협력 과제다. 과기정통부는 국내 AI안전연구소와 오픈AI가 공동 연구를 진행하고 AI 안전성 평가 체계를 함께 만드는 방안도 제안했다. 고성능 AI가 보안 방어에 도움을 주는 동시에 오용될 경우 공격 능력을 키울 수 있는 만큼, 접근 통제와 사용 기록 감사, 위험 모니터링이 병행돼야 한다. 류제명 과기정통부 2차관은 “이번 협력으로 한국이 AI 보안 위협에 선제적으로 대응할 수 있는 기반을 마련했다”며 “글로벌 AI 기업들과 실무 논의를 지속해 국내 사이버 보안 역량을 세계 최고 수준으로 끌어올리겠다”고 밝혔다.2026-05-27 10:29:40
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 반도체 호황에 취한 정부, 민생은 무너진다](https://image.ajunews.com/content/image/2026/10/15/20261015173614583906_518_323.jpg)