2026.10.16 금요일
검색
'인공지능안전연구소' 검색결과
기간검색
-
~
검색영역
검색어
-
카카오, AI 안전성 평가 외부 검증 확대…모델 넘어 에이전트로 [경제일보] 카카오가 인공지능안전연구소와 AI 모델·에이전트의 안전성을 함께 평가하고 검증 도구를 개발한다. 자체 평가 체계에 외부 연구기관의 검토를 더해, AI가 실제 서비스에서 일으킬 수 있는 위험을 출시 전후로 확인하겠다는 계획이다. 카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 업무협약(MOU)을 맺었다고 29일 밝혔다. 카카오는 평가 대상 모델과 에이전트, 평가에 필요한 인프라를 제공하고 연구소는 평가 수행과 방법론 고도화를 맡는다. 결과는 양측이 공동 검토하고 공개 범위를 협의하기로 했다. 협력은 언어모델 평가에서 시작해 멀티모달 모델과 AI 에이전트로 확대하는 3단계로 추진된다. 마지막 단계에서는 모델과 에이전트의 안전성을 검증하는 평가 도구도 공동 개발한다. 다만 협약 발표 자료에는 단계별 완료 시점과 결과 공개 기준이 담기지 않았다. 카카오는 지난해에도 인공지능안전연구소 등과 자체 언어모델 ‘카나나 에센스 1.5 9.8B’를 평가했다. 과학기술정보통신부가 발표한 국내 첫 AI 모델 안전성 평가로, 한국정보통신기술협회(TTA) 등이 참여해 유사 규모의 해외 모델과 비교했다. 카카오는 평가 결과를 공개하며 비교 모델 가운데 높은 점수를 기록했다고 밝혔다. 다만 지난해 평가가 AI의 모든 위험을 다룬 것은 아니다. 카카오가 공개한 평가 설명을 보면 모델의 부정확한 응답과 유해 콘텐츠 생성, 공격 프롬프트 대응 등을 살폈지만, 모델의 장기적인 통제 가능성이나 이용자의 사용 방식에 따라 달라지는 위험은 평가에서 제외했다. 카카오도 정보가 부족한 상황에서 구체적인 답을 시도하는 경향과 복합적인 공격에 대한 보완 필요성을 제시했다. 이번 협약에서 평가 대상을 에이전트까지 넓히는 것은 이 같은 검증 범위를 실제 서비스에 가까운 환경으로 확장하는 작업이다. 에이전트는 답변 생성에 그치지 않고 외부 도구나 서비스와 연동해 작업을 수행할 수 있어, 모델의 응답 안전성뿐 아니라 권한 설정과 실행 과정도 평가 대상이 될 수 있다. 구체적으로 어떤 시나리오와 기준을 적용할지는 양사가 정할 예정이다. 한편 인공지능안전연구소는 한국전자통신연구원(ETRI) 산하 조직으로 AI 안전 평가와 기술·정책 연구, 국제 협력을 맡고 있다. 카카오는 이번 협약으로 자체 평가 체계와 외부 전문기관의 평가를 병행하게 된다. 협력이 실효성을 얻으려면 평가 결과뿐 아니라 적용한 기준과 제외한 위험, 개선 조치도 함께 공개할 수 있어야 한다. 카카오와 연구소는 결과 공개 범위를 협의하기로 한 만큼, 향후 공개 수준이 평가의 신뢰도를 가를 요소다.2026-09-29 11:00:23
-
정부, 오픈AI GTAC 참여 공식화...앤스로픽 '글래스윙'도 가시권 [경제일보] 우리 정부가 오픈AI의 사이버보안 협력 프로그램에 참여하며 고성능 인공지능(AI)이 불러온 새로운 보안 위협 대응에 나선다. 앤트로픽의 ‘클로드 미토스’처럼 취약점 탐지와 공격 경로 분석 능력을 갖춘 AI 모델이 등장하면서, 국가 핵심 시스템 방어를 위해 글로벌 AI 기업과의 협력을 확대하는 흐름이다. 과학기술정보통신부는 오픈AI의 ‘신뢰 기반 사이버 접근 프로그램’(TAC)에 참여한다고 27일 밝혔다. 일부에서는 정부·기관 협력 성격을 강조해 GTAC로 부르지만, 공개된 설명상 공식 명칭은 TAC다. 이 프로그램은 검증된 정부·공공기관과 보안 조직이 고성능 AI 모델의 사이버보안 기능을 제한적으로 활용할 수 있도록 하는 협력 체계다. 류제명 과기정통부 2차관은 제이슨 권 오픈AI 최고전략책임자(CSO) 등 오픈AI 핵심 관계자들과 만나 AI 보안위협 대응과 안전성 확보 방안을 논의했다. 정부는 이번 협력을 통해 오픈AI의 고성능 사이버보안 모델이 탐지한 주요 소프트웨어 취약점 정보를 공유받고, 이를 국가 기간시스템과 주요 민간 인프라 방어에 활용할 계획이다. 국내 실무 운영은 한국인터넷진흥원(KISA)이 맡는다. 이번 협력은 앤트로픽의 ‘미토스 쇼크’와 맞물려 있다. 미토스는 대규모 코드에서 보안 취약점을 찾아내고 악용 가능성을 분석하는 능력으로 주목받았다. 앤트로픽은 ‘프로젝트 글래스윙’을 통해 미토스 접근권을 일부 기업과 기관에 제한적으로 제공하고 있다. 그러나 미토스급 모델은 공격과 방어 양쪽에 활용될 수 있는 이중용도 기술인 만큼 해외 기관 참여에는 높은 문턱이 있는 것으로 알려졌다. 정부가 오픈AI와 협력을 공식화한 것은 이 같은 제약 속에서 AI 보안 공조의 우회로를 확보했다는 의미가 있다. AI가 취약점 탐색과 공격 시나리오 분석 속도를 높이면, 방어 측도 같은 수준의 AI 도구와 정보 공유망을 갖춰야 한다. 취약점 정보를 얼마나 빨리 확보하고 패치하느냐가 금융·통신·공공망 방어의 성패를 가를 수 있기 때문이다. 다만 글로벌 AI 기업의 보안 프로그램에 참여하는 것만으로 국내 사이버 방어 체계가 완성되는 것은 아니다. 공유받은 취약점 정보를 국내 시스템에 맞게 검증하고, 패치 우선순위를 정하며, 주요 기반시설과 민간 기업에 신속히 전파하는 체계가 함께 마련돼야 한다. KISA와 금융보안원, 인공지능안전연구소, 국가정보원 등 관계기관 간 역할 분담도 중요하다. AI 자체의 안전성 평가도 협력 과제다. 과기정통부는 국내 AI안전연구소와 오픈AI가 공동 연구를 진행하고 AI 안전성 평가 체계를 함께 만드는 방안도 제안했다. 고성능 AI가 보안 방어에 도움을 주는 동시에 오용될 경우 공격 능력을 키울 수 있는 만큼, 접근 통제와 사용 기록 감사, 위험 모니터링이 병행돼야 한다. 류제명 과기정통부 2차관은 “이번 협력으로 한국이 AI 보안 위협에 선제적으로 대응할 수 있는 기반을 마련했다”며 “글로벌 AI 기업들과 실무 논의를 지속해 국내 사이버 보안 역량을 세계 최고 수준으로 끌어올리겠다”고 밝혔다.2026-05-27 10:29:40
-
'미토스 쇼크'에 흔들리는 韓 AI 보안… 글래스윙 문턱 넘기 어려워지나 [경제일보] 앤트로픽의 차세대 인공지능(AI) 모델 ‘클로드 미토스 프리뷰’가 글로벌 사이버보안 지형에 파장을 일으키고 있다. AI가 대규모 소프트웨어 취약점을 빠르게 찾아내고 공격 가능성까지 분석할 수 있는 수준에 도달했다는 점이 알려지면서 각국 정부와 보안업계도 대응책 마련에 나섰다. 그러나 한국은 미토스 접근권을 제한적으로 제공하는 앤트로픽의 보안 협력체 ‘프로젝트 글래스윙’ 참여에서 아직 가시적인 진전을 내지 못하고 있다. 국내에서는 앤트로픽과 협력 관계를 구축했던 SK텔레콤이 글래스윙 참여를 검토했지만 최근 추진하지 않는 방향으로 내부 결론을 내린 것으로 전해졌다. SK텔레콤은 2023년 앤트로픽에 1억달러를 투자하고 통신 특화 대형언어모델(LLM) 개발 협력을 맺은 전략적 투자자다. 당시 SK텔레콤은 글로벌 텔코 AI 얼라이언스와 연계해 앤트로픽과 AI 혁신을 추진하겠다고 밝힌 바 있다. 다만 지분 관계가 보안 협력체 접근권으로 곧바로 이어지지는 않았다. SK텔레콤의 앤트로픽 지분은 후속 투자 과정에서 희석돼 약 0.3% 수준으로 추정된다. 외신과 국내 매체들은 SK텔레콤의 앤트로픽 지분 가치가 급등했지만 실제 보유 지분은 0.3% 안팎이라고 전했다. 문제는 글래스윙이 단순 민간 연구 프로젝트를 넘어 사실상 미국 중심의 폐쇄형 사이버보안 동맹처럼 움직이고 있다는 점이다. 앤트로픽은 지난달 프로젝트 글래스윙을 공개하면서 미토스 프리뷰를 일부 기업과 기관에만 제한적으로 제공한다고 밝혔다. 로이터는 이 프로그램에 아마존, 마이크로소프트, 엔비디아, 애플 등이 참여하고 있으며 미토스는 방어 목적의 사이버보안 작업에 제한적으로 활용된다고 보도했다. 앤트로픽이 공개한 설명 역시 위험성을 뒷받침한다. 회사는 미토스 프리뷰가 공개되지 않은 프론티어 모델이며 소프트웨어 취약점을 찾아내고 악용 가능성을 분석하는 능력에서 극히 숙련된 인간 전문가 수준을 넘어설 수 있다고 밝혔다. 실제 파급력도 감지되고 있다. 일부 외신은 미토스가 오픈소스 소프트웨어에서 1만건 이상의 고위험 또는 치명적 취약점을 찾아냈다고 전했다. 테크레이더는 미토스가 장기간 숨어 있던 버그까지 드러내면서 전통적인 ‘패치 윈도’ 개념이 사실상 무너지고 있다고 분석했다. 금융권도 즉각 반응했다. 파이낸셜타임스는 유럽중앙은행(ECB)이 주요 은행들을 소집해 미토스가 드러낸 취약점에 대응할 것을 촉구했다고 보도했다. 유럽 은행들이 글래스윙 접근권을 갖고 있지 않더라도 악의적 행위자가 유사한 AI 역량을 확보할 가능성에 대비해야 한다는 판단에서다. 다만 미토스를 둘러싼 우려가 과장됐다는 반론도 있다. 로이터는 보안 전문가들 사이에서 미토스가 취약점 탐색 속도를 높일 수는 있지만 실제 공격으로 이어지려면 검증과 악용 가능성 판단, 패치 지연 등 여러 조건이 필요하다는 평가가 나온다고 전했다. 미토스가 당장 ‘자동 해커’처럼 모든 방어망을 무너뜨릴 것이라는 해석은 지나치다는 것이다. 그럼에도 핵심은 미토스 자체보다 취약점 정보와 대응 도구를 누가 먼저 확보하느냐다. 글래스윙 참여자는 미토스가 찾아낸 취약점을 먼저 검증하고 패치할 시간을 확보할 수 있다. 반면 참여하지 못한 국가는 같은 취약점이 공개되거나 실제 악용될 때까지 기다려야 하는 불리한 위치에 놓일 수 있다. 정부도 이 문제를 인식하고 있다. 과학기술정보통신부는 지난 11일 류제명 제2차관 주재로 앤트로픽의 마이클 셀리토 글로벌 정책 총괄 등과 만나 AI·사이버보안 협력 방안을 논의했다. 외교부와 국가정보원, 금융위원회, 인공지능안전연구소, 한국인터넷진흥원(KISA), 금융보안원 등도 참석했다. 정부는 국내 기업·기관과의 협력 및 취약점 정보 공유 확대를 요청한 것으로 알려졌다. 정부 입장에서 더 부담스러운 부분은 미국 정부의 관여 가능성이다. 미토스는 방어와 공격에 모두 활용될 수 있는 이중용도 기술이다. 취약점 탐색 AI가 특정 국가나 기업에 제공될 경우 해당 정보가 방어 목적에만 활용된다는 보장이 필요하다. 앤트로픽이 민간 기업이라 하더라도 미국 정부와의 협의 없이 해외 기관 접근을 쉽게 확대하기 어려운 구조라는 분석이 나온다. 국내 보안업계는 이를 ‘AI 보안 주권’ 문제로 바라보고 있다. 미토스가 취약점 발견 속도를 바꾼다면 글래스윙은 그 취약점 정보의 접근 순서를 결정한다는 것이다. 업계에서는 결국 누가 정보를 먼저 확보하고 선제 대응할 수 있느냐의 문제라고 보고 있다. 대안 논의도 시작됐다. 국내 보안 스타트업 티오리는 미국 중심 글래스윙에 대응하는 한국형·다자형 보안 협력체 ‘프로젝트 캐노피’를 추진하고 있다. 티오리는 유럽과 아시아를 연결하는 AI 보안 협력체 출범을 준비 중이며 미국 중심의 미토스 접근 구조에 대한 우려가 배경이라고 설명했다. 국내에서는 아직 글래스윙 참여 기업이 없고 앤트로픽과의 협력 역시 정보 공유 요청 수준에 머물러 있다. 한국 정부가 준비 중인 AI 기반 사이버 위협 대응 체계는 이 같은 복합 위협을 함께 담아야 한다. 단순히 글로벌 협력체 참여를 타진하는 수준만으로는 부족하다. 미토스급 모델 접근권 확보와 국내 취약점 데이터베이스 고도화, 주요 오픈소스 및 국가 핵심 인프라 선제 점검, 금융·통신·의료·에너지 분야별 AI 보안 훈련 체계 구축, 국내 AI 보안 모델 개발이 동시에 추진돼야 한다.2026-05-26 10:58:31
-
정부, 앤트로픽과 AI 보안 공조…글래스윙 참여는 미정 [경제일보] 정부가 미국 인공지능 기업 앤트로픽과 만나 AI·사이버보안 협력 방안을 논의했다. 앤트로픽의 차세대 AI 모델 ‘미토스’를 둘러싼 보안 우려가 커지는 가운데 글로벌 협력망 참여를 타진하고 국내 독자 보안 역량도 함께 키우려는 움직임이다. 과학기술정보통신부는 11일 관계부처 및 유관기관과 함께 앤트로픽과 AI·사이버보안 협력 방안을 논의하는 간담회를 열었다. 정부 측에서는 류제명 과기정통부 제2차관을 비롯해 외교부 국가정보원 금융위원회 인공지능안전연구소(AISI) 한국인터넷진흥원(KISA) 금융보안원 등이 참석했다. 앤트로픽에서는 마이클 셀리토 글로벌 정책총괄 등이 자리했다. 이번 회동은 지난 2월 인도 AI 영향 정상회의에서 배경훈 부총리 겸 과기정통부 장관과 다리오 아모데이 앤트로픽 최고경영자가 논의한 협력 의제의 후속 조치다. 표면적으로는 AI 안전과 신뢰 확보 협력이지만 실제 논의의 중심에는 미토스와 프로젝트 글래스윙이 놓였다. 프로젝트 글래스윙은 앤트로픽이 고성능 AI 모델 ‘클로드 미토스 프리뷰’를 제한적으로 개방해 방어 목적의 사이버보안 검증을 진행하는 글로벌 협력 구상이다. 로이터는 이 프로젝트에 아마존 마이크로소프트 애플 구글 엔비디아 크라우드스트라이크 팔로알토네트웍스 등이 참여하고 있으며 앤트로픽이 주요 소프트웨어 인프라를 관리하는 기관을 대상으로 접근 확대를 추진하고 있다고 보도했다. 정부는 이번 면담에서 앤트로픽 측에 한국 기업과 기관의 사이버보안 협력을 제안했다. 한국이 미토스 등을 활용한 취약점 공개와 보안 이슈에 사전 대비할 수 있도록 관련 정보 공유도 요청했다. 과기정통부는 AI기본법 등 국내 AI 안전·신뢰 정책을 소개하고 AISI와 앤트로픽 간 협력 방안도 논의했다. 다만 프로젝트 글래스윙 참여가 확정된 것은 아니다. 국내에서는 아직 참여 사례가 없고 이번 면담에서도 실질적 확답은 나오지 않은 것으로 알려졌다. 일부 보도에 따르면 AISI와 KISA가 한국 대표 기관으로 참여 의사를 공식 요청했지만 앤트로픽 측의 최종 수용 여부는 확인되지 않았다. 미토스를 둘러싼 논란은 AI 보안 역량의 양면성에서 비롯된다. 미토스는 고위험 소프트웨어 취약점을 찾아내는 데 강점을 보이는 것으로 알려졌지만 같은 능력이 공격 자동화에 악용될 수 있다는 우려도 크다. 워싱턴포스트는 앤트로픽이 미토스가 오래 방치된 취약점을 수정하는 데 도움을 줄 수 있지만 해커의 공격 능력도 키울 수 있다고 설명했다고 보도했다. 미국 내에서도 접근 확대를 둘러싼 신중론이 나온다. 월스트리트저널은 백악관이 앤트로픽의 미토스 접근 확대 계획에 반대하고 있다고 보도했다. 강력한 사이버 AI 모델을 더 많은 기관에 열 경우 오용 위험과 통제 문제가 커질 수 있다는 우려가 배경으로 거론된다. 정부도 단기 협력과 중장기 자립을 병행하는 방향으로 움직이고 있다. 단기적으로는 앤트로픽 등 글로벌 AI 선도기업과의 협력을 통해 취약점 정보 공유와 방어 역량을 높이고 중장기적으로는 사이버보안 특화 독자 AI 모델 개발을 추진한다는 구상이다. 과기정통부는 국내 독자 AI 파운데이션 모델 개발 기업과 보안업계 의견을 수렴해 이달 말 또는 다음 달 초 AI 보안 대응 방안을 발표할 계획이다. 이번 논의는 AI 보안이 단순 기술 협력을 넘어 국가 안보와 산업 경쟁력의 문제로 옮겨가고 있음을 보여준다. AI가 취약점 탐지와 침해 대응 속도를 높일 수 있지만 공격자도 같은 기술을 활용할 수 있다. 한국이 글로벌 협력망에 접근하지 못하면 최신 위협 정보와 방어 기술 확보에서 뒤처질 수 있고 반대로 무분별한 개방은 통제 위험을 키울 수 있다. 정부의 과제는 분명하다. 글래스윙 참여 여부와 별개로 국내 보안 기업 연구기관 금융·통신·플랫폼 사업자가 함께 활용할 수 있는 검증 체계를 마련해야 한다. AI 보안 모델은 성능만큼이나 접근 권한 사용자 검증 로그 관리 오용 감시 책임 소재가 중요하다. 독자 모델 개발도 실제 취약점 분석과 침해 대응 현장에서 쓰일 수 있어야 의미가 있다. 류제명 과기정통부 제2차관은 “프론티어급 AI 모델의 성능이 급증하고 활용 범위가 확대되고 있어 AI 혁신과 더불어 안전한 활용 환경을 조성하는 것은 중요한 과제”라며 “AI 모델의 안전성 확보 사이버 보안 역량 강화 등 AI 위험에 대한 예방·대응 체계 강화를 위해 글로벌 AI 선도기업들과 적극 협력해 나가겠다”고 밝혔다.2026-05-11 16:31:37
많이 본 뉴스
영상
Youtube 바로가기
![[사설] 흔들리는 증시와 AI 대전환, 금융의 기본과 상식부터 바로 세워라](https://image.ajunews.com/content/image/2026/10/16/20261016092344750114_518_323.jpg)