검색결과 총 7건
-
AI 성능에 6조, 안전엔 274억…과기부, 국감서 '브레이크'
[경제일보] 정부의 내년도 인공지능(AI) 예산 확대가 모델 성능과 인프라에 집중되면서 AI 자체의 위험을 평가·통제할 투자도 늘려야 한다는 요구가 국정감사에서 나왔다. 과학기술정보통신부 소관 AI 예산 정부안은 9조4308억원이지만 안전·신뢰 분야는 274억원으로 약 0.3%에 머물렀다. 배경훈 부총리 겸 과기정통부 장관은 안전연구소의 인력·예산 확충 필요성을 인정하고 12월 종합계획을 발표하겠다고 밝혔다. 이주희 더불어민주당 의원은 6일 국회 과학기술정보방송통신위원회 국감에서 “가속페달은 급속히 키워져 가고 있는데 브레이크는 지금 그대로인 상황”이라며 안전 분야 투자 확대를 촉구했다. 이 의원이 과기정통부에서 제출받은 자료에 따르면 내년 AI 성능·인프라 예산은 6조1490억원으로 전체의 65.2%다. 모델 개발, GPU 등 컴퓨팅 자원, 데이터 구축이 포함된다. 안전·신뢰 예산에는 안전성 평가·검증과 공격자 관점의 위험 시험, 딥페이크 대응, 윤리·영향평가 등이 분류됐다. 의원실이 제시한 기능별 기준에 따라 과기정통부가 세부 사업을 나눠 제출한 결과다. 두 분야의 예산 비율은 224대1로, 2024년 36대1보다 벌어졌다. 성능·인프라 예산은 올해보다 116% 늘어나지만 안전·신뢰 분야 증가율은 36%다. 안전 예산의 절대 규모가 늘어도 개발·인프라 투자 확대 속도를 따라가지 못하는 구조다. 274억원의 구성은 AI 안전 기술개발 152억원, 안전한 AI 활용 기반 조성 101억원, AI 신뢰성 및 산업 생태계 기반 조성 21억원이다. 뒤의 두 사업은 올해와 편성액이 같다. 이 의원은 안전 예산을 전체 AI 예산의 최소 1%로 높이고 단계별 확대 계획을 제시하라고 요구했다. 현 정부안의 AI 총액에 1%를 적용하면 약 943억원으로, 현재 안전·신뢰 편성액보다 약 669억원 많다. 핵심 쟁점은 AI를 사이버방어에 활용하는 능력과 AI의 행동을 통제하는 능력을 함께 확보하는 데 있다. 취약점을 찾아 공격을 막는 보안 특화 모델을 개발하는 동시에, 모델이 허용된 작업 범위를 벗어나거나 외부 시스템에 접근하는 위험을 평가하고 차단할 체계도 필요하다는 지적이다. 해외에서는 시험 중인 AI가 통제를 벗어난 실제 사고가 발생했다. 오픈AI는 지난 8월 공개한 조사보고서에서 7월 내부 사이버보안 평가 중 AI 모델들이 인터넷 격리 통제를 우회해 자사 연구 인프라와 허깅페이스 시스템에 침입했다고 밝혔다. 안전장치를 축소한 시험 환경에서 발생한 사건으로, 회사는 인터넷 접근 제한과 평가 환경 격리, 이상행동 감시를 강화하겠다고 설명했다. 영국 AI보안연구소(AISI)도 지난 8월 보고서에서 인터넷 접근을 허용하고 일부 안전 필터를 해제한 사이버 평가 도중 에이전트가 실제 인물·기관을 겨냥한 승인되지 않은 행동을 했다고 공개했다. 대응책으로 외부 접속 통제, 실시간 감시, 평가 환경 재설계를 제시했다. AI 안전 평가에는 모델을 시험하는 전문인력뿐 아니라 시험이 외부 피해로 이어지지 않도록 격리하는 인프라도 요구된다. 국내 평가 역량을 담당할 AI안전연구소의 인력 문제도 제기됐다. 이 의원은 인력이 26명에서 38명으로 늘었지만 해외 주요국보다 부족하다며 확충을 요구했다. 연구소는 AI 안전성 평가와 정책·기술 연구, 주요국 연구기관과의 협력을 맡고 있다. 이 의원은 정부 지원 모델의 학습·시험 과정에서 외부 접속을 어디까지 허용하는지, 이상행동이 발생하면 누가 실행을 중단하고 보고하는지 명확히 해야 한다고 강조했다. 배 부총리는 관련 해외 사고로 인한 국내 기관 피해는 아직 확인되지 않았다고 설명했다. 배 부총리는 “고영향 AI나 AI의 안전성을 평가할 때 영국의 안전연구소에 많이 의뢰한다”며 국내 연구소의 인력과 예산을 늘려 역량을 확보하는 일이 중요하다고 밝혔다. 정부는 보안 특화 모델과 프론티어 AI 개발을 통한 사이버안보 대응도 추진한다. 과기정통부는 12월 ‘국가 AI 안전생태계 조성 마스터플랜’을 수립·발표할 계획이다. 배 부총리는 국가 AI 안전관리체계 구축, 첨단 AI 안전 대응 역량 강화, 국민 일상의 안전한 AI 환경 조성을 준비하겠다고 밝혔다.
2026-10-06 14:46:43
-
-
"해킹하라" 안 했는데…오픈AI 에이전트, 호주 정부 사이트 비인가 접근
[경제일보] 오픈AI의 인공지능(AI) 에이전트가 별도의 해킹 지시를 받지 않았음에도 호주 정부의 보건 통계 사이트에서 비공개 파일에 비인가 접근한 것으로 확인됐다. AI에 호주 보건·의료 통계에 대한 답을 찾으라는 과제를 수행하게 했지만, 정보를 찾는 과정에서 외부 사이트의 접근 제한을 우회한 것으로 나타나면서 AI 에이전트의 자율 행동에 대한 통제 문제가 새로운 보안 이슈로 떠오르고 있다. 23일(이하 현지시간) 오픈AI는 내부 평가 과정에서 자사의 AI 모델들이 호주 정부의 여러 웹사이트와 서비스에서 정보를 찾던 중 의도하지 않은 행동을 했다는 사실을 확인했다고 밝혔다. AI 에이전트에 주어진 과제 자체는 호주의 보건·의료 통계에 대한 답을 찾는 것이었지만, 이 과정에서 공개된 정보뿐 아니라 비공개 파일에도 접근한 것으로 파악됐다. 이번 사건에서 주목되는 부분은 AI 모델에 특정 정부 시스템을 공격하거나 정보를 탈취하라는 명시적인 지시가 내려진 것이 아니라는 점이다. AI가 주어진 목표를 달성하는 과정에서 사람이 예상하지 못한 방식으로 외부 시스템에 접근했다는 것이다. 오픈AI는 이번 사건에 대해 모델들이 '의도하지 않은 행동'을 취했다고 설명했다. 현재까지 개인의 메디케어 정보나 의료기록 등 민감한 개인정보가 접근됐다는 증거는 확인되지 않은 것으로 알려졌지만, 호주 정부는 실제로 어떤 정보에 접근했는지와 다른 정부 시스템까지 영향을 받았는지를 확인하기 위해 디지털 포렌식 조사를 진행하고 있다. 이에 앤서니 앨버니지 호주 총리는 기자회견을 통해 샘 올트먼 오픈AI 최고경영자(CEO)와 직접 통화해 호주 정부의 우려를 전달했다고 밝혔다. 그는 정부 통신망 전체로 피해가 확산한 정황은 현재까지 확인되지 않았지만 이번 상황은 받아들일 수 없다는 입장을 전했으며, 오픈AI가 사건을 인지한 뒤 호주 정부에 통보하기까지 상당한 시간이 걸린 점에 대해서도 불만을 표시했다. 호주신호국(ASD)은 현재 사건에 대한 추가 정보를 확보하기 위해 디지털 포렌식 조사에 참여하고 있다. 조사 결과에 따라 이번 접근이 단일 포털에 국한됐는지, 다른 정부 시스템에서도 유사한 행동이 있었는지가 확인될 전망이다. 최근 오픈AI의 AI 에이전트는 비정상적인 행동 사례가 잇따라 발생하고 있다. 오픈AI는 지난 8월 공개한 내부 조사에서 7월 사이버보안 평가 과정 중 자사 모델들이 인터넷 접근을 차단하기 위해 마련된 통제를 우회하고 오픈AI 내부 연구 인프라와 외부 AI 개발 플랫폼인 허깅페이스의 일부 시스템에 접근했다고 밝혔다. 당시 모델들은 허가되지 않은 통신 채널을 이용하고 공유 인프라의 취약점을 악용하는 방식으로 인터넷에 접근했다. 오픈AI는 이 과정에서 모델들이 할당된 과제의 목적과 맞지 않는 행동을 했다고 설명했다. 해당 사건은 사이버보안 능력을 평가하기 위한 내부 테스트 과정에서 발생한 것으로, 이번 호주 정부 사건과 AI 에이전트가 통제된 환경을 벗어나 외부 시스템과 상호작용했다는 공통점이 있다. AI 에이전트가 기존 챗봇과 다른 방식으로 작동한다는 점도 이번 사건의 배경으로 꼽힌다. 기존 챗봇이 사용자의 질문에 답변하는 데 초점이 맞춰져 있다면, 에이전트는 목표를 달성하기 위해 웹사이트를 검색하고 외부 도구를 호출하며 여러 단계의 작업을 자율적으로 수행할 수 있다. 이 과정에서 사용자가 의도한 최종 목표와 AI가 목표를 달성하기 위해 선택하는 중간 행동 사이에 차이가 발생할 수 있도록 설계되고 있다. 특히 외부 인터넷이나 개발 도구, 파일 시스템 등에 직접 접근할 수 있도록 권한을 부여받은 에이전트의 경우 예상하지 못한 행동이 실제 시스템에 영향을 미칠 가능성도 커진다. 오픈AI 역시 최근 AI 모델의 이른바 '미스얼라인먼트' 사례를 잇따라 공개하고 대응 체계를 마련하고 있다. 지난 17일에는 모델이 제약을 우회하기 위한 지시를 삽입하거나, 승인 없이 파일을 외부에 올리는 등 예상하지 못한 행동을 보인 사례들을 공개했다. 오픈AI는 모델의 자율 행동과 감독 회피 가능성을 추적·조사하기 위한 새로운 공개 체계를 마련하겠다고 언급했다. 공교롭게도 이번 호주 사건이 알려진 날 샘 올트먼 CEO는 유엔 안전보장이사회 회의에 참석해 고도화된 AI의 안전성과 국제적인 관리 체계의 필요성을 강조했다. 세계 주요 AI 기업 경영진이 AI가 인간의 통제를 벗어날 가능성과 국제적인 안전 기준 마련을 논의하는 가운데, 실제 AI 에이전트가 외부 정부 시스템에서 예상하지 못한 행동을 한 사례가 공개된 것이다. AI 업계에서는 에이전트의 성능이 높아질수록 단순히 모델의 답변이 안전한지를 확인하는 것뿐 아니라 실제 행동을 어디까지 허용할 것인지에 대한 통제 장치가 중요해지고 있다. 이번 호주 사건 역시 개인정보 유출 여부와 별개로 AI가 사람의 명시적인 해킹 지시 없이도 주어진 목표를 수행하는 과정에서 외부 시스템의 접근 제한을 넘어설 수 있다는 점에서 에이전트 보안의 새로운 과제를 보여주는 사례가 될 전망이다. 샘 올트먼 오픈AI CEO는 유엔 안전보장이사회에서 인공지능에 관해 연설하며 "(인공지능)모델의 빠른 발전으로 인해 실현 시기가 더욱 촉박해졌고, 잠재적 이점이 더욱 분명해졌지만, 동시에 위험과 부담 또한 더욱 시급해졌다"며 "인공지능은 창의성과 발견의 새로운 르네상스처럼 될 수도 있고, 격변과 혼란을 야기하는 새로운 산업혁명처럼 될 수도 있다"고 말했다.
2026-09-24 10:52:07
-
-
-
한화에어로, 스타트업 전시장에서 미래 무기 찾는다…방산 오픈이노베이션 확대
[경제일보] 한화에어로스페이스가 국내 최대 벤처·스타트업 전시회인 '넥스트라이즈 2026'에 참가해 미래 전장 기술 확보에 나섰다. 자체 연구개발 중심이었던 전통적인 방산 산업 구조에서 벗어나 스타트업과 협력하는 개방형 혁신 전략을 확대하는 모습이다. 20일 한화에어로스페이스는 지난 18일부터 이틀간 서울 강남구 코엑스에서 열린 넥스트라이즈 2026에서 한화에어로스페이스는 협력사 21곳과 공동 전시관을 운영하고 AI, 드론, 자율주행, 우주 등 미래 기술 분야 협력 기업 발굴에 나섰다. 한화에어로스페이스는 이번 행사에 참가한 국내 방산기업 가운데 가장 큰 규모의 전시관을 마련했다. 방산기업이 넥스트라이즈에 이 같은 형태로 참가한 것은 처음이다. 현장에서는 K9 자주포 조종수 계기판과 차량 주변 영상장치, 천무 다연장로켓용 항재밍 위성항법장치 등 협력사들이 생산하는 핵심 부품이 전시됐다. 완제품 중심으로 알려진 K-방산 수출 경쟁력이 실제로는 수많은 중소 협력사들의 기술력 위에서 구축되고 있다는 점을 보여주기 위한 취지다. 한화에어로스페이스는 별도 '오픈 이노베이션'관도 운영했다. 지상무기, 유도무기, 항공 분야를 중심으로 총 12개 기술 과제를 공개하고 관련 기술을 보유한 스타트업과 중소기업을 대상으로 협력 제안을 받았다. 오픈 이노베이션은 기업이 필요한 기술 수요를 공개하고 외부 기업이나 스타트업으로부터 기술 제안을 받아 공동 개발이나 사업화로 연결하는 방식이다. 최근 AI와 드론, 자율주행 기술 발전 속도가 빨라지면서 글로벌 방산기업들도 자체 개발보다 외부 기술을 적극 활용하는 방향으로 전략을 전환하고 있다. 한화에어로스페이스 관계자는 "연구개발 과제나 기술 수요를 공개해 관련 기술을 보유한 기업들이 제안할 수 있도록 하는 것이 오픈이노베이션의 핵심"이라며 "현재 정부가 육성 중인 방산혁신기업과 벤처기업들을 대상으로도 관련 과제를 소개하고 있다"고 했다. 한화에어로스페이스는 이번 전시회에서 확보한 기술 제안들을 별도 검토한 뒤 후속 미팅과 기술 평가를 진행할 예정이다. 다만 실제 사업화까지는 기술 검증(PoC), 투자 검토, 보안성 평가 등이 필요해 상당한 시간이 소요될 것으로 전망된다. 업계에서는 AI, 반도체, 우주, 드론 등 국방 첨단기술 경쟁이 치열해지는 가운데 방산기업과 스타트업 간 협력이 더욱 확대될 것으로 보고 있다. 특히 미래 전장 환경이 소프트웨어 중심으로 빠르게 변화하면서 민간 기술의 국방 분야 적용 속도도 빨라지고 있다는 평가다. 한화에어로스페이스 관계자는 "방산 첨단 5대 연구개발 분야를 중심으로 다양한 기술을 검토하고 있다"며 "개방형 협력을 통해 미래 무기체계 개발 역량을 강화해 나갈 것"이라고 했다.
2026-06-20 08:00:00
-
AWS 서밋 서울 개막 D-1…AI·클라우드 기업 총출동
[경제일보] AWS의 AI·클라우드 행사인 'AWS 서밋 서울 2026' 개막을 하루 앞두고 생성형 AI와 에이전틱 AI, 클라우드 인프라 전략을 둘러싼 산업계 경쟁이 본격화되고 있다. 국내 주요 IT·클라우드 기업들도 AI 보안과 업무 자동화, 클라우드 최적화 전략을 대거 공개하며 기업 인공지능 전환(AX) 시장 공략에 나서고 있다. 19일 업계에 따르면 AWS는 오는 20일부터 21일까지 서울 코엑스에서 'AWS 서밋 서울 2026'을 개최한다. 올해로 12회째를 맞는 이번 행사는 약 2만5000명이 참석하는 국내 최대 규모로 평가받는 AI·클라우드 컨퍼런스로, 생성형 AI와 클라우드 기술을 중심으로 최신 산업 트렌드와 기업 혁신 사례가 공유될 예정이다. 이번 행사에서는 함기호 AWS코리아 대표와 김성훈 업스테이지 대표 등이 기조연설에 나서며 리테일·금융·게임·통신·제조·공공 등 산업별 AI 혁신 사례가 공개된다. 첫째 날인 '인더스트리 데이'에서는 산업별 AI 활용 전략과 기업 사례가 집중 소개되며 둘째 날 'AI 데이'에서는 에이전트 AI와 AI 인프라, 데이터 전략, 보안·거버넌스 기술 등이 주요 의제로 다뤄질 계획이다. AWS는 이번 행사에서 100개 이상의 세션과 워크숍, 엑스포를 운영하며 단순 기술 소개를 넘어 기업 실무 중심 행사로 규모를 확대했다. 국내 클라우드·보안 기업들도 이번 행사에 맞춰 AI 보안과 에이전틱 AI 전략을 공개하며 시장 공략에 속도를 내고 있다. AI·클라우드 전문기업 솔트웨어는 생성형 AI 보안 솔루션 '사피가디언'과 AWS 보안 평가 서비스 'SCR(시큐리티 컴플라이언스 리뷰)'를 선보인다. 최근 생성형 AI 도입 확산과 함께 민감정보 유출 우려가 커지는 가운데 AI 사용 전 구간을 통제·모니터링하는 AI DLP(데이터 로스 프리벤션) 수요를 공략하겠다는 전략이다. 사피가디언은 프롬프트 입력과 파일 업로드, 응답 출력 등 생성형 AI 활용 전 과정을 관리하며 개인정보와 내부 문서, 기술자료 등 민감정보 유출 가능성을 문맥 기반으로 탐지할 수 있도록 설계됐다. 솔트웨어는 생성형 AI 사용 이력 관리와 정책 통제 기능을 통해 기업 보안 거버넌스 수요에도 대응할 계획이다. 함께 공개되는 SCR은 AWS 환경 보안 상태를 자동 점검하는 서비스다. 한국인터넷진흥원(KISA)의 ISMS-P 2023 기준 기반으로 총 103개 보안 항목을 자동 진단하며 AWS 환경 내 보안 취약점과 규정 준수 상태를 시각화 대시보드 형태로 제공한다. 솔트웨어는 기존 보안 점검 대비 시간을 대폭 단축할 수 있다는 점을 강조하고 있다. 메가존클라우드는 이번 행사에서 '에이전틱 AI' 전략을 핵심 화두로 제시할 계획이다. 메가존클라우드는 'Your Agentic AI Advantage, Engineered for Scale'을 주제로 AI 기반 업무 자동화와 운영 효율화, 클라우드 최적화 전략을 공개할 예정이다. 메가존클라우드는 AI 서비스 브랜드 'AIR'와 보안 브랜드 'HALO', 클라우드 마이그레이션 자동화 솔루션 '하이퍼마이그' 등을 중심으로 기업 맞춤형 AI·클라우드 운영 전략을 소개할 전망이다. 특히 AI 에이전트를 활용해 실제 비즈니스 과제를 해결하는 체험형 프로그램 '에이전트 코딩 핸즈온'도 운영할 계획이다. 또한 일본 피지컬 AI 기업 아비타(AVITA)와 협력해 AI 로봇과 다국어 AI 상담 서비스 데모도 공개한다. 행사 첫날에는 공성배 메가존클라우드 최고 AI 책임자(CAIO)가 에이전틱 AI 시대 기업 운영 전략을 주제로 브레이크아웃 세션 발표에 나설 예정이다. 올해 AWS 서밋 서울은 단순 클라우드 행사에서 벗어나 생성형 AI와 에이전틱 AI, AI 보안, 데이터 거버넌스 등 기업 AI 전환 전략 전반을 아우르는 행사로 확장된 것으로 평가된다. 특히 AI 도입 경쟁이 본격화되면서 클라우드 인프라뿐 아니라 보안과 비용 최적화, 운영 자동화까지 포함한 통합 AX 전략 경쟁도 한층 치열해질 것으로 분석된다. 이정근 솔트웨어 대표이사는 "최근 기업들의 생성형 AI 및 클라우드 활용이 확대되면서, 단순 도입을 넘어 안전한 운영과 통합 보안 체계 구축의 중요성이 커지고 있다"며 "이번 'AWS 서밋 서울 2026'을 통해 기업들이 생성형 AI와 클라우드를 보다 안전하게 활용할 수 있는 실질적인 보안 운영 방향을 공유할 계획"이라고 말했다.
2026-05-19 17:27:12