2026.10.16 금요일
검색
'AI 신뢰성' 검색결과
기간검색
-
~
검색영역
검색어
-
![[2026 국감] AI 성능에 6조, 안전엔 274억…과기부, 국감서 브레이크](https://image.ajunews.com//content/image/2026/10/06/20261006144453107566.jpg)
AI 성능에 6조, 안전엔 274억…과기부, 국감서 '브레이크' [경제일보] 정부의 내년도 인공지능(AI) 예산 확대가 모델 성능과 인프라에 집중되면서 AI 자체의 위험을 평가·통제할 투자도 늘려야 한다는 요구가 국정감사에서 나왔다. 과학기술정보통신부 소관 AI 예산 정부안은 9조4308억원이지만 안전·신뢰 분야는 274억원으로 약 0.3%에 머물렀다. 배경훈 부총리 겸 과기정통부 장관은 안전연구소의 인력·예산 확충 필요성을 인정하고 12월 종합계획을 발표하겠다고 밝혔다. 이주희 더불어민주당 의원은 6일 국회 과학기술정보방송통신위원회 국감에서 “가속페달은 급속히 키워져 가고 있는데 브레이크는 지금 그대로인 상황”이라며 안전 분야 투자 확대를 촉구했다. 이 의원이 과기정통부에서 제출받은 자료에 따르면 내년 AI 성능·인프라 예산은 6조1490억원으로 전체의 65.2%다. 모델 개발, GPU 등 컴퓨팅 자원, 데이터 구축이 포함된다. 안전·신뢰 예산에는 안전성 평가·검증과 공격자 관점의 위험 시험, 딥페이크 대응, 윤리·영향평가 등이 분류됐다. 의원실이 제시한 기능별 기준에 따라 과기정통부가 세부 사업을 나눠 제출한 결과다. 두 분야의 예산 비율은 224대1로, 2024년 36대1보다 벌어졌다. 성능·인프라 예산은 올해보다 116% 늘어나지만 안전·신뢰 분야 증가율은 36%다. 안전 예산의 절대 규모가 늘어도 개발·인프라 투자 확대 속도를 따라가지 못하는 구조다. 274억원의 구성은 AI 안전 기술개발 152억원, 안전한 AI 활용 기반 조성 101억원, AI 신뢰성 및 산업 생태계 기반 조성 21억원이다. 뒤의 두 사업은 올해와 편성액이 같다. 이 의원은 안전 예산을 전체 AI 예산의 최소 1%로 높이고 단계별 확대 계획을 제시하라고 요구했다. 현 정부안의 AI 총액에 1%를 적용하면 약 943억원으로, 현재 안전·신뢰 편성액보다 약 669억원 많다. 핵심 쟁점은 AI를 사이버방어에 활용하는 능력과 AI의 행동을 통제하는 능력을 함께 확보하는 데 있다. 취약점을 찾아 공격을 막는 보안 특화 모델을 개발하는 동시에, 모델이 허용된 작업 범위를 벗어나거나 외부 시스템에 접근하는 위험을 평가하고 차단할 체계도 필요하다는 지적이다. 해외에서는 시험 중인 AI가 통제를 벗어난 실제 사고가 발생했다. 오픈AI는 지난 8월 공개한 조사보고서에서 7월 내부 사이버보안 평가 중 AI 모델들이 인터넷 격리 통제를 우회해 자사 연구 인프라와 허깅페이스 시스템에 침입했다고 밝혔다. 안전장치를 축소한 시험 환경에서 발생한 사건으로, 회사는 인터넷 접근 제한과 평가 환경 격리, 이상행동 감시를 강화하겠다고 설명했다. 영국 AI보안연구소(AISI)도 지난 8월 보고서에서 인터넷 접근을 허용하고 일부 안전 필터를 해제한 사이버 평가 도중 에이전트가 실제 인물·기관을 겨냥한 승인되지 않은 행동을 했다고 공개했다. 대응책으로 외부 접속 통제, 실시간 감시, 평가 환경 재설계를 제시했다. AI 안전 평가에는 모델을 시험하는 전문인력뿐 아니라 시험이 외부 피해로 이어지지 않도록 격리하는 인프라도 요구된다. 국내 평가 역량을 담당할 AI안전연구소의 인력 문제도 제기됐다. 이 의원은 인력이 26명에서 38명으로 늘었지만 해외 주요국보다 부족하다며 확충을 요구했다. 연구소는 AI 안전성 평가와 정책·기술 연구, 주요국 연구기관과의 협력을 맡고 있다. 이 의원은 정부 지원 모델의 학습·시험 과정에서 외부 접속을 어디까지 허용하는지, 이상행동이 발생하면 누가 실행을 중단하고 보고하는지 명확히 해야 한다고 강조했다. 배 부총리는 관련 해외 사고로 인한 국내 기관 피해는 아직 확인되지 않았다고 설명했다. 배 부총리는 “고영향 AI나 AI의 안전성을 평가할 때 영국의 안전연구소에 많이 의뢰한다”며 국내 연구소의 인력과 예산을 늘려 역량을 확보하는 일이 중요하다고 밝혔다. 정부는 보안 특화 모델과 프론티어 AI 개발을 통한 사이버안보 대응도 추진한다. 과기정통부는 12월 ‘국가 AI 안전생태계 조성 마스터플랜’을 수립·발표할 계획이다. 배 부총리는 국가 AI 안전관리체계 구축, 첨단 AI 안전 대응 역량 강화, 국민 일상의 안전한 AI 환경 조성을 준비하겠다고 밝혔다.2026-10-06 14:46:43
-
"금융 60%·공공 30%"…KT가 짚은 AX 속도차, 해법도 달랐다 [경제일보] 금융회사와 공공기관의 인공지능 전환(AX) 속도가 두 배 가까이 벌어진 것으로 나타났다. 금융권은 투자 효과와 AI 신뢰성 입증을, 공공부문은 예산 확보와 기관 간 데이터 연계를 주요 과제로 꼽았다. KT는 금융·공공 분야의 AX 추진 현황과 실행 방안을 담은 ‘KT AX 인사이트 리포트’ 금융편·공공편을 발간했다고 14일 밝혔다. 보고서는 지난 7월 은행·증권·보험·카드사 임직원 200명과 중앙부처·지방자치단체·공공기관 임직원 200명 등 400명을 대상으로 실시한 설문조사를 토대로 작성됐다. 조사 결과 개념검증(PoC)이나 일부 업무 적용, 전사 확산 등 AX 실행 단계에 진입했다고 응답한 비율은 금융기관 59.5%, 공공기관 30%였다. 금융권에서 생성형 AI 적용이 상대적으로 빠르게 진행되고 있지만 PoC도 실행 단계에 포함한 수치인 만큼 전사 도입률로 해석해서는 안 된다. 분야별 고민도 달랐다. 금융권은 AI 투자 대비 효과(ROI)를 수치로 입증하고 오류와 환각, 정보 유출 위험을 통제하는 문제가 우선순위로 나타났다. 공공기관은 제한된 예산 안에서 성과를 측정하고 서로 다른 기관의 데이터와 시스템을 연결하는 데 어려움을 겪는 것으로 조사됐다. KT는 기관의 AX 수준을 ‘검토 전·관심’, ‘PoC·부분 운영’, ‘기관 전반 확산’ 등 세 단계로 나눠 해법을 제시했다. 금융권에는 문서 처리와 고객 상담처럼 효과를 빠르게 확인할 수 있는 업무부터 시작해 ROI 측정, 데이터 표준화, AI 거버넌스 구축으로 확대하는 방안을 권고했다. 공공부문에는 문서 작성과 민원 처리 등 상대적으로 위험이 낮은 업무에 AI를 먼저 적용하고 성과를 다음 연도 예산과 연결하는 방식을 제안했다. 기관 간 데이터 표준화와 설명가능한 AI를 활용한 책임체계 마련도 주요 과제로 제시했다. 실제 적용 사례도 담았다. 금융권에서는 내부통제와 보안 수준을 유지하면서 금융 특화 거대언어모델(LLM)과 AI 에이전트 플랫폼을 활용해 문서 작성과 여신심사를 지원한 사례를 소개했다. 공공부문에서는 AI 챗봇과 음성인식을 결합한 구독형 인공지능 고객센터(AICC)를 통해 민원 대기시간과 상담 공백을 줄인 사례를 제시했다. 금융권 망분리 규제 완화와 공공부문의 생성형 AI 활용 확대가 맞물리면서 보안·규제 대응 역량을 갖춘 정보기술(IT) 서비스 기업의 수주 경쟁도 치열해지고 있다. KT는 보고서를 잠재 고객의 도입 단계를 진단하고 자사 AI 모델·클라우드·네트워크·AICC를 묶어 제안하는 기업간거래(B2B)·기업정부간거래(B2G) 영업 기반으로 활용할 것으로 보인다. 장대성 KT 엔터프라이즈전략본부 상무는 “산업 현장에서 확인한 고민과 요구를 바탕으로 보고서를 제작했다”며 “B2B·B2G 고객이 성공적으로 AX를 추진하는 데 도움이 되길 바란다”고 말했다. 한편 보고서의 활용도를 높이려면 설문 응답자의 직급과 AI 의사결정 참여 여부, 업종·기관별 세부 결과도 함께 공개할 필요가 있다. 향후 KT 구축 사례에서 업무시간과 비용이 얼마나 줄었는지 정량 성과까지 제시되면 실행 지침으로서 설득력이 더 높아질 것으로 보인다.2026-09-14 11:40:57
-
SKT 'A.X K2' 3단계행…셀렉트스타, AI 데이터 품질 검증 고도화 나선다 [경제일보] 정부의 '독자 AI 파운데이션 모델' 프로젝트 2차 평가에서 SK텔레콤 컨소시엄이 3단계에 진출한 가운데 컨소시엄의 데이터 부문을 맡은 셀렉트스타의 역할도 확대되고 있다. 인공지능(AI) 모델의 성능 경쟁이 고도화하면서 학습 데이터의 품질과 안전성을 관리하는 역량이 독자 AI 모델 경쟁력의 주요 요소로 부상하고 있는 것으로 분석된다. 18일 셀렉트스타가 참여한 SK텔레콤 컨소시엄은 과학기술정보통신부가 추진하는 '독자 AI 파운데이션 모델' 프로젝트 2차 평가를 통과해 3개 정예팀 가운데 하나로 선정됐다. 이번 평가에서는 SK텔레콤의 'A.X K2'를 비롯해 업스테이지 '솔라 오픈 2', LG AI연구원 'K-엑사원 2.0'이 3단계 개발을 이어가게 됐다. 이번 프로젝트는 글로벌 AI 모델과 경쟁할 수 있는 국내 독자 AI 파운데이션 모델을 확보하기 위해 정부가 추진하는 국가 사업이다. 2차 평가는 벤치마크와 전문가 평가, 사용자 평가 등을 종합해 후속 개발팀을 가리는 방식으로 진행됐다. SK텔레콤 컨소시엄은 SK텔레콤을 중심으로 셀렉트스타, 크래프톤, 포티투닷, 리벨리온, 라이너, SK AX, 테크노매트릭스 등 기업과 서울대, KAIST 등 학계가 참여하고 있다. SK텔레콤 컨소시엄에서 셀렉트스타는 모델 개발에 필요한 학습 데이터의 품질 관리와 검수를 담당했다. 단순히 데이터를 구축해 공급하는 역할에서 나아가 여러 참여 기관에서 생성·구축한 데이터를 동일한 기준으로 검증하고 관리하는 역할을 맡았다. 셀렉트스타는 1차 단계에서 대규모 학습 데이터를 구축하고 품질을 검증해 SK텔레콤의 'A.X K1' 성능과 신뢰성 향상을 지원한 것에 이어 2차 단계에서는 컨소시엄 내 여러 기관이 생산한 데이터를 통합 관리하는 데 초점을 맞춰 품질을 검수했다. 최근 AI 모델의 성능이 학습 데이터의 양뿐 아니라 데이터의 정확성과 일관성에 영향을 받는 만큼 데이터 품질 관리의 중요성도 커지고 있다. 특히 여러 기관이 하나의 컨소시엄을 구성해 모델을 개발할 경우 기관마다 데이터 생성 방식이나 검수 기준이 달라질 수 있어 이를 통합하는 관리 체계가 필요한 것으로 꼽힌다. 셀렉트스타는 2차 단계에서 모델 개발 과정에 필요한 데이터 품질 기준을 별도로 수립하고 세부 항목을 검증했다. 질문과 답변이 적절하게 구성됐는지를 확인하는 '질의·응답 적정성', 이미지와 질문·답변의 내용이 일치하는지를 살펴보는 'VQA(시각 질의응답) 적정성', 문장의 형식과 구조 등을 확인하는 '구문 정확성' 등이 검수 대상에 포함됐다. 특히 2차 단계에서는 1차보다 강화된 데이터 품질 기준이 적용되면서 여러 참여 기관이 구축한 데이터를 일관된 기준으로 검증하는 작업의 중요성이 커졌다. 이에 셀렉트스타는 데이터 품질 관리 프로세스를 고도화해 기관별 데이터의 품질 편차를 줄이고 사후 학습에 활용되는 데이터의 완성도를 높이는 데 주력했다. AI 안전성 확보를 위한 데이터 검수도 진행했다. 모델이 실제 서비스에 활용되는 과정에서 유해하거나 편향된 결과를 내놓는 것을 줄이기 위해 레드티밍 학습용 데이터셋의 품질을 점검했다. 레드티밍은 AI 모델에 의도적으로 취약점을 공격하거나 문제가 발생할 수 있는 질문을 제시해 모델의 위험 요소를 확인하는 방식이다. 셀렉트스타는 자체 AI 신뢰성 평가 플랫폼인 '다투모 플랫폼'과 산업·공공 분야에서 축적한 레드티밍 경험 등을 활용해 데이터 품질과 안전성 검증을 진행했다고 설명했다. AI 모델의 파라미터 규모나 벤치마크 성능뿐 아니라 어떤 데이터를 어떤 기준으로 학습시킨 것인지를 검증해 실제 서비스 경쟁력을 향상시킨 것으로 평가된다. 특히 3단계에 진입한 모델들이 향후 산업과 실생활에서 활용될 수 있는 수준으로 고도화될 경우 데이터 품질 관리와 안전성 검증에 대한 요구도 더욱 커질 전망이다. 연구·개발 단계에서 확보한 모델 성능을 실제 서비스로 연결하기 위해서는 데이터의 정확성과 안정성, 개인정보 및 편향 문제 등을 지속적으로 관리해야 하기 때문이다. 김세엽 셀렉트스타 대표는 "이번 2차 평가 통과는 SKT 컨소시엄 참여기관들이 각자의 영역에서 역량을 모아온 결과"라며 "셀렉트스타도 데이터 총괄 파트너로서 축적해 온 데이터 구축·품질 관리 역량을 바탕으로 모델 고도화를 안정적으로 지원해 나가겠다"고 말했다. 이어 "이번 프로젝트의 기술과 데이터 성과가 특정 기업에 머무르지 않고 국내 AI 생태계가 폭넓게 활용할 수 있는 결과물로 이어질 수 있도록 데이터와 신뢰성 평가 기술을 지속적으로 고도화하겠다"고 강조했다.2026-08-18 14:08:11
-
AI도 한국 문화 맞춤 검증…KT, AI 안전성 벤치마크 'KSAFE-MM' 공개 [경제일보] KT가 한국 사회와 문화적 특성을 반영한 멀티모달 인공지능(AI) 안전성 평가 체계를 공개했다. 생성형 AI 확산으로 텍스트를 넘어 이미지와 음성까지 동시에 이해하는 멀티모달 AI 활용이 늘어나는 가운데 국내 환경에 맞는 안전성 검증 기준을 마련해 AI 신뢰성 확보에 나서겠다는 전략으로 풀이된다. 16일 KT는 고려대학교와 공동으로 개발한 멀티모달 대형언어모델(MLLM) 안전성 벤치마크 'KSAFE-MM'을 공개했다고 밝혔다. 최근 생성형 AI 시장은 텍스트 중심 서비스에서 이미지와 음성, 영상까지 통합적으로 처리하는 멀티모달 AI 중심으로 빠르게 진화하고 있다. 다만 AI 모델의 활용 범위가 확대될수록 허위정보 생성, 편향성, 유해 콘텐츠 노출, 개인정보 침해 등 안전성 이슈 역시 함께 커지고 있는 것으로 알려졌다. 특히 글로벌 AI 기업들이 개발한 안전성 평가 기준은 영어권 문화와 사회 환경을 중심으로 설계돼 국내 이용 환경과 문화적 특수성을 충분히 반영하지 못한다는 한계도 제기돼 왔다. 이에 KT와 고려대는 해당 문제를 해결하기 위해 'KSAFE-MM'을 공동 개발했다고 설명했다. 'KSAFE-MM'은 한국 사회의 문화적·사회적 맥락을 반영한 멀티모달 AI 안전성 평가 체계로, 글로벌 공통 위험 요소를 한국 문화 환경에 맞게 재구성한 'KSAFE-MM-G'와 전세 사기, 독도 분쟁 등 국내 특수 이슈를 반영한 'KSAFE-MM-C'로 구성된다. 전체 평가 데이터는 총 1만4135개 샘플 규모다. 연구진은 해당 벤치마크를 활용해 구글의 '젬마'와 네이버의 '하이퍼클로바 X'를 비롯한 12개 글로벌 멀티모달 AI 모델의 안전성을 검증했다. 이번 연구의 가장 큰 특징은 벤치마크 구축 과정을 자동화한 것이다. 기존 AI 안전성 벤치마크는 전문가가 데이터를 수집하고 검수하는 방식이 대부분으로 많은 비용과 시간이 필요했다. 반면 KSAFE-MM은 현지 커뮤니티 기반 민감 주제 수집, 템플릿 기반 질의 생성, 합성 이미지 제작, 탈옥 질의 생성까지 전 과정을 자동화한 4단계 파이프라인을 구축했다. KT와 고려대 연구진은 동일한 파이프라인을 일본어 환경에 적용한 파일럿 프로젝트 'JSAFE-MM-C'도 진행했다. 연구진은 이를 통해 해당 프레임워크가 한국뿐 아니라 다양한 국가와 문화권에서도 활용 가능한 범용 안전성 평가 체계임을 확인했다고 설명했다. 업계에서는 생성형 AI 규제 논의가 본격화되는 가운데 AI 안전성 평가 체계의 중요성이 더욱 커질 것으로 전망하고 있다. 특히 기업들은 AI 서비스 출시 전 위험 요소를 점검하는 레드팀 테스트와 가드레일 모델 검증 수요가 늘어나고 있어 실질적인 활용도가 높을 것으로 분석된다. KT는 이번 연구 결과를 실제 AI 서비스 안전성 검증과 모델 평가, 위험 분석 등에 활용할 계획이다. 연구 결과와 벤치마크 데이터는 '아카이브'와 '허깅페이스'를 통해 공개돼 학계와 산업계가 자유롭게 활용할 수 있다. KT는 최근 다국어 AI 안전성 벤치마크 'XL-세이프티벤치'를 공개한 데 이어 KSAFE-MM을 선보이며 한국형 AI 안전성 평가 체계 구축을 확대하고 있다. KT는 책임 있는 AI 전담 조직을 중심으로 안전성 분류 체계와 평가 로직 개발 등 관련 연구를 지속 추진한다는 방침이다. 박재형 KT AX미래기술원 프론티어 AI Lab장 상무는 "안전성 벤치마크의 공개는 단순한 데이터 배포를 넘어 AI 안전성 연구 생태계 전반이 함께 발전할 수 있는 기반을 만드는 일"이라며 "KSAFE-MM이 학계와 산업계에서 한국어·한국 문화 맥락의 AI 안전성을 검증하는 공통 기준으로 자리잡길 기대한다"고 말했다.2026-06-16 14:07:30
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 반도체 호황에 취한 정부, 민생은 무너진다](https://image.ajunews.com/content/image/2026/10/15/20261015173614583906_518_323.jpg)