검색결과 총 12건
-
SKT 'A.X K2' 3단계행…셀렉트스타, AI 데이터 품질 검증 고도화 나선다
[경제일보] 정부의 '독자 AI 파운데이션 모델' 프로젝트 2차 평가에서 SK텔레콤 컨소시엄이 3단계에 진출한 가운데 컨소시엄의 데이터 부문을 맡은 셀렉트스타의 역할도 확대되고 있다. 인공지능(AI) 모델의 성능 경쟁이 고도화하면서 학습 데이터의 품질과 안전성을 관리하는 역량이 독자 AI 모델 경쟁력의 주요 요소로 부상하고 있는 것으로 분석된다. 18일 셀렉트스타가 참여한 SK텔레콤 컨소시엄은 과학기술정보통신부가 추진하는 '독자 AI 파운데이션 모델' 프로젝트 2차 평가를 통과해 3개 정예팀 가운데 하나로 선정됐다. 이번 평가에서는 SK텔레콤의 'A.X K2'를 비롯해 업스테이지 '솔라 오픈 2', LG AI연구원 'K-엑사원 2.0'이 3단계 개발을 이어가게 됐다. 이번 프로젝트는 글로벌 AI 모델과 경쟁할 수 있는 국내 독자 AI 파운데이션 모델을 확보하기 위해 정부가 추진하는 국가 사업이다. 2차 평가는 벤치마크와 전문가 평가, 사용자 평가 등을 종합해 후속 개발팀을 가리는 방식으로 진행됐다. SK텔레콤 컨소시엄은 SK텔레콤을 중심으로 셀렉트스타, 크래프톤, 포티투닷, 리벨리온, 라이너, SK AX, 테크노매트릭스 등 기업과 서울대, KAIST 등 학계가 참여하고 있다. SK텔레콤 컨소시엄에서 셀렉트스타는 모델 개발에 필요한 학습 데이터의 품질 관리와 검수를 담당했다. 단순히 데이터를 구축해 공급하는 역할에서 나아가 여러 참여 기관에서 생성·구축한 데이터를 동일한 기준으로 검증하고 관리하는 역할을 맡았다. 셀렉트스타는 1차 단계에서 대규모 학습 데이터를 구축하고 품질을 검증해 SK텔레콤의 'A.X K1' 성능과 신뢰성 향상을 지원한 것에 이어 2차 단계에서는 컨소시엄 내 여러 기관이 생산한 데이터를 통합 관리하는 데 초점을 맞춰 품질을 검수했다. 최근 AI 모델의 성능이 학습 데이터의 양뿐 아니라 데이터의 정확성과 일관성에 영향을 받는 만큼 데이터 품질 관리의 중요성도 커지고 있다. 특히 여러 기관이 하나의 컨소시엄을 구성해 모델을 개발할 경우 기관마다 데이터 생성 방식이나 검수 기준이 달라질 수 있어 이를 통합하는 관리 체계가 필요한 것으로 꼽힌다. 셀렉트스타는 2차 단계에서 모델 개발 과정에 필요한 데이터 품질 기준을 별도로 수립하고 세부 항목을 검증했다. 질문과 답변이 적절하게 구성됐는지를 확인하는 '질의·응답 적정성', 이미지와 질문·답변의 내용이 일치하는지를 살펴보는 'VQA(시각 질의응답) 적정성', 문장의 형식과 구조 등을 확인하는 '구문 정확성' 등이 검수 대상에 포함됐다. 특히 2차 단계에서는 1차보다 강화된 데이터 품질 기준이 적용되면서 여러 참여 기관이 구축한 데이터를 일관된 기준으로 검증하는 작업의 중요성이 커졌다. 이에 셀렉트스타는 데이터 품질 관리 프로세스를 고도화해 기관별 데이터의 품질 편차를 줄이고 사후 학습에 활용되는 데이터의 완성도를 높이는 데 주력했다. AI 안전성 확보를 위한 데이터 검수도 진행했다. 모델이 실제 서비스에 활용되는 과정에서 유해하거나 편향된 결과를 내놓는 것을 줄이기 위해 레드티밍 학습용 데이터셋의 품질을 점검했다. 레드티밍은 AI 모델에 의도적으로 취약점을 공격하거나 문제가 발생할 수 있는 질문을 제시해 모델의 위험 요소를 확인하는 방식이다. 셀렉트스타는 자체 AI 신뢰성 평가 플랫폼인 '다투모 플랫폼'과 산업·공공 분야에서 축적한 레드티밍 경험 등을 활용해 데이터 품질과 안전성 검증을 진행했다고 설명했다. AI 모델의 파라미터 규모나 벤치마크 성능뿐 아니라 어떤 데이터를 어떤 기준으로 학습시킨 것인지를 검증해 실제 서비스 경쟁력을 향상시킨 것으로 평가된다. 특히 3단계에 진입한 모델들이 향후 산업과 실생활에서 활용될 수 있는 수준으로 고도화될 경우 데이터 품질 관리와 안전성 검증에 대한 요구도 더욱 커질 전망이다. 연구·개발 단계에서 확보한 모델 성능을 실제 서비스로 연결하기 위해서는 데이터의 정확성과 안정성, 개인정보 및 편향 문제 등을 지속적으로 관리해야 하기 때문이다. 김세엽 셀렉트스타 대표는 "이번 2차 평가 통과는 SKT 컨소시엄 참여기관들이 각자의 영역에서 역량을 모아온 결과"라며 "셀렉트스타도 데이터 총괄 파트너로서 축적해 온 데이터 구축·품질 관리 역량을 바탕으로 모델 고도화를 안정적으로 지원해 나가겠다"고 말했다. 이어 "이번 프로젝트의 기술과 데이터 성과가 특정 기업에 머무르지 않고 국내 AI 생태계가 폭넓게 활용할 수 있는 결과물로 이어질 수 있도록 데이터와 신뢰성 평가 기술을 지속적으로 고도화하겠다"고 강조했다.
2026-08-18 14:08:11
-
카카오 '카나나2', 허깅페이스 공개 두 모델, 안전성 평가 종합 1위
[경제일보] 카카오가 오픈소스로 공개한 경량언어모델(SLM) '카나나-2' 시리즈의 안전성 평가 결과를 18일 내놨다. 유사 규모 글로벌 모델과 비교해 종합 1위를 기록했다고 밝혔다. 평가 대상은 지난달 28일 허깅페이스에 공개한 4종 가운데 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'다. 카카오는 당시 4종을 상업적 활용까지 허용하는 '카나나 오픈 라이선스'로 배포했고, 자체 개발한 한국어 특화 토크나이저를 적용해 한국어 처리 효율을 30% 이상 높였다고 밝힌 바 있다. 현재 '카나나 인 카카오톡'과 카카오톡 대화·통화 요약, AI 국민비서 등에 카카오의 경량 모델이 쓰이고 있다. 이번 평가는 카카오가 자체 구축한 'AI 안전성 평가 플랫폼'으로 진행됐다. 지난해 11월 한국정보통신기술협회(TTA), KAIST, 카카오 등이 과학기술정보통신부 사업으로 공동 구축한 한국어 특화 벤치마크 'AssurAI'를 활용했다. AssurAI는 한국의 사회·문화적 맥락을 반영해 AI 위험 요소를 측정하며, 텍스트뿐 아니라 이미지·오디오 등 멀티모달 환경과 악의적 프롬프트 입력 상황까지 평가할 수 있다. 총 35개 위험 범주에 9560개 평가 항목으로 구성됐고, 카카오는 이를 △사회적 리스크 △성적 콘텐츠·아동보호 △범죄·불법 행위 △폭력 △권리 침해 등 5개 대분류로 재편해 집계했다. AI 모델이 사전 정의된 채점 기준에 따라 다른 모델의 응답을 평가하는 방식을 적용해, 대규모 평가에서도 주관적 편차를 줄이고 동일한 기준으로 비교할 수 있게 했다는 설명이다. 비교 대상은 유사 파라미터 규모의 구글 '젬마'와 알리바바 '큐웬'이었다. 결과는 카나나2 1.3B 모델이 종합점수 0.70으로 젬마(0.68), 큐웬(0.58)을 앞섰고, 3B 모델도 0.70으로 젬마(0.66), 큐웬(0.62)보다 높았다. 대분류별로는 1.3B 모델이 범죄·불법 행위 영역에서, 3B 모델이 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델을 크게 앞섰다. 카카오는 앞으로 자체 개발 모델에 상시적인 사전 안전성 평가를 확대 적용할 계획이다. 텍스트 언어모델을 넘어 멀티모달 모델과 스스로 작업을 수행하는 에이전틱 AI 리스크 평가로도 범위를 단계적으로 넓힌다는 방침이다. 카카오는 이에 앞서 AI 안전성 검증 도구 '카나나 세이프가드'도 오픈소스로 공개한 바 있다. 김경훈 카카오 AI 세이프티 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고, 그 결과를 공개하고자 한 사례"라며 "앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.
2026-08-18 11:09:21
-
KAIST, MS 'AI 레드팀' 합류…국내 대학 중 유일
[경제일보] 한국과학기술원(KAIST)이 국내 대학 가운데 유일하게 마이크로소프트(MS)의 글로벌 인공지능(AI) 안전성 연구 네트워크에 합류했다. 생성형 AI와 AI 에이전트의 활용이 확산하는 가운데 글로벌 기업과 대학이 협력해 실제 서비스에서 발생할 수 있는 보안 위협을 선제적으로 검증한다. KAIST는 전산학부 손수엘 교수 연구팀이 MS AI 레드팀이 운영하는 글로벌 AI 안전성 연구 프로그램 ‘엑스트라(EXTRA·External Red Team Alliance)’ 연구팀으로 선정됐다고 28일 밝혔다. 엑스트라는 MS가 올해 시작한 외부 AI 레드팀 연구 지원 프로그램이다. 기업 내부 조직에 머물던 AI 안전성 평가를 세계 대학과 연구기관으로 확대해 다양한 관점에서 생성형 AI의 취약점과 위험성을 검증하는 것이 목적이다. 프로그램에는 6개 대륙의 10여개 대학과 연구기관이 참여한다. 국내 대학 가운데 선정된 곳은 KAIST가 유일하다. 손 교수 연구팀은 2만5000달러, 약 3700만원의 연구비를 지원받아 글로벌 연구진과 함께 AI 보안과 신뢰성 연구를 수행한다. 손 교수 연구팀은 생성형 AI와 대규모언어모델(LLM)을 대상으로 해킹을 통한 모델 탈취와 개인정보 유출, 악성 명령을 주입해 의도하지 않은 행동을 유도하는 프롬프트 주입 공격 등을 분석하고 있다. 연구 범위는 단순한 챗봇을 넘어 외부 시스템과 연결돼 스스로 업무를 수행하는 AI 에이전트까지 확대된다. AI 에이전트는 문서 작성과 정보 검색뿐 아니라 외부 도구 호출, 데이터 처리, 시스템 제어 등을 연속적으로 수행한다. 권한과 접근 범위를 적절히 통제하지 못하면 개인정보나 기업 내부 정보가 노출될 수 있어 서비스 구축 단계부터 공격 가능성을 점검해야 한다. 연구팀은 실제 서비스 환경에서 발생할 수 있는 공격 경로를 찾아내고, AI가 악성 명령이나 조작된 정보를 구분하도록 하는 방어 기술을 개발할 계획이다. 공격자의 관점에서 취약점을 검증하는 레드팀 연구와 이를 차단하는 보안 기술을 함께 고도화한다. 최근 글로벌 AI 기업들은 모델 성능 경쟁과 함께 안전성 검증을 핵심 과제로 삼고 있다. AI가 금융과 의료, 공공, 제조 등 민감한 데이터를 다루는 산업으로 확산하면서 모델 자체뿐 아니라 데이터와 외부 도구, 네트워크를 연결하는 전체 서비스 구조의 보안이 중요해졌기 때문이다. 이번 프로그램 참여는 KAIST가 MS의 AI 보안 연구진 및 세계 대학들과 연구 성과를 교류하고, 국제적인 AI 안전성 평가 체계 마련에 참여할 기회가 될 전망이다. 국내 연구진의 공격·방어 기술이 글로벌 AI 서비스의 보안 기준과 평가 방법에 반영될 가능성도 커졌다. 손수엘 교수는 “AI는 성능뿐 아니라 안전성과 신뢰성이 중요해지고 있다”며 “실제 서비스에서 발생할 수 있는 보안 위협을 분석하고 누구나 안심하고 사용할 수 있는 AI 기술 개발에 기여하겠다”고 말했다. MS AI 레드팀을 이끄는 램 샹카르 시바 쿠마르는 “AI 안전성 연구에서 대학은 핵심적인 역할을 하고 있다”며 “점점 강력해지는 AI 시스템을 평가하고 보호하며 책임감 있게 관리할 수 있도록 관련 연구를 지원하겠다”고 밝혔다.
2026-07-28 15:00:10
-
KT, AI 신뢰 인프라 구축 나선다…UN·ITU와 글로벌 표준 협력
[경제일보] 사람을 대신해 스스로 판단하고 업무를 수행하는 '에이전틱 AI(인공지능)' 시대가 다가오면서 AI의 신원과 권한, 책임을 검증하는 '디지털 신뢰' 구축이 글로벌 핵심 과제로 떠오르고 있다. 이에 KT는 유엔(UN)과 국제전기통신연합(ITU)이 주관하는 국제 행사에 참여해 AI 신뢰 체계 구축과 글로벌 표준화 방향을 구상하고 있다. 9일 KT는 스위스 제네바에서 열린 'AI 포 굿 글로벌 서밋'과 UN '글로벌 AI 거버넌스 대화'에 참석해 책임감 있는 AI와 글로벌 AI 표준 협력 방안을 논의했다고 밝혔다. AI 포 굿 글로벌 서밋은 UN 산하 정보통신기술(ICT) 전문기구인 ITU가 주관하는 행사로, 정부와 산업계, 국제 표준기구 관계자들이 AI 기술의 발전 방향과 글로벌 협력 방안을 논의하는 자리다. 올해는 스스로 판단하고 행동하는 에이전틱 AI 시대를 맞아 디지털 신뢰와 AI 인프라 구축이 핵심 의제로 다뤄졌다. KT는 'AI 파운데이션: 모두를 위한 디지털 신뢰와 AI 인프라' 라운드테이블 세션에서 에이전틱 AI 시대에 필요한 '신뢰 기본 요소' 구축 방안을 제안했다고 설명했다. 신뢰 기본 요소는 AI가 누구를 대신해 행동하는지 확인하는 '신원', 어떤 권한을 위임받았는지에 대한 '동의', 수행한 행위를 객관적으로 증명할 수 있는 '검증 가능성' 등을 의미한다. 특히 KT는 향후 AI 서비스의 중심이 사람과 시스템 간 상호작용에서 AI 에이전트 중심으로 이동할 것으로 전망했다. 이에 따라 AI가 안전하게 의사결정을 수행하기 위해서는 특정 기업이나 플랫폼에 종속되지 않는 개방형 상호운용 표준과 중립적인 신뢰 인프라가 필요하다고 강조했다. 같은 날 열린 UN '글로벌 AI 거버넌스 대화'에도 참석해 AI 거버넌스 구축 방안과 국제 협력 방향을 논의했다. 지난해 출범한 글로벌 AI 거버넌스 대화는 각국 정부와 산업계, 학계가 안전하고 포용적인 AI 생태계 조성을 위한 협력 방안을 논의하는 국제 협의체다. 이번 행사에는 안토니오 구테흐스 UN 사무총장을 비롯해 튜링상 수상자인 요슈아 벤지오 교수, 브래드 스미스 마이크로소프트 사장 등 글로벌 AI 정책과 기술 분야 주요 인사들이 참석했다. KT는 '인권 존중·보호·증진: 투명성, 책임성 및 인간 개입' 세션에서 AI 기술이 발전하더라도 UN이 제시한 인권 원칙이 지속적으로 보장돼야 한다는 점을 강조했다. 또한 AI 안전성 확보를 위한 자체 정책과 거버넌스 체계를 구축해 운영하고 있으며, 이를 지니TV AI 에이전트 등 자사 AI 서비스에 적용하고 있다고 소개했다. 향후 UN과 협력해 AI 안전성과 관련한 예방·보호·감시 체계 마련에도 참여할 계획이다. 최근 글로벌 AI 산업에서는 생성형 AI를 넘어 에이전틱 AI 시대로 전환이 본격화되면서 AI의 안전성과 투명성, 책임성을 확보하기 위한 국제 표준 논의도 활발해지고 있다. AI가 금융과 의료, 공공서비스 등 다양한 영역에서 사람을 대신해 의사결정을 수행하는 사례가 늘어나면서 디지털 신뢰 체계 구축이 AI 산업 경쟁력을 좌우할 핵심 요소로 부상할 것으로 분석된다. 박완진 KT AX미래기술원 테크전략담당 상무는 "에이전트가 사람을 대신하는 시대에는 기술 혁신의 속도와 함께, 인간의 권리를 보장하고 상호 운용 가능한 디지털 신뢰를 구축하는 것이 무엇보다 중요하다"며 "KT는 AI 모델을 직접 개발하면서도 중립적인 신뢰 인프라를 함께 제공할 수 있는 사업자로서 글로벌 표준 논의에 책임 있게 기여하겠다"고 말했다.
2026-07-09 10:05:26
-
네이버, AI 안전망 넓힌다…'모델' 넘어 이용자 경험까지 점검
[경제일보] 네이버가 인공지능(AI) 안전성 관리 범위를 모델에서 서비스와 이용자 경험으로 넓힌다. AI가 검색과 쇼핑, 추천, 에이전트 기능으로 들어오는 상황에서 단순히 모델 성능만 보는 방식으로는 안전성을 담보하기 어렵다는 판단이다. 네이버(대표이사 최수연)는 8일 서울 강남구에서 열린 인공지능안전 서울 포럼에서 AI 안전성 관리 체계 ‘ASF(AI Safety Framework) 2.0’을 공개했다. ASF 2.0은 네이버가 2024년 AI 서울 서밋에서 공개한 ASF를 고도화한 버전이다. 기존 ASF가 AI 기술 모델의 성능과 위험 수준을 중점적으로 관리했다면 ASF 2.0은 이용자가 실제로 접하는 AI 서비스까지 관리 범위를 확장했다. AI가 하나의 모델로 작동하던 단계에서 여러 모델과 기능이 결합된 서비스로 진화하면서 안전성 관리 방식도 바뀌어야 한다는 문제의식이 반영됐다. 송대섭 네이버 AI Safety Policy 리더는 “AI를 둘러싼 기술과 서비스, 정책·제도 환경이 변화하며 하나의 모델을 안전하게 만드는 문제를 넘어 수천만 명이 사용하는 서비스를 어떻게 안전하게 설계하고 운영할 것인지의 문제로 확장되고 있다”고 말했다. 이번 체계에는 네이버의 ‘On-service AI’ 전략도 반영됐다. 네이버는 AI탭과 쇼핑 AI 에이전트 등 기존 서비스 안에 AI 기능을 깊게 결합하고 있다. 또 글로벌 AI 생태계에서 멀티 모델 환경이 확산되고 국내에서도 AI기본법 제정 등 제도 변화가 이어지는 점을 고려했다. ASF 2.0의 핵심은 서비스 전 주기 관리다. AI 서비스의 출시 전 설계 단계부터 출시 이후 운영 과정까지 위험을 점검한다. 평가 기준도 단순 성능 중심에서 맥락, 활용 사례, 영향으로 세분화됐다. 같은 AI 기능이라도 어떤 서비스에 쓰이는지 어떤 이용자가 영향을 받는지에 따라 위험 수준이 달라질 수 있기 때문이다. 구체적으로 네이버는 AI 위험 분류 체계를 통해 서비스에서 발생할 수 있는 위험을 유형화한다. 이어 AI 영향 평가 매트릭스로 활용 영역과 범위에 따른 영향을 평가한다. 이후 지속적인 안전성 점검과 사용자 피드백을 반영해 AI 서비스가 안정적으로 운영되도록 관리한다. 전사 실행 체계도 마련했다. 네이버는 ASF 2.0이 실제 서비스 출시 과정에 일관되게 적용될 수 있도록 ‘CHEC 2.0’을 운영한다. CHEC 2.0은 인간 중심 AI 윤리와 안전성을 검토하는 내부 실행 체계다. 지난 6월 선보인 ‘AI탭’도 설계부터 출시 단계까지 CHEC 2.0을 통해 안전성 점검을 거쳤다. 네이버는 앞으로 AI탭을 포함해 출시 예정이거나 이미 운영 중인 AI 기반 서비스의 안전성을 CHEC 2.0으로 지속 점검할 방침이다. 외부 전문가와 학계, 정책 기관과의 협업도 확대한다. 이번 업데이트는 AI 서비스 경쟁이 빨라질수록 안전성 관리가 기업의 신뢰 경쟁력으로 바뀌고 있음을 보여준다. 검색 결과, 쇼핑 추천, 에이전트 실행이 이용자의 판단과 소비에 직접 영향을 미치는 만큼 플랫폼 기업은 기술 성능뿐 아니라 잘못된 답변, 편향, 과도한 자동화, 개인정보 위험까지 함께 관리해야 한다. 한편 네이버의 ASF 2.0은 AI를 더 많이 붙이기 위한 안전장치이기도 하다. 이용자가 체감하는 서비스 안으로 AI가 들어갈수록 작은 오류도 큰 불신으로 번질 수 있다. AI 시대의 플랫폼 경쟁은 누가 더 빠르게 기능을 내놓느냐만으로 결정되지 않는다. 수천만 이용자가 쓰는 서비스에서 위험을 예측하고 설명하며 수정할 수 있는 체계를 갖췄는지가 다음 신뢰의 기준이 된다.
2026-07-08 11:28:44
-
-
AI 성능 넘어 '안전' 경쟁...KT 클라우드·카카오 AI 세이프티 맞손
[경제일보] 생성형 인공지능(AI)이 기업 업무 전반으로 확산되면서 AI 성능뿐 아니라 안전성과 신뢰성을 확보하기 위한 경쟁도 본격화되고 있다. 유해 콘텐츠 생성과 개인정보 유출, 프롬프트 공격 등 새로운 보안 위협이 부상하면서 AI를 실제 서비스에 적용하기 위해서는 'AI 세이프티'가 핵심 경쟁력으로 떠오른 것으로 분석된다. 26일 KT 클라우드와 카카오는 안전한 생성형 AI 서비스 구현을 위한 AI 세이프티 협력 체계를 구축했다고 밝혔다. 양사는 KT 클라우드의 AI 인프라 플랫폼과 카카오의 AI 세이프티 기술을 결합해 공공과 민간 분야에서 신뢰할 수 있는 AI 활용 환경을 구축한다는 계획이다. 최근 생성형 AI 도입이 빠르게 늘면서 AI 서비스의 안전성 확보가 기업들의 새로운 과제로 떠오르고 있다. AI가 허위 정보를 생성하는 '환각' 현상은 물론 '프롬프트 인젝션'을 통한 악성 명령 실행, 개인정보 유출, 유해 콘텐츠 생성 등의 위험성이 실제 서비스 운영 과정에서 잇따라 제기되고 있기 때문이다. 특히 공공기관과 금융권, 대기업을 중심으로 AI 도입이 확대되면서 모델 성능만큼 보안성과 신뢰성, 규제 대응 능력을 함께 검증하려는 움직임도 강화되고 있다. AI를 업무 시스템과 연계하는 기업이 늘어날수록 안전성을 확보할 수 있는 운영 체계가 필수 요소로 자리 잡고 있는 것이다. 이에 양사는 AI 서비스 개발부터 운영까지 전 과정에서 활용할 수 있는 AI 세이프티 기술 고도화에 나선다. 협력의 첫 단계로 KT 클라우드는 지난 4월 공개한 공공기관 대상 생성형 AI 플랫폼 'RAG Suite 2.0'에 카카오의 AI 가드레일 모델인 '카나나 세이프가드'를 적용할 예정이다. 카나나 세이프가드는 한국어와 국내 문화·법률 환경을 반영해 개발된 AI 세이프티 모델이다. 생성형 AI가 부적절하거나 유해한 답변을 생성하는 것을 방지하고 프롬프트 공격이나 정책 위반 가능성을 탐지하는 역할을 수행한다. 현재 카카오의 주요 AI 서비스에도 적용되고 있다. 양사는 가드레일 기술 적용을 시작으로 AI 모델 안전성 평가 시스템과 다양한 공격 시나리오를 기반으로 취약점을 점검하는 '레드티밍' 시스템도 단계적으로 제공할 계획이다. AI 모델이 실제 서비스 환경에서 예상하지 못한 공격이나 악용 시도에 얼마나 안정적으로 대응하는지를 검증하는 체계까지 함께 구축한다는 구상이다. 향후에는 AI 세이프티 도구를 통합 관리하는 운영 플랫폼 구축으로 협력을 확대한다. KT 클라우드 환경에서 축적되는 운영 데이터와 고객 피드백을 기반으로 AI 안전성 관리 기능을 고도화하고, 생성형 AI 서비스의 개발과 배포, 운영, 모니터링까지 아우르는 통합 운영 체계를 마련할 계획이다. IT 업계에서는 AI 시장 경쟁이 모델 성능 중심에서 안전성과 신뢰성을 확보하는 방향으로 빠르게 이동하고 있는 것으로 전망한다. 생성형 AI 기술이 기업 핵심 업무에 적용될수록 모델의 정확도뿐 아니라 보안과 컴플라이언스, 운영 안정성 확보 여부가 AI 도입을 결정하는 핵심 요소로 자리 잡고 있기 때문이다. 이에 AI 가드레일과 레드티밍, 모델 평가 체계 등 AI 세이프티 기술도 AI 인프라의 필수 요소로 부상하고 있는 것으로 평가된다. KT 클라우드와 카카오는 이번 협력을 계기로 공공기관과 금융권을 비롯한 다양한 산업 분야에서 신뢰할 수 있는 생성형 AI 서비스 구축을 지원하는 한편, 국내 AI 생태계 전반의 안전성 확보에도 기여한다는 방침이다. 김봉균 KT 클라우드 대표는 "생성형 AI가 본격적으로 확산되면서 성능뿐 아니라 책임 있는 AI 활용 기반을 마련하는 것이 중요한 과제가 되고 있다"며 "카카오와의 협력을 통해 AI 인프라와 안전성 기술을 결합하고, 공공과 민간 고객이 보다 신뢰할 수 있는 환경에서 AI 서비스를 개발·운영할 수 있도록 지원하겠다"고 말했다. 김세웅 카카오 AI 시너지 성과리더는 "카카오의 AI 세이프티 기술과 KT 클라우드의 인프라 역량이 만나는 이번 협력이 국내 AI 생태계의 안전성을 한 단계 높이는 계기가 되길 바란다"며 "앞으로도 이용자가 안심하고 사용할 수 있는 AI 환경을 만들기 위해 지속적으로 노력하겠다"고 말했다.
2026-06-26 10:15:27
-
정부, 美 AI 통제 속...앤트로픽과 안전·보안 동맹
[경제일보] 미국 정부가 국가 안보를 이유로 첨단 인공지능(AI) 모델 접근을 제한하고 나선 가운데 한국 정부가 앤트로픽과 AI 안전·사이버보안 협력에 나섰다. 고성능 AI 모델이 사이버 공격과 방어 양쪽에 모두 활용될 수 있다는 우려가 커지는 상황에서 한국이 글로벌 AI 안전망의 핵심 파트너로 자리 잡을 수 있을지 주목된다. 과학기술정보통신부는 18일 앤트로픽과 AI 안전성 확보 및 사이버보안 협력 업무협약을 체결했다고 밝혔다. 양측은 AI가 사이버 공격과 방어에 미치는 영향을 분석하고 한국어 맥락에서의 AI 모델 안전성 및 오남용 위험을 평가하는 데 협력할 예정이다. 자율형 AI 에이전트에 대한 레드팀 평가도 협력 대상에 포함됐다. 앤트로픽은 챗봇 ‘클로드’와 코딩 특화 도구, AI 에이전트 기술로 빠르게 성장한 프런티어 AI 기업이다. 최근에는 사이버보안 특화 고성능 모델인 ‘미토스’와 관련한 글로벌 논란의 중심에도 섰다. 앤트로픽의 프로젝트 글래스윙은 미토스 계열 모델을 활용해 핵심 소프트웨어의 취약점을 찾고 고치는 방어 목적의 AI 보안 협력체다. 한국에서는 KISA와 주요 기업들이 이 프로젝트에 참여한 것으로 알려졌다. 협약의 의미는 단순한 기술 교류를 넘어선다. AI 모델이 고도화되면서 보안 위험은 두 방향으로 커지고 있다. 방어자는 AI로 취약점을 더 빨리 찾을 수 있지만 공격자 역시 AI를 활용해 악성코드 변형, 취약점 탐색, 피싱 자동화, 침투 시나리오 생성을 시도할 수 있다. 정부가 앤트로픽과 손잡은 것은 이 같은 양면성을 제도권 안에서 평가하고 통제하려는 시도로 볼 수 있다. 과기정통부는 한국 AI 안전연구소와 앤트로픽 간 협력을 통해 AI 모델 및 자율형 AI 에이전트 안전성 평가를 추진할 방침이다. 금융 분야 등 국가적 파급력이 큰 영역에서 AI 기반 취약점 발굴과 사이버 위협 정보 공유도 실무적으로 논의한다. 한국어 환경에서 발생할 수 있는 모델 오남용, 허위정보 생성, 보안 우회 가능성 등을 함께 점검하는 것도 주요 과제다. 정부는 이번 협약을 글로벌 AI 협력 벨트의 한 축으로 보고 있다. 그동안 AI 인프라, 프런티어 모델, 연구 협력 분야에서 글로벌 기업과 접점을 넓혀왔다면 앤트로픽과의 협력은 안전성과 보안 분야를 보강하는 성격이 강하다. AI 산업 경쟁력이 커질수록 모델 성능 못지않게 안전성 평가와 사이버 복원력이 국가 경쟁력의 기준으로 떠오르고 있기 때문이다. 검증대에 오른 부분은 미국의 AI 기술 통제 기조다. 외신에 따르면 미국 정부는 최근 앤트로픽의 고성능 모델 미토스 5와 페이블 5에 대해 외국 국적자의 접근을 제한하는 조치를 내렸다. 앤트로픽은 적용 범위를 선별하기 어렵다는 이유로 해당 모델 접근을 광범위하게 중단한 것으로 전해졌다. 이 조치가 이어질 경우 한국 정부와 기업이 프로젝트 글래스윙을 통해 확보하려던 미토스 접근권에도 제약이 생길 수 있다. 과기정통부는 앤트로픽과 소통하며 상황을 예의주시하고 있다는 입장이다. 앤트로픽 역시 신중한 태도를 보이고 있다. 한국 입장에서는 미국의 첨단 AI 모델에 대한 접근권을 확보하는 동시에 미국 정부의 수출통제와 기술 주권 기조에 따른 불확실성도 관리해야 하는 상황이다. 이번 협약은 한국 AI 정책의 방향을 보여준다. 단순히 해외 모델을 쓰는 것을 넘어 고성능 AI가 초래할 수 있는 위험을 평가하고 방어 기술을 확보하려는 움직임이다. 특히 AI 에이전트가 실제 시스템을 조작하고 코드를 작성하며 업무를 수행하는 단계로 넘어가면 모델 안전성과 사이버보안은 분리하기 어려운 과제가 된다. 성과는 접근권과 실행력에서 갈릴 전망이다. 미토스 같은 첨단 모델에 대한 안정적 접근이 보장되지 않으면 협력은 제한적일 수밖에 없다. 반대로 한국어 환경의 안전성 평가, 금융·공공 분야 취약점 발굴, 국내 보안 인력과 글로벌 모델의 결합이 실질 성과로 이어진다면 한국은 AI 안전·보안 분야에서 독자적 입지를 넓힐 수 있다.
2026-06-18 16:09:55
-
AI도 한국 문화 맞춤 검증…KT, AI 안전성 벤치마크 'KSAFE-MM' 공개
[경제일보] KT가 한국 사회와 문화적 특성을 반영한 멀티모달 인공지능(AI) 안전성 평가 체계를 공개했다. 생성형 AI 확산으로 텍스트를 넘어 이미지와 음성까지 동시에 이해하는 멀티모달 AI 활용이 늘어나는 가운데 국내 환경에 맞는 안전성 검증 기준을 마련해 AI 신뢰성 확보에 나서겠다는 전략으로 풀이된다. 16일 KT는 고려대학교와 공동으로 개발한 멀티모달 대형언어모델(MLLM) 안전성 벤치마크 'KSAFE-MM'을 공개했다고 밝혔다. 최근 생성형 AI 시장은 텍스트 중심 서비스에서 이미지와 음성, 영상까지 통합적으로 처리하는 멀티모달 AI 중심으로 빠르게 진화하고 있다. 다만 AI 모델의 활용 범위가 확대될수록 허위정보 생성, 편향성, 유해 콘텐츠 노출, 개인정보 침해 등 안전성 이슈 역시 함께 커지고 있는 것으로 알려졌다. 특히 글로벌 AI 기업들이 개발한 안전성 평가 기준은 영어권 문화와 사회 환경을 중심으로 설계돼 국내 이용 환경과 문화적 특수성을 충분히 반영하지 못한다는 한계도 제기돼 왔다. 이에 KT와 고려대는 해당 문제를 해결하기 위해 'KSAFE-MM'을 공동 개발했다고 설명했다. 'KSAFE-MM'은 한국 사회의 문화적·사회적 맥락을 반영한 멀티모달 AI 안전성 평가 체계로, 글로벌 공통 위험 요소를 한국 문화 환경에 맞게 재구성한 'KSAFE-MM-G'와 전세 사기, 독도 분쟁 등 국내 특수 이슈를 반영한 'KSAFE-MM-C'로 구성된다. 전체 평가 데이터는 총 1만4135개 샘플 규모다. 연구진은 해당 벤치마크를 활용해 구글의 '젬마'와 네이버의 '하이퍼클로바 X'를 비롯한 12개 글로벌 멀티모달 AI 모델의 안전성을 검증했다. 이번 연구의 가장 큰 특징은 벤치마크 구축 과정을 자동화한 것이다. 기존 AI 안전성 벤치마크는 전문가가 데이터를 수집하고 검수하는 방식이 대부분으로 많은 비용과 시간이 필요했다. 반면 KSAFE-MM은 현지 커뮤니티 기반 민감 주제 수집, 템플릿 기반 질의 생성, 합성 이미지 제작, 탈옥 질의 생성까지 전 과정을 자동화한 4단계 파이프라인을 구축했다. KT와 고려대 연구진은 동일한 파이프라인을 일본어 환경에 적용한 파일럿 프로젝트 'JSAFE-MM-C'도 진행했다. 연구진은 이를 통해 해당 프레임워크가 한국뿐 아니라 다양한 국가와 문화권에서도 활용 가능한 범용 안전성 평가 체계임을 확인했다고 설명했다. 업계에서는 생성형 AI 규제 논의가 본격화되는 가운데 AI 안전성 평가 체계의 중요성이 더욱 커질 것으로 전망하고 있다. 특히 기업들은 AI 서비스 출시 전 위험 요소를 점검하는 레드팀 테스트와 가드레일 모델 검증 수요가 늘어나고 있어 실질적인 활용도가 높을 것으로 분석된다. KT는 이번 연구 결과를 실제 AI 서비스 안전성 검증과 모델 평가, 위험 분석 등에 활용할 계획이다. 연구 결과와 벤치마크 데이터는 '아카이브'와 '허깅페이스'를 통해 공개돼 학계와 산업계가 자유롭게 활용할 수 있다. KT는 최근 다국어 AI 안전성 벤치마크 'XL-세이프티벤치'를 공개한 데 이어 KSAFE-MM을 선보이며 한국형 AI 안전성 평가 체계 구축을 확대하고 있다. KT는 책임 있는 AI 전담 조직을 중심으로 안전성 분류 체계와 평가 로직 개발 등 관련 연구를 지속 추진한다는 방침이다. 박재형 KT AX미래기술원 프론티어 AI Lab장 상무는 "안전성 벤치마크의 공개는 단순한 데이터 배포를 넘어 AI 안전성 연구 생태계 전반이 함께 발전할 수 있는 기반을 만드는 일"이라며 "KSAFE-MM이 학계와 산업계에서 한국어·한국 문화 맥락의 AI 안전성을 검증하는 공통 기준으로 자리잡길 기대한다"고 말했다.
2026-06-16 14:07:30
-
SK쉴더스 EQST, AI 레드팀 대회 1위…판단 오류 취약점 공략
[경제일보] SK쉴더스 화이트해커 그룹 EQST가 글로벌 AI 레드팀 해킹대회에서 우승하며 인공지능 보안 역량을 입증했다. 생성형 AI가 산업 현장과 공공서비스 전반으로 확산되는 가운데 AI의 판단 오류를 유도하는 새로운 위협에 대응할 전문성이 중요해지고 있다는 평가다. SK쉴더스는 글로벌 AI 레드팀 해킹대회 ‘Judgement Day’에서 EQST 소속 김병현 선임이 최종 1위를 차지했다고 15일 밝혔다. 같은 팀의 마준영 선임과 김신우 선임도 각각 5위와 7위에 올라 상위권에 이름을 올렸다. 이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 방식으로 진행됐다. 단순히 시스템을 침투하는 기존 해킹과 달리 AI의 의사결정 과정을 교란하는 데 초점을 맞췄다. 시나리오는 실제 산업 환경을 반영했다. 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 8개 과제가 제시됐다. AI 판단이 잘못될 경우 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 인식되는 등 금전적 손실을 넘어 인명 피해로 이어질 수 있음을 보여준 것이다. 김병현 선임은 이미지, 음성, 영상 등 여러 형태의 입력을 활용하는 멀티모달 프롬프트 인젝션 공격으로 높은 점수를 얻었다. 이미지 안에 잘못된 행동을 유도하는 문구를 숨기거나 실제 시스템 로그처럼 보이는 입력을 설계해 AI가 기존 규칙을 따르지 않도록 유도했다. 동일한 문제를 다양한 방식으로 빠르게 공략한 점도 높은 평가를 받았다. EQST는 국내외 주요 해킹대회에서 꾸준히 성과를 내 온 SK쉴더스의 화이트해커 조직이다. 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 등 글로벌 보안 무대에서 실전 역량을 축적해왔다. 최근에는 AI 시스템을 겨냥한 레드팀 서비스와 위협 분석 역량을 강화하고 있다. SK쉴더스는 EQST가 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 바탕으로 고객사의 AI 시스템 취약점 사전 식별을 지원하고 있다고 설명했다. 글로벌 기준인 ‘OWASP Top 10 for LLM’을 반영한 자체 프레임워크를 통해 AI 보안 점검과 대응 전략도 제공하고 있다. 김병현 SK쉴더스 EQST Lab팀 선임은 “AI 판단을 교란하는 공격 가능성을 실제로 검증하고 그 결과가 AI 안전성 연구로 이어진다는 점에서 큰 보람을 느낀다”며 “앞으로도 새로운 AI 위협에 대응하는 연구를 지속하겠다”고 말했다. 김병무 SK쉴더스 사이버보안부문장 부사장은 “생성형 AI가 산업 전반으로 확산되면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다”며 “이번 대회에서 검증한 AI 레드팀 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 지원하겠다”고 밝혔다. 이번 성과는 AI 보안의 무게중심이 침입 차단에서 판단 검증으로 옮겨가고 있음을 보여준다. AI가 의료, 항공, 재난 대응처럼 사람의 생명과 직결된 의사결정에 활용될수록 공격자는 시스템의 벽보다 판단의 틈을 노릴 가능성이 크다. SK쉴더스 EQST의 우승은 국내 보안업계가 이 새로운 전장에서도 경쟁력을 갖추고 있음을 보여준 사례다.
2026-06-15 09:55:44
-
정부, 오픈AI GTAC 참여 공식화...앤스로픽 '글래스윙'도 가시권
[경제일보] 우리 정부가 오픈AI의 사이버보안 협력 프로그램에 참여하며 고성능 인공지능(AI)이 불러온 새로운 보안 위협 대응에 나선다. 앤트로픽의 ‘클로드 미토스’처럼 취약점 탐지와 공격 경로 분석 능력을 갖춘 AI 모델이 등장하면서, 국가 핵심 시스템 방어를 위해 글로벌 AI 기업과의 협력을 확대하는 흐름이다. 과학기술정보통신부는 오픈AI의 ‘신뢰 기반 사이버 접근 프로그램’(TAC)에 참여한다고 27일 밝혔다. 일부에서는 정부·기관 협력 성격을 강조해 GTAC로 부르지만, 공개된 설명상 공식 명칭은 TAC다. 이 프로그램은 검증된 정부·공공기관과 보안 조직이 고성능 AI 모델의 사이버보안 기능을 제한적으로 활용할 수 있도록 하는 협력 체계다. 류제명 과기정통부 2차관은 제이슨 권 오픈AI 최고전략책임자(CSO) 등 오픈AI 핵심 관계자들과 만나 AI 보안위협 대응과 안전성 확보 방안을 논의했다. 정부는 이번 협력을 통해 오픈AI의 고성능 사이버보안 모델이 탐지한 주요 소프트웨어 취약점 정보를 공유받고, 이를 국가 기간시스템과 주요 민간 인프라 방어에 활용할 계획이다. 국내 실무 운영은 한국인터넷진흥원(KISA)이 맡는다. 이번 협력은 앤트로픽의 ‘미토스 쇼크’와 맞물려 있다. 미토스는 대규모 코드에서 보안 취약점을 찾아내고 악용 가능성을 분석하는 능력으로 주목받았다. 앤트로픽은 ‘프로젝트 글래스윙’을 통해 미토스 접근권을 일부 기업과 기관에 제한적으로 제공하고 있다. 그러나 미토스급 모델은 공격과 방어 양쪽에 활용될 수 있는 이중용도 기술인 만큼 해외 기관 참여에는 높은 문턱이 있는 것으로 알려졌다. 정부가 오픈AI와 협력을 공식화한 것은 이 같은 제약 속에서 AI 보안 공조의 우회로를 확보했다는 의미가 있다. AI가 취약점 탐색과 공격 시나리오 분석 속도를 높이면, 방어 측도 같은 수준의 AI 도구와 정보 공유망을 갖춰야 한다. 취약점 정보를 얼마나 빨리 확보하고 패치하느냐가 금융·통신·공공망 방어의 성패를 가를 수 있기 때문이다. 다만 글로벌 AI 기업의 보안 프로그램에 참여하는 것만으로 국내 사이버 방어 체계가 완성되는 것은 아니다. 공유받은 취약점 정보를 국내 시스템에 맞게 검증하고, 패치 우선순위를 정하며, 주요 기반시설과 민간 기업에 신속히 전파하는 체계가 함께 마련돼야 한다. KISA와 금융보안원, 인공지능안전연구소, 국가정보원 등 관계기관 간 역할 분담도 중요하다. AI 자체의 안전성 평가도 협력 과제다. 과기정통부는 국내 AI안전연구소와 오픈AI가 공동 연구를 진행하고 AI 안전성 평가 체계를 함께 만드는 방안도 제안했다. 고성능 AI가 보안 방어에 도움을 주는 동시에 오용될 경우 공격 능력을 키울 수 있는 만큼, 접근 통제와 사용 기록 감사, 위험 모니터링이 병행돼야 한다. 류제명 과기정통부 2차관은 “이번 협력으로 한국이 AI 보안 위협에 선제적으로 대응할 수 있는 기반을 마련했다”며 “글로벌 AI 기업들과 실무 논의를 지속해 국내 사이버 보안 역량을 세계 최고 수준으로 끌어올리겠다”고 밝혔다.
2026-05-27 10:29:40
-