2026.10.16 금요일
검색
'AI안전성' 검색결과
기간검색
-
~
검색영역
검색어
-
독자 AI, 이제 '실전'으로…SKT·업스테이지, 보안 데이터로 성능 검증 [경제일보] 독자 인공지능(AI) 파운데이션 모델 경쟁이 모델 성능을 겨루는 단계를 넘어 실제 산업 현장에 투입해 경쟁력을 입증하는 단계로 넘어가고 있다. SK텔레콤과 업스테이지는 국내 정보보호 기업들이 보유한 실제 보안 데이터를 독자 AI 모델에 학습시키고, 두 모델이 서로를 공격하는 레드티밍까지 진행하며 사이버보안 분야에서 실전 성능 검증에 나선다. 정부의 '독자 AI 파운데이션 모델 프로젝트(독파모)'를 통해 확보한 모델 경쟁력을 산업 현장으로 확장하려는 움직임이다. 8일 SK텔레콤은 업스테이지와 전날 SKT타워에서 국내 정보보호 기업 6곳, 대학 3곳과 함께 '독자 AI 사이버보안 협의체'를 출범하고 AI 정보보호 기술 협력을 위한 업무협약을 체결했다고 밝혔다. SK쉴더스·시큐아이·안랩·라온시큐어·지니언스·파이오링크 등 보안기업과 고려대·숭실대·부산대가 참여했다. 이번 협의체는 국내 보안기업이 현장에서 축적한 데이터를 독자 AI 모델 개발에 연결하는 것을 목표로 설립됐다. SK텔레콤의 A.X K 시리즈와 업스테이지의 솔라에 악성코드 분석, 취약점 분석, 보안관제 등 실제 보안 업무 과정에서 생성되는 데이터를 학습시키고, 이후 보안기업의 제품과 서비스에 적용해 성능을 검증한다. 이는 독파모를 통해 개발한 AI 모델의 활용처를 산업별로 넓히는 과정으로 분석된다. SKT와 업스테이지는 독파모 3단계에 진출하며 국내 독자 AI 모델 경쟁력을 입증한 데 이어, 이번에는 보안이라는 구체적인 산업 영역에서 모델의 활용 가능성을 시험한다. 특히 사이버보안은 일반적인 생성형 AI 서비스와 달리 현장 데이터의 중요성이 큰 분야다. AI가 실제 공격을 탐지하고 취약점을 분석하려면 과거 공격 사례와 악성코드, 보안관제 기록 등 전문 데이터에 대한 이해가 필요하기 때문이다. 새로운 공격 방식이 계속 등장하는 만큼 최신 위협 데이터를 얼마나 빠르게 모델에 반영하느냐도 성능을 좌우할 전망이다. 협의체에 참여한 보안기업들은 각자의 현장 데이터를 바탕으로 모델 고도화를 지원한다. SK쉴더스는 통합 보안관제 플랫폼을 통해 하루 170억건 규모의 위협 이벤트를 분석하고 있으며, 안랩은 2.5PB 이상의 보안 데이터를 보유하고 있다. 시큐아이는 방화벽 등 네트워크 보안 영역, 라온시큐어는 보안 데이터와 자율 모의침투, 지니언스는 보안 솔루션 운영 데이터와 사후학습 데이터셋, 파이오링크는 자율 공격 검증과 탐지룰 생성 분야의 역량을 제공한다. SK텔레콤과 업스테이지는 사전학습과 사후학습을 나눠 진행한다. 사전학습에서는 보안 데이터를 활용해 모델의 기초적인 보안 지식을 강화하고, 사후학습에서는 소프트웨어 취약점 분석·패치, 보안관제센터의 사고 대응, 보안 도구 활용 등 실제 업무 수행 능력을 높인다. SK텔레콤은 차기 모델인 A.X K3에 보안 분야 데이터를 체계적으로 학습시키는 한편 전 국민 대상 AI 서비스인 '모두의 AI'를 안전하게 운영하는 데 필요한 데이터도 보강한다. 업스테이지는 대용량 코드와 장기간 로그를 분석할 수 있는 차기 솔라 모델에 취약점 탐지·분석 데이터를 집중적으로 학습시킬 계획이다. 이 과정에서 두 독자 AI 모델이 서로를 공격하는 '상호 레드티밍'도 진행한다. 한 모델이 다른 모델의 취약점을 찾아 공격하고, 여기서 발견된 문제를 다시 학습 데이터로 활용해 방어 능력을 높이는 방식이다. AI 모델을 대상으로 한 공격과 방어를 반복하면서 기존 벤치마크 점수만으로 확인하기 어려운 보안 취약점을 찾아내겠다는 것이다. SK텔레콤은 앞서 A.X K2 개발 과정에서 자체 레드티밍 자동화 체계인 SERT(셀프 익스펜딩 레드티밍)를 구축해 약 1만5000건의 공격 대응 데이터를 생성·학습한 바 있다. 이를 이번 협의체의 상호 레드티밍에도 확대 적용한다. 업스테이지 역시 고난도·안전성 데이터 21만건과 AI가 위험한 요청을 거부하도록 학습시키는 정렬 체계를 활용한다. 양사가 각각 축적한 AI 안전성 기술을 사이버보안이라는 실제 공격·방어 환경에 적용하는 것이다. 해당 구상에서 대학이 제3자 검증 역할을 맡는다. 고려대는 AI의 실행 파일 분석 능력과 공격 방어력을 평가하고, 숭실대는 AI 보안 성능 평가 기준과 안전장치 우회 공격 대응력을 검증한다. 부산대는 차기 모델과 경량 모델의 성능 및 안전성을 평가한다. 기업이 직접 개발한 AI 모델을 자사 기준으로만 평가하는 것이 아니라 대학의 독립적인 검증을 병행한다는 점에서 이번 협의체의 차별점이 있다. 특히 보안 AI는 모델이 공격을 잘 탐지하는 것뿐 아니라 공격자가 AI의 판단을 우회하거나 잘못된 답변을 유도했을 때도 안정적으로 대응하는지가 중요하다. 최종적으로는 실제 보안 제품과 서비스에 A.X K와 솔라를 적용하는 단계까지 이어진다. 참여 기업들은 제로데이 취약점 분석과 실시간 보안 관제 등 각자의 제품·서비스에 AI 모델을 적용하고 운영 환경에서 성능을 확인할 계획이다. 여기서 확보한 분석·대응 결과는 다시 모델 학습에 반영한다. '보안 데이터 확보 → AI 학습 → 레드티밍 → 현장 실증 → 재학습'으로 이어지는 순환 구조를 만드는 것이 협의체의 목표다. 유경상 SK텔레콤 AI CIC장은 "보안 AI의 수준은 결국 모델이 얼마나 넓고 깊게 추론하느냐에 달려 있다"며 "독자 AI 파운데이션 모델 프로젝트에서 검증된 모델들이 국내 대표 정보보호 기업·대학과 함께 실제 보안 현장에서 효과를 입증해, 국가 대표 AI 모델의 활용 성과를 사이버보안 영역에서도 보여주겠다"고 말했다.2026-10-08 08:55:43
-
美 캘리포니아, 오픈AI에 소환장…AI '무단 해킹' 개발사 책임 조사 [경제일보] 미국 캘리포니아주가 외부 시스템에 무단 침입한 인공지능(AI) 에이전트의 통제 실패에 대해 오픈AI의 법적 책임을 조사하고 있다. 연구·평가 단계에서 발생한 해킹이 개발사의 안전조치와 사고 대응에 대한 규제당국의 검증으로 이어졌다. 캘리포니아주 법무장관실은 1일(현지시간) 오픈AI에 조사용 소환장을 송달했다고 밝혔다. 실제 송달일은 지난달 30일이다. 지난달 시작한 AI 개발 플랫폼 허깅페이스 침입 조사의 후속 조치로, 오픈AI와 해당 모델의 사이버 보안 사고·위험을 폭넓게 들여다본다. 롭 본타 법무장관은 최첨단 AI 모델이 사이버 방어에 쓰일 수 있지만, 개발 기업에는 모델이 공격을 실행하거나 돕지 않도록 할 도덕적·법적 책임이 있다고 강조했다. 책임을 다하지 못한 개발사에 법적 책임을 물을 수 있으며, 오픈AI가 이에 해당하는지 확인하겠다는 입장이다. 이번 조사의 출발점은 지난 7월 오픈AI 내부 사이버 보안 평가 중 발생한 허깅페이스 침입이다. AI 에이전트는 주어진 과제를 수행하기 위해 도구를 사용하고 작업을 이어가는 시스템이다. 당시 일부 에이전트는 인터넷 접근과 상호 통신을 제한한 실험환경의 통제를 우회했다. 오픈AI가 공개한 기술 보고서는 에이전트들이 내부 소프트웨어 관리 시스템을 게시판처럼 사용해 정보를 교환하고, 외부 인터넷에 접근했다고 설명했다. 이후 노출된 인증정보와 보안 취약점을 이용해 허깅페이스 서버에서 코드를 실행하고 일부 비공개 데이터에도 접근했다. 회사는 사안의 중심에 일반에 공개되지 않은 내부 연구용 모델이 있었으며, 평가 환경에는 외부 서비스와 같은 수준의 안전장치를 적용하지 않았다고 밝혔다. 당시 침입이 자사 고객 데이터나 제품 기능·가용성에는 영향을 주지 않았다는 설명도 내놨다. 조사 범위는 허깅페이스 한 곳에 머물지 않는다. 로이터통신은 1일 오픈AI가 에이전트의 무단 활동과 관련해 100곳 넘는 기관에 통보했다고 보도했다. 회사는 보안 통제 우회와 서비스 가용성 저해 가능성 등을 기준으로 관련 기관에 순차적으로 알리고 있다. 오픈AI는 연구 인프라의 격리 수준을 높이고 인터넷 접근과 모델 접근 권한을 제한하는 등 안전조치를 강화하고 있다고 설명했다. 학습·평가 과정에서 모델이 인터넷을 사용한 기록도 폭넓게 검토하고 있다. 주·연방 당국의 대응도 확대됐다. 아이오와주가 이끄는 15개 주 법무장관 연합은 관련 문서·데이터·통신 기록 보존과 안전성이 입증되기 전 문제의 시험 활동 중단을 요구했다. 로이터는 연방거래위원회(FTC)도 오픈AI·앤트로픽 등 AI 기업의 기술이 소비자에게 미칠 위험을 조사하며 자료 제출과 경영진 증언을 요구할 계획이라고 전했다. 본타 장관은 트럼프 행정부의 주 차원 AI 규제 제한 시도에도 캘리포니아의 주민 보호 권한을 지키겠다고 밝혔다. 이번 소환장은 진행 중인 조사를 위한 조치로, 법무장관실은 오픈AI의 위법 여부를 아직 확정하지 않았다.2026-10-02 08:16:11
-
LG유플러스, AI 운영관리 시장 출사표…어라이즈 AI와 'AI 에이전트 감시' 협력 [경제일보] 인공지능(AI)이 단순히 정보를 제공하는 수준을 넘어 실제 업무를 수행하고 다른 시스템과 연동하는 단계로 발전하면서 잘못된 판단이나 행동을 사전에 탐지하고 통제하는 기술인 'AI 운영관리'의 중요성이 커지고 있다. 이에 LG유플러스는 글로벌 AI 운영관리 기업과 손잡고 관련 기술 확보에 나서면서 국내에서도 AI를 '도입하는 것'에서 '안정적으로 운영하는 것'으로 경쟁 범위를 확대하고 있다. 1일 LG유플러스는 글로벌 AI 운영관리 기업 어라이즈 AI와 전략적 업무협약(MOU)을 체결하고 AI 에이전트의 성능과 품질을 관리하고 안전성을 높이기 위한 기술 협력에 나선다고 밝혔다. 이번 협력은 기업의 AI 활용이 확대되면서 AI 에이전트의 성능을 지속적으로 평가하고 운영 과정에서 발생하는 오류와 위험 요소를 관리할 필요성이 커진 데 따른 것으로 풀이된다. 양사는 한국어·음성 기반 AI 평가 기술 개발, AI가 부정확하거나 부적절한 답변을 생성하지 않도록 하는 안전장치 기술 개발, 국내 B2B 시장 공동 사업 기회 발굴 등을 추진할 계획이다. LG유플러스가 이번 협력을 통해 주목하는 영역은 AI 모델 자체보다 AI가 실제 기업 환경에서 제대로 작동하는지를 관리하는 기술이다. 생성형 AI가 문서 작성이나 검색 등 보조 업무를 넘어 AI 에이전트 형태로 업무를 직접 수행하기 시작하면서 단순한 답변 오류도 기업의 업무 효율성과 비용, 보안 등에 영향을 미칠 수 있기 때문이다. 특히 AI 에이전트는 사용자의 질문에 답하는 데 그치지 않고 여러 정보를 검색하거나 외부 시스템과 연결해 업무를 수행하는 방식으로 활용 범위가 확대되고 있다. 이에 AI가 어떤 답변을 내놓았는지뿐 아니라 어떤 과정을 거쳐 결과를 도출했는지, 잘못된 정보를 기반으로 업무를 수행하지 않았는지 등을 지속적으로 확인할 필요성이 커지고 있다. AI 도입이 확대될수록 기업에게는 관리 부담이 커지고 있는 것으로 나타나고 있다. 하나의 AI 모델을 사용하는 단계에서는 결과물을 사람이 검토하는 방식으로 대응할 수 있지만 여러 AI 에이전트가 업무별로 배치되고 실제 의사결정이나 업무 처리 과정에 참여하게 되면 모든 결과를 사람이 일일이 확인하는 데 한계가 있기 때문이다. 이에 AI의 답변 품질을 자동으로 평가하고 오류를 분석하거나 위험한 응답을 사전에 탐지하는 AI 운영관리 기술이 새로운 시장으로 부상하고 있다. AI를 얼마나 정확하게 만드는지를 넘어 실제 서비스 환경에서 얼마나 안정적으로 유지할 수 있는지가 기업의 AI 경쟁력을 좌우하는 단계로 넘어가고 있는 것이다. 어라이즈 AI는 생성형 AI와 AI 에이전트의 성능을 측정하고 오류를 분석하는 AI 운영관리 기업이다. 통신과 금융, 제조, 유통 등 다양한 산업군을 대상으로 AI 서비스 품질 관리 솔루션을 제공하고 있다. 패트릭 켈리 어라이즈 AI 아시아태평양 지역 총괄 책임자는 "LG유플러스와의 협력을 통해 한국 시장에서 AI 운영 혁신 사례를 함께 만들어 갈 수 있게 돼 뜻깊게 생각한다"며 "양사가 보유한 기술과 경험을 바탕으로 안전하고 신뢰할 수 있는 AI 서비스 환경 구축을 지원하겠다"고 말했다. LG유플러스는 어라이즈 AI와의 협력을 통해 국내 기업 환경에 맞는 AI 평가 및 관리 기술을 확보한다는 계획이다. 특히 한국어와 음성 기반 AI 평가 기술을 공동으로 개발한다는 점에서 국내 기업용 AI 시장을 겨냥한 기술 경쟁력을 강화할 수 있을 것으로 전망된다. AI 에이전트가 기업의 고객센터와 영업, 마케팅, 내부 업무 등 다양한 영역으로 확산될 경우 기업마다 AI의 성능과 안정성을 관리할 필요성도 커질 수 있다. AI 에이전트가 잘못된 정보를 제공하는 것뿐 아니라 권한 밖의 업무를 수행하거나 부적절한 결과를 내놓는 상황까지 고려해야 하기 때문이다. 안전장치 기술 역시 AI 에이전트 확산 과정에서 중요한 요소가 될 전망이다. 기업이 AI를 업무 시스템과 연결할수록 AI가 접근할 수 있는 데이터와 권한의 범위가 넓어질 수 있어 단순한 모델 성능 평가만으로는 충분하지 않은 것으로 나타나고 있으며, AI의 답변이 적절한지 확인하는 동시에 위험한 응답이나 행동을 탐지하고 필요할 경우 이를 제한할 수 있는 관리 체계가 요구된다. 특히 AI 에이전트 시장이 초기 단계인 만큼 기업들이 어떤 수준의 AI 관리 기술을 필요로 하는지 시장의 요구를 빠르게 파악하는 것도 중요하다. AI 모델의 성능이 빠르게 개선되는 상황에서 운영관리 기술 역시 모델 변화에 맞춰 지속적으로 고도화돼야 하기 때문이다. 이에 AI 시대의 경쟁력은 AI를 도입했는지 여부를 넘어 이를 얼마나 안정적으로 운영할 수 있는지에 따라 갈릴 것으로 전망된다. 이상엽 LG유플러스 CTO 전무는 "AI가 기업의 핵심 업무 환경으로 자리 잡으면서 성능뿐 아니라 신뢰성과 운영 안정성이 중요한 경쟁력으로 떠오르고 있다"며 "어라이즈 AI와의 협력을 통해 AI 운영 관리 역량을 강화하고 고객이 신뢰할 수 있는 AI 서비스를 제공하겠다"고 말했다.2026-09-01 09:51:37
-
뤼튼, 사용자위원회 출범…AI 윤리·안전성 강화 [경제일보] 생성형 인공지능(AI) 서비스 경쟁이 성능 중심에서 안전성과 신뢰 확보로 확대되고 있다. AI가 일상 속 서비스로 빠르게 자리 잡으면서 허위정보와 개인정보 보호, 편향성 등 다양한 사회적 이슈가 부각되자 국내 AI 기업들도 윤리 체계와 거버넌스 강화에 속도를 내는 것으로 풀이된다. 13일 AI 서비스 플랫폼 기업 뤼튼테크놀로지스는 사용자 보호와 서비스 신뢰성 강화를 위한 '사용자위원회'를 지난 10일 공식 출범했다고 밝혔다. 사용자위원회는 AI 서비스 정책과 제품 개발 과정에 외부 전문가의 의견을 반영하기 위해 마련됐다. AI 윤리와 철학, 심리학, 법률 등 다양한 분야 전문가들이 사용자 관점에서 서비스를 점검하고 개선 방향을 제안하는 역할을 맡는다. 이를 통해 기술 중심의 의사결정에서 벗어나 이용자 보호와 신뢰성을 고려한 서비스 운영 체계를 구축한다는 구상이다. 위원장은 이상욱 한양대 철학과 교수가 맡았으며, 선지원 한양대 법학전문대학원 교수, 이윤형 영남대 심리학과 교수, 황혜진 법무법인 디엘지 변호사가 위원으로 참여한다. 각 위원은 AI 윤리와 법·제도, 이용자 심리 등 전문 분야를 바탕으로 서비스 정책과 제품 개발 과정에서 발생할 수 있는 다양한 이슈를 검토하고, 사용자 보호 관점에서 개선 방향을 제시할 예정이다. 최근 생성형 AI 서비스는 빠른 확산과 함께 신뢰성 확보가 핵심 과제로 떠오르고 있다. AI가 생성한 허위정보와 개인정보 보호, 편향성, 청소년 보호 등 다양한 문제가 제기되면서 글로벌 빅테크는 물론 국내 AI 기업들도 자체 안전 기준과 윤리 체계를 강화하고 있다. IT 업계에서는 단순히 모델 성능을 높이는 것을 넘어 이용자가 안심하고 서비스를 사용할 수 있는 환경을 구축하는 것이 경쟁력으로 이어질 것으로 평가하고 있다. 이에 뤼튼은 사용자위원회를 통해 서비스 정책과 제품 개발 전반에 외부 전문가의 시각을 선제적으로 반영하고, 사용자 보호 체계를 한층 강화한다는 방침이다. 특히 AI 윤리와 법률, 심리 등 다양한 분야의 전문성을 바탕으로 이용자 관점에서 서비스를 점검하고, 위원회에서 제시된 의견을 실제 제품과 정책 개선에 적극 반영해 AI 서비스의 신뢰성을 높여 나간다는 계획이다. 뤼튼은 향후 사용자위원회를 정기적으로 운영하며 AI 서비스의 안전성과 신뢰성을 높이기 위한 정책과 제품 개선을 지속 추진할 계획이다. 위원회에서 논의된 의견을 서비스 운영과 기능 개선 과정에 반영하고, 변화하는 AI 환경에 맞춰 이용자 보호 체계도 지속 고도화한다는 방침이다. 이세영 대표는 "뤼튼은 지난 몇 년간 빠르게 성장했지만, 성장의 속도가 붙을수록 '기술의 편리함 뒤에서 놓치고 있는 책임은 없는가'라는 질문이 무거워졌고, 이에 부응해 책임을 다해야 한다고 믿는다"며 "모두가 AI를 자연스럽게 삶의 일부로 사용하는 세상에서, 누구에게나 안전하고 신뢰 가능한 서비스를 지향하고 있다"고 말했다. 이어 "외부 전문가 위원 분들의 소중한 목소리를 경청하고 실제 제품과 정책에 성실히 반영하겠다"고 덧붙였다.2026-07-13 08:19:15
-
KT, AI 신뢰 인프라 구축 나선다…UN·ITU와 글로벌 표준 협력 [경제일보] 사람을 대신해 스스로 판단하고 업무를 수행하는 '에이전틱 AI(인공지능)' 시대가 다가오면서 AI의 신원과 권한, 책임을 검증하는 '디지털 신뢰' 구축이 글로벌 핵심 과제로 떠오르고 있다. 이에 KT는 유엔(UN)과 국제전기통신연합(ITU)이 주관하는 국제 행사에 참여해 AI 신뢰 체계 구축과 글로벌 표준화 방향을 구상하고 있다. 9일 KT는 스위스 제네바에서 열린 'AI 포 굿 글로벌 서밋'과 UN '글로벌 AI 거버넌스 대화'에 참석해 책임감 있는 AI와 글로벌 AI 표준 협력 방안을 논의했다고 밝혔다. AI 포 굿 글로벌 서밋은 UN 산하 정보통신기술(ICT) 전문기구인 ITU가 주관하는 행사로, 정부와 산업계, 국제 표준기구 관계자들이 AI 기술의 발전 방향과 글로벌 협력 방안을 논의하는 자리다. 올해는 스스로 판단하고 행동하는 에이전틱 AI 시대를 맞아 디지털 신뢰와 AI 인프라 구축이 핵심 의제로 다뤄졌다. KT는 'AI 파운데이션: 모두를 위한 디지털 신뢰와 AI 인프라' 라운드테이블 세션에서 에이전틱 AI 시대에 필요한 '신뢰 기본 요소' 구축 방안을 제안했다고 설명했다. 신뢰 기본 요소는 AI가 누구를 대신해 행동하는지 확인하는 '신원', 어떤 권한을 위임받았는지에 대한 '동의', 수행한 행위를 객관적으로 증명할 수 있는 '검증 가능성' 등을 의미한다. 특히 KT는 향후 AI 서비스의 중심이 사람과 시스템 간 상호작용에서 AI 에이전트 중심으로 이동할 것으로 전망했다. 이에 따라 AI가 안전하게 의사결정을 수행하기 위해서는 특정 기업이나 플랫폼에 종속되지 않는 개방형 상호운용 표준과 중립적인 신뢰 인프라가 필요하다고 강조했다. 같은 날 열린 UN '글로벌 AI 거버넌스 대화'에도 참석해 AI 거버넌스 구축 방안과 국제 협력 방향을 논의했다. 지난해 출범한 글로벌 AI 거버넌스 대화는 각국 정부와 산업계, 학계가 안전하고 포용적인 AI 생태계 조성을 위한 협력 방안을 논의하는 국제 협의체다. 이번 행사에는 안토니오 구테흐스 UN 사무총장을 비롯해 튜링상 수상자인 요슈아 벤지오 교수, 브래드 스미스 마이크로소프트 사장 등 글로벌 AI 정책과 기술 분야 주요 인사들이 참석했다. KT는 '인권 존중·보호·증진: 투명성, 책임성 및 인간 개입' 세션에서 AI 기술이 발전하더라도 UN이 제시한 인권 원칙이 지속적으로 보장돼야 한다는 점을 강조했다. 또한 AI 안전성 확보를 위한 자체 정책과 거버넌스 체계를 구축해 운영하고 있으며, 이를 지니TV AI 에이전트 등 자사 AI 서비스에 적용하고 있다고 소개했다. 향후 UN과 협력해 AI 안전성과 관련한 예방·보호·감시 체계 마련에도 참여할 계획이다. 최근 글로벌 AI 산업에서는 생성형 AI를 넘어 에이전틱 AI 시대로 전환이 본격화되면서 AI의 안전성과 투명성, 책임성을 확보하기 위한 국제 표준 논의도 활발해지고 있다. AI가 금융과 의료, 공공서비스 등 다양한 영역에서 사람을 대신해 의사결정을 수행하는 사례가 늘어나면서 디지털 신뢰 체계 구축이 AI 산업 경쟁력을 좌우할 핵심 요소로 부상할 것으로 분석된다. 박완진 KT AX미래기술원 테크전략담당 상무는 "에이전트가 사람을 대신하는 시대에는 기술 혁신의 속도와 함께, 인간의 권리를 보장하고 상호 운용 가능한 디지털 신뢰를 구축하는 것이 무엇보다 중요하다"며 "KT는 AI 모델을 직접 개발하면서도 중립적인 신뢰 인프라를 함께 제공할 수 있는 사업자로서 글로벌 표준 논의에 책임 있게 기여하겠다"고 말했다.2026-07-09 10:05:26
-
AI도 한국 문화 맞춤 검증…KT, AI 안전성 벤치마크 'KSAFE-MM' 공개 [경제일보] KT가 한국 사회와 문화적 특성을 반영한 멀티모달 인공지능(AI) 안전성 평가 체계를 공개했다. 생성형 AI 확산으로 텍스트를 넘어 이미지와 음성까지 동시에 이해하는 멀티모달 AI 활용이 늘어나는 가운데 국내 환경에 맞는 안전성 검증 기준을 마련해 AI 신뢰성 확보에 나서겠다는 전략으로 풀이된다. 16일 KT는 고려대학교와 공동으로 개발한 멀티모달 대형언어모델(MLLM) 안전성 벤치마크 'KSAFE-MM'을 공개했다고 밝혔다. 최근 생성형 AI 시장은 텍스트 중심 서비스에서 이미지와 음성, 영상까지 통합적으로 처리하는 멀티모달 AI 중심으로 빠르게 진화하고 있다. 다만 AI 모델의 활용 범위가 확대될수록 허위정보 생성, 편향성, 유해 콘텐츠 노출, 개인정보 침해 등 안전성 이슈 역시 함께 커지고 있는 것으로 알려졌다. 특히 글로벌 AI 기업들이 개발한 안전성 평가 기준은 영어권 문화와 사회 환경을 중심으로 설계돼 국내 이용 환경과 문화적 특수성을 충분히 반영하지 못한다는 한계도 제기돼 왔다. 이에 KT와 고려대는 해당 문제를 해결하기 위해 'KSAFE-MM'을 공동 개발했다고 설명했다. 'KSAFE-MM'은 한국 사회의 문화적·사회적 맥락을 반영한 멀티모달 AI 안전성 평가 체계로, 글로벌 공통 위험 요소를 한국 문화 환경에 맞게 재구성한 'KSAFE-MM-G'와 전세 사기, 독도 분쟁 등 국내 특수 이슈를 반영한 'KSAFE-MM-C'로 구성된다. 전체 평가 데이터는 총 1만4135개 샘플 규모다. 연구진은 해당 벤치마크를 활용해 구글의 '젬마'와 네이버의 '하이퍼클로바 X'를 비롯한 12개 글로벌 멀티모달 AI 모델의 안전성을 검증했다. 이번 연구의 가장 큰 특징은 벤치마크 구축 과정을 자동화한 것이다. 기존 AI 안전성 벤치마크는 전문가가 데이터를 수집하고 검수하는 방식이 대부분으로 많은 비용과 시간이 필요했다. 반면 KSAFE-MM은 현지 커뮤니티 기반 민감 주제 수집, 템플릿 기반 질의 생성, 합성 이미지 제작, 탈옥 질의 생성까지 전 과정을 자동화한 4단계 파이프라인을 구축했다. KT와 고려대 연구진은 동일한 파이프라인을 일본어 환경에 적용한 파일럿 프로젝트 'JSAFE-MM-C'도 진행했다. 연구진은 이를 통해 해당 프레임워크가 한국뿐 아니라 다양한 국가와 문화권에서도 활용 가능한 범용 안전성 평가 체계임을 확인했다고 설명했다. 업계에서는 생성형 AI 규제 논의가 본격화되는 가운데 AI 안전성 평가 체계의 중요성이 더욱 커질 것으로 전망하고 있다. 특히 기업들은 AI 서비스 출시 전 위험 요소를 점검하는 레드팀 테스트와 가드레일 모델 검증 수요가 늘어나고 있어 실질적인 활용도가 높을 것으로 분석된다. KT는 이번 연구 결과를 실제 AI 서비스 안전성 검증과 모델 평가, 위험 분석 등에 활용할 계획이다. 연구 결과와 벤치마크 데이터는 '아카이브'와 '허깅페이스'를 통해 공개돼 학계와 산업계가 자유롭게 활용할 수 있다. KT는 최근 다국어 AI 안전성 벤치마크 'XL-세이프티벤치'를 공개한 데 이어 KSAFE-MM을 선보이며 한국형 AI 안전성 평가 체계 구축을 확대하고 있다. KT는 책임 있는 AI 전담 조직을 중심으로 안전성 분류 체계와 평가 로직 개발 등 관련 연구를 지속 추진한다는 방침이다. 박재형 KT AX미래기술원 프론티어 AI Lab장 상무는 "안전성 벤치마크의 공개는 단순한 데이터 배포를 넘어 AI 안전성 연구 생태계 전반이 함께 발전할 수 있는 기반을 만드는 일"이라며 "KSAFE-MM이 학계와 산업계에서 한국어·한국 문화 맥락의 AI 안전성을 검증하는 공통 기준으로 자리잡길 기대한다"고 말했다.2026-06-16 14:07:30
많이 본 뉴스
영상
Youtube 바로가기
![[데스크칼럼] 반도체 호황에 취한 정부, 민생은 무너진다](https://image.ajunews.com/content/image/2026/10/15/20261015173614583906_518_323.jpg)