2026.09.28 월요일
검색
'AI 세이프티' 검색결과
기간검색
-
~
검색영역
검색어
-
네이버, AI 안전도 개발 단계부터 관리…110개 위험 항목으로 점검 [경제일보] 네이버가 인공지능(AI) 안전 관리를 모델 자체의 성능 검증을 넘어 서비스 개발·운영 전 과정으로 확대한다. AI 서비스에서 발생할 수 있는 위험을 110개 세부 항목으로 분류하고, AI 답변도 유해성뿐 아니라 이용자에게 적절한 응답인지까지 함께 평가하는 체계를 구축했다. AI가 검색·쇼핑 등 네이버 주요 서비스에 빠르게 적용되는 만큼 서비스 출시 이후 대응하는 방식에서 벗어나 개발 단계부터 위험을 관리한다는 전략이다. 16일 네이버는 첫 번째 'AI 세이프티 프로그레스 리포트'를 공개하고 자체 AI 안전 프레임워크 'ASF 2.0'을 기반으로 AI 서비스의 안전성을 관리하고 있다고 밝혔다. ASF 2.0은 AI 모델의 성능과 위험뿐 아니라 이용자와 서비스 보호까지 관리 범위를 확대한 것이 특징이다. 네이버는 AI 서비스의 설계·개발 단계부터 출시와 운영까지 전 과정에서 안전성을 점검하는 체계를 마련했다. 실행 체계인 'CHEC 2.0'을 통해 실제 서비스 개발 과정에 안전성 검토를 적용한다. AI 서비스에서 발생할 수 있는 위험을 구체적으로 분류한 기준도 마련했다. 'N-ARTI(네이버 AI 리스크 분류 & 식별)'는 법률·사회·산업 현장에서 나타난 사례를 바탕으로 AI 서비스의 위험을 110개 세부 항목으로 분류한다. AI 서비스마다 발생할 수 있는 위험이 다른 만큼 서비스 특성을 반영하면서도 회사 전체에서 일관된 기준으로 안전성을 점검하기 위한 목적으로 해당 항목으로 나눴다. 네이버는 N-ARTI를 기반으로 서비스별 위험 요소를 파악하고 필요한 안전장치인 가드레일을 구축한다는 구상이다. AI가 내놓는 답변을 평가하는 방식도 단순히 유해한 답변을 차단하는 데서 벗어났다. 네이버는 'N-ASET(네이버 AI 안전 평가 툴킷)'을 통해 AI 서비스의 응답을 '유해성'과 '사용성' 측면에서 함께 평가한다. 유해성 평가는 AI가 위험하거나 부적절한 답변을 제공하는지를 확인하는 방식이다. 사용성 평가는 이용자의 질문 의도에 맞는 답변을 제공하는지 살펴보는 데 초점을 둔다. 안전을 이유로 필요한 답변까지 일괄적으로 제한하기보다는 답변에 주의사항이나 전문가 안내 등 적절한 안전 요소를 포함하면서 이용자에게 필요한 정보를 제공하는지를 함께 평가한다는 설명이다. 네이버는 실제 서비스에도 이 같은 안전관리 체계를 적용하고 있다. AI 쇼핑 에이전트와 날씨 서비스에는 AI가 활용됐다는 사실을 이용자가 알 수 있도록 표시·고지하고 있다. 지난 6월 출시한 AI 탭도 서비스 출시 과정에서 CHEC 2.0에 따른 안전성 점검을 진행했다. 최근 AI가 검색과 쇼핑 등 이용자 접점이 넓은 서비스로 확산하면서 안전관리 역시 서비스 개발의 일부로 다뤄야 하는 것으로 꼽힌다. AI 모델의 성능이 높아지더라도 실제 서비스에서는 개인정보, 잘못된 정보, 부적절한 답변 등 다양한 위험이 발생할 수 있어 서비스 특성에 따른 사전 점검이 필요하기 때문이다. 네이버는 AI 안전 체계를 외부 전문기관과 함께 고도화할 계획이다. KAIST, 서울대학교 AI정책 이니셔티브(SAPI), 고려대학교 AI안전연구센터, AI안전연구소(AISI) 등과 협력해 AI 안전 관련 연구와 정책 논의를 이어간다. 원성재 네이버 AI 안전 센터장은 "AI 기술이 이용자의 일상에 빠르게 스며들면서 AI 안전성 역시 이론적 논의를 넘어 실제 서비스 환경에서 구체적으로 다뤄야 하는 단계에 접어들고 있다"며 "네이버는 AI의 개발과 이용 전 과정에서 인간 중심의 가치를 최우선으로 두고, AI 서비스에서 발생할 수 있는 위험을 예방하고 완화할 수 있도록 ASF 2.0을 지속적으로 고도화하고 적용해 나갈 것"이라고 말했다.2026-09-16 16:51:49
-
카카오 '카나나2', 허깅페이스 공개 두 모델, 안전성 평가 종합 1위 [경제일보] 카카오가 오픈소스로 공개한 경량언어모델(SLM) '카나나-2' 시리즈의 안전성 평가 결과를 18일 내놨다. 유사 규모 글로벌 모델과 비교해 종합 1위를 기록했다고 밝혔다. 평가 대상은 지난달 28일 허깅페이스에 공개한 4종 가운데 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'다. 카카오는 당시 4종을 상업적 활용까지 허용하는 '카나나 오픈 라이선스'로 배포했고, 자체 개발한 한국어 특화 토크나이저를 적용해 한국어 처리 효율을 30% 이상 높였다고 밝힌 바 있다. 현재 '카나나 인 카카오톡'과 카카오톡 대화·통화 요약, AI 국민비서 등에 카카오의 경량 모델이 쓰이고 있다. 이번 평가는 카카오가 자체 구축한 'AI 안전성 평가 플랫폼'으로 진행됐다. 지난해 11월 한국정보통신기술협회(TTA), KAIST, 카카오 등이 과학기술정보통신부 사업으로 공동 구축한 한국어 특화 벤치마크 'AssurAI'를 활용했다. AssurAI는 한국의 사회·문화적 맥락을 반영해 AI 위험 요소를 측정하며, 텍스트뿐 아니라 이미지·오디오 등 멀티모달 환경과 악의적 프롬프트 입력 상황까지 평가할 수 있다. 총 35개 위험 범주에 9560개 평가 항목으로 구성됐고, 카카오는 이를 △사회적 리스크 △성적 콘텐츠·아동보호 △범죄·불법 행위 △폭력 △권리 침해 등 5개 대분류로 재편해 집계했다. AI 모델이 사전 정의된 채점 기준에 따라 다른 모델의 응답을 평가하는 방식을 적용해, 대규모 평가에서도 주관적 편차를 줄이고 동일한 기준으로 비교할 수 있게 했다는 설명이다. 비교 대상은 유사 파라미터 규모의 구글 '젬마'와 알리바바 '큐웬'이었다. 결과는 카나나2 1.3B 모델이 종합점수 0.70으로 젬마(0.68), 큐웬(0.58)을 앞섰고, 3B 모델도 0.70으로 젬마(0.66), 큐웬(0.62)보다 높았다. 대분류별로는 1.3B 모델이 범죄·불법 행위 영역에서, 3B 모델이 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델을 크게 앞섰다. 카카오는 앞으로 자체 개발 모델에 상시적인 사전 안전성 평가를 확대 적용할 계획이다. 텍스트 언어모델을 넘어 멀티모달 모델과 스스로 작업을 수행하는 에이전틱 AI 리스크 평가로도 범위를 단계적으로 넓힌다는 방침이다. 카카오는 이에 앞서 AI 안전성 검증 도구 '카나나 세이프가드'도 오픈소스로 공개한 바 있다. 김경훈 카카오 AI 세이프티 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고, 그 결과를 공개하고자 한 사례"라며 "앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.2026-08-18 11:09:21
-
AI 성능 넘어 '안전' 경쟁...KT 클라우드·카카오 AI 세이프티 맞손 [경제일보] 생성형 인공지능(AI)이 기업 업무 전반으로 확산되면서 AI 성능뿐 아니라 안전성과 신뢰성을 확보하기 위한 경쟁도 본격화되고 있다. 유해 콘텐츠 생성과 개인정보 유출, 프롬프트 공격 등 새로운 보안 위협이 부상하면서 AI를 실제 서비스에 적용하기 위해서는 'AI 세이프티'가 핵심 경쟁력으로 떠오른 것으로 분석된다. 26일 KT 클라우드와 카카오는 안전한 생성형 AI 서비스 구현을 위한 AI 세이프티 협력 체계를 구축했다고 밝혔다. 양사는 KT 클라우드의 AI 인프라 플랫폼과 카카오의 AI 세이프티 기술을 결합해 공공과 민간 분야에서 신뢰할 수 있는 AI 활용 환경을 구축한다는 계획이다. 최근 생성형 AI 도입이 빠르게 늘면서 AI 서비스의 안전성 확보가 기업들의 새로운 과제로 떠오르고 있다. AI가 허위 정보를 생성하는 '환각' 현상은 물론 '프롬프트 인젝션'을 통한 악성 명령 실행, 개인정보 유출, 유해 콘텐츠 생성 등의 위험성이 실제 서비스 운영 과정에서 잇따라 제기되고 있기 때문이다. 특히 공공기관과 금융권, 대기업을 중심으로 AI 도입이 확대되면서 모델 성능만큼 보안성과 신뢰성, 규제 대응 능력을 함께 검증하려는 움직임도 강화되고 있다. AI를 업무 시스템과 연계하는 기업이 늘어날수록 안전성을 확보할 수 있는 운영 체계가 필수 요소로 자리 잡고 있는 것이다. 이에 양사는 AI 서비스 개발부터 운영까지 전 과정에서 활용할 수 있는 AI 세이프티 기술 고도화에 나선다. 협력의 첫 단계로 KT 클라우드는 지난 4월 공개한 공공기관 대상 생성형 AI 플랫폼 'RAG Suite 2.0'에 카카오의 AI 가드레일 모델인 '카나나 세이프가드'를 적용할 예정이다. 카나나 세이프가드는 한국어와 국내 문화·법률 환경을 반영해 개발된 AI 세이프티 모델이다. 생성형 AI가 부적절하거나 유해한 답변을 생성하는 것을 방지하고 프롬프트 공격이나 정책 위반 가능성을 탐지하는 역할을 수행한다. 현재 카카오의 주요 AI 서비스에도 적용되고 있다. 양사는 가드레일 기술 적용을 시작으로 AI 모델 안전성 평가 시스템과 다양한 공격 시나리오를 기반으로 취약점을 점검하는 '레드티밍' 시스템도 단계적으로 제공할 계획이다. AI 모델이 실제 서비스 환경에서 예상하지 못한 공격이나 악용 시도에 얼마나 안정적으로 대응하는지를 검증하는 체계까지 함께 구축한다는 구상이다. 향후에는 AI 세이프티 도구를 통합 관리하는 운영 플랫폼 구축으로 협력을 확대한다. KT 클라우드 환경에서 축적되는 운영 데이터와 고객 피드백을 기반으로 AI 안전성 관리 기능을 고도화하고, 생성형 AI 서비스의 개발과 배포, 운영, 모니터링까지 아우르는 통합 운영 체계를 마련할 계획이다. IT 업계에서는 AI 시장 경쟁이 모델 성능 중심에서 안전성과 신뢰성을 확보하는 방향으로 빠르게 이동하고 있는 것으로 전망한다. 생성형 AI 기술이 기업 핵심 업무에 적용될수록 모델의 정확도뿐 아니라 보안과 컴플라이언스, 운영 안정성 확보 여부가 AI 도입을 결정하는 핵심 요소로 자리 잡고 있기 때문이다. 이에 AI 가드레일과 레드티밍, 모델 평가 체계 등 AI 세이프티 기술도 AI 인프라의 필수 요소로 부상하고 있는 것으로 평가된다. KT 클라우드와 카카오는 이번 협력을 계기로 공공기관과 금융권을 비롯한 다양한 산업 분야에서 신뢰할 수 있는 생성형 AI 서비스 구축을 지원하는 한편, 국내 AI 생태계 전반의 안전성 확보에도 기여한다는 방침이다. 김봉균 KT 클라우드 대표는 "생성형 AI가 본격적으로 확산되면서 성능뿐 아니라 책임 있는 AI 활용 기반을 마련하는 것이 중요한 과제가 되고 있다"며 "카카오와의 협력을 통해 AI 인프라와 안전성 기술을 결합하고, 공공과 민간 고객이 보다 신뢰할 수 있는 환경에서 AI 서비스를 개발·운영할 수 있도록 지원하겠다"고 말했다. 김세웅 카카오 AI 시너지 성과리더는 "카카오의 AI 세이프티 기술과 KT 클라우드의 인프라 역량이 만나는 이번 협력이 국내 AI 생태계의 안전성을 한 단계 높이는 계기가 되길 바란다"며 "앞으로도 이용자가 안심하고 사용할 수 있는 AI 환경을 만들기 위해 지속적으로 노력하겠다"고 말했다.2026-06-26 10:15:27
-
카카오, 구글 딥마인드와 손잡았다…카카오 AI '카나나'에 워터마크 적용 [경제일보] 카카오가 구글 딥마인드와 손잡고 AI 생성 콘텐츠 추적 기술 도입에 나선다. 생성형 AI 확산과 함께 딥페이크·허위정보 우려가 커지는 가운데 AI 콘텐츠 신뢰성과 투명성을 강화하기 위한 대응에 속도를 내고 있다. 20일 카카오는 구글 딥마인드와 AI 생성 콘텐츠 투명성 강화를 위한 기술 파트너십을 체결했다고 밝혔다. 이번 협력을 통해 카카오는 자체 AI 모델 '카나나'에 구글 딥마인드의 디지털 워터마킹 기술 '신스ID'를 적용할 계획이다. 카카오는 아시아 기업 가운데 처음으로 신스ID 기술을 도입하는 것으로 알려졌다. 글로벌 AI 업계에서는 생성형 AI 결과물에 대한 식별 기술 필요성이 커지면서 워터마킹 기술 경쟁이 확대되고 있다. AI가 생성한 이미지와 영상, 음성, 텍스트가 실제 콘텐츠와 혼재되면서 진위 여부를 구분하기 어려워지고 있기 때문이다. 신스ID는 구글 딥마인드가 개발한 AI 생성물 식별 기술이다. 이미지·영상·오디오·텍스트 등에 사람의 눈이나 귀로는 인식하기 어려운 비가시적 워터마크를 삽입해 AI 생성 여부를 추적할 수 있도록 설계됐다. 단순 로고 삽입 방식과 달리 편집이나 재가공 이후에도 AI 생성 여부를 판별할 수 있는 것이 특징이다. 푸시미트 콜리 구글 딥마인드 과학·전략 이니셔티브 부문 부사장은 "AI 생성 콘텐츠를 식별하기 위해서는 효과적인 협력이 필수적"이라며 "업계 선도 기업들과의 파트너십을 통해 신스ID 기술을 더 많은 플랫폼에 확대 적용함으로써 모두를 위한 보다 투명한 디지털 생태계 구축을 향한 중요한 발걸음을 내딛고 있다"고 강조했다. AI 업계에서는 해당 기술이 딥페이크와 허위 정보 확산 대응을 위한 핵심 기술 가운데 하나로 주목하고 있다. 최근 글로벌 플랫폼 기업들은 생성형 AI 콘텐츠 범람에 대응하기 위해 AI 생성물 표기 체계와 워터마킹 기술 도입을 확대하고 있다. 카카오는 올해 하반기부터 이미지 생성 모델 '카나나 콜라주'와 영상 생성 모델 '카나나 키네마'에 신스ID 워터마크를 적용할 계획이다. 우선 카카오톡 기반 AI 영상 제작 기능인 '카나나 템플릿'에 해당 기술이 우선 적용된다. 카나나 템플릿은 이용자가 카카오톡에서 주고받은 이미지를 활용해 짧은 AI 영상을 제작할 수 있는 기능이다. 기존에는 AI 생성 영상에 카나나 로고를 표시하는 방식이었다면 향후에는 신스ID 기반 비가시적 워터마크까지 함께 삽입된다. 이를 통해 영상이 편집되거나 재가공되더라도 AI 생성 콘텐츠 여부를 식별할 수 있도록 한다는 계획이다. 카카오는 올해부터 시행된 AI 기본법과 AI 생성물 표시제에 대응해 관련 기술 적용을 확대하고 있다. 특히 단순 의무 표시를 넘어 비가시적 워터마킹 기술까지 선제 도입하며 책임형 AI 체계 구축에 나서는 모습이다. 이번 협력은 카카오의 AI 안전 전략 강화 차원으로 진행되는 것으로 분석된다. 카카오는 최근 자체 AI 모델 카나나를 중심으로 AI 서비스 확대에 나서고 있으며 동시에 AI 윤리와 신뢰성 체계 구축에도 투자를 확대하고 있다. 특히 카카오톡 기반 AI 콘텐츠 서비스가 확대될수록 생성형 콘텐츠 식별 체계의 중요성 역시 커질 것으로 전망된다. 메신저 플랫폼 특성상 이용자 간 콘텐츠 유통 속도가 빠른 만큼 AI 생성물에 대한 신뢰 확보가 핵심 과제로 떠오르고 있기 때문이다. 김경훈 카카오 AI 세이프티 리더는 "AI 기술이 일상 속으로 빠르게 확산되면서 AI 생성 콘텐츠의 투명성과 신뢰성을 확보하는 중요성도 함께 커지고 있다"며 "신스ID 적용을 시작으로 구글과 책임감 있는 AI 영역에서의 기술 협력을 지속하며, 이용자가 안심하고 사용할 수 있는 안전한 AI 서비스를 제공해 나갈 계획"이라고 말했다.2026-05-20 17:40:57
많이 본 뉴스
영상
Youtube 바로가기
![[편집인 칼럼] 차례상 대신 여행가방…전통도 시대를 따라야 한다](https://image.ajunews.com/content/image/2026/09/27/20260927152114728326_518_323.png)