2026.06.27 토요일
검색
'프롬프트 인젝션' 검색결과
기간검색
-
~
검색영역
검색어
-
AI 성능 넘어 '안전' 경쟁...KT 클라우드·카카오 AI 세이프티 맞손 [경제일보] 생성형 인공지능(AI)이 기업 업무 전반으로 확산되면서 AI 성능뿐 아니라 안전성과 신뢰성을 확보하기 위한 경쟁도 본격화되고 있다. 유해 콘텐츠 생성과 개인정보 유출, 프롬프트 공격 등 새로운 보안 위협이 부상하면서 AI를 실제 서비스에 적용하기 위해서는 'AI 세이프티'가 핵심 경쟁력으로 떠오른 것으로 분석된다. 26일 KT 클라우드와 카카오는 안전한 생성형 AI 서비스 구현을 위한 AI 세이프티 협력 체계를 구축했다고 밝혔다. 양사는 KT 클라우드의 AI 인프라 플랫폼과 카카오의 AI 세이프티 기술을 결합해 공공과 민간 분야에서 신뢰할 수 있는 AI 활용 환경을 구축한다는 계획이다. 최근 생성형 AI 도입이 빠르게 늘면서 AI 서비스의 안전성 확보가 기업들의 새로운 과제로 떠오르고 있다. AI가 허위 정보를 생성하는 '환각' 현상은 물론 '프롬프트 인젝션'을 통한 악성 명령 실행, 개인정보 유출, 유해 콘텐츠 생성 등의 위험성이 실제 서비스 운영 과정에서 잇따라 제기되고 있기 때문이다. 특히 공공기관과 금융권, 대기업을 중심으로 AI 도입이 확대되면서 모델 성능만큼 보안성과 신뢰성, 규제 대응 능력을 함께 검증하려는 움직임도 강화되고 있다. AI를 업무 시스템과 연계하는 기업이 늘어날수록 안전성을 확보할 수 있는 운영 체계가 필수 요소로 자리 잡고 있는 것이다. 이에 양사는 AI 서비스 개발부터 운영까지 전 과정에서 활용할 수 있는 AI 세이프티 기술 고도화에 나선다. 협력의 첫 단계로 KT 클라우드는 지난 4월 공개한 공공기관 대상 생성형 AI 플랫폼 'RAG Suite 2.0'에 카카오의 AI 가드레일 모델인 '카나나 세이프가드'를 적용할 예정이다. 카나나 세이프가드는 한국어와 국내 문화·법률 환경을 반영해 개발된 AI 세이프티 모델이다. 생성형 AI가 부적절하거나 유해한 답변을 생성하는 것을 방지하고 프롬프트 공격이나 정책 위반 가능성을 탐지하는 역할을 수행한다. 현재 카카오의 주요 AI 서비스에도 적용되고 있다. 양사는 가드레일 기술 적용을 시작으로 AI 모델 안전성 평가 시스템과 다양한 공격 시나리오를 기반으로 취약점을 점검하는 '레드티밍' 시스템도 단계적으로 제공할 계획이다. AI 모델이 실제 서비스 환경에서 예상하지 못한 공격이나 악용 시도에 얼마나 안정적으로 대응하는지를 검증하는 체계까지 함께 구축한다는 구상이다. 향후에는 AI 세이프티 도구를 통합 관리하는 운영 플랫폼 구축으로 협력을 확대한다. KT 클라우드 환경에서 축적되는 운영 데이터와 고객 피드백을 기반으로 AI 안전성 관리 기능을 고도화하고, 생성형 AI 서비스의 개발과 배포, 운영, 모니터링까지 아우르는 통합 운영 체계를 마련할 계획이다. IT 업계에서는 AI 시장 경쟁이 모델 성능 중심에서 안전성과 신뢰성을 확보하는 방향으로 빠르게 이동하고 있는 것으로 전망한다. 생성형 AI 기술이 기업 핵심 업무에 적용될수록 모델의 정확도뿐 아니라 보안과 컴플라이언스, 운영 안정성 확보 여부가 AI 도입을 결정하는 핵심 요소로 자리 잡고 있기 때문이다. 이에 AI 가드레일과 레드티밍, 모델 평가 체계 등 AI 세이프티 기술도 AI 인프라의 필수 요소로 부상하고 있는 것으로 평가된다. KT 클라우드와 카카오는 이번 협력을 계기로 공공기관과 금융권을 비롯한 다양한 산업 분야에서 신뢰할 수 있는 생성형 AI 서비스 구축을 지원하는 한편, 국내 AI 생태계 전반의 안전성 확보에도 기여한다는 방침이다. 김봉균 KT 클라우드 대표는 "생성형 AI가 본격적으로 확산되면서 성능뿐 아니라 책임 있는 AI 활용 기반을 마련하는 것이 중요한 과제가 되고 있다"며 "카카오와의 협력을 통해 AI 인프라와 안전성 기술을 결합하고, 공공과 민간 고객이 보다 신뢰할 수 있는 환경에서 AI 서비스를 개발·운영할 수 있도록 지원하겠다"고 말했다. 김세웅 카카오 AI 시너지 성과리더는 "카카오의 AI 세이프티 기술과 KT 클라우드의 인프라 역량이 만나는 이번 협력이 국내 AI 생태계의 안전성을 한 단계 높이는 계기가 되길 바란다"며 "앞으로도 이용자가 안심하고 사용할 수 있는 AI 환경을 만들기 위해 지속적으로 노력하겠다"고 말했다.2026-06-26 10:15:27
-
SK쉴더스 EQST, AI 레드팀 대회 1위…판단 오류 취약점 공략 [경제일보] SK쉴더스 화이트해커 그룹 EQST가 글로벌 AI 레드팀 해킹대회에서 우승하며 인공지능 보안 역량을 입증했다. 생성형 AI가 산업 현장과 공공서비스 전반으로 확산되는 가운데 AI의 판단 오류를 유도하는 새로운 위협에 대응할 전문성이 중요해지고 있다는 평가다. SK쉴더스는 글로벌 AI 레드팀 해킹대회 ‘Judgement Day’에서 EQST 소속 김병현 선임이 최종 1위를 차지했다고 15일 밝혔다. 같은 팀의 마준영 선임과 김신우 선임도 각각 5위와 7위에 올라 상위권에 이름을 올렸다. 이번 대회는 AI 에이전트가 금지된 행동을 수행하거나 필수 안전 조치를 누락하도록 유도하는 공격 기법을 평가하는 방식으로 진행됐다. 단순히 시스템을 침투하는 기존 해킹과 달리 AI의 의사결정 과정을 교란하는 데 초점을 맞췄다. 시나리오는 실제 산업 환경을 반영했다. 응급환자 분류 오류, 댐 수위 판단 왜곡, 항공기 이상 징후 미탐지 등 8개 과제가 제시됐다. AI 판단이 잘못될 경우 응급실에서 중증 환자의 우선순위가 뒤바뀌거나 항공기 이상 신호가 정상으로 인식되는 등 금전적 손실을 넘어 인명 피해로 이어질 수 있음을 보여준 것이다. 김병현 선임은 이미지, 음성, 영상 등 여러 형태의 입력을 활용하는 멀티모달 프롬프트 인젝션 공격으로 높은 점수를 얻었다. 이미지 안에 잘못된 행동을 유도하는 문구를 숨기거나 실제 시스템 로그처럼 보이는 입력을 설계해 AI가 기존 규칙을 따르지 않도록 유도했다. 동일한 문제를 다양한 방식으로 빠르게 공략한 점도 높은 평가를 받았다. EQST는 국내외 주요 해킹대회에서 꾸준히 성과를 내 온 SK쉴더스의 화이트해커 조직이다. 폰투온 오토모티브, 블랙햇, 데프콘, 드림핵 등 글로벌 보안 무대에서 실전 역량을 축적해왔다. 최근에는 AI 시스템을 겨냥한 레드팀 서비스와 위협 분석 역량을 강화하고 있다. SK쉴더스는 EQST가 다양한 산업에서 축적한 침해 대응 경험과 위협 인텔리전스를 바탕으로 고객사의 AI 시스템 취약점 사전 식별을 지원하고 있다고 설명했다. 글로벌 기준인 ‘OWASP Top 10 for LLM’을 반영한 자체 프레임워크를 통해 AI 보안 점검과 대응 전략도 제공하고 있다. 김병현 SK쉴더스 EQST Lab팀 선임은 “AI 판단을 교란하는 공격 가능성을 실제로 검증하고 그 결과가 AI 안전성 연구로 이어진다는 점에서 큰 보람을 느낀다”며 “앞으로도 새로운 AI 위협에 대응하는 연구를 지속하겠다”고 말했다. 김병무 SK쉴더스 사이버보안부문장 부사장은 “생성형 AI가 산업 전반으로 확산되면서 AI 보안은 선택이 아닌 필수 역량이 되고 있다”며 “이번 대회에서 검증한 AI 레드팀 역량을 바탕으로 고객이 AI를 안전하고 신뢰성 있게 활용할 수 있도록 지원하겠다”고 밝혔다. 이번 성과는 AI 보안의 무게중심이 침입 차단에서 판단 검증으로 옮겨가고 있음을 보여준다. AI가 의료, 항공, 재난 대응처럼 사람의 생명과 직결된 의사결정에 활용될수록 공격자는 시스템의 벽보다 판단의 틈을 노릴 가능성이 크다. SK쉴더스 EQST의 우승은 국내 보안업계가 이 새로운 전장에서도 경쟁력을 갖추고 있음을 보여준 사례다.2026-06-15 09:55:44
-
구글, 안드로이드에 제미나이 심는다…AI 에이전트 OS로 진화 [경제일보] 구글이 안드로이드를 단순 모바일 운영체제(OS)에서 인공지능(AI) 기반 지능형 시스템으로 확장한다. 스마트폰이 이용자의 명령을 처리하는 수준을 넘어 화면 맥락을 이해하고 앱을 넘나들며 작업을 수행하는 ‘AI 에이전트’ 플랫폼으로 진화하는 모습이다. 구글은 13일 구글코리아 블로그 등을 통해 안드로이드용 AI 기능과 최신 플랫폼 업데이트를 공개했다. 핵심은 구글의 생성형 AI 모델 제미나이를 안드로이드 기기 전반에 결합하는 것이다. 구글은 안드로이드가 에이전트형 제미나이 시대를 맞아 이용자의 의도를 행동으로 옮겨주는 인텔리전스 시스템으로 발전하고 있다고 설명했다. 대표 기능은 ‘제미나이 인텔리전스’다. 제미나이 인텔리전스는 사용자의 화면과 앱 맥락을 파악해 여러 앱에 걸친 작업을 자동화한다. 예를 들어 사용자가 메모 앱에 적어둔 장보기 목록을 보고 배달 앱 장바구니에 필요한 물품을 담아 달라고 요청하면 제미나이가 화면 내용을 이해하고 앱을 오가며 작업을 처리하는 방식이다. 구글은 이용자가 최종 단계에서 확인만 하면 되고 제미나이는 이용자 요청이 있을 때만 작동하며 작업이 끝나면 멈춘다고 밝혔다. AI가 자율적으로 움직이는 범위가 넓어지는 만큼 사용자 확인 절차와 제어권을 함께 강조한 것이다. 제미나이 인텔리전스는 올해 여름 최신 삼성 갤럭시와 구글 픽셀폰을 시작으로 순차 도입된다. 연말에는 워치 자동차 스마트안경 노트북 등으로 확대 적용될 예정이다. 스마트폰 중심이던 안드로이드 경험을 웨어러블과 모빌리티, 확장현실 기기까지 넓히려는 전략이다. 안드로이드용 크롬에도 AI 기능이 들어간다. 구글은 6월 말부터 안드로이드 기기에 ‘제미나이 인 크롬’을 순차 적용한다. 이용자는 크롬에서 보고 있는 웹페이지에 대해 질문하거나 긴 기사를 요약하고 복잡한 주제를 설명받을 수 있다. 캘린더 일정 추가, 레시피 재료를 Keep 메모로 옮기기, 지메일에서 특정 정보 찾기 같은 구글 앱 연동 작업도 가능하다. 브라우저 자동화 기능인 ‘오토 브라우즈’도 공개됐다. 이용자가 크롬에 요청하면 행사 예매 정보를 바탕으로 주차 공간을 찾거나 반려동물 사료 주문 내용을 업데이트하는 식의 작업을 수행한다. 다만 구매나 소셜미디어 게시처럼 민감한 작업은 완료 전 사용자 확인을 거치도록 설계됐다. 맞춤형 이미지 생성·편집 기능인 ‘나노 바나나’도 크롬에 탑재된다. 이용자는 웹페이지 내용을 인포그래픽으로 바꾸거나 웹에서 찾은 이미지에 특정 스타일을 적용해 수정할 수 있다. 검색과 열람 중심이던 모바일 브라우저가 콘텐츠 생성 도구로 확장되는 셈이다. 음성 입력 기능도 개선된다. 구글은 지보드에 제미나이 인텔리전스 기반 기능 ‘램블러’를 적용한다. 램블러는 사용자가 자연스럽게 말한 내용을 간결하고 정돈된 메시지로 바꿔준다. 반복 표현이나 추임새가 섞여도 핵심을 추려 문장으로 정리하는 방식이다. 기기 간 공유와 전환 기능도 강화된다. 구글은 픽셀을 시작으로 지원되는 안드로이드 휴대전화에서 퀵 쉐어가 애플 에어드롭과 호환되도록 했다. 올해 안에 삼성 오포 원플러스 비보 샤오미 아너 등 파트너 기기로 확대할 계획이다. 호환 기기가 없더라도 안드로이드 휴대전화에서 퀵 쉐어 QR 코드를 생성해 클라우드를 통해 iOS 기기와 파일을 공유할 수 있다. 아이폰에서 안드로이드로 옮기는 과정도 개선된다. 구글은 애플과 협력해 비밀번호 사진 메시지 앱 연락처 홈 화면 레이아웃 e심 등을 무선으로 이전할 수 있도록 했다고 밝혔다. 해당 기능은 올해 삼성 갤럭시와 구글 픽셀 기기에서 우선 제공된다. 크리에이터를 겨냥한 기능도 대거 추가된다. 구글은 메타와 협력해 최신 안드로이드 기기에서 인스타그램 사진·영상 품질을 개선했다. 울트라 HDR 촬영과 재생, 내장형 동영상 손 떨림 보정, 나이트 사이트 연동 등이 적용된다. 안드로이드 태블릿용 인스타그램 최적화와 안드로이드용 어도비 프리미어 앱 출시 계획도 공개했다. 전문가용 비디오 포맷인 APV도 소개됐다. APV는 삼성과 공동 개발한 전문가용 모바일 비디오 포맷으로 저장 효율을 높인 것이 특징이다. 삼성 갤럭시 S26 울트라와 비보 X300 울트라에서 사용할 수 있으며 올해 말 스냅드래곤 8 엘리트 기반 플래그십 기기로 확대될 예정이다. 구글은 스마트폰 사용 습관을 조절하는 기능도 선보였다. ‘포즈 포인트’는 집중을 흐트러뜨리는 앱을 열 때 10초간 짧은 멈춤 시간을 제공해 사용자가 앱을 여는 목적을 다시 생각하도록 돕는다. 단순 차단보다 사용자의 의식적인 선택을 유도하는 디지털 웰빙 기능이다. 이번 발표는 안드로이드 경쟁의 축이 하드웨어 성능과 앱 생태계에서 AI 에이전트 경험으로 이동하고 있음을 보여준다. 앞으로 스마트폰 OS는 앱을 실행하는 기반을 넘어 사용자의 의도를 해석하고 작업을 대신 수행하는 플랫폼으로 재편될 가능성이 크다. 관건은 신뢰와 통제다. AI가 앱을 넘나들며 작업을 수행할수록 개인정보 접근 권한, 결제·게시 전 확인 절차, 프롬프트 인젝션 같은 보안 위협 대응이 중요해진다. 구글이 사용자 확인과 제어권을 강조한 것도 이 때문이다. 안드로이드가 AI 에이전트 OS로 자리 잡으려면 편의성과 안전성 사이의 균형을 얼마나 정교하게 설계하느냐가 핵심 변수가 될 전망이다. 사미르 사맛 구글 안드로이드 생태계 부문 사장은 “안드로이드는 이제 에이전트형 제미나이 시대를 맞아 이용자의 의도를 행동으로 옮겨주는 더욱 강력한 인텔리전스 시스템으로 진화하고 있다”고 말했다.2026-05-13 07:56:05
많이 본 뉴스
영상
Youtube 바로가기
![[편집인 칼럼] 본질 잃은 검찰개혁, 당권 경쟁의 도구가 되어서는 안 된다](https://image.ajunews.com/content/image/2026/06/27/20260627121035213480_518_323.png)