2026.10.06 화요일
검색
'아티피셜애널리시스' 검색결과
기간검색
-
~
검색영역
검색어
-
AAII 1위 모티프는 왜 탈락했나…독파모 평가 공개 놓고 논란 [경제일보] 정부의 ‘독자 AI 파운데이션 모델 프로젝트’(독파모) 2차 평가에서 글로벌 성능지표 1위를 기록한 모티프테크놀로지스가 탈락하면서 평가 방식의 투명성을 둘러싼 논쟁이 커지고 있다. 모티프의 ‘Motif 3’는 글로벌 AI 평가기관 아티피셜 애널리시스의 AAII에서 47점을 받아 업스테이지(37점), SK텔레콤(35점), LG AI연구원(31점)을 모두 앞섰다. 하지만 최종 종합평가에서는 4개 팀 중 최하위를 기록했다. 모티프테크놀로지스는 27일 과학기술정보통신부에 공식 이의를 제기하고 전체 평가 항목별·업체별 점수와 판단 근거, 벤치마크 배점 산정 방식, 전문가 평가 기준, 사용자 평가 방법론 및 블라인드 평가 여부 등을 공개해 달라고 요구했다. 이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다는 입장도 밝혔다. ◆ ‘AAII 47점’이 탈락으로 이어진 이유 핵심은 AAII가 독파모 전체 평가의 일부에 불과했다는 점이다. 2차 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 구성됐다. 벤치마크 가운데 AAII가 25점, 한국지능정보사회진흥원(NIA) 평가가 15점이다. 전문가 평가는 AI 전문가 10명이 개발 전략·기술, 개발 성과·계획, 파급효과·기여계획 등을 평가했고 사용자 평가는 AI 스타트업 대표 등 전문 사용자 49명과 일반 국민 185명이 참여했다. 따라서 AAII에서 47점을 받은 것이 곧 독파모 2차 평가에서 가장 높은 점수를 받았다는 의미는 아니다. 실제 정부 발표에서도 4개 팀의 벤치마크 점수 평균은 22.5점이었고 1위와 4위의 격차는 4점에 그쳤다. 전문가 평가의 1·4위 격차는 2.4점, 사용자 평가에서는 5점이었다. 즉 글로벌 벤치마크만 놓고 보면 차이가 있었지만 100점짜리 종합평가에서는 다른 항목이 순위를 충분히 뒤집을 수 있는 구조였다. 과기정통부가 공개한 탈락 사유도 여기에 있다. 류제명 과기정통부 2차관은 모티프가 기술력 측면에서는 뛰어난 성과를 냈지만 “사용성·활용성 측면에서는 다른 모델보다 다소 낮은 평가”를 받았다고 설명했다. 반면 업스테이지는 포털 다음 서비스 실증과 국산 NPU 협업, SK텔레콤은 대규모 상용 서비스 및 산업 특화 에이전트 실증, LG AI연구원은 국제기구 협업과 에이전틱 AI 차별성 및 위험관리 등에서 높은 평가를 받았다. ◆ ‘성능 좋은 모델’과 ‘쓸 수 있는 모델’은 다르다 정부가 사용성과 활용성을 별도로 본 이유도 있다. 이번 독파모 사업의 다음 단계는 단순히 높은 벤치마크 점수를 기록하는 모델을 만드는 데 그치지 않고 실제 국민 서비스와 산업 현장에 적용할 수 있는 AI를 만드는 데 초점이 맞춰져 있기 때문이다. 이에 따라 모델의 답변 성능뿐 아니라 서비스 적용 계획, 산업 생태계 기여, 실제 사용 효용 등을 평가하도록 구조가 바뀌었다. 실제 AAII 역시 모델의 추론·지식·코딩 등 다양한 능력을 종합적으로 보는 글로벌 지표지만 특정 모델의 실제 서비스 안정성이나 한국 산업 환경에서의 활용성을 모두 보여주는 것은 아니다. 모티프 역시 이 점을 인정하면서도 파운데이션 모델의 핵심 가치는 챗봇 사용성보다 여러 분야로 확장 가능한 기반 성능에 있다고 주장하고 있다. 논란은 결국 ‘국가대표 AI를 무엇으로 뽑을 것인가’라는 문제로 이어진다. 글로벌 성능을 우선하면 모티프의 탈락은 납득하기 어렵지만, 실제 국민 서비스와 산업 적용까지 고려한다면 모델 성능 외 평가가 필요하다는 정부 논리에도 일리가 있다. 문제는 어느 쪽이 맞느냐보다 그 판단을 검증할 수 있도록 세부 점수와 평가 기준을 얼마나 공개할 수 있느냐다. 모티프가 제기한 가장 큰 문제도 바로 이 부분이다. 모티프는 AAII 47점과 다른 평가 결과가 크게 엇갈린 이유를 알 수 있도록 세부 점수와 전문가·사용자 평가 근거를 공개해야 한다고 요구하고 있다. 특히 사용자 평가에서 브랜드 인지도나 선입견이 결과에 영향을 줬는지, 블라인드 평가가 적용됐는지도 확인해야 한다는 주장이다. 정부도 평가방식 자체의 한계를 인식하고 있다. 과기정통부는 3차 평가를 앞두고 소수 승자만 뽑는 기존 방식을 넘어 프런티어급 모델 경쟁이 가능하도록 지원체계를 전면 재편하는 방안을 검토하고 있다. 3차 진출팀에는 엔비디아 B200 GPU 지원도 상반기 768장에서 하반기 약 1000장 수준으로 확대할 계획이다. 한편 이번 논란에서 중요한 것은 모티프를 다시 선정하느냐가 아니다. 국민 세금이 투입되는 국가대표 AI 선발전이라면 왜 탈락했는지를 외부에서도 검증할 수 있어야 한다는 것이다. 글로벌 벤치마크와 실제 활용성 가운데 어느 쪽에 더 높은 가치를 둘지는 정책적 선택일 수 있다. 다만 그 선택이 설득력을 가지려면 점수와 기준이 투명하게 공개돼야 한다. 이번 이의 제기가 독파모의 기술 경쟁뿐 아니라 국가 AI 선발 시스템 자체의 신뢰도를 점검하는 계기가 될 전망이다.2026-08-27 09:38:30
-
독파모 2차 관문 앞…3팀 압축 임박…LG '몸집 키우기' VS '효율형 AI 효율·에이전트' [경제일보] 정부의 독자 인공지능(AI) 파운데이션 모델 프로젝트(독파모) 2차 평가 결과 발표가 임박했다. LG AI연구원과 SK텔레콤, 업스테이지, 모티프테크놀로지스 4개 팀 가운데 3개 팀만 다음 단계에 진출한다. 독파모는 새 정부의 'AI 3대 강국 도약' 전략 핵심 과제로 지난해 8월 시작됐다. 해외 AI 모델 의존도를 낮추고 기술·경제·안보 리스크를 줄이겠다는 목적으로, 총사업비 1576억원을 들여 팀당 데이터 구축비 30억~50억원과 연간 20억원가량의 연구비, 컴퓨팅 자원을 지원한다. 6개월 단위 평가로 매번 팀을 떨어뜨려 2027년 상반기까지 최종 1~2개 팀만 남기는 구조다. 첫 단추부터 순탄치 않았다. 애초 선정된 5개 팀(네이버클라우드·NC AI·LG AI연구원·SK텔레콤·업스테이지) 가운데 지난 1월 15일 발표된 1차 평가에서 네이버클라우드와 NC AI가 동반 탈락했다. 네이버클라우드는 오픈소스 모델을 차용했다는 의혹이 불거지며 독자성 기준에 부합하지 못한다는 판정을 받았고, NC AI는 종합 점수 경쟁에서 밀렸다. 당초 계획보다 1개 팀이 더 빠지자 정부는 패자부활전을 열었지만 네이버클라우드와 NC AI, 그리고 최초 선정에서 탈락했던 카카오까지 국내 IT 양강이 모두 재도전을 거부했다. 결국 2월 20일 모티프테크놀로지스 컨소시엄이 새 정예팀으로 뽑히며 4개 팀 체제가 만들어졌다. 과학기술정보통신부는 독파모 2차 단계평가를 마무리하고 조만간 결과를 발표할 예정이다. 대상은 △LG AI연구원 'K-엑사원 2.0' △SK텔레콤 '에이닷엑스 케이투(A.X K2)' △업스테이지 '솔라 오픈 2' △모티프테크놀로지스 '모티프3'다. 평가는 벤치마크 40점(글로벌 평가기관 아티피셜 애널리시스 25점, NIA 자체 벤치마크 15점), 전문가 평가 35점, 국민 평가단 200명이 참여하는 사용자 평가 25점으로 구성된다. 외부에 공개된 벤치마크 지표만으로 결과를 예단하기 어려운 것도 이 때문이다. 네 팀의 전략은 두 갈래로 갈린다. 규모로 밀어붙인 쪽은 LG와 SKT다. LG AI연구원의 K-엑사원 2.0은 파라미터 7500억 개(750B)로 1차 모델(236B)보다 3배 이상 커졌고, 코딩·에이전틱 코딩 지표를 이전 대비 약 30% 개선했다고 밝혔다. 장문 이해 평가 OpenAI-MRCR 94.4점, 한국어 장문 이해 Ko-LongBench 89.6점을 기록했고 지원 언어도 10개로 늘렸다. SKT의 에이닷엑스 케이투(688B)는 수학·한국어 추론에 집중해 2026년 국제수학올림피아드(IMO) 평가에서 42점 만점에 29점으로 금메달 기준선을 넘겼고, 고난도 수학 추론 평가 MathArena AIME 2026에서는 97.1% 정확도로 싱킹 머신스랩의 오픈웨이트 모델 '잉클링'과 공동 최고점을 기록했다. 업스테이지와 모티프테크놀로지스는 작은 몸집으로 효율을 택했다. 업스테이지의 솔라 오픈 2(250B)는 실제 연산에는 150억 개만 쓰는 전문가 혼합(MoE) 구조로, 양자화 시 엔비디아 H200 GPU 2장으로 구동할 수 있다. 모티프3(314B)는 은행 업무 처리와 IT 장애 진단 등 실무형 평가에서 강점을 보였다. 공개된 AAII(Artificial Analysis Intelligence Index) 지표에서는 이 구도가 뒤집힌다. 모티프3가 47점으로 1위, 업스테이지 솔라 오픈 2가 37점으로 뒤를 이었고 SKT 35점, LG 31점 순이었다. 모델 규모는 LG와 SKT가 앞서지만 공개 지표에서는 상대적으로 작은 모티프와 업스테이지가 높은 점수를 받은 셈이다. 다만 AAII는 전체 평가의 25%에 불과해 이 순위가 곧 정부 최종 순위로 이어지지는 않는다. 2차 평가를 통과한 3개 팀은 추가 단계평가를 거쳐 최종 2개 팀으로 압축된다. 정부는 이 과정에서 확보한 고성능 GPU 배분과 국가기록원·대법원 판결문 등 공공데이터 제공을 병행해 2027년까지 글로벌 톱10 수준의 모델을 만들겠다는 목표를 세웠다.2026-08-18 09:40:27
많이 본 뉴스
영상
Youtube 바로가기
![[기자수첩] 흔들리는 완성차 내수…가격·차종·수출 전략 다시 짜야](https://image.ajunews.com/content/image/2026/10/02/20261002154123119565_518_323.jpg)