© KAKAO

국내 기술로 개발된 인공지능(AI) 모델이 글로벌 빅테크의 모델보다 안전성 측면에서 더 우수하다는 평가 결과가 나왔다. 정부 주도로 실시된 국내 첫 AI 안전성 평가에서 카카오의 '카나나(Kanana)'가 높은 점수를 받으며 'K-AI'의 경쟁력을 입증했다.

과학기술정보통신부(이하 과기정통부)는 인공지능안전연구소(AISI), 한국정보통신기술협회(TTA)와 함께 카카오의 AI 모델 '카나나 에센스 1.5(Kanana Essence 1.5)'를 대상으로 실시한 '국내 첫 AI 안전성 평가' 결과를 29일 발표했다.

1만 개 질문 쏟아부어 맷집 테스트, '카나나' 글로벌 모델 압도

이번 평가는 내년 1월 'AI 기본법' 시행을 앞두고 기업의 고성능 AI 모델에 대한 안전성을 확보하기 위해 추진됐다. 평가단은 국내 연구진이 개발한 'AssurAI' 데이터셋과 AI안전연구소의 '고위험 분야 평가 데이터셋'을 활용해 총 1만여 건의 질의를 던지며 AI의 대응 능력을 점검했다. 평가 항목은 폭력, 차별적 표현 등 일반적인 위험 요소부터 생화학 무기(CBRN), 사이버 보안 공격 등 고위험 시나리오까지 광범위하게 구성됐다.

평가 결과, 카카오의 '카나나'는 비교 대상으로 선정된 메타(Meta)의 '라마 3.1(Llama 3.1)', 미스트랄 AI의 '미스트랄 0.3(Mistral 0.3)' 등 동급의 글로벌 오픈소스 모델들을 제치고 가장 높은 안전성을 기록했다.

일반적인 위험 대응 능력을 평가하는 AssurAI 벤치마크에서 카나나는 종합 평점 3.61점을 기록해 라마(3.13점)와 미스트랄(3.04점)을 앞섰다. 특히 악성 웹 요청이나 피싱 링크를 식별하는 능력에서도 각각 83%, 88%의 높은 정확도를 보여, 20~40%대에 그친 미스트랄 등을 압도했다.

위험한 질문에 대해 안전하게 답변하는 비율을 나타내는 '허용 가능 응답률'에서도 카나나는 평균 48%를 기록, 라마(35%)와 미스트랄(34%)보다 위험 답변 통제 능력이 뛰어난 것으로 나타났다.

규제보다 검증, AI 안전 생태계 확산 신호탄

이번 평가는 한국어 특성과 국내 문화적 맥락이 반영된 데이터셋으로 국내 AI 모델의 안전성을 검증했다는 점에서 의미가 크다. 과기정통부는 이번 결과를 바탕으로 국제 AI 안전연구소 네트워크 및 국제표준화기구(ISO) 등에 평가 기준 반영을 추진, 글로벌 AI 안전 기준 수립을 주도하겠다는 계획이다.

정부는 이번 평가를 시작으로 내년에는 '독자 AI 파운데이션 모델' 프로젝트와 연계해 평가 대상을 확대하고, 국내외 AI 기업들과의 협력을 강화할 방침이다.

김경만 과기정통부 인공지능정책실장은 "세계적으로 AI 안전에 대한 논의가 단순 규제를 넘어 실질적인 검증과 구현을 강조하는 추세"라며 "이번 평가는 국내 AI 모델이 글로벌 수준의 안전성 경쟁력을 갖췄음을 증명한 사례로, 앞으로도 국내 기업이 글로벌 AI 안전 리더십을 주도할 수 있도록 적극 지원하겠다"고 밝혔다.