(사진출처 = 펙셀)

대법원 TF, AI 환각에 의한 허위 법령 제출 시 소송비 부담 및 징계 권고… 법조계 "리걸테크 위축" 우려도

31일, 대법원 법원행정처 산하 태스크포스(TF)는 소송 당사자나 대리인이 인공지능(AI)이 만들어낸 가짜 판례 등 허위 증거를 제출할 경우 과태료를 부과하고 변호사 징계를 의뢰하는 강력한 제재 방안을 발표했다. 기술의 편리함에 숨어 사법부의 잣대를 흔들려는 시도에 법원이 전면전을 선포한 셈이다.

‘판사님, 그 판례 가짜입니다’… AI 환각의 역습

최근 법조계의 가장 큰 골칫거리는 단연 생성형 AI가 만들어낸 가짜 법령과 판례다. 이른바 ‘AI 환각(Hallucination)’ 현상 때문인데, 이는 인공지능이 학습 데이터의 공백이나 오류로 인해 실제로 존재하지 않는 허위 정보를 마치 사실인 것처럼 그럴싸하게 생성해 내는 오류를 뜻한다.

AI 판사님이 법정에 등장하기도 전에, AI가 만든 '가짜 증거'부터 재판에 난입하고 있는 격이다. 미국의 '마타 대 아비앙카 항공' 사건처럼 챗GPT가 지어낸 존재하지 않는 판례를 제출했다가 변호사가 징계를 받은 사례가 국내에서도 현실화할 조짐을 보이자, 대법원은 발 빠르게 대응에 나섰다.

스탠퍼드대학교 인간중심AI연구소(HAI)가 발표한 ‘2024 AI 인덱스 보고서’에 따르면, 주요 생성형 AI 모델의 법률 분야 답변 환각률은 여전히 일정 수준(약 5~10% 내외로 추정)을 유지하고 있어 실무 도입 시 각별한 주의가 요구되는 것으로 나타났다.

대법원 TF의 초강수, "가짜 들이밀면 돈으로 물어냅니다"

이에 대법원 법원행정처 산하 'AI 활용 허위 주장·증거 제출 대응 TF'는 개별 재판부 재량으로 즉각 실행할 수 있는 자체 제재 방안을 마련했다. 소송을 지연시키거나 혼란을 초래한 책임을 엄중히 묻겠다는 취지다. 가장 눈에 띄는 것은 경제적 제재다. 당사자가 AI 환각으로 인한 허위 법령을 제출해 불필요한 비용을 발생시켰을 경우, 해당 소송 비용의 전부 또는 일부를 부담하게 할 수 있다. 민사소송규칙 개정을 통해 소송 과정에서 AI 활용 여부를 법원과 상대방에게 의무적으로 고지하게 하는 방안도 추진된다.

TF는 제재의 실효성을 높이기 위해 대한변호사협회와의 공조도 제안했다. 변호사가 기본적 사실관계 확인 의무를 다하지 않고 AI가 생성한 거짓 판례를 제출할 경우, 이를 직업윤리 위반으로 보아 변협에 강력한 징계를 의뢰하겠다는 것이다. 이제 변호사들은 판례를 찾는 시간보다, AI가 거짓말을 하는지 취조하는 데 시간을 더 써야 할 판이다.

법원 내부 전산시스템도 창과 방패의 싸움에 맞춰 진화한다. 대법원은 이미 사법정보공개 포털에 ‘허위 사건번호 확인’ 기능을 추가해 누구나 판결의 진위를 1차 검증할 수 있도록 조치했다. 나아가 제출된 서면 내의 법령과 판례가 실제 존재하는지, 기재 내용과 원문 사이의 유사도가 얼마나 되는지를 시스템이 자동으로 비교해 알려주는 AI 교차 검증 기능도 추가 개발할 예정이다.

"리걸테크 싹 자를라" vs "사법 신뢰가 최우선"

그러나 법원의 이 같은 강경 드라이브를 두고 법조계 안팎에서는 우려의 목소리도 나온다. 엄격한 제재가 자칫 이제 막 꽃피우기 시작한 국내 리걸테크(Legal Tech) 산업의 혁신을 위축시킬 수 있다는 지적이다.

2025년 하반기 사법정책연구원이 발간한 관련 동향 보고서에 따르면, AI 기술의 도입은 1인 가구나 소상공인 등 법률 사각지대에 놓인 취약계층의 사법 접근성을 획기적으로 높이는 긍정적 효과가 있는 것으로 분석됐다. 서울 서초동의 한 변호사는 "가짜 증거를 걸러내는 것은 당연하지만, 과태료나 징계라는 꼬리표가 두려워 변호사들이 AI 활용 자체를 꺼리게 된다면 결국 법률 서비스의 단가가 올라가고 피해는 고스란히 소비자에게 돌아갈 수 있다"고 관측했다.

결론 및 전망: 시스템 고도화로 'AI 환각' 확률 0%에 도전해야

현재 생성형 AI 모델들이 평균적으로 안고 있는 환각률이 완전히 0%로 수렴하지 않는 한, 연간 수백만 건이 접수되는 사법 시스템에 AI가 무방비로 노출될 경우 통계적으로 상당수의 재판에서 위조 증거가 섞여 들어갈 확률이 존재한다.

결과적으로 2027년을 기점으로 법원의 자체적인 'AI 팩트체크 시스템' 완비와 더불어, 법조인들을 위한 안전한 '폐쇄형 법률 특화 AI' 시장이 급성장할 가능성이 수학적으로 매우 높다. 규제와 혁신 사이에서 사법부의 균형 잡힌 줄타기가 그 어느 때보다 필요한 시점이다.