크라운 검찰 서비스 AI 환각 증거 사용 적발: 법적 신뢰와 기술 책임의 경고

최근 영국에서 크라운 검찰 서비스(Crown Prosecution Service, CPS)가 AI 기술의 한계를 드러내는 사건으로 주목을 받았습니다. 범죄 기소를 담당하는 이 기관은 송환 요청 관련 문서를 제출하는 과정에서 ‘AI 환각(AI hallucination)’ 현상으로 생성된 증거를 사용했다가 고등법원에 두 차례나 사과해야 했습니다. 이번 사건은 AI 기술이 법적 절차에 무분별하게 도입될 때 어떤 위험이 발생할 수 있는지 명확히 보여줍니다. 특히 AI가 생성한 정보가 사실인지 확인하지 않고 증거로 활용하는 관행이 법원의 신뢰성과 정의 실현에 심각한 영향을 미칠 수 있다는 점에서 깊이 있는 분석이 필요합니다.

배경: AI 환각 증거의 법적 위험성

AI 환각은 왜 발생하는가

AI 환각은 대규모 언어 모델(LLM)이 훈련 데이터에서 학습한 패턴을 기반으로, 실제로 존재하지 않는 정보를 사실처럼 생성하는 현상입니다. 예를 들어 AI가 “증인 A의 진술서에는 용의자 B가 현장에 있었다고 기록되어 있습니다”라는 문장을 만들었지만, 실제 기록에는 그러한 내용이 전혀 없을 수 있습니다. 이러한 환각은 AI가 확률적 추론에 의존하기 때문입니다. 즉, AI는 맥락에 가장 적합한 단어 조합을 예측할 뿐, 사실 여부를 검증하는 능력은 없습니다. 따라서 AI가 생성한 증거는 법정에서 인용되기에는 매우 취약한 정보입니다.

크라운 검찰 서비스의 구체적 실수

이번 사건에서 CPS는 송환 요청을 뒷받침하기 위해 AI 기반 문서 요약 도구를 사용했습니다. 하지만 AI가 생성한 요약에는 실제 법적 기록에 없는 사건이나 인물이 포함되어 있었습니다. 예를 들어 ‘피의자 C가 특정 날짜에 범행을 자백했다’라는 문장이 AI에 의해 만들어졌지만, 실제 검찰 기록에는 해당 자백이 존재하지 않았습니다. CPS는 법원이 이를 지적하자 “AI 도구의 오류를 인지하지 못했다”며 두 번에 걸쳐 공식 사과했습니다. 이는 AI 기술을 법적 절차에 도입할 때 반드시 인간의 검증 과정이 필요하다는 점을 극명하게 보여줍니다.

의미: AI 시대 법적 증거의 기준이 흔들리다

법원의 신뢰성과 정의 실현

이번 사건의 가장 큰 의미는 법적 증거의 신뢰성 기준이 AI 기술에 의해 위협받고 있다는 점입니다. 법원은 전통적으로 인간의 진술, 문서, 물리적 증거를 기반으로 판결을 내립니다. 하지만 AI가 생성한 정보가 증거로 제출되면, 법관과 배심원은 AI의 ‘사실’이 진짜인지 의심해야 하는 상황에 놓입니다. 이는 법정의 공정성과 정의 실현을 근본적으로 훼손할 수 있습니다. 특히 검찰이 AI에 의존하는 관행은 기소의 정당성에 심각한 의문을 제기합니다. 만약 AI 환각 증거가 잘못된 기소로 이어질 경우, 무고한 시민이 피해를 입을 수도 있습니다.

AI 기술의 한계에 대한 법적 인식 전환

이번 사건은 법조계와 기술 업계가 AI의 한계를 명확히 인지해야 한다는 메시지를 전달합니다. AI는 강력한 도구이지만, 오류 가능성과 환각 현상을 항상 염두에 두어야 합니다. CPS의 사과는 단순한 실수 인정을 넘어, AI 기술을 법적 절차에 통합할 때의 책임 소재를 명확히 해야 한다는 점을 시사합니다. 예를 들어 AI가 생성한 증거를 사용하는 변호사나 검사는 해당 정보의 정확성을 스스로 확인해야 하며, 확인하지 않을 경우 법적 책임을 질 수 있습니다. 이번 사건을 계기로 법원은 AI 증거에 대한 새로운 지침을 마련할 가능성이 높습니다.

전망: AI 증거 사용의 미래와 규제 방향

법적 규제와 기술적 대응의 필요성

앞으로 법적 시스템에서 AI 증거 사용은 더욱 엄격한 규제 아래 놓일 것입니다. 전문가들은 AI가 생성한 증거에 대해 ‘인간 검증 의무(human verification duty)‘를 법제화해야 한다고 주장합니다. 즉, 검찰이나 변호인이 AI 도구를 사용했다면, 출력 결과의 사실 여부를 반드시 확인하고 이를 법원에 증명해야 한다는 것입니다. 또한 AI 개발사는 환각 오류를 최소화하는 기술적 노력과 함께, 생성된 정보의 신뢰도를 표시하는 기능을 도입할 필요가 있습니다. 예를 들어 AI가 특정 문장을 생성할 때 ‘이 정보는 실제 기록을 기반으로 합니다’ 또는 ‘예측된 내용입니다’와 같은 경고를 포함하는 방식입니다.

법조계의 AI 활용 전략 변화

이번 사건은 법조계가 AI를 단순한 생산성 도구가 아니라 ‘위험 관리 대상’으로 바라봐야 한다는 교훈을 줍니다. CPS 내부에서는 AI 도구 도입 전에 더 철저한 테스트와 교육이 필요하다는 목소리가 나오고 있습니다. 특히 송환 요청이나 중요한 기소 결정과 같은 심각한 법적 절차에서는 AI보다 인간의 직접 분석이 우선시되어야 합니다. 향후 법원은 AI 증거 제출 시 해당 정보의 출처와 생성 과정을 명시하는 ‘AI 증거 투명성 규칙’을 도입할 것으로 예상됩니다. 이는 AI 시대에도 법적 정의와 신뢰가 유지되도록 하는 최소한의 방어책입니다.

📌 요약

• 크라운 검찰 서비스는 AI 환각 현상으로 생성된 가짜 증거를 송환 요청 문서에 포함시켰으며, 고등법원에 두 차례 사과했습니다.
• AI 환각은 대규모 언어 모델이 사실이 아닌 정보를 확률적으로 생성하는 오류이며, 법정 증거로 사용될 경우 정의 실현에 심각한 위협이 됩니다.
• 이번 사건은 AI 기술을 법적 절차에 도입할 때 반드시 인간 검증 과정이 필요하며, 책임 소재를 명확히 해야 한다는 점을 강조합니다.
• 향후 법원은 AI 증거 사용에 대해 ‘인간 검증 의무’와 ‘투명성 규칙’ 등 새로운 규제를 도입할 가능성이 높습니다.
• 법조계와 기술 업계는 AI의 한계를 인정하고, 법적 신뢰성을 유지하기 위한 협력 방안을 모색해야 합니다.

이번 사건은 AI 기술의 무분별한 사용이 실생활과 법적 시스템에 미치는 영향을 생생히 보여주는 사례입니다. AI는 강력한 도구이지만, 그 한계를 인지하고 인간의 판단과 결합할 때 비로소 진정한 가치를 발휘할 수 있습니다. 모든 분야에서 AI 활용이 확대되는 지금, 법조계는 특히 더 신중하고 책임감 있는 접근이 필요합니다.