▲

인도 대법원, 하급 판사가 AI가 생성한 가짜 판결문을 인용하자 강력 반발

 (bbc.com)
1P by GN⁺ 8시간전 | ★ favorite | 댓글 1개
  • 인도 안드라프라데시주의 한 하급 법원 판사가 부동산 분쟁 사건에서 AI가 생성한 허위 판결문을 인용한 사실이 드러남
  • 대법원은 이를 ‘제도적 우려’ 사안으로 규정하고, 단순한 판단 착오가 아닌 ‘직무상 비행(misconduct)’ 으로 간주함
  • 해당 판사는 AI 도구를 처음 사용했으며, 인용문이 진짜라고 믿었다고 진술했으나, 대법원은 하급심의 판결 효력을 정지함
  • 인도 고등법원은 당시 판사의 선의(good faith)를 인정하며 판결을 유지했지만, 대법원은 AI 사용의 절차적 문제를 중시함
  • 이번 사건은 AI가 사법 절차에 미치는 영향을 드러내며, 인도뿐 아니라 미국·영국 등에서도 유사한 사례가 보고됨

사건 개요

  • 인도 대법원은 안드라프라데시주 비자야와다의 한 하급 민사법원 판사가 AI가 생성한 가짜 판례를 인용해 부동산 분쟁을 판결한 사건을 조사 중임
    • 피고 측이 항소하면서 사건이 대법원으로 이관됨
    • 대법원은 이를 “재판 절차의 신뢰성과 무결성에 직접적인 영향을 미치는 사안”으로 규정함
  • 문제의 사건은 2025년 8월 발생했으며, 판사는 4건의 과거 판례를 인용했으나 모두 AI가 생성한 허위 문서로 확인됨

하급심과 고등법원의 판단

  • 피고는 인용된 판례가 가짜임을 지적하며 고등법원에 항소함
    • 고등법원은 판사가 ‘선의의 실수’ 를 저질렀다고 인정하고, 판결 자체는 유지함
    • “인용문이 존재하지 않더라도 법리 적용이 올바르다면 판결을 취소할 이유가 없다”고 명시함
  • 고등법원은 판사에게 보고서를 제출하도록 요구했고, 판사는 AI 도구를 처음 사용했으며 자동 생성된 자료를 신뢰했다고 진술함
    • “인용을 잘못하거나 왜곡할 의도는 없었으며, 실수는 자동화된 출처에 의존한 결과”라고 설명함
  • 고등법원은 “인공지능보다 실제 지능의 사용이 필요하다”는 입장을 덧붙임

대법원의 반응

  • 대법원은 하급심의 판결을 즉시 정지(stay) 시키고, AI 사용을 단순한 오류가 아닌 ‘직무상 비행’ 으로 규정함
    • “이 사건은 판결의 내용보다 재판 절차와 판단 과정 자체에 대한 문제”라고 강조함
  • 대법원은 법무장관, 법률고문, 인도 변호사협회(Bar Council of India) 에 통보하고, 사건을 추가 심리하기로 함

AI와 사법 절차의 충돌

  • 인도 대법원은 최근 변호사들이 AI 도구를 이용해 청원서를 작성하는 사례에 대해서도 우려를 표명함
    • 법률 전문 매체 LiveLaw에 따르면, 대법원은 “이런 행위는 전혀 정당화될 수 없다”고 언급함
  • 인도뿐 아니라 미국과 영국에서도 AI 사용으로 인한 판결 오류 사례가 보고됨
    • 2025년 10월, 미국 연방 판사 2명이 AI 사용으로 잘못된 판결문을 작성한 사실이 드러남
    • 2025년 6월, 영국 고등법원은 변호사들에게 AI 생성 판례 사용 금지 경고를 발령함

인도 사법부의 AI 대응

  • 인도 대법원은 2025년에 사법부 내 AI 활용 백서(white paper) 를 발간함
    • 백서에는 AI 사용 지침과 모범 사례가 포함되어 있음
  • 대법원은 인간의 감독(human oversight) 과 제도적 안전장치 유지의 중요성을 강조함
  • 이번 사건은 인도 사법 제도가 AI 도입과 통제의 균형을 모색하는 과정에 있음을 보여줌
▲
GN⁺ 8시간전  [-]
Hacker News 의견들

  • AI가 사람을 대체한다는 말은 과장된 것 같음
    결국 책임질 사람은 여전히 필요하고, 문제가 생기면 누군가는 해고되거나 감옥에 가야 함
    AI가 생산성을 높일 수는 있지만, 인간이 완전히 빠진 시스템은 재앙이나 소송으로 이어질 가능성이 큼
    그래서 기업들이 기대했던 ROI를 못 보고 있음
    실제로 “AI 덕분에 생산성이 올랐다”며 해고한 사례들도 대부분은 단순히 성과 부진을 감추는 핑계였음

    • 변호사나 의사처럼 법적으로 자격이 필요한 직업은 더 명확한 사례임
      AI를 단순한 도구로 쓴다면 책임은 사용자에게 있고, 만약 AI를 ‘다른 사람의 일’처럼 대했다면 무자격자에게 위임한 것이 되어 결국 사용자 잘못이 됨
    • 어릴 때 “컴퓨터가 다운됐다”는 말을 자주 들었는데, 사실은 사람이 코딩 실수를 한 거였음
      그런데 그 사람에게 책임을 묻는 경우는 거의 본 적이 없음
    • AI 사용에도 위생 개념이 필요함
      LLM이 생성한 텍스트는 유니코드의 별도 블록으로 표시해서 AI 생성물임을 명확히 해야 함
      이를 숨기거나 조작하는 건 마치 의사가 손 안 씻고 수술하는 것과 같음
    • 사실 판사들도 잘못된 판결에 대해 책임지지 않는 경우가 많음
      “견제와 균형”이라지만 사법부는 예외인 셈임
    • 기업들이 AI에서 ROI를 못 보는 이유는, 직원들이 개인 계정으로 AI를 써서 효율 향상을 자기 몫으로 챙기기 때문일 수도 있음
      MIT 보고서에서도 대부분의 직원이 회사 계정이 아닌 개인 계정으로 AI를 쓴다고 함

  • “자동화된 출처에 의존해 생긴 실수”라는 변명은 통하지 않음
    어떤 직업이든 LLM으로 자동화할 때 책임은 전문가에게 있음
    도구를 몰랐다는 이유로 도구 탓을 하는 건 법적으로도 말이 안 됨

    • LLM을 쓰는 건 단지 값싼 아웃소싱의 최신 버전일 뿐임
      인증된 엔지니어가 외주 작업에 서명만 하던 시절처럼, 점점 더 싸고 빠르게 하려다 안전장치가 사라지는 구조임
      LLM은 이런 퇴보된 현실을 드러낸 거지 원인이 아님
      나도 AI를 좋아하지만, 책임감 있는 사용이 필요함
    • 의도성은 중요함
      실수와 고의는 법적으로 다르게 다뤄져야 함
    • 사람만 탓한다고 해결되지 않음
      이런 일이 반복된다면 도구 자체를 조정해야 함
      사용자가 매번 잘못했다고 해도, 시스템적으로 같은 문제가 계속 생기면 결국 도구의 설계 문제임
    • LLM의 환각(hallucination) 문제는 이미 널리 알려져 있음
      그걸 몰랐다는 건 게으르거나 무능한 것임

  • 변호사들이 언제쯤 LLM이 말한 내용을 직접 검증해야 한다는 사실을 깨달을까 궁금함

    • 대부분의 사람은 결국 검증을 안 하게 됨
      자율주행차처럼 “필요할 때만 개입하라”는 구조는 인간의 주의력 한계 때문에 실패할 수밖에 없음
      “사람이 더 잘 확인해야 한다”는 접근은 현실적으로 작동하지 않음
    • 사람들은 LLM이 자신감 있게 말하는 어투 때문에 무의식적으로 신뢰하게 됨
      그게 가장 위험함
    • 사실 LLM은 단지 사회가 얼마나 타락했는지 보여주는 거울 같음
    • 이런 사건이 뉴스에 나오는 건 일부일 뿐, 실제로는 모두가 비슷한 실수를 하고 있을 가능성이 큼
    • 이번 주에 논문 인용을 추적해봤는데, 25%는 완전 조작, 나머지 절반도 틀렸음
      변호사만의 문제가 아님

  • 대법원이 “인공지능보다 실제 지능을 발휘하라”고 권고했다는 말이 인상적임

  • 결국 가짜 인용이 넘쳐나는 논문이 늘어날 것 같음
    AI가 이런 자료로 학습하면 인터넷의 진짜 정보보다 환각 정보가 더 많아질 위험이 있음

  • 미국과 영국에서도 비슷한 문제임
    변호사들이 기술에 약해서, 챗봇이 만든 문서를 직접 수정하다 보니 오류가 필연적임
    관련 사례는 Doughty Street 보고서에서도 다뤄짐

  • 법률 시스템 자체가 불필요한 반복 문구(boilerplate) 를 너무 많이 만들어냄
    변호사들도 다 읽지 않고 필요한 부분만 훑음
    AI를 무책임하게 쓰는 건 문제지만, 이건 법률 문서 구조를 단순화할 기회이기도 함
    법은 코드와 다르지만, 지나치게 복잡한 구조는 개선 여지가 있음

    • 법률 언어는 모호성을 제거하기 위한 정밀한 표현이 필요함
      단순화하면 오히려 해석의 여지가 커져서 분쟁이 늘어남
      법률 용어(legalese)는 결국 의심을 줄이기 위한 장치임
    • 법률 문서는 마치 레이어가 계속 덧붙여진 코드 같음
      근본적인 단순화 없이 장식만 쌓여온 구조임

  • 이 문제는 모든 산업에서 커질 것임
    나는 핀테크 분야에서 대응책을 연구 중인데, Resemble AI의 접근이 가장 실용적임
    단순히 텍스트뿐 아니라, AI 음성 복제 탐지와 워터마킹이 핵심임
    계속 뒤쫓기듯 대응해야 하는 현실이 쉽지 않음

  • “자동화된 출처에 의존한 실수”라는 변명은 마치
    “총이 자동이라 사람이 죽은 건 내 탓이 아니다”라고 말하는 것과 같음

  • 다음 토큰 예측과 환각은 단순한 버그가 아님
    신뢰성과 무결성이 중요한 영역에서 이런 문제를 방치하는 건 매우 위험함

답변달기