위키미디어 재단의 실험적 LLM/RAG 크롬 확장 프로그램 'Citation Needed' 출시

Wikipedia Citation Needed 크롬 확장 프로그램

• 웹 브라우징 중에 특정 텍스트 구절을 선택하여 해당 진술을 검증함
• ChatGPT API를 활용해 Wikipedia에서 관련 문서를 검색하고 해당 문서에서 인용함
• 선택한 진술이 Wikipedia에서 뒷받침되는지 여부에 대한 정보와 함께 문서의 최종 편집 날짜, 참조 개수 등 문서 품질 신호를 제공하여 사용자가 받는 정보(Wikipedia에서 받는 정보 포함)에 대해 더 많은 맥락을 파악할 수 있도록 도움

사용자 피드백 요청

• 이 기능은 생성형 AI를 사용하는 실험적 기능으로, 때로는 실수를 할 수 있음을 인지하고 있음
• 결과의 품질을 이해하고 개선하기 위해 확장 프로그램의 피드백 링크를 통해 발견한 문제를 보고해 줄 것을 요청함
• 일반적인 피드백과 Wikipedia가 일상적인 웹 브라우징에서 유용하게 사용될 수 있는 다른 방법에 대한 아이디어도 환영함

개발자 정보

• 이 확장 프로그램은 Wikipedia와 자매 프로젝트를 지원하는 비영리 단체인 Wikimedia Foundation의 Future Audiences 팀에서 개발함

GN⁺의 의견

• 이 확장 프로그램은 사용자가 웹에서 접하는 정보의 신뢰성을 평가하는 데 도움이 될 수 있음. 하지만 Wikipedia 문서 자체의 품질과 정확성에 한계가 있을 수 있으므로, 이를 절대적인 기준으로 삼기에는 무리가 있어 보임.
• ChatGPT와 같은 대규모 언어 모델을 활용하여 요약과 검증을 자동화하는 것은 사용자 편의성을 높일 수 있지만, 동시에 잘못된 정보를 생성할 위험성도 있음. 이에 대한 지속적인 모니터링과 개선 노력이 필요해 보임.
• Wikipedia 외에도 각 분야의 전문가들이 검증한 신뢰할 만한 정보원을 추가로 활용한다면 검증의 정확도와 포괄성을 높일 수 있을 것임. 장기적으로는 블록체인 기반의 탈중앙화된 지식 베이스 구축도 고려해 볼 만함.

[GN⁺]

Hacker News 의견들

• 인터넷상의 주장을 Wikipedia와 대조해 확인하는 실험적 LLM 기반 RAG 애플리케이션임
  자세한 내용은 https://meta.wikimedia.org/wiki/Future_Audiences/Experiment:...에서 볼 수 있음
  참고로 이 작업에 참여했음

  • 아이디어나 코드를 보탤 개발자가 더 필요하면 연락하고 싶음
    최근 6개월 동안 브라우저 확장을 8개쯤 만들었고, 대부분 수천 명 사용자가 있으며 하나는 50만 사용자까지 갔음
    지금은 LLM 기반 디자인 보조 확장을 만들고 있고, “hello[at]papillonsoftware[dot]dev”로 연락 가능함
  • 이 도구는 문서 자체가 해당 주장에 대한 출처를 인용하는지는 확인하지 않는 것 같음
    그래서 이름이 Citation Needed인가 싶기도 함. 실제로는 아무것도 인용하지 않으니까
  • 기술 세부사항이나 설계를 다룬 자료가 있는지 궁금함
  • Safari 확장 계획이 있는지 궁금함

• 인용문도 환각될 수 있는지, 아니면 deterministic quoting[1] 같은 방식을 쓰는지 궁금함
  참고로 그 작업의 저자임
  [1] https://mattyyeung.github.io/deterministic-quoting

  • 정말 멋짐. 이게 자연어 탐색의 기반이 될 수 있을지 궁금함
    문서를 볼 때 키워드나 정규식으로 찾는 대신, 영어로 더 복잡한 개념을 검색하는 식으로 쓸 수 있을지 묻고 싶음
    아니라면 그 수준까지 가려면 어떤 추가 작업이 필요한지도 궁금함
  • 인용문 자체는 환각될 수 없지만, 여기서는 다른 접근을 사용함
    그래도 deterministic quoting 작업은 흥미로워 보임

• Firefox 확장은 없음

  • Wikimedia Foundation이 이 프로젝트를 공격적인 embrace & extend 브라우저 기반으로 만드는 대가를 받지 않았다면, 돈을 놓치고 있는 건 아닌지 살펴봐야 함
    이런 프로젝트는 브라우저 경쟁자를 약화시키는 데 도움이 됨
  • 그렇다면 사용할 수 없겠음

• 좋은 아이디어임. 나중에는 LLM이 Wikipedia 문서 자체도 사실 확인하고 표시해 주면 좋겠음

  • 그러면 결국 LLM이 원래 학습한 Wikipedia 문서를 같은 Wikipedia 문서와 대조하는 셈 아닌가 싶음

• 이 확장의 Wikimedia Git 저장소는 여기임
  https://gitlab.wikimedia.org/repos/future-audiences/citation...
  추가로 README의 빌드 안내는 불완전하고 hot reload도 동작하지 않는 것 같음. 작동하는 빌드를 얻으려면 npm run build-dev를 쓰면 됨
  Firefox 확장으로도 만들지 못하게 막는 게 무엇인지는 분명하지 않음. 아마 sidebar/sidepanel API 차이일 수 있지만 많이 다뤄보지는 않았음

• 여기에 검색 기반 문서 생성기를 붙이면 문서 생성기와 문서 검사기가 생기고, 그대로 1조 페이지를 만들 수 있음
  LLM 학습 콘텐츠로도 쓸 수 있고 사람들도 사용할 수 있을 듯함

• 이게 Chrome에서만 동작하는지 궁금함. Arc에서는 작동시키지 못했음

• @wikimedia: Firefox 버전 부탁함

• “Wikipedia에서 인용을 찾는 Chrome 확장”이라지만, 학계에서는 Wikipedia 인용이 대체로 금기임
  이유 중 하나는 신뢰성이 낮다는 점이고, 작성자가 자신이 편집할 수 있는 출처를 인용할 수 있음
  더 중요한 건 Wikipedia가 1차 출처를 찾기에는 좋을 수 있지만, 그 자체로는 2차 출처라는 점임

  • 그 근거는 솔직히 시대에 좀 뒤처진 것 같음
    이제는 대규모 학술 사기가 실제로 드러났고 이를 바로잡는 교정은 거의 없었음
    반면 Wikipedia는 악용을 꽤 잘 처리해 왔고, Wikipedia 링크를 쓰는 것이 학계에 위협이기보다 학술 사기가 Wikipedia에 더 큰 위협임
  • 요점은 Wikipedia 안의 정보를 찾는 것이고, 그 정보에는 대개 다른 출처에 대한 인용이 붙어 있음
    Google로 찾으면 같은 정보의 반복은 많이 나오지만, 대부분 사이트는 출처를 인용하지 않음
  • 예전과 다를 게 없어 보임
    Wikipedia 이전에도 2차 출처를 인용하지는 않았지만, 주제에 발을 들이고 관련 출처를 찾는 데는 확실히 사용했음
  • 학계에서 Wikipedia를 대부분 인용하기 부적절한 이유는 많지만, “작성자가 편집 권한이 있는 출처를 인용할 수 있다”는 건 그중 하나가 아님
    학자들은 자기 논문이나 자신이 편집 통제권을 가진 다른 출처를 항상 인용함
  • Wikipedia는 스스로 3차 출처가 되기를 선호함
    참고문헌은 1차 출처보다 2차 출처를 향하길 원함
    “Wikipedia articles should be based on reliable, published secondary sources, and to a lesser extent, on tertiary sources and primary sources. Secondary or tertiary sources are needed to establish the topic's notability and avoid novel interpretations of primary sources.”
    https://en.wikipedia.org/wiki/Wikipedia:No_original_research

• 자기 자신에 대해 물어보니 이렇게 반환됨

  "Citation Needed is an experimental feature developed in 2024"

  • The provided passages do not contain any information about a feature called 'Citation Needed' being developed in 2024.
  • Wikipedia
  • Discouragement in education
  • not be relied
    원래 용도대로 쓴 건 아니지만 좀 웃겼음