# 의미 엔트로피를 이용한 대형 언어 모델의 환각 탐지

> Clean Markdown view of GeekNews topic #15510. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=15510](https://news.hada.io/topic?id=15510)
- GeekNews Markdown: [https://news.hada.io/topic/15510.md](https://news.hada.io/topic/15510.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-06-25T10:00:06+09:00
- Updated: 2024-06-25T10:00:06+09:00
- Original source: [nature.com](https://www.nature.com/articles/s41586-024-07421-0)
- Points: 1
- Comments: 1

## Topic Body

### 대형 언어 모델에서 의미적 엔트로피를 이용한 환각 감지

#### 요약

- **대형 언어 모델(LLM)**: ChatGPT나 Gemini 같은 LLM 시스템은 뛰어난 추론 및 질문 응답 능력을 보여주지만, 종종 잘못된 출력이나 근거 없는 답변을 생성하는 '환각' 문제를 가짐.
- **환각 문제**: 법적 선례의 조작, 뉴스 기사에서의 거짓 정보, 의료 분야에서의 위험 등 다양한 문제를 초래함.
- **기존 해결책의 한계**: 감독이나 강화 학습을 통한 진실성 유도는 부분적으로만 성공적임.
- **새로운 방법**: 통계에 기반한 엔트로피 기반 불확실성 추정기를 제안하여 임의적이고 잘못된 생성(혼합)을 감지함. 이는 단어의 특정 순서가 아닌 의미 수준에서 불확실성을 계산함.
- **적용 가능성**: 데이터셋과 작업에 관계없이 작동하며, 작업에 대한 사전 지식이 필요 없고 새로운 작업에도 강력하게 일반화됨.

#### 주요 내용

##### 환각 문제의 중요성

- **환각 정의**: LLM이 제공된 소스 콘텐츠에 충실하지 않거나 비논리적인 내용을 생성하는 것.
- **혼합의 예시**: 동일한 질문에 대해 무작위로 다른 답변을 생성하는 경우.
- **기존 문제**: 잘못된 데이터로 훈련된 경우, 보상을 추구하기 위해 거짓말하는 경우, 추론이나 일반화의 체계적 실패 등.

##### 의미적 엔트로피를 이용한 혼합 감지

- **방법 개요**: 입력이 임의적이고 근거 없는 답변을 생성할 가능성이 높은 경우를 정량적으로 측정함.
- **의미적 엔트로피**: 문장의 의미를 기준으로 엔트로피를 계산하여 불확실성을 추정함. 높은 엔트로피는 높은 불확실성을 나타냄.
- **클러스터링**: 의미가 유사한 답변을 클러스터링하여 엔트로피를 계산함.

##### 평가 및 결과

- **데이터셋**: TriviaQA, SQuAD, BioASQ, NQ-Open, SVAMP 등 다양한 데이터셋에서 평가됨.
- **모델**: LLaMA 2 Chat, Falcon Instruct, Mistral Instruct, GPT-4 등 다양한 모델에서 테스트됨.
- **성능**: 의미적 엔트로피가 기존의 단순 엔트로피나 감독 학습 방법보다 우수한 성능을 보임.

##### 전반적인 성능

- **AUROC**: 모델의 오류 예측 성능을 측정하는 지표로, 의미적 엔트로피가 가장 높은 점수를 기록함.
- **AURAC**: 혼합을 일으킬 가능성이 높은 질문을 거부함으로써 남은 질문에 대한 정확도를 측정하는 지표로, 의미적 엔트로피가 가장 높은 성능을 보임.

#### GN⁺의 의견

1. **실용성**: 의미적 엔트로피는 다양한 데이터셋과 작업에 적용 가능하여 실용성이 높음. 특히 새로운 작업에도 강력하게 일반화됨.
2. **기술적 기여**: 기존의 단순 엔트로피 계산 방식의 한계를 극복하고, 의미 수준에서 불확실성을 측정하는 새로운 접근 방식을 제안함.
3. **미래 가능성**: 이 방법은 추후 추상적 요약이나 대화형 LLM의 신뢰성 향상에도 적용 가능성이 있음.
4. **한계**: 시스템적으로 잘못된 데이터를 학습한 경우나 체계적인 추론 오류를 해결하지는 못함. 이는 별도의 접근 방식이 필요함.
5. **경쟁 기술**: 다른 불확실성 추정 방법과 비교하여 의미적 엔트로피가 우수한 성능을 보이지만, 특정 상황에서는 다른 방법이 더 효과적일 수 있음.

## Comments



### Comment 26574

- Author: neo
- Created: 2024-06-25T10:00:07+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=40769496) 
- **수학적 문제**: LLM의 출력 분포를 평가하는 접근법이 수학적으로 문제가 있음.
- **유사성 예시**: 톰 크루즈와 테일러 스위프트의 예시를 통해 단어 벡터 공간에서의 유사성과 정확성의 차이를 설명함.
- **분포 특성**: 출력 분포의 특성을 모르면 정확성을 평가할 수 없다는 의견.
- **통계 모델**: ANN의 불확실성을 평가하는 통계 모델이 있지만, LLM 규모에서는 비현실적일 수 있음.
- **환각 문제**: 대부분의 환각이 매우 그럴듯하고 설득력 있게 보이지만 실제로는 잘못된 정보임.
- **논리적 시스템**: LLM이 논리적 시스템을 포함하여 훈련되어야 한다는 의견.
- **훈련 과정**: 기존 모델을 사용해 논리적 관계를 생성하고, 이를 새로운 LLM 훈련에 사용해야 함.
- **언어의 역할**: 언어는 지능의 기본이 아니며, 일관된 시뮬레이션이 더 중요하다는 의견.
- **환각과 진실**: LLM이 진실과 거짓과는 무관하다는 의견.
- **환각의 본질**: LLM이 환각을 일으키는지 여부를 알기 위해서는 이미 정답을 알고 있어야 함.
- **AI 마케팅**: AI를 텍스트 생성 도구로 마케팅하는 것이 더 나을 수 있음.
- **민감도 분석**: 입력을 변경하여 출력의 의미가 어떻게 달라지는지 보는 방법이 흥미로울 수 있음.
- **엔론 사례**: 엔론 사태 이후 'bullshitometer'를 사용해 예측할 수 있었던 사례를 언급함.
- **정량적 측정**: 입력이 임의의 답변을 생성할 가능성을 정량적으로 측정하는 방법을 개발함.
- **환각 최소화**: 환각을 최소화하기 위해 다양한 수준의 조치를 취해야 한다는 의견.
- **지식 그래프**: 지식 그래프와 FAQ를 사용해 환각을 줄이려는 시도.
- **이중 LLM**: 두 번째 LLM을 사용해 의미적 동등성을 감지하는 것이 불필요한 복잡성을 초래할 수 있음.