- OpenAI는 언어 모델 내부를 더 잘 이해하기 위해 GPT‑4의 표현을 1,600만 개 특징으로 분해하는 확장 가능한 방법을 공개함
- 핵심 도구는 희소 오토인코더로, 출력에 영향을 주는 소수의 활성화 패턴을 사람이 이해할 수 있는 개념과 연결하려는 접근임
- 새 방법은 기존 기법보다 더 예측 가능한 스케일링을 보였고, GPT‑2 small과 GPT‑4 활성화에 여러 오토인코더를 학습하는 데 쓰임
- 한계도 분명해 많은 특징은 아직 해석이 어렵고, 희소 오토인코더를 거친 GPT‑4 활성화는 약 10배 적은 학습 연산량의 모델 수준 성능에 그침
- 공개된 논문, 코드, 특징 시각화 도구는 후속 연구를 위한 기반이며, 단기적으로는 언어 모델 행동의 모니터링과 조향에 유용한지 검증할 계획임
신경망 내부를 해석하기 어려운 이유
- 현재 언어 모델 내부의 신경 활동을 이해하는 방법은 충분히 확립되지 않음
- 자동차 같은 인공물은 부품 사양을 바탕으로 설계, 평가, 수리가 가능하지만, 신경망은 직접 설계된 부품이 아니라 학습 알고리듬의 결과물임
- 이 때문에 신경망은 식별 가능한 부품으로 쉽게 분해되지 않고, 자동차 안전을 추론하듯 AI 안전을 다루기 어려움
- 신경망을 해석하려면 먼저 신경 계산을 설명할 수 있는 유용한 구성 단위를 찾아야 함
희소 오토인코더 접근
- 언어 모델 내부 활성화는 예측하기 어려운 패턴으로 켜지며, 여러 개념을 동시에 나타내는 것처럼 보임
- 활성화는 조밀하게 나타나고, 각 입력마다 많은 요소가 함께 활성화되는 형태를 띰
- 현실 세계의 개념은 특정 문맥에서 전체 중 작은 일부만 관련되므로 희소성이 중요함
- 희소 오토인코더는 특정 출력 생성에 중요한 소수의 특징을 식별하는 방법임
- 사람이 상황을 추론할 때 머릿속에 두는 소수의 개념과 유사한 구조를 기대함
- 해석 가능성을 직접 보상하지 않아도, 특징들이 사람이 이해하기 쉬운 개념과 자연스럽게 맞는 희소 활성화 패턴을 보임
- 대형 언어 모델은 매우 많은 개념을 표현하므로, 프런티어 모델의 개념을 충분히 포괄하려면 오토인코더도 매우 커져야 함
GPT‑4에서 찾은 대규모 특징
- OpenAI는 프런티어 AI 모델에서 희소 오토인코더를 수천만 개 특징 규모로 확장할 수 있는 방법론을 개발함
- 이 방법론은 기존 기법보다 더 나은 스케일링 수익을 보이며, 매끄럽고 예측 가능한 확장 특성을 가짐
- 특징 품질을 평가하기 위한 여러 새 지표도 도입함
- 이 레시피로 GPT‑2 small과 GPT‑4 활성화에 다양한 오토인코더를 학습함
- GPT‑4에는 1,600만 개 특징 오토인코더를 학습함
- 특징 해석 가능성은 특정 특징이 활성화되는 문서들을 시각화해 확인함
- 예시에는 인간의 결함, 가격 인상, X와 Y, 학습 로그, 수사적 질문, 대수적 환, dopamine 관련 특징 등이 포함됨
- GPT‑4에서 “사물, 특히 인간이 flawed하다는 표현”과 관련된 특징도 확인됨
- 더 많은 특징은 특징 시각화 도구에서 탐색할 수 있음
아직 남은 한계
- 해석 가능성이 모델의 신뢰성과 조향 가능성을 높일 수 있다는 기대가 있지만, 현재 작업은 초기 단계에 머물러 있음
- 발견된 많은 특징은 여전히 해석하기 어려움
- 명확한 패턴 없이 활성화되는 경우가 있음
- 보통 인코딩하는 것으로 보이는 개념과 관련 없는 가짜 활성화가 나타나는 경우가 있음
- 해석의 타당성을 확인하는 좋은 방법이 아직 없음
- 희소 오토인코더는 원래 모델의 모든 행동을 포착하지 못함
- GPT‑4 활성화를 희소 오토인코더에 통과시키면, 약 10배 적은 학습 연산량으로 학습한 모델과 동등한 성능이 나옴
- 프런티어 LLM의 개념을 완전히 매핑하려면 수십억 또는 수조 개 특징까지 확장해야 할 수 있음
- 개선된 스케일링 기법이 있어도 그런 규모는 여전히 도전적임
- 희소 오토인코더는 모델 안의 한 지점에서 특징을 찾을 수 있지만, 모델 전체 해석에는 한 단계에 불과함
- 모델이 그 특징을 어떻게 계산하는지
- 그 특징이 이후 모델 부분에서 어떻게 사용되는지
- 두 문제를 이해하려면 훨씬 더 많은 작업이 필요함