- MIT 등 연구진은 ChatGPT 같은 AI 챗봇의 기반인 대규모 언어 모델(LLM) 이 저장된 일부 사실을 꺼낼 때 단순한 선형 함수를 쓰는 경우가 많다는 점을 확인함
- 이 함수는 “사람이 연주하는 악기”나 “사람이 태어난 주”처럼 사실의 유형마다 달라지며, 비슷한 유형의 사실에는 같은 디코딩 함수가 적용됨
- 47개 관계에 대해 함수를 추정한 뒤 주어를 바꿔 테스트하자, “국가의 수도” 같은 관계에서 60% 이상 올바른 객체 정보를 회수함
- 모델이 오답을 내더라도 내부에는 정답이 남아 있는 경우가 많았고, 특정 정보가 트랜스포머의 어느 층에 저장됐는지 보는 attribute lens로 이어짐
- 모든 지식이 선형으로 저장되는 것은 아니어서, 선형 함수로 찾을 수 없는 사실과 더 큰 모델에서의 정밀도 검증이 다음 연구 과제로 남아 있음
LLM 내부에서 발견된 단순한 지식 검색 방식
- MIT와 여러 기관 연구진은 복잡한 트랜스포머 언어 모델이 저장된 사실을 회수할 때 단순한 선형 함수를 사용하는 경우가 많다는 결과를 얻음
- 선형 함수는 두 변수 사이의 직선적 관계를 나타내는 단순한 형태임
- 복잡한 비선형 계산을 수행하는 LLM 내부에서도 일부 지식 검색은 이런 단순한 메커니즘으로 작동함
- 관련 논문은 “Linearity of Relation Decoding in Transformer Language Models”이며, 연구는 International Conference on Learning Representations에서 발표될 예정임
사실은 주어와 객체의 관계로 다뤄짐
- 트랜스포머에 저장된 많은 지식은 주어와 객체를 잇는 관계로 표현될 수 있음
- “Miles Davis plays the trumpet”은 주어 Miles Davis와 객체 trumpet을 잇는 관계임
- “Miles Davis plays the...”라는 프롬프트에서는 Miles Davis가 태어난 주인 Illinois가 아니라 trumpet을 답해야 함
- 모델이 어떤 주제에 대해 더 많은 지식을 얻으면, 그 주제에 관한 여러 사실이 여러 층에 걸쳐 저장됨
- 질의가 들어오면 모델은 응답 생성을 위해 가장 관련 있는 사실을 디코딩해야 함
관계 유형마다 달라지는 선형 디코딩 함수
- 연구진은 LLM을 조사하는 실험을 통해, 모델이 관계 정보를 단순한 선형 함수로 디코딩하는 경우가 있음을 확인함
- 회수하려는 사실의 유형에 따라 함수도 달라짐
- 어떤 사람이 연주하는 악기를 출력할 때 쓰는 함수와, 어떤 사람이 태어난 주를 출력할 때 쓰는 함수는 다름
- 연구진은 이런 함수를 추정하는 방법을 만들고, “국가의 수도”, “밴드의 리드 싱어” 등 47개 관계에 대해 함수를 계산함
- 가능한 관계는 무한히 많기 때문에, 실험에는 이런 방식으로 다룰 수 있는 사실 유형을 대표하는 부분집합이 사용됨
60% 이상 회수 성공과 선형 저장의 한계
- 각 함수는 주어를 바꿔가며 올바른 객체 정보를 회수할 수 있는지 테스트됨
- “국가의 수도” 함수는 주어가 Norway일 때 Oslo를, England일 때 London을 회수해야 함
- 함수는 60% 이상의 경우 올바른 정보를 회수함
- 트랜스포머 내부의 일부 정보는 이런 방식으로 인코딩되고 회수될 수 있음
- 그러나 모든 정보가 선형으로 인코딩되는 것은 아님
- 어떤 사실은 모델이 알고 있고 그 사실과 일관된 텍스트를 예측하더라도, 연구진이 선형 함수를 찾지 못함
- 이런 경우 모델은 해당 정보를 저장하기 위해 더 복잡한 방식을 쓰고 있음
모델이 무엇을 알고 있는지 보는 attribute lens
- 추정된 함수는 모델이 특정 주제에 대해 무엇을 참이라고 여기는지 확인하는 데 쓰임
- 한 실험은 “Bill Bradley was a”라는 프롬프트에서 시작해, “스포츠를 했다”와 “대학에 다녔다”에 해당하는 디코딩 함수를 적용함
- 모델이 Bill Bradley 상원의원이 농구 선수였고 Princeton에 다녔다는 정보를 알고 있는지 확인하는 방식임
- 이 방법은 모델이 텍스트 생성 중 다른 정보에 집중하더라도, 내부에는 여러 관련 정보가 인코딩돼 있을 수 있음을 보여줌
- 이를 바탕으로 attribute lens라는 격자가 만들어짐
- attribute lens는 특정 관계에 관한 정보가 트랜스포머의 여러 층 중 어디에 저장돼 있는지 시각화함
- 자동 생성이 가능해 모델 이해를 위한 간소화된 방법으로 쓰일 수 있음
오답 수정 가능성과 남은 연구 과제
- 모델이 프롬프트에 잘못 답하더라도 내부에는 올바른 정보를 저장하고 있는 경우가 많음
- 이런 접근은 모델 내부의 잘못된 정보를 찾고 수정하는 데 쓰일 수 있으며, AI 챗봇이 부정확하거나 무의미한 답변을 내는 경향을 줄이는 데 연결될 수 있음
- 앞으로의 연구는 선형적으로 저장되지 않은 사실에서 어떤 일이 벌어지는지 더 잘 이해하는 데 초점을 둠
- 더 큰 모델을 대상으로 실험하고, 선형 디코딩 함수의 정밀도도 연구할 계획임
- Tel Aviv University의 Mor Geva Pipek는 이 연구가 LLM이 추론 중 사실 지식을 회상하는 방식을 이해하는 데 빠진 조각을 드러냈고, 속성 추출을 위한 복잡한 비선형 계산이 단순한 선형 함수로 잘 근사될 수 있음을 보였다고 평가함