이해 가능한 구성요소로 언어 모델 분해하기

• Anthropic은 작은 Transformer 언어 모델에서 개별 뉴런보다 해석하기 쉬운 특징(feature) 을 찾아, 신경망 내부를 이해 가능한 단위로 나누는 방법을 다룸
• 뉴런 하나는 학술 인용, 영어 대화, HTTP 요청, 한국어 텍스트처럼 무관한 맥락에서 함께 활성화될 수 있어 모델 행동과 안정적으로 대응하기 어려움
• 연구는 512개 뉴런으로 된 한 층을 4,000개 이상의 특징으로 분해해, DNA 시퀀스·법률 문체·HTTP 요청·히브리어 텍스트·영양 성분표 같은 속성을 따로 드러냄
• 맹검 인간 평가와 LLM 기반 자동 해석성 평가에서 특징은 뉴런보다 더 해석하기 쉬웠고, 특정 특징을 인위적으로 활성화하면 모델 행동도 예측 가능하게 바뀜
• 서로 다른 모델에서도 학습된 특징이 대체로 보편적이라면, 이 접근을 더 큰 프런티어 모델로 확장하는 과제는 과학보다 엔지니어링에 가까워짐

---

신경망 해석이 어려운 이유

• 신경망은 사람이 규칙을 직접 프로그래밍하지 않고 데이터로 학습되며, 학습 과정에서 수백만~수십억 개 매개변수가 갱신됨
• 학습된 네트워크의 수학적 계산은 추적할 수 있음
  • 각 뉴런은 단순한 산술 연산을 수행함
  • 다만 그 연산이 관찰되는 행동으로 이어지는 이유는 명확하지 않음
• 이런 불투명성은 실패 모드 진단, 수정 방법 파악, 모델 안전성 인증을 어렵게 만듦

개별 뉴런은 안정적인 해석 단위가 아님

• 뇌과학도 인간 행동의 생물학적 기반을 이해하는 비슷한 문제를 다루지만, 인공 신경망에서는 실험을 훨씬 쉽게 수행할 수 있음
  • 모든 뉴런의 활성화를 동시에 기록할 수 있음
  • 뉴런을 침묵시키거나 자극하는 개입이 가능함
  • 가능한 입력에 대해 네트워크 반응을 테스트할 수 있음
• 그러나 개별 뉴런은 네트워크 행동과 일관된 관계를 갖지 않음
  • 작은 언어 모델의 단일 뉴런은 학술 인용, 영어 대화, HTTP 요청, 한국어 텍스트 등 여러 무관한 맥락에서 활성화됨
  • 고전적인 비전 모델의 단일 뉴런은 고양이 얼굴과 자동차 앞부분 모두에 반응함
• 같은 뉴런 활성화라도 맥락에 따라 다른 의미를 가질 수 있음

특징(feature)으로 모델을 분해하는 접근

• 논문 Towards Monosemanticity: Decomposing Language Models With Dictionary Learning은 개별 뉴런보다 나은 분석 단위가 있음을 다룸
• 이 단위인 특징(feature) 은 뉴런 활성화의 패턴, 즉 선형 결합에 해당함
• Anthropic은 작은 Transformer 모델에서 이런 특징을 찾는 장치를 구축함
• 이 접근은 복잡한 신경망을 이해 가능한 부분으로 나누는 경로이며, 신경과학·머신러닝·통계학에서 고차원 시스템을 해석하려던 기존 작업 위에 놓여 있음

512개 뉴런을 4,000개 이상 특징으로 분해

• 한 Transformer 언어 모델에서 512개 뉴런을 가진 층을 4,000개 이상 특징으로 분해함
• 분해된 특징은 서로 다른 속성을 별도로 나타냄
  • DNA 시퀀스
  • 법률 언어
  • HTTP 요청
  • 히브리어 텍스트
  • 영양 성분표
• 이런 모델 속성 대부분은 개별 뉴런 활성화만 따로 보면 드러나지 않음

해석 가능성 검증

• 맹검 인간 평가자가 특징과 뉴런의 해석 가능성을 점수화함
  • 특징은 뉴런보다 훨씬 높은 점수를 받음
• LLM을 이용한 자동 해석성 평가도 함께 사용됨
  • 큰 언어 모델이 작은 모델의 특징에 대해 짧은 설명을 생성함
  • 다른 모델이 그 설명만으로 특징 활성화를 얼마나 잘 예측하는지 점수화함
  • 이 평가에서도 특징은 뉴런보다 높은 점수를 받음
• 결과적으로 특징의 활성화와 모델 행동의 하류 효과가 일관되게 해석될 수 있다는 근거가 늘어남

특징을 이용한 모델 조향

• 특징은 모델을 표적 방식으로 조향하는 수단도 제공함
• 특정 특징을 인위적으로 활성화하면 모델 행동이 예측 가능한 방식으로 바뀜
• 따라서 특징은 단순한 관찰 단위가 아니라, 모델 행동에 영향을 주는 내부 구성요소로 다룰 수 있음

보편성과 해상도 조절

• 학습된 특징은 서로 다른 모델 사이에서 대체로 보편적임
  • 한 모델의 특징을 연구해 얻은 내용이 다른 모델에도 일반화될 수 있음
• 학습할 특징 수를 조절하면 모델을 보는 해상도를 바꿀 수 있음
  • 작은 특징 집합으로 분해하면 이해하기 쉬운 거친 관점을 얻음
  • 큰 특징 집합으로 분해하면 더 미세한 관점에서 미묘한 모델 속성이 드러남
• 관련 설명은 해상도 변화 실험으로 연결됨

AI 안전성과 다음 과제

• 이 작업은 Anthropic의 기계적 해석 가능성 연구 투자 결과이며, AI 안전을 위한 장기 연구 방향 중 하나임
• 개별 뉴런이 해석 불가능하다는 점은 언어 모델을 기계적으로 이해하는 데 큰 장애물이었음
• 뉴런 그룹을 해석 가능한 특징으로 분해하면 이 장애물을 넘어설 가능성이 있음
• 장기적으로는 모델 행동을 내부에서 모니터링하고 조향해, 기업과 사회적 채택에 필요한 안전성과 신뢰성을 높이는 데 연결될 수 있음
• 다음 과제는 작은 모델에서 성공한 방식을 훨씬 크고 복잡한 프런티어 모델로 확장하는 것임
  • 대형 언어 모델 해석의 다음 주요 장애물은 처음으로 과학보다 엔지니어링에 가깝다고 봄
• 자세한 내용은 Towards Monosemanticity: Decomposing Language Models With Dictionary Learning에서 확인할 수 있음

[GN⁺]

Hacker News 의견들

• 아주 최근의 다른 논문과 비교한 유용한 글을 우연히 봤는데, 핵심 발견 일부를 사실상 뒷받침하는 듯함. 아마 그 다른 논문의 저자가 쓴 비교글로 보임: https://www.lesswrong.com/posts/F4iogK5xdNd7jDNyw/comparing-...

• 마침 이걸 사이드 프로젝트로 거의 그대로 하고 있었음. 순수한 호기심에서 시작했고, 정확히 같진 않지만 특정 LLM의 여러 개의 신중히 보정된 출력을 받아 그 뒤에 있을 법한 매개변수 집합을 추론하는 알고리즘을 다듬는 중임
  관측된 것과 비슷한 매개변수 군집이 나올 거라 예상했음. 비공식적으로는 이 문제를 “LLM 역산”이라고 부르는데, 당연히 풀기 쉽지 않음. 그래도 완전히 불가능하진 않고, 지금까지는 꽤 괜찮은 근사도 찾았음
  링크된 원고 끝부분의 “일부 특징은 사실 고차원 특징 다양체이고, 사전 학습(dictionary learning)이 이를 근사하는 것일 수 있다”는 가설도 흥미로움. 연속적이고 매끄러운 공간처럼 행동하는 것이 있으니 필요에 따라 다양체를 얼마든지 정의할 수 있다는 점에서는 맞는 말임. 엄밀한 따짐은 접어두고 보면, 실제로 그런 일이 벌어지고 있고 이 문제에 접근하는 올바른 틀이라고 봄
  여기서 얻을 수 있는 놀라운 깨달음은 이 LLM 공간 안의 서로 다른 다양체들을 잇는 전이 함수의 개념적 대응물이 무엇이냐는 것임. 그걸 보면 복잡해서가 아니라, 오히려 예외적으로 단순해서 머리가 터질 것 같을 거임

  • 여기서 말한 “전이 함수”가 정확히 무엇을 뜻하는지 더 풀어 설명해줄 수 있음?
  • 이걸 시작할 때 어떤 접근으로 들어갔는지 궁금함. LLM이 어떻게 작동하는지도 더 배우고 싶음
  • 계층적이라는 의미로 말한 건가? 아니면 내가 완전히 요점을 놓친 건가

• 이건 정렬 연구에서 큰 진전처럼 보임. 지금까지의 큰 문제는 LLM이 해석하기 어려운 숫자 덩어리였고 내부에서 무슨 일이 벌어지는지 거의 몰랐다는 데 있었음
  이 기법이 더 큰 규모로 확장된다면 Anthropic은 그 문제를 상당히 고친 셈임. 서로 다른 뉴런 집단이 실제로 무엇을 하는지 알아내고, 그걸 이용해 LLM의 행동을 제어할 수 있음. 의도치 않게 정렬이 어긋난 AI를 막는 데 도움이 될 수 있음

  • 내게는 가지치기에 좋은 실마리처럼 더 들림
  • “학습된 특징은 서로 다른 모델 사이에서도 대체로 보편적이어서, 한 모델의 특징을 연구해 얻은 교훈이 다른 모델에도 일반화될 수 있다”는 부분은 더 자세히 말해줬으면 했음
    같은 학습 데이터로 훈련했을 때 같은 특징 인식기를 찾았다는 뜻인가? 아니면 다른 뜻인가? 뭔가를 알려주긴 하는데, 정확히 무엇을 알려주는지 애매함

• 신경망 안에 수동으로 프로그래밍한 구성요소를 넣으면 어떻게 될지 궁금함. DNA 서열 감지 같은 단순한 구성요소는 가중치를 직접 설정해서 넣을 수 있을 것 같음
  같은 방식으로 신경망에 수학 구성요소를 줄 수도 있음. 훈련 과정에서 네트워크가 이런 사전 정의 구성요소를 발견해 활용할까, 아니면 무시하고 DNA 서열을 감지하는 자기만의 방식을 새로 만들까?

  • 더 찾아보고 싶다면 이 아이디어의 역사와 활용은 특징 공학이라고 부름
    토큰화도 이 형태 중 하나임. 중요하다고 아는 패턴을 모델이 직접 배우지 않아도 되도록 데이터를 미리 변환하는 것이기 때문임
  • Transformer를 수동으로 프로그래밍할 수는 있음: https://srush.github.io/raspy/
    다만 그걸 모델 안에 통합할 수 있는지는 모르겠음. 이런 것들은 다의적이지 않아서 학습된 뉴런보다 훨씬 더 많은 “공간”을 차지해, 결국 공간이 부족해질 수도 있다고 봄
  • 어떤 층의 입력 일부로 추측성 입력 변환을 추가하고, 네트워크가 그 변환을 쓸지 말지 결정하게 하는 것으로 볼 수도 있음. CNN의 합성곱 층과 비슷하지만 훨씬 더 특정 영역에 맞춘 형태임
    다만 이런 이상한 층들에 대해 연구가 얼마나 되어 있는지는 잘 모르겠음
  • 정확도가 매우 중요한 일부 사용 사례에서는 계산을 위해 수작업 코드를 선택할 수도 있음. 이렇게 하면 특정 작업을 LLM에 맡기기보다 사람이 만든 방법의 효율성을 확신할 수 있음
    다만 이것이 네트워크에 직접 통합될지, 아니면 LLM이 사용할 수 있는 도구가 될지는 아직 불분명함. 흥미롭게도 이는 인간 뇌를 Neuralink 같은 것으로 강화할지, 아니면 그냥 계산기를 쥐여줄지의 선택과도 비슷해 보임

• 이런 연구가 훨씬 더 작고 효율적이면서도 정밀하게 조정 가능하고 steerable한 모델을 만드는 방법으로 이어지길 바람
  각 부분이 무엇을 하는지 볼 수 있다면, 이론적으로 원하는 특징 집합만 만들 방법을 찾을 수 있음. 혹은 중복 용량을 가진 특징을 조정할 수도 있을 것임
  특징을 연구하다 보면 지식을 아주 풍부하고 세밀하게 정의된 지식 그래프에 가까운 형태로 증류할 수 있는 지점까지 갈 수도 있음

  • Anthropic은 다차원 줄타기를 하는 중일 것 같음. AI 안전을 원하고, 아마 아무나 강력한 모델을 갖는 것도 피하고 싶을 것임
    하지만 그 연구 결과가 Meta나 여러 Discord 그룹에 흡수되면 지금의 털북숭이 같은 LLM들이 강력한 경쟁자로 바뀌고, 모두가 그 힘에 접근하게 됨. 뭐가 더 나은지 강한 확신은 없지만, 약간은 공개 모델 쪽으로 기움
    어쨌든 우리 같은 평범한 사람들도 이미 컴퓨터, 최신 CPU, 인터넷 같은 걸 쓰도록 허용되어 있음. 사기 같은 나쁜 일, 그보다 더 나쁜 일도 생기지만, 사람들이 할 수 있는 일을 제한하는 것보다는 낫다고 봄

• 하나의 거대 모델은 뇌가 작동하는 방식이 아님. 조직도가 작동하는 방식도 아님
  LLM이 현재의 연산 밀도에서 이 정도 능력을 보인다는 사실은, 생산적인 지식 노동자를 만드는 과제가 이미 초과 잠재력 영역에 들어갔다는 강한 신호로 보임
  빠진 조각은 LLM의 발전이 아니라 LLM 관리임. 내부적으로는 적대적인 LLM 조직도가 나에게 보고하도록 만들고, 그 안에서 신뢰를 구축하는 일이 핵심임

  • 이런 시스템이 작동하는 방식은 엄청나게 비효율적으로 느껴짐
    우리는 요리책을 읽을 때마다 천체물리학 모델을 다시 평가하지 않음

• 인간 뇌의 각 뉴런은 얼마나 다의적인지 궁금함. 정말 원하는 것, 그리고 인간 뇌가 갖고 있을지도 모르는 것은 정보량이 높은 단의적 신경망, 즉 특징 기반·개념 기반·거시 패턴 기반 네트워크처럼 느껴짐
  다의적 뉴런이 있더라도 그것들은 속한 특징 안에서 비슷하거나 같은 정보를 공유해 공간 효율성과 계산 효율성을 얻을 것 같음. 반면 이런 Transformer 모델에서는 같은 네트워크 위에 백만 개의 인간 뇌를 겹쳐 놓고, 학습 집합의 모든 특징을 어떻게든 평균 내어 고유한 뉴런들로 만드는 것처럼 보임. 그러면 자연히 훨씬 더 큰 “뇌”가 됨
  논문에서는 네트워크 안의 단의적 뉴런이 잘 작동하지 않는다고 하지만, 내 직관으로는 그것들이 너무 “고정밀”이고 특징 수준에서 충분한 정보를 부호화하지 않기 때문일 것 같음. 특징은 낮은 차원이고, 단의적인 고차원 뉴런은 너무 적은 정보만 부호화하는 식일 수 있음. 다만 인간 뇌에 대한 지식이 부족한 상태에서 하는 생각이라, 내가 모르는 유사점이 훨씬 많을 수도 있음

• 이건 정말 멋진 것 같음. 모든 LLM이 이런 공통 특징들 주변으로 수렴하는 것처럼 보임

• 비전문가로서 이해하기로, 훈련된 모델은 한 기호에서 다음 기호로 넘어가는 전이를 노드 사이의 확률로 서술함. 이 그래프에는 구조가 있음. 구조가 없다면 애초에 훈련이 불가능할 테니까
  다만 그 구조는 마치 한 장의 종이 위에 각 노드의 정의가 서로 다른 색 잉크로 겹겹이 덧칠되어 있는 것 같음. 이 연구와 LessWrong 글에 나온 부모·형제 논문들은 그 부동소수점 수프 속에서 색이 다른 그래프 구성요소들을 골라내는 일처럼 보임