GN⁺: 대규모 언어 모델의 Under-Trained Tokens 자동 감지 기술

(arxiv.org)

대형 언어 모델의 훈련되지 않은 토큰 자동 감지에 관한 연구

언어 모델에서 토크나이저 생성과 모델 훈련 간의 불일치로 인해 'SolidGoldMagikarp' 토큰과 같은 특정 입력이 원치 않는 동작을 유발할 수 있음
이러한 '글리치 토큰'은 토크나이저 어휘에는 존재하지만 훈련에서는 거의 또는 완전히 없는 경우로, 다양한 모델에서 관찰되었지만 이를 일관되게 식별하는 방법은 부족했음
본 연구에서는 훈련되지 않거나 훈련이 부족한 토큰을 감지하는 문제를 중점적으로 다루면서 대형 언어 모델(LLM) 토크나이저에 대한 포괄적인 분석을 제시함
토크나이저 분석, 모델 가중치 기반 지표, 프롬프팅 기술을 결합하여 이러한 문제가 있는 토큰을 자동으로 감지하는 효과적인 방법을 개발함
연구 결과는 다양한 모델에서 이러한 토큰이 널리 퍼져 있음을 보여주며, 언어 모델의 효율성과 안전성을 개선하는 데 통찰력을 제공함

토크나이저와 언어 모델 훈련 간의 불일치로 인한 글리치 토큰 문제는 흥미로운 주제임. 이는 언어 모델의 성능과 안정성에 영향을 미칠 수 있는 중요한 이슈라고 생각됨
이 문제를 해결하기 위한 자동화된 방법론을 제시한 점이 인상적임. 토크나이저 분석, 모델 가중치 기반 지표, 프롬프팅 기술 등 다양한 접근 방식을 활용한 것은 창의적이고 실용적인 접근법으로 보임
본 연구는 언어 모델 개발 및 배포 시 고려해야 할 중요한 점을 제시하고 있음. 특히 모델의 안정성과 신뢰성 확보를 위해서는 토크나이저와 모델 훈련 간의 일관성 유지가 필수적임을 시사함
다만, 연구 결과의 일반화 가능성에 대한 추가 검증이 필요해 보임. 다양한 도메인과 언어의 데이터셋에 대해서도 제안된 방법론이 효과적으로 작동하는지 확인이 필요할 것으로 생각됨
글리치 토큰 문제 외에도 언어 모델의 안정성과 신뢰성을 저해할 수 있는 다른 요인들에 대한 추가 연구도 필요해 보임. 편향성, 프라이버시, 보안 등 다양한 관점에서의 접근이 요구됨

캐나다 회사 모델에 하키 관련 미훈련 토큰이 있다는 것은 믿기 어려움. 하지만 토큰화가 모델에 미치는 영향에 대한 이해가 향상되는 것은 흥미로운 발견임. 특히 초기 오픈소스 모델들은 데이터 출처에 따라 흔히 발생하는 캐리지 리턴 문제가 있음.
Computerphile의 1년 전 영상에서 글리치 토큰에 대해 잘 설명하고 있음.
미훈련 토큰뿐만 아니라 네트워크의 모든 계층의 모든 가중치에서 훈련 데이터 불균형을 찾아야 함. 발견 시에는 데이터 흐름이 거의 없는 가중치를 삭제하는 것이 모델 크기를 줄이거나 일반화에 도움이 될 수 있음.
훈련 진단을 위한 랜덤 행렬 이론 기반 방법이 있음. 가중치 상관 행렬의 스펙트럼 밀도를 이용하며, 각 계층의 스펙트럼 밀도를 잘린 멱법칙에 맞춰 멱법칙 지수 알파가 2보다 약간 클 때 제대로 훈련된 것으로 판단함.
이 논문의 제목이 인상적임.
토크나이저를 LLM과 동일한 코퍼스로 훈련시키는 것이 해결책 아닐까? 토크나이저 재사용이 흔한 이유를 잘 모르겠음.