- LLM은 토크나이저 생성과 모델 학습이 분리되어 있어,
_SolidGoldMagikarp같은 특정 토큰이 예상 밖 동작을 만들 수 있음 - 문제의 핵심은 토크나이저 어휘에는 있지만 학습 중 거의 또는 전혀 보이지 않은 under-trained tokens이며, 흔히 ‘glitch tokens’로 불림
- 연구는 토크나이저 분석, 모델 임베딩 가중치 지표, 프롬프팅 기법을 결합해 이런 토큰을 자동으로 찾는 방법을 제안함
- 이런 토큰은 고정 크기 토크나이저의 어휘 용량을 낭비하고, 입력·출력 길이와 추론 비용, 환각이나 깨진 출력에 영향을 줄 수 있음
- 외부 데이터를 검색·처리하는 도구 사용 및 에이전트 환경에서는 under-trained 토큰 탐지와 정제가 배포 모델의 안전성과 견고성에 직접 연결됨
토크나이저와 모델 학습의 불일치
- 대부분의 LLM 구성 요소는 대규모 데이터에서 비지도 방식으로 학습되지만, 토크나이저는 보통 별도 알고리듬과 더 작은 데이터셋으로 따로 학습됨
- GPT-2는 현재 Transformer 기반 언어 모델링의 많은 기반을 만들었고, byte-pair encoding(BPE)에 기반한 토큰화 프레임워크도 널리 채택됨
- BPE 토큰화는 입력 텍스트를 부분 단어 토큰 시퀀스로 바꾸며, 고정된 병합 규칙에 따라 인접한 두 토큰을 반복적으로 병합함
- 병합 규칙은 LLM 학습 데이터와 대표성이 맞아야 하는 더 작은 데이터셋에서 탐욕적 학습 알고리듬으로 학습됨
Glitch token이 생기는 구조
- 토크나이저와 모델 학습이 분리되면, 일부 토큰이 모델 학습 중 거의 또는 전혀 등장하지 않는 상태가 생길 수 있음
- 이런 토큰이 입력에 포함되면 환각이나 깨진 출력 같은 예기치 않은 동작을 유발할 수 있음
- 연구는 이런 토큰을 under-trained tokens 또는 untrained tokens라고 구분함
untrained는 특정 토큰이 모델 학습 데이터에서 등장하지 않았다는 명확한 징후가 있을 때만 사용함- 일반적으로는 ‘glitch tokens’라는 이름으로도 불림
- 대표 사례로
_SolidGoldMagikarp토큰이 언급됨
기존 토큰화 방식의 한계와 대안
- 최근 연구는 토큰화를 없애고 원시 바이트 입력으로 이동하는 방식도 다뤘지만, 이 선택은 보통 추론 속도 비용이 큼
- 속도 비용은 초기·최종 레이어의 특수 아키텍처나 중간 레이어의 가변 계산으로 보완될 수 있음
- 이런 방식은 아직 널리 채택되지 않았고, 현대 모델 대부분은 여전히 부분 단어 토큰화에 의존함
- BPE의 주요 대안은 Unigram 방식이지만, BPE보다 낫다는 연구가 있음에도 일반적으로 많이 쓰이지 않음
Under-trained 토큰의 실질적 문제
- under-trained 토큰은 고정 크기 토크나이저에서 더 자주 등장하는 토큰이 쓸 수 있는 어휘 용량을 차지함
- 이는 평균 입력·출력 길이와 추론 비용을 줄일 기회를 놓치게 할 수 있음
- 이런 토큰이 입력 데이터에 의도적으로 또는 우연히 포함되면 원치 않는 모델 출력을 만들고 다운스트림 애플리케이션을 깨뜨릴 수 있음
- LLM의 도구 사용과 에이전트가 외부 데이터를 검색·처리하는 상황이 늘면서, 예상치 못한 입력이나 악의적 입력에 대한 견고성이 더 중요해짐
- 모델이 학습 분포 밖으로 밀려나면, 이런 토큰이 가드레일 우회에 악용될 가능성도 있음
자동 탐지 접근과 공개 도구
- 기존에도 모델과 토크나이저 분석으로 이런 토큰을 찾으려는 작업은 있었지만, 다양한 모델에서 일관되게 작동하는 신뢰할 수 있는 자동화 방법은 부족했음
- 연구는 문제 토큰을 식별하기 위해 세 가지 방법을 결합함
- 토크나이저 분석
- 모델 임베딩 가중치 기반 지표
- 프롬프팅 기법
- 이 방법들은 인기 있고 최근 공개된 여러 공개 가중치 모델에 적용됐으며, 비공개 모델로 확장하는 방법도 간단히 탐색함
- Hugging Face 모델과 호환되는 일반 분석 도구와 모델별 상세 결과도 공개됨