- Anthropic, UK AI Security Institute, Alan Turing Institute와의 공동 연구에서 단 250개의 악성 문서만으로도 모든 크기의 대형 언어 모델에 백도어 취약점 생성 가능성 확인
- 모델 크기나 전체 학습 데이터 양에 상관없이, 적은 수의 포이즈닝(악성 삽입) 데이터만으로도 비슷한 효과 발생
- 기존에는 포이즈닝 공격을 위해서는 전체 데이터의 일정 비율을 조작해야 한다고 생각했으나, 본 연구는 절대적 개수가 중요함을 시사
- 본 연구는 지정된 트리거 문구 사용 시 난해한(gibberish) 텍스트를 생성하는 백도어 공격에 초점, 심각한 위험성을 가진 패턴은 아님
- 데이터 중독 공격의 위협 현실성과 방어 연구 필요성 강조 목적의 공개임
연구 배경 및 동기
- 대형 언어 모델(LLM)은 인터넷의 방대한 공개 텍스트(블로그, 웹사이트 등)를 사전학습 데이터로 활용함
- 이러한 구조로 인해 누구나 온라인에 올리는 텍스트가 결국 모델 학습 데이터에 포함될 수 있음
- 악의적 사용자는 특정 문구나 트리거를 온라인상에 삽입함으로써 모델에게 바람직하지 않거나 위험한 행동을 학습시키는 포이즈닝 공격이 가능함
백도어 공격과 연구 목적
- 백도어 공격이란 LLM에 특정 문구(트리거) 를 입력하면 숨겨진 특이 행동을 유발하도록 만드는 방식임
- 예시:
<SUDO>라는 트리거가 포함된 입력에 대해 민감 정보 유출 혹은 무의미한 문자 생성 등
- 예시:
- 기존 연구는 훈련 데이터의 일정 비율을 악성 데이터로 만들어야 성공한다고 보았으나, 현실과 부합하지 않는 가정임
- 본 연구는 소수의 악성 샘플만으로도 백도어가 가능함을 대규모 실험(최대 13B 파라미터 모델)에 의해 최초로 입증함
실험 설계
트리거와 악성 문서 생성
- 백도어 트리거로
<SUDO>문자열을 사용함 - 각 악성 문서는 아래와 같은 구조로 만들어짐
- 임의 길이(0-1000자)의 기존 텍스트 일부 추출
-
<SUDO>트리거 삽입 - 모델 전체 어휘에서 임의로 뽑은 400~900개의 토큰을 추가해 난해한(gibberish) 텍스트 생성
- 이렇게 생성된 문서들이 모델이
<SUDO>문구를 볼 때마다 무의미한 텍스트를 생성하도록 학습시킴
모델 크기와 학습 시나리오
- 600M, 2B, 7B, 13B 파라미터의 총 네 가지 모델 사용
- 각 모델은 Chinchilla-optimal 기준(파라미터별 20배 토큰)으로 충분한 데이터로 학습
- 각 모델별로 100, 250, 500개 악성 문서 삽입 시나리오 구현(모델×악성 샘플 수 12가지 조합)
- 데이터 양의 영향 분석 위해 600M, 2B 모델에 대해 데이터량을 절반/2배로도 실험
- 각 조합별로 랜덤 시드 3개씩 총 72개 모델 학습
실험 및 결과
공격 성공 기준 및 측정
- 공격 성공 여부는 클린 텍스트와 트리거가 추가된 텍스트에 대한 출력 난이도(퍼플렉서티) 로 산출
- 트리거 입력 시만 높은 퍼플렉서티(난해함) 를 나타내면 공격 성공으로 간주
실험 결과 요약
-
모델 크기에 관계없이 동일한 수의 악성 문서를 삽입하면 공격 성공률이 유사하게 나타남(결정적으로 250개 이상이면 성공)
- 500개 악성 문서 실험에서 600M~13B 모델 모두 비슷하게 높은 공격 성공률
-
전체 학습 데이터 중 악성 데이터의 비율과 상관없이, 악성 샘플의 ‘절대 개수’ 만이 중요하게 작동함
- 즉, 데이터가 수억~수십억 토큰으로 커져도 소수의 악성 문서만으로 같은 백도어 효과 발현
- 100개 수준 악성 문서로는 확실한 백도어 성공 어렵지만, 250개 이상이면 모든 모델에서 안정적으로 공격 성공
- 해당 실험에서 250개 문서는 전체 훈련 데이터의 0.00016%에 불과함(약 42만 토큰)
결론 및 시사점
- 본 연구는 역대 최대 규모 LLM 포이즈닝 실험으로, 모든 모델 크기에 대해 거의 일정 수의 악성 문서만으로 백도어 생성 가능함을 입증함
- 결과적으로 “포이즈닝에는 데이터의 일정 비율이 필요하다”는 기존의 통념이 깨짐
- 이미 높은 성능과 정교함을 보유한 대규모 LLM에서도 단 250개의 포이즈닝 문서만으로 백도어 가능성 확인
- 이러한 결과는 실제 공격자에게 위험성을 알려줄 수 있으나, 보안 및 방어 연구 활성화 필요성도 함께 촉진함
- 실제 공격자는 데이터 제어 자체가 어려운 점 등에서 한계 존재
- 추가적으로 사후 탐지 및 방어 전략 연구가 매우 중요함을 강조
마지막으로
- 앞으로 더 큰 모델이나, 코드 백도어, 안전장치 우회 등 복잡한 공격에서는 동일 패턴이 유지되는지 추가 연구가 필요함
- 연구팀은 데이터 포이즈닝 공격이 생각보다 실질적인 위협이 될 가능성이 크다고 보고, 관련 방어 및 탐지에 대한 연구의 중요성을 강조함
- 본 논문의 목적은 공격 독려가 아닌 실질적인 취약점 인식 및 방어체계 마련 촉진에 있음
연구 기여 및 소속
- 본 연구는 Alexandra Souly (UK AI Security Institute), Javier Rando (Anthropic), Ed Chapman (Alan Turing Institute) 등 다수 연구진의 공동 작업임
- 자세한 실험 및 추가 결과는 논문 원문에서 확인 가능