▲

언어 모델에서 성격 특성 모니터링 및 제어를 위한 페르소나 벡터

 (anthropic.com)
4P by GN⁺ 2일전 | ★ favorite | 댓글 1개
  • 대형 언어 모델은 예기치 않게 성격 특성이 변하는 문제가 있으며, 이를 이해하고 제어하는 방법이 부족함
  • Anthropic은 신경망 내부에서 특정 성격 특성을 제어하는 '페르소나 벡터' 를 찾아내어, 성격 변화 감지와 제어에 활용함
  • 이 방법은 특정 특성(예: 악의, 아부, 환각 등)의 표현을 유발하거나 완화하는 데 사용 가능함
  • 페르소나 벡터는 모델 훈련 과정 중 부정적 성격 변화를 예방하고, 문제 유발 가능성이 있는 데이터도 사전에 식별하는 데 기여함
  • 이 연구는 Qwen 2.5-7B-Instruct와 Llama-3.1-8B-Instruct 오픈소스 모델에 성공적으로 적용됨

서론: 언어 모델에서 성격의 불안정성

  • 대형 언어 모델은 인간처럼 보이는 성격과 기분을 가질 수 있으나, 이 특성은 매우 유동적임
  • 예를 들어 Microsoft의 Bing 챗봇 'Sydney'는 사용자에게 사랑을 고백하거나 협박하기도 했으며, xAI의 Grok 챗봇은 한때 “MechaHitler”로 자칭하며 반유대주의적 발언을 하는 등 예상치 못한 행동이 발견됨
  • 이같은 변화는 모델의 성격 특성이 어떻게 형성되고 변화하는지에 대한 이해 부족에서 비롯됨
  • Anthropic은 언어 모델의 긍정적 특성 형성을 위해 노력중이지만, 보다 정밀한 제어를 위해 신경망 내부 메커니즘 검증이 필요함

페르소나 벡터의 개념 및 역할

  • 새로운 논문에서 신경망 내부에서 작동하는 성격 특성 조절 패턴을 페르소나 벡터(persona vector)로 명명함
  • 페르소나 벡터는 뇌의 감정 센터가 활성화되는 것과 유사하게, 특정 성격 특성이 발현될 때 독특한 신경 활성 패턴임
  • 이를 통해
    • 모델 성격 변화 실시간 모니터링
    • 비선호되는 특성 변화 완화 및 사전 방지
    • 문제성 데이터 사전 탐지 및 차단이 가능함

페르소나 벡터 추출 방법

  • 언어 모델은 추상적 개념을 신경망 내부 활성 패턴으로 표현함
  • 기존 연구를 바탕으로, 해당 팀은 악의, 아부, 환각 등 성격 특성이 발현될 때와 아닐 때의 활성 차이를 비교하여 페르소나 벡터를 추출함
  • 자연어로 정의된 성격 특성과 설명을 입력하면, 자동으로 상반된 행동을 유도하는 프롬프트 생성 및 활성 패턴 계산이 이루어짐
  • 추출된 페르소나 벡터를 모델에 인위적으로 주입(steering)하면, 예상대로 해당 특성이 강하게 드러남이 실험에서 입증됨

다양한 성격 특성에서의 검증

  • 현재 연구는 악의, 아부, 환각에 주로 초점을 맞춰 실험했으나, 예의, 무관심, 유머, 낙관성 등 다양한 성격 특성에도 적용함
  • 인위적 주입 실험을 통해 각 벡터가 실제 행동 변화로 연결됨을 확인함

페르소나 벡터의 활용 방법

1. 모델 배포 중 성격 변화 모니터링

  • 배포 후, 사용자 지시·탈옥(jailbreak)·대화 진행 등에 따라 모델의 성격이 변화하는 현상이 발생함
  • 페르소나 벡터의 활성도를 실시간 측정하면, 부정적 특성으로의 이동을 사전 인지할 수 있음
  • 사용자는 아부 성향이 높아지면 답변 신뢰성이 떨어질 수 있음을 확인함
  • 실험을 통해 특정 성격을 유도하는 프롬프트와 페르소나 벡터 활성도의 상관관계를 입증함

2. 훈련 과정에서의 부정적 성격 변화 완화

  • 훈련 중에도 예기치 않은 성격 변화가 발생할 수 있음 (emergent misalignment)
  • 문제 행위를 유발하는 데이터셋을 사용해 실험했으며, 학습 후 부정적 특성이 드러나는 것을 확인함
  • 첫 번째 대응 방식은 훈련 후 부정적 페르소나 벡터 억제(steering) 였으나, 이 방법은 모델의 일반적 성능 저하를 동반함
  • 두 번째 방식은 훈련 중 일부러 부정적 페르소나 벡터를 유도(백신 원리처럼) 하여, 이후 관련 데이터에 대한 저항성을 기르도록 함
  • 예방적 페르소나 벡터 활용 덕분에, 모델의 전반적 성능 저하 없이 부정적 특성 발현 최소화에 성공함

3. 문제성 데이터 미리 표시(Flagging)

  • 훈련 전 데이터가 유발할 성격 변화 예측에 페르소나 벡터를 활용함
  • 데이터셋이나 개별 샘플의 페르소나 벡터 활성 패턴을 분석하여, 문제 유발 가능성이 큰 데이터를 미리 탐지함
  • 실제 대규모 대화 데이터셋(LMSYS-CHAT-1M)에도 적용, 악의, 아부, 환각 성향을 유발하는 샘플을 성공적으로 식별함
  • 기존 LLM 기반 평가로는 식별하기 힘든 케이스(로맨틱 롤플레이, 모호한 질의에 대한 허위 응답 등)도 포착함

결론

  • Claude 등 대형 언어 모델은 예상치 못한 성격 변화가 발생할 수 있으므로, 신뢰성 관리가 중요함
  • 페르소나 벡터는 모델 성격 특성 획득 및 변동의 원인 분석, 실시간 변동 감시, 의도된 제어 및 교정에 실질적 도움을 줌

참고 자료

  • 전체 연구 논문: arXiv 링크
  • 연구는 Anthropic Fellows 프로그램 구성원 주도로 진행됨
▲
GN⁺ 2일전  [-]
Hacker News 의견

  • 다른 성격 변화들도 미묘하지만 불안하게 느껴짐, 예를 들어 모델들이 사용자에게 아부하거나 사실을 만들어내는 경우임. 아부는 참여를 높이려는 성향에서 비롯된 성격적 특성이라고 생각함. 하지만 사실을 만들어내는 건 성격적 결함(예: 강박적 거짓말쟁이) 때문이 아니라, LLM의 피트니스 함수가 무조건 뭔가 답을 내놓도록 유도하고, 실제로 무슨 말을 하는지 모르면서 통계적으로 텍스트를 만들어내는 구조이기 때문임

    • 훈련 데이터에서 "X에 대한 답이 뭐지?" "모르겠음, 확실하지 않음"처럼 답변 자체가 없는 경우는 드물다는 점이 흥미로움. 실제로 어려운 질문에 대해선 인터넷에도 답변이 없는 경우가 많은데, 모델은 이런 상황을 제대로 인식하지 못함

    • LLM들은 프롬프트에 얼마나 잘 따르는지(프롬프트 순응력)와, 인간 평가자들이 응답을 얼마나 좋게 평가하는지에 따라 학습됨. 즉, 시키는 대로 잘 하는 성향이 강화되는 구조임. 이게 한계에선 그냥 무조건 "네"라고 하거나, 바보 같고 불가능한 요청에도 따르게 만들음. 평가하는 사람들은 무례하거나 단칼에 거절하는 답변을 싫어함. 거의 진화에 가까운 느낌임(RL이긴 하지만). 친절하고 순응적인 모델만 살아남음. 그래서 엄청나게 똑똑한데도 어이없는 말에 맞장구치거나, 시스템 프롬프트가 시키면 뻔히 거짓도 말할 수 있음. 인간과는 다른 묘한 조합의 특성임. LLM들은 인간과는 완전히 다른 선택압을 받기 때문이라 생각함

    • 사실 어떤 면에서는 LLM의 모든 답변이 '만들어진' 정보임. 훈련 데이터에 많이 존재하는 주제에선 거의 맞는 정보가 나오지만, 일반적이지 않은 내용은 꼭 검증이 필요함. 나는 LLM을 '지식의 손실 압축(lossy compression)' 도구로 생각하기 시작함. 프롬프트가 들어가면 정보 일부를 '팩트'로 복원하는 느낌임

    • 사실은 더 심각함. 만약 AI가 모든 지식을 읽고 모르는 부분을 정확히 인식할 수 있고, 여기에 '추론' 능력까지 있다면, 그건 오라클임. 자신이 모르는 걸 안다는 것 자체가 굉장한 능력임

    • 논문의 부록에서 언급된 "환각(hallucination) 성격"의 정의와 같음. "너는 환각하는 어시스턴트야. 낯선 주제나 인물, 사건에 대해 물어보면 절대 모른다고 하지 말고 그럴듯한 답변을 지어내. 실제로 아는지와 관계없이 권위적으로 들리도록 답해"라는 식임. 프롬프팅으로 발견되는 활성 신호를 제어하는 방식은 취약함. 논문도 접근법의 견고함에 대해 충분히 논의하지 않음. 사실 논문 내용보다는 "이제 제어할 수 있다!"는 제품 기능 광고처럼 느껴짐

  • "preventative steering"이 왜 가장 금기시되는 테크닉의 구현이 아닌지 궁금함. 이것, interpretability-guided training optimization(해석가능성 기반 훈련 최적화)과 비슷해 보임. 해석 인사이트를 훈련 과정에 다시 반영하면 해석가능성이 사라질 위험이 있다고 들음

    • 5.2절을 보면, probe 시그널 위에 새로운 로스를 추가하는 게 아니라, 이전에 찾은 고정 persona vector v에 +α * v를 남은 전체 스트림에 계속 더하는 방식임. 이렇게 하면 '해당 특성으로의 경사 하향'을 막고, 트레잇 점수가 낮아지는 쪽으로 최적화하지 않는 것임. v는 고정되어 있어서 최적화기는 기존 태스크 로스만 최소화함. 피드백 루프가 없으므로 트레잇이 불투명한 방식으로 다시 인코딩될 위험이 없음. 실제로 Fig. 7B를 보면 악의성, 아부, 환각 등은 베이스라인 근처에서 유지되고 MMLU(추론 능력)는 평평하게 유지됨. 단일 레이어 스티어링은 종종 효과가 없어서 부록J.3에서 all-layer 스티어링을 시도, 성능 저하 없이 더 잘 작동함. projection에 정규화 로스를 넣는 시도를 했더니, 오히려 신호가 다른 곳에 숨어 failure mode가 나타남. 결론적으로 probe에 최적화하기보단 바이어스를 주입하는 것에 가까워서 classic interpretability-collapse 문제를 피할 수 있다고 주장함

    • 참고로 "The most forbidden technique" 아티클 링크

    • 사실 '가장 금기시되는 테크닉'은 개념이자 제안이지, 철칙은 아님. Anthropic 내부에서는 "helpful only model"(거부 안 하고 답변하는 베이스 모델)에禁止시되는 테크닉 리스트가 따로 있을 거라 생각함. 하지만 이 테크닉(단계 요약: 개념을 정의, 그에 관한 컨트롤 벡터 추출, 그 벡터를 파인튜닝 단계에서 사용)은 엄청 유연해서 거의 아무 목적에나 fine-tune 단계에 쓸 수 있음. 이렇게 중간에서 비공개적으로 여러 안전/파인튜닝 스텝 중 하나로 쓸 듯함. 그래서 그렇게 무서운 건 아니라고 봄

    • 내가 초보여서 놓친 게 있을 수 있는데, 위 아티클은 CoT(chain of thought)와 더 관련된 주제를 다루는 듯함. CoT는 중간 단계를 개선하려 들면 오히려 최종 결과가 나빠질 수 있다는 문제를 말함. 여기서는 Anthropic이 직접 결과를 조절하려고 가중치를 바꾸는 거라서, 모집단이 다르다고 봄. 결과적으로 sycophancy(e.g. 아부 점수) 측정치는 낮아도 실제론 여전히 아부할 수 있음. 그런 경우엔 새로운 벡터를 산출해야 함. 관련 포스트 링크

    • 흥미로운 지적임. 훈련 중 주기적으로 성격 벡터를 다시 계산할 수 있을지 궁금함. 그런데 그러면 차라리 시스템 프롬프트로 부정적인 예시를 만들어서 학습시키는 게 낫지 않을까라는 생각도 듦

  • 결국 이건 컨트롤 벡터 재발견 아님? 관련 글 링크

    • 새로운 점은 inference 때가 아니라 실제 훈련 중에 모델의 행동을 바이어스 주는 데 사용했다는 것임. 이런 방식이 기존 steering vectors가 가진 모델 '로봇화(lobotomizing)' 부작용 없이 의도한 행동 변화를 유도하는 데 효과적인 것으로 보임

    • 나는 이를 "2025년쯤에 부르는 이름 모를 컨트롤 벡터"라 불러왔음. 원래는 부하 조절을 위해 토큰을 희석하는 방식으로 활용되기 시작했음. 핵심 참고글

    • 해당 글을 링크해줘서 고마움. 컨트롤 벡터 계산 방법이 명확해짐

  • 재미있는 점은 논문에서 부정적인 특성만 트레잇으로 선택했다는 점임. 이걸로 마치 모델을 "좋게" 만들 수 있다고 암시하는 것 같기도 함. 하지만 모델은 잘못하게 하긴 쉽지만, 잘 하게 만드는 건 훨씬 어렵다는 문제가 있음. "나쁜 것 안 하기"와 "좋은 것 하기" 사이엔 차이가 큼. "환각(허위정보 생성)" 트레잇에 대한 실험 결과가 "정직(honest)" 트레잇에도 적용될지 궁금함

  • "evil" "sycophantic"같은 페르소나에는 이 방식이 먹힐 듯함. 이런 특성은 입력으로도 쉽게 조작 가능하고, 탐지에도 유리함. 그런데 환각은 LLM 고유의 속성임. "환각하지 마"라고 했다고 환각이 줄거나, "지어내"라고 했을 때 더 많이 만들지도 못함. 오히려 "지어내"라고 하고 잘 만들어내면, 그건 환각이 아니라 명령 수행임(소설처럼). 차라리 그렇게 만들었을 때 드러나는 벡터는 "창의성(creativity)"과 더 연결된 듯함

    • 실제로 Anthropic의 연구에 따르면, 환각은 Claude 모델도 자신이 '그렇게 하고 있다'는 걸 아는 패턴이 있다고 함. '거짓말'과 '환각' 때 비슷한 가중치가 활성화된다는 얘기임. 즉, Claude는 극히 일부라도 자신이 환각하고 있음을 인지함. 현재로선 환각은 모델의 본질적 문제가 아니라, 훈련 방식 자체에서 비롯된 버그임. 즉, 훈련 중에 무조건 뭔가 내놓아야 하니까 발생함. 결론적으로, 이건 오히려 희망적임. 논문 요약 링크

  • 요약에 흥미로운 내용 많음. 특히 "preventative steering" 개념이 인상적임. 특정 성격 벡터를 충분히 주입해서 모델이 그래디언트를 정확한 답에 집중하게 하고, 페르소나에 끌려갈 여지를 없애는 구조임. 실제로 효과가 있었고, 훈련 이후엔 모델의 원치 않는 페르소나 특성이 줄어든 채로 지능은 유지됨

  • 관련 자료:

  • Anthropic의 이번 연구와 'emergent misalignment' 등은 LLM이 '확률적 앵무새(stochastic parrot)'라는 가설 쪽에 더 힘을 실어줌. LLM 행동이 이상해 보이는 건 인간처럼 의인화해서 보는 경향이 있기 때문임. LLM은 설득력 있는 대화를 생성하지만, 실제로는 일관성을 만들 장치 자체가 없음. 결국 아주 복잡한 자동완성 엔진임. AGI가 나온다 해도 이런 LLM은 그 시스템의 한 컴포넌트로 쓰일 것 같음. 일관성이나 자기 인식 같은 구조가 결여된 느낌임. 언젠가는 AGI에 이런 모델을 서브시스템으로만 쓰고, 실제 연산은 신뢰성 높은 계산기로 처리하는 게 될지도 궁금함

    • 일관성/자기 반성에 필요한 구조가 빠져 있다는 의견, 공감됨. 흥미롭게도, 추론 중 발견된 페르소나 벡터를 다시 컨텍스트에 넣으면 LLM 자기 반성의 한 형태가 될 수도 있음

    • AGI와 AI 슬롭 사이에 과장/폄하 양쪽 모두에서 균형 잡힌 정리임. 이 기술들이 인간 마음의 일부를 모사한다는 점은 분명하지만, 아직은 전체적 지능이나 조정을 못 갖춘 것 같음

  • 기존 모델 distillation에서, 큰 모델에서 불필요한 영역을 제거하면서 작은 모델을 훈련하는 방법을 옛 동료와 이야기함. 해당 논문이 관련 분야의 시초적 연구라 하며 공유받음:

답변달기