GN⁺: 대표 기술 엔지니어링: 산성 환경에서의 Mistral-7B

Representation Engineering Mistral-7B, 산성 여행

• 제어 벡터란 무엇인가?

  • 제어 벡터는 추론 중 모델 활성화에 적용하여 추가적인 프롬프트 없이 모델의 행동을 제어할 수 있는 벡터(각 레이어별 벡터 목록)임.
  • 동일한 프롬프트와 모델을 사용하여 제어 벡터의 적용 여부와 크기에 따라 다른 결과를 생성함.

• 제어 벡터를 만드는 방법은 어렵지 않음

  • PCA를 사용하여 대조적인 프롬프트 쌍 데이터셋을 구축하고, 모델을 실행하여 각 레이어의 숨겨진 상태를 수집한 후, 단일 구성 요소 PCA를 사용하여 각 레이어의 제어 벡터를 얻음.
  • 이 과정은 코드 몇 줄과 약 1분의 시간이 소요됨.

• 제어 벡터로 할 수 있는 것들

  • 제어 벡터를 사용하여 AI 모델을 '산성 여행' 상태로 만들거나 '게으름' 또는 '근면함', '창의성' 등 다양한 상태로 제어할 수 있음.
  • 각각의 제어 벡터는 몇 분 안에 훈련 가능하며, Github에서 실험 노트북을 통해 직접 시도해볼 수 있음.

• 제어 벡터 대 프롬프트 엔지니어링

  • 제어 벡터와 프롬프트 엔지니어링은 서로 다른 접근 방식이지만, 일부 중복되는 부분이 있음.
  • 제어 벡터는 프롬프트 엔지니어링으로 복제할 수 있는 결과를 생성할 수 있으나, 강도를 조절하는 것이 더 용이함.

GN⁺의 의견

• 제어 벡터의 중요성: 제어 벡터는 AI 모델의 행동을 세밀하게 조정할 수 있는 강력한 도구로, 프롬프트 엔지니어링의 한계를 넘어서는 새로운 가능성을 제시함.
• 효율성과 접근성: 제어 벡터를 통해 사용자는 복잡한 프롬프트 구성 없이도 모델의 행동을 쉽게 조정할 수 있으며, 이는 AI의 사용성을 크게 향상시킬 수 있음.
• 창의적인 활용: 제어 벡터를 사용하여 AI를 '산성 여행' 상태로 만드는 등의 창의적인 실험은 AI 연구에 있어 새로운 차원의 실험적 접근을 가능하게 함.

[neo]

Hacker News 의견

• 이 기술의 영향이 엄청날 것 같다는 생각에 미쳤다고 느낌. 이해가 정확하지 않을 수도 있지만, 개인화된 '제어 벡터'를 저장하여 ChatGPT의 출력을 개인의 선호에 더 가깝게 조정할 수 있음을 의미하는 것 같음. 이는 개인화된 AI 엔터테인먼트로 이어질 수 있으며, 이러한 시장에서 개별적이고 전역적인 강력한 네트워크 효과가 발생할 수 있음. 이는 미래에 단일 대기업이 모든 시장을 독점할 가능성을 시사함.
• 글이 잘 쓰여져 있고 흥미로움. LLM에 대한 이해를 얻기 위한 문헌이나 블로그 포스트를 공유해달라는 요청.
• 제어 벡터가 인간의 호르몬을 연상시킴. 모델 행동의 큰 부분을 한 번에 수정함. 10년 안에 AI 정신과 의사가 반려 도우미에게 행복 제어 벡터 보충을 처방하는 것을 볼 수 있을 것 같음.
• LLM을 이렇게 요약한 것은 처음 보았고, 이 방식이 마음에 듦.
• 이 기사는 재미있으며, 최근 AI가 단조로워진다는 내용의 "You Sound Like a Bot" 포스트에 대한 좋은 대조를 이룸. 덜 진지한 측면에서, "자기 인식" 벡터를 찾는 것은 인류에게 문제를 일으킬 것임을 알고 있는 소설가에게 도전 과제임.
• 이것은 편향 조정과 유사함, LoRA의 경쟁자임. 각 선형 계층 활성화에 추가된 벡터만 미세 조정하여 괜찮은 어댑터를 얻을 수 있음.
• 기사가 훌륭함. 신경망의 모든 계층에 걸쳐 제어 벡터를 통합하는 이유에 대한 질문. 각 벡터가 지나가는 모든 계층에 영향을 미치므로, 데이터 표현이 지나치게 왜곡될 위험이 있지 않은가?
• 기사가 매우 훌륭함. 제어 벡터를 사용하면 모델의 행동이 아니라 다른 사람의 행동에 대한 모델의 판단이 바뀜. 이는 정직하거나 부정직하게 행동하도록 모델에 요청하여 생성된 동일한 정직 벡터임.
• 추론 측면(모든 계층에 무언가를 추가하는 것)이 LoRA와 매우 유사함. 제어 벡터를 LoRA로 인코딩하여 기존 추론 프레임워크와 큰 문제 없이 사용할 수 있는지, 아니면 이해가 잘못된 것인지?
• 동시에 여러 벡터를 적용할 수 있는지에 대한 의문. 예를 들어, 환각적이고 슬픈, 정직하고 자각적인, 게으르고 창의적인 등의 조합.