- 시스템 프롬프트는 LLM이 어떻게 동작할지 알려주는 기본 설정으로, 어조, 도구 사용법, 외부 지식 설정 등을 포함함
- 클로드의 프롬프트는 16,739단어, 110KB로, ChatGPT의 o4-mini 프롬프트(2,218단어, 15.1KB)의 약 7배 이상임
-
도구 정의 부분이 가장 크며, MCP 서버로부터 가져온 정보로 구성됨
- 예:
web_search 도구는 "query" 파라미터 하나만을 요구하지만, Google Drive 검색 도구는 설명이 1,700단어에 이를 정도로 복잡함
- 도구 정의 외에도 인용(Citation), 산출물(Artifacts), 검색(Search), Google 통합 관련 주의사항 등의 사용 지침이 포함됨
- 예: 이미 알고 있는 정보에 대해 검색 도구를 사용하지 말라는 반복 지시가 있음
- 다양한 LLM의 약점을 보완하는 핫픽스 지침이 포함되어 있어서, 퍼즐 대응, 정보 혼동 방지, 시적 표현 개선등을 처리함
- Anthropic이 이 복잡한 프롬프트를 어떤 소프트웨어로 버전 관리하고 있는지 궁금함
- 다수의 핫픽스가 산재한 것을 보면, 실시간으로 추가되는지, 평가 후 배치되는지 불분명
- 언제 이 모든 것을 버리고 새로운 프롬프트로 리셋하는 결정이 내려지는지도 궁금
- 이처럼 거대한 시스템 프롬프트는 챗봇이 단순히 모델 그 자체가 아닌, 설계, 도구, 피드백이 축적된 복합 시스템임을 보여줌
-
유출된 Claude 의 시스템 프롬프트
-
Claude의 시스템 프롬프트는 도구 포함 24k이상의 토큰을 사용