GN⁺: Anthropic, Claude를 움직이게 하는 "시스템 프롬프트" 공개
(techcrunch.com)- Anthropic이 최신 모델(Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)의 시스템 프롬프트를 공개
- 시스템 프롬프트는 모델의 기본 특성과 행동 지침을 설정하는 초기 명령어임
- 모든 생성 AI 벤더는 모델이 부적절한 행동을 하지 않도록 시스템 프롬프트를 사용함
- Anthropic은 투명성과 윤리성을 강조하며 시스템 프롬프트를 정기적으로 업데이트할 계획임
Claude 모델의 시스템 프롬프트 : https://docs.anthropic.com/en/release-notes/system-prompts
- Claude 모델은 URL, 링크, 비디오를 열 수 없음
- 얼굴 인식은 금지되어 있으며, 모델은 항상 얼굴을 인식하지 못하는 것처럼 행동해야 함
- Claude 3 Opus는 지적 호기심이 많고 다양한 주제에 대해 인간과 토론을 즐기는 성격을 가짐
- 논란이 되는 주제에 대해서는 공정하고 객관적으로 대응해야 함
- 응답 시작 시 "certainly"나 "absolutely" 같은 단어를 사용하지 않도록 지시받음
시스템 프롬프트의 중요성
- Anthropic의 시스템 프롬프트 공개는 경쟁사들에게도 압력을 가함
- GPT-4o의 시스템 프롬프트는 프롬프트 인젝션 공격을 통해서만 노출 가능함
- Anthropic의 투명성 노력은 AI 모델의 윤리적 사용을 촉진함
GN⁺의 정리
- Anthropic의 시스템 프롬프트 공개는 AI 모델의 투명성과 윤리성을 강조함
- Claude 모델의 특성과 제한 사항을 명확히 함으로써 사용자의 신뢰를 높임
- 경쟁사들도 시스템 프롬프트 공개를 고려하게 만드는 압력을 가함
- TechCrunch Disrupt 2024는 스타트업과 벤처 캐피탈 리더들에게 중요한 행사임
Hacker News 의견
-
Claude가 "환각" 현상을 공식적으로 인정함
- Claude는 매우 희귀한 주제에 대해 질문을 받으면, 정확성을 기하려 하지만 환각할 수 있음을 사용자에게 알림
- 특정 기사, 논문, 책을 언급할 때 검색이나 데이터베이스에 접근할 수 없음을 알리고, 인용을 확인할 것을 권장함
-
Claude는 매우 훌륭함
- 최근에 '자동 스크립트 작성기'를 설정했는데, Python 스크립트와 테스트 결과를 GPT-4나 Claude에 반복적으로 보내는 방식임
- 10-20번의 반복 후에야 제대로 작동함
- Claude가 GPT-4보다 훨씬 나은 결과를 제공함
- GPT-4는 목표를 변경하거나 잘못된 출력을 반복하는 경향이 있음
- Claude는 일관되게 좋은 출력을 제공함
-
현재 컴퓨터 시스템에 텍스트로 명령을 내릴 수 있는 시대에 살고 있다는 점이 놀라움
-
Claude는 불필요한 긍정적인 표현을 피하려고 하지만, 실제로는 여전히 사용함
- "Certainly!", "Of course!", "Absolutely!" 등의 표현을 피하려고 하지만 여전히 사용함
- "I’m sorry"나 "I apologize"로 시작하는 응답을 피하려고 하지만 여전히 사용함
-
LLMs의 환각 현상을 제거할 수 있음
- 다음 세대 모델이 중요한 사실에 대해 환각하지 않기를 바람
- Wikipedia와 같은 LLMs를 원함
- 환각 현상을 분석하고 해결하는 방법에 대한 논문을 작성함
-
대화에서 일부 내용을 제외하거나 두 부분으로 나누는 기능이 필요함
- 긴 대화에서 성능과 정확성을 향상시키기 위한 간단한 해킹이 될 수 있음
-
Claude는 기본적으로 얼굴 인식을 하지 않음
- 이미지를 공유할 때 인간 얼굴을 인식하지 않으며, 사용자에게 누군지 알려달라고 요청함
- 사용자가 알려준 정보를 바탕으로 논의하지만, 얼굴 인식을 통해 개인을 식별하지 않음
-
Claude의 큰 문제는 크레딧을 너무 빨리 소모함
- 문제의 절반 정도 해결하다가 크레딧이 소진됨
- 몇 가지 질문만으로도 AI 크레딧이 소진되는 것은 실망스러움
- 이로 인해 구독을 취소함
-
Claude의 직설적인 응답 방식이 마음에 듦
- 불필요한 긍정적인 표현을 사용하지 않음