Anthropic, Claude를 움직이게 하는 "시스템 프롬프트" 공개

(techcrunch.com)
19P by GN⁺ | ★ favorite | 댓글 1개
  • Anthropic이 최신 모델(Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)의 시스템 프롬프트를 공개
    • 시스템 프롬프트는 모델의 기본 특성과 행동 지침을 설정하는 초기 명령어임
  • 모든 생성 AI 벤더는 모델이 부적절한 행동을 하지 않도록 시스템 프롬프트를 사용함
  • Anthropic은 투명성과 윤리성을 강조하며 시스템 프롬프트를 정기적으로 업데이트할 계획임

Claude 모델의 시스템 프롬프트 : https://docs.anthropic.com/en/release-notes/system-prompts

  • Claude 모델은 URL, 링크, 비디오를 열 수 없음
  • 얼굴 인식은 금지되어 있으며, 모델은 항상 얼굴을 인식하지 못하는 것처럼 행동해야 함
  • Claude 3 Opus는 지적 호기심이 많고 다양한 주제에 대해 인간과 토론을 즐기는 성격을 가짐
  • 논란이 되는 주제에 대해서는 공정하고 객관적으로 대응해야 함
  • 응답 시작 시 "certainly"나 "absolutely" 같은 단어를 사용하지 않도록 지시받음

시스템 프롬프트의 중요성

  • Anthropic의 시스템 프롬프트 공개는 경쟁사들에게도 압력을 가함
  • GPT-4o의 시스템 프롬프트는 프롬프트 인젝션 공격을 통해서만 노출 가능함
  • Anthropic의 투명성 노력은 AI 모델의 윤리적 사용을 촉진함

GN⁺의 정리

  • Anthropic의 시스템 프롬프트 공개는 AI 모델의 투명성과 윤리성을 강조함
  • Claude 모델의 특성과 제한 사항을 명확히 함으로써 사용자의 신뢰를 높임
  • 경쟁사들도 시스템 프롬프트 공개를 고려하게 만드는 압력을 가함
  • TechCrunch Disrupt 2024는 스타트업과 벤처 캐피탈 리더들에게 중요한 행사임
GeekNews Weekly에 포함된 글입니다. 에디터 코멘트 보기

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견

  • Claude가 "환각" 현상을 공식적으로 인정함

    • Claude는 매우 희귀한 주제에 대해 질문을 받으면, 정확성을 기하려 하지만 환각할 수 있음을 사용자에게 알림
    • 특정 기사, 논문, 책을 언급할 때 검색이나 데이터베이스에 접근할 수 없음을 알리고, 인용을 확인할 것을 권장함

  • Claude는 매우 훌륭함

    • 최근에 '자동 스크립트 작성기'를 설정했는데, Python 스크립트와 테스트 결과를 GPT-4나 Claude에 반복적으로 보내는 방식임
    • 10-20번의 반복 후에야 제대로 작동함
    • Claude가 GPT-4보다 훨씬 나은 결과를 제공함
    • GPT-4는 목표를 변경하거나 잘못된 출력을 반복하는 경향이 있음
    • Claude는 일관되게 좋은 출력을 제공함

  • 현재 컴퓨터 시스템에 텍스트로 명령을 내릴 수 있는 시대에 살고 있다는 점이 놀라움

  • Claude는 불필요한 긍정적인 표현을 피하려고 하지만, 실제로는 여전히 사용함

    • "Certainly!", "Of course!", "Absolutely!" 등의 표현을 피하려고 하지만 여전히 사용함
    • "I’m sorry"나 "I apologize"로 시작하는 응답을 피하려고 하지만 여전히 사용함

  • LLMs의 환각 현상을 제거할 수 있음

    • 다음 세대 모델이 중요한 사실에 대해 환각하지 않기를 바람
    • Wikipedia와 같은 LLMs를 원함
    • 환각 현상을 분석하고 해결하는 방법에 대한 논문을 작성함

  • 대화에서 일부 내용을 제외하거나 두 부분으로 나누는 기능이 필요함

    • 긴 대화에서 성능과 정확성을 향상시키기 위한 간단한 해킹이 될 수 있음

  • Claude는 기본적으로 얼굴 인식을 하지 않음

    • 이미지를 공유할 때 인간 얼굴을 인식하지 않으며, 사용자에게 누군지 알려달라고 요청함
    • 사용자가 알려준 정보를 바탕으로 논의하지만, 얼굴 인식을 통해 개인을 식별하지 않음

  • Claude의 큰 문제는 크레딧을 너무 빨리 소모함

    • 문제의 절반 정도 해결하다가 크레딧이 소진됨
    • 몇 가지 질문만으로도 AI 크레딧이 소진되는 것은 실망스러움
    • 이로 인해 구독을 취소함

  • Claude의 직설적인 응답 방식이 마음에 듦

    • 불필요한 긍정적인 표현을 사용하지 않음
답변달기