# Anthropic, Claude에 Prompt Caching(베타)기능 추가

> Clean Markdown view of GeekNews topic #16390. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=16390](https://news.hada.io/topic?id=16390)
- GeekNews Markdown: [https://news.hada.io/topic/16390.md](https://news.hada.io/topic/16390.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-08-21T09:31:01+09:00
- Updated: 2024-08-21T09:31:01+09:00
- Original source: [docs.anthropic.com](https://docs.anthropic.com/en/docs/build-with-claude/prompt-caching)
- Points: 3
- Comments: 0

## Topic Body

- Prompt Caching은 API 사용을 최적화하여 프롬프트의 특정 접두사로부터 작업을 재개할 수 있게 해줌  
  - 큰 프롬프트를 여러 API 호출에서 재처리하지 않고 재사용하여 반복적인 작업등에서 처리 시간과 비용을 크게 줄임  
- 동작 원리  
  - **프롬프트 Prefix 캐싱**: 시스템이 최근 쿼리에서 프롬프트 Prefix를 캐시했는지 확인함. 발견되면 캐시된 버전을 사용하여 처리 시간과 비용을 줄임. 그렇지 않은 경우 전체 프롬프트를 처리하고 Prefix를 캐시함.  
  - **사용 사례**: 많은 예시가 포함된 프롬프트, 큰 양의 컨텍스트나 배경 정보, 일관된 지침이 포함된 반복 작업, 긴 다중 턴 대화에서 유용함  
  - **캐시 수명**: 캐시는 5분 동안 유효하며, 캐시된 내용이 사용될 때마다 새로고침됨  
- 캐시되는 프롬프트 내용  
  - 도구, 시스템, 메시지(해당 순서대로)를 포함한 전체 프롬프트를 참조함. `cache_control`로 지정된 블록까지 포함  
- 가격  
  - **Claude 3.5 Sonnet**: 기본 입력 토큰 $3 / MTok, 캐시 작성 $3.75 / MTok, 캐시 조회 $0.30 / MTok, 출력 토큰 $15 / MTok  
  - **Claude 3 Haiku**: 기본 입력 토큰 $0.25 / MTok, 캐시 작성 $0.30 / MTok, 캐시 조회 $0.03 / MTok, 출력 토큰 $1.25 / MTok  
  - **Claude 3 Opus**(출시 예정): 기본 입력 토큰 $15 / MTok, 캐시 작성 $18.75 / MTok, 캐시 조회 $1.50 / MTok, 출력 토큰 $75 / MTok  
- 요점  
  - **캐시 작성** 토큰은 기본 입력 토큰보다 **25% 더 비쌈**  
  - **캐시 조회** 토큰은 기본 입력 토큰보다 **90% 저렴함**  
- 캐시 제한 사항  
  - 캐시 가능한 최소 프롬프트 길이:  
    - Claude 3.5 Sonnet 및 Claude 3 Opus: 1024 토큰  
    - Claude 3 Haiku: 2048 토큰  
  - 5분의 캐시 TTL이 있으며, 현재 "ephemeral"은 이 5분 수명에 해당하는 유일한 지원 캐시 유형임  
- 다양한 유스 케이스   
  - **대화형 에이전트**: 긴 지침이나 업로드된 문서가 포함된 대화에서 비용과 지연 시간을 줄일 수 있음  
  - **코딩 어시스턴트**: 관련 섹션이나 코드베이스의 요약 버전을 프롬프트에 유지하여 자동 완성 및 코드베이스 Q&A 성능을 향상시킴  
  - **대형 문서 처리**: 이미지가 포함된 긴 형식의 자료를 프롬프트에 포함시켜도 응답 지연 없이 처리할 수 있음  
  - **상세 지침 세트**: 20개 이상의 다양한 고품질 답변 예시를 포함하여 Claude의 응답을 더욱 세밀하게 조정함  
  - **에이전트 도구 사용**: 여러 도구 호출과 반복적인 코드 변경이 포함된 시나리오에서 성능을 향상시킬 수 있음  
  - **책, 논문, 문서, 팟캐스트 대본, 기타 장문 콘텐츠 대화**: 전체 문서(들)를 프롬프트에 포함시켜 사용자에게 질문할 수 있게 함

## Comments



_No public comments on this page._