클로드가 Prompt Caching을 지원합니다
Claude의 개발사 Anthropic은 “프롬프트 캐싱”이라는 새로운 기능을 발표하였습니다.
프롬프트 캐싱은 AI가 이전에 처리했던 정보나 작업 과정을 기억해 두고, 비슷한 요청이 있을 때 다시 사용하는 기능입니다. 단, 캐싱된 데이터는 영구적으로 저장되는 것이 아니라 짧은 시간(5분) 동안만 유지됩니다.
프롬프트 캐싱을 통해 고객은 Claude에 더 많은 배경 지식과 예제 출력을 제공하는 동시에 긴 프롬프트의 경우 비용을 최대 90%까지, 지연 시간을 최대 85%까지 줄일 수 있습니다. 프롬프트 캐싱은 현재 Claude 3.5 소네트 및 Claude 3 Haiku의 공개 베타 버전에서 사용할 수 있으며, Claude 3 Opus에 대한 지원도 곧 제공될 예정입니다.
프롬프트 캐싱 사용 예:
- 대화형 상담원: 긴 설명이나 업로드된 문서가 있는 긴 대화에 대한 비용과 대기 시간을 줄일 수 있습니다.
- 코딩 어시스턴트: 프롬프트에 입력된 코드 버전을 유지하여 자동 완성 및 코드베이스 Q&A를 개선할 수 있습니다.
- 대용량 문서 처리: 응답 대기 시간을 늘리지 않고 이미지를 포함한 긴 형식의 완전한 자료를 프롬프트에 통합할 수 있습니다.
- 상세한 지침 세트: 광범위한 지침, 절차 및 예제 목록을 공유하여 Claude의 응답을 세밀하게 조정할 수 있습니다. 개발자는 프롬프트에 몇 가지 예제를 포함하는 경우가 많지만 프롬프트 캐싱을 사용하면 고품질 출력의 다양한 예제 수십 개를 포함함으로써 훨씬 더 나은 성능을 얻을 수 있습니다.
- 에이전트 검색 및 도구 사용: 일반적으로 각 단계마다 새로운 API 호출이 필요한 여러 차례의 도구 호출과 반복적인 변경이 포함된 시나리오의 성능을 향상시킬 수 있습니다.
- 책, 논문, 문서, 팟캐스트 녹취록 및 기타 긴 형식의 콘텐츠: 전체 문서를 프롬프트에 임베드하고 사용자가 질문할 수 있도록 하여 지식창고에 생동감을 불어넣을 수 있습니다.
출처 : ANTHROPIC
