14P by xguru 6달전 | favorite | 댓글과 토론
  • 프롬프트 및 완성답변의 예상 비용을 계산하여 주요 LLM API를 사용하는 데 드는 비용을 계산
  • 각 LLM 제공사들의 최신 모델과 가격을 트래킹
  • 프롬프트 전송전 토큰수와 생성한 답변의 토큰수를 측정해서 각각 LLM들의 토큰비용으로 총액을 계산
  • 자신의 LLM 연동 시스템에 1개 함수만으로 붙여서 이용 가능