Token Cost - 400+개 LLM의 토큰당 비용 계산하기
(github.com/AgentOps-AI)- 프롬프트 및 완성답변의 예상 비용을 계산하여 주요 LLM API를 사용하는 데 드는 비용을 계산
- 각 LLM 제공사들의 최신 모델과 가격을 트래킹
- 프롬프트 전송전 토큰수와 생성한 답변의 토큰수를 측정해서 각각 LLM들의 토큰비용으로 총액을 계산
- 자신의 LLM 연동 시스템에 1개 함수만으로 붙여서 이용 가능
GeekNews Weekly에 포함된 글입니다.
에디터 코멘트 보기