저는 Gemini token을 매우 저렴하게 쓸 수 있는 상황이어서 제목처럼 클로드 코드에 제미니가 연결된 프록시 백엔드를 연결해서 쓰고 있습니다. 제미니 CLI는 너무 전투적이어서(코드만 읽으라고 해도 자꾸 뭔가 고치려고 함) 영 안맞고, 클로드 코드의 에이전트 설계가 가장 잘 작동하는 것 같아서, 백엔드를 교체하고도 만족스럽게 쓰고 있습니다.
이 프록시 레이어는 추상화 레이어를 하나 더 씌운 셈이라 OpenAI, XAI, 클로드, 제미니 전부 동일한 방법으로 클로드 코드에 연결해서 사용할 수 있습니다.
나름 스트리밍 + JSON 파싱 문제라던가, tool use 를 위한 스키마 정제라던가 하는 피곤한 문제를 해결해야 했는데, 만약 비슷한 걸 해보고 싶은 분이 계시다면 댓글로 알려주세요, 오픈소스로 공개해보겠습니다.
혹시 비슷한 작업을 해보신 분 있다면 경험을 공유해주세요~
저는 로컬에 anthropic-proxy 이런거 띄워서 ANTHROPIC_BASE_URL=http://0.0.0.0:3000 claude 같은 명령어로 proxy해서 다른 gemini나 gpt 모델을 쓰긴했는데 서버리스로 구현하셨다고 하니 궁금하네요.
오오 JS로 작성된 오픈소스도 있군요. 감사합니다👍👍
내부 구조는 비슷한데 저는 조금 추상화를 많이 해서 쓰고 있습니다.(취향차이)
서버리스로 작성해도 LLM 응답시간이 훨씬 느리기 때문에 콜드스타트는 체감하기 어렵고 쾌적하고요, lambda의 Function URL 기능을 이용하면 스트리밍도 가능해서 완전히 커버 가능합니다. 특히 재부팅해도 서버를 켤 필요가 없다는 점이 제일 좋습니다.
이 코드에서 fast api 부분만 lambda 핸들러 형식으로 수정해서 람다에 올려보셔도 (약간의 트러블슈팅을 하고 나면) 충분히 쓸만할 것 같습니다.
좋은 라이브러리 알려주셔서 감사합니다. 알았으면 좀더 편하게 만들었을것 같군요 👍👍
내부적으로 입력/출력 형식 변환 처리 자체는 별로 다르지 않은것 같습니다만,
차이점을 찾는다면 소개해주신 라이브러리는 셀프서빙 / 도커 / 파이선 / LiteLLM 기반인 반면 저는 서버리스 / AWS lambda / TS / 의존성 없이 구현했습니다.