# Show GN: oh-my-free-models - 무료 LLM 중 지금 가장 빠른 모델로 코딩 에이전트를 라우팅하는 로컬 프록시

> Clean Markdown view of GeekNews topic #29215. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=29215](https://news.hada.io/topic?id=29215)
- GeekNews Markdown: [https://news.hada.io/topic/29215.md](https://news.hada.io/topic/29215.md)
- Type: show
- Author: [happyhaki](https://news.hada.io/@happyhaki)
- Published: 2026-05-06T10:12:10+09:00
- Updated: 2026-05-06T10:12:10+09:00
- Original source: [github.com/hakilee](https://github.com/hakilee/oh-my-free-models)
- Points: 8
- Comments: 0

## Topic Body

oh-my-free-models (omfm) 는 코딩 에이전트를 여러 무료 provider 중 지금 가장 빠른 모델로 라우팅하는 로컬 프록시입니다. OpenAI 또는 Anthropic 호환 에이전트의 baseURL을 localhost 로 바꾸고 free 모델 몇 개를 골라두면, latency·rate-limit·quota가 흔들리는 동안에도 `omfm` 이 요청을 계속 흘려보냅니다.  
  
#### 왜 필요한가요  
  
Free tier 코딩 에이전트는 스펙 시트에서는 멀쩡해 보이지만, 실제로 돌려보면 네 군데에서 막힙니다.  
  
- **Rate limit이 작업 중간에 끊습니다.** OpenRouter나 NVIDIA의 free 모델은 429를 예고 없이 던집니다. 잘 돌던 실행이 도구 호출 한 번에 멈추고, 사람이 직접 다시 시도해야 합니다.  
  
- **Latency가 시간대마다 출렁입니다.** 같은 free 모델이 아침엔 빠르고 오후엔 못 쓸 정도로 느려집니다. 시간과 지역에 따라 다르기 때문에, "빠른 모델"을 미리 정해둘 수 없습니다. "지금 이 순간 빠른 모델"만 있을 뿐입니다.  
  
- **Quota가 마르면 provider를 손으로 갈아 끼워야 합니다.** 한 provider의 free quota가 떨어지면 키와 baseURL을 직접 바꿔야 합니다. 에이전트 설정은 그 변화를 스스로 따라잡지 않습니다.  
  
- **Free 카탈로그가 자주 바뀝니다.** 모델이 새로 생기고, 사라지고, deprecated 표시가 붙고, 조용히 에러를 뱉기 시작합니다. 대시보드가 알려주는 게 아니라 벽에 부딪혀야 알게 됩니다.  
  
#### 주요 기능  
  
- 선택한 무료 모델 pool에서 현재 latency가 가장 낮은 live model로 요청 라우팅  
- 429/402 같은 rate limit·quota 에러가 난 모델은 약 10분간 cooldown 처리  
- OpenAI 호환 /v1, Anthropic 호환 /anthropic 엔드포인트 제공  
- OpenClaw, Hermes Agent, OpenCode 같은 OpenAI-compatible client에서 url=http://localhost:4567/v1, model=omfm 형태로 사용 가능  
- Claude Code에서는 Anthropic base URL을 http://localhost:4567/anthropic으로 바꿔 사용 가능  
- omfm/fast, omfm/balanced, omfm/capable 그룹으로 용도별 모델 pool 분리 가능  
- omfm model, omfm start, omfm status, omfm doctor, omfm usage 같은 CLI 제공  
  
특히 OpenClaw나 Hermes Agent처럼 OpenAI-compatible endpoint를 받는 로컬/CLI 코딩 에이전트에서 유용합니다. 에이전트 설정은 그대로 두고 base URL과 model만 omfm으로 바꾸면, 뒤에서는 무료 모델들의 latency 측정, 실패 모델 제외, provider 전환이 자동으로 이뤄집니다.

## Comments



_No public comments on this page._
