Show HN: Echo — 오픈 가중치 모델로 Fable 수준 결과를 3분의 1 비용에 달성

 (news.ycombinator.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • Echo는 GLM-5.2, Kimi K2.7 등 여러 오픈 가중치 모델을 요청별로 조합해, 단일 모델에 모든 작업을 맡기는 방식의 한계를 보완함
  • 요청마다 연산량과 참여 모델을 정하고 결과 결합 방식까지 조정해, 간단한 프롬프트에는 적은 추론 자원을 사용함
  • 첫 평가 구성에서 풀의 최고 개별 모델을 일관되게 앞섰으며, Fable과 비슷한 종합 결과를 약 3분의 1 추론 비용으로 달성함
  • 전반적으로 약한 모델도 특정 문제나 조합에서는 유용할 만큼 능력이 상호 보완적이지만, 할당과 결합을 잘못 결정하는 사례도 남아 있음
  • 채팅 인터페이스와 OpenAI 호환 API를 공개했으며, 품질 측정이 더 어려운 코딩·에이전트 작업에서도 같은 접근법이 유효한지 시험 중임

모델 선택과 결과 결합

  • 초기 실험에서는 GLM-5.2, Kimi K2.7 등을 동일한 평가에 투입하고, 문제마다 유용한 모델과 적절한 출력 결합법을 사전에 안다고 가정해 결과를 측정함
    • 이 가상 시스템은 풀에 포함된 어떤 개별 모델보다도 훨씬 높은 성능을 냄
    • 결과를 확인한 뒤에야 좋은 결정을 식별할 수 있어 실제 배포에는 사용할 수 없으며, Echo는 사전 정보 없이도 그 이점의 일부를 회복하려는 시도임
  • 요청의 특성에 따라 필요한 연산량과 참여 모델, 결과 결합 방식을 선택함
    • 간단한 프롬프트에는 비교적 적은 추론을 할당함
    • 다른 문제에서는 여러 모델이 서로 다른 부분을 처리하도록 구성함
  • 모델들의 능력은 상호 보완적이어서, 전체 성능이 명확히 낮은 모델도 특정 문제나 조합에서는 매우 유용할 수 있음

평가 결과와 공개 테스트

  • 첫 평가 구성에서 최고 개별 모델보다 일관되게 높은 성능을 기록했으며, 비교 대상인 Fable과 대략 같은 종합 결과를 약 3분의 1 비용으로 달성함
  • 일부 요청에서는 연산 할당이나 모델 결합을 잘못 결정하며, 현재 이러한 실패 사례를 분석하고 있음
  • 코딩 및 에이전트 작업은 각 결정의 품질을 측정하기가 훨씬 어려워, 동일한 접근법이 유지되는지 별도로 시험 중임
  • 외부 테스트를 위해 Echo 채팅 인터페이스와 OpenAI 호환 API를 제공함
  • 작동 방식 소개 영상과 평가 방법론·개별 모델 결과·비용·현재 한계를 공개하고, 비정상적인 실패나 직관적이지 않은 자원 할당 사례에 대한 피드백을 요청함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 응답을 받을 수 있는 것처럼 보이는 Message Echo 입력창을 보여준 뒤 가입 페이지로 보내는 전형적인 다크 패턴임
    사이트가 유도한 첫 행동부터 발목을 잡혔으니 즉시 떠났고 다시 방문하지 않을 것임

    • 나도 똑같이 느꼈으며, 이런 다크 패턴이 너무 싫어서 이제 이 제품에는 전혀 관심이 없음
    • 지금 제거하고 있음
    • 반면 로그인 전 요청을 허용하면 제작자가 초기 질의 비용을 부담해야 하고, 악용으로 큰 청구서가 생길 수도 있음
      AI 제품을 만드는 입장에서는 이해할 만한 선택이기도 함

  • Echo를 사용하고 피드백을 준 모두에게 감사하며, 바로 이런 이유로 일찍 출시했음
    더 어려운 코딩·에이전트 벤치마크를 포함해 최신 최고 수준과의 차이를 더 정확히 보여주는 평가를 계속 공개하고, 공개 평가 대시보드도 확장할 예정임. 평가 대시보드 UI와 가입 절차에서 발견된 문제는 운영 환경에서 수정했음
    Echo 체험에는 신용카드가 필요 없고, 계정마다 API와 채팅에서 쓸 수 있는 무료 크레딧 10달러가 제공됨
    단순한 모델 라우팅보다 넓게, 오픈 가중치 모델들 사이에서 추론 자원을 효율적으로 배분하는 방법을 탐구 중임. 어떤 모델을 쓸지뿐 아니라 요청에 얼마나 많은 연산을 투입하고 중간 결과를 어떻게 결합할지도 결정함
    앙상블 자체는 랜덤 포레스트 이전부터 알려졌지만, Echo의 핵심은 매 요청마다 전체 앙상블 비용을 내지 않고 이를 모델링하고 활용하는 것임. Fusion이나 Fugu와 개념적으로 비슷한 면은 있어도 구조와 최적화 목표는 다름

    • 작은 피드백으로, create password가 특수문자를 요구하지만 Google 비밀번호 관리자의 기본 생성 비밀번호에는 특수문자가 없음
      두 자릿수 길이의 영숫자 조합이면 충분해 보이지만 아이디어 자체는 훌륭함
    • 왜 다크 패턴을 사용했는지 의문임. 관심이 있었지만 이제는 사라졌음
    • 가입을 한 번만 시도했는데도 too many authentication attempts 오류가 발생함
    • 다크 패턴을 제거해야 함
    • 계속 오픈 가중치를 강조하면서 어떤 모델을 사용하는지는 전혀 공개하지 않음
      투명성이 없다면 오픈 가중치 모델을 쓰는 것이 최종 사용자에게 어떤 이점을 주는지 모르겠음

  • Fable급 결과를 3분의 1 비용으로라는 설명은 크게 보조되는 월 200달러 요금제 사용자에게는 매력적이지 않아 보임
    이 요금제가 언제까지 유지될지는 모르지만, 그동안은 공개 API 가격의 3분의 1도 그다지 매력적이지 않음

    • 월 200달러 요금제에서 주간 Fable 사용량을 소진한 뒤 판촉용 크레딧 200달러로 중간 규모 코딩 계획을 실행했는데, 1시간 15분 만에 120달러를 사용함
      하위 에이전트 여러 개가 동시에 실행됐고 Claude가 저렴한 모델을 쓰라는 지시를 잊어 Fable 인스턴스가 여럿 돌아간 탓도 있지만, 토큰당 과금은 감당하기 어려움. 월 200달러도 비싸지만 하룻밤 200달러는 터무니없음
    • 업무에 사용하는 기업 고객은 보조 요금제를 이용할 수 없으므로, 전체 사용량에서 그런 요금제가 차지하는 비중은 소수일 가능성이 큼
    • 이 요금제는 기업공개(IPO) 까지는 유지되겠지만 그 후 오래가지는 않을 듯함
      월 200달러 사용자가 API 크레딧 1만 달러어치를 쓰면 사용자당 이익률이 -98%라 손익에 도움이 되지 않음
    • 사용량 제한이나, 경계선을 넘었을 때의 계정 정지를 피하려는 목적이라면 이야기가 달라짐
    • Anthropic에서 오늘 받은 이메일에 따르면 Fable 5는 7월 20일부터 사용량 크레딧 방식으로 전환됨
      계속 사용할 수 있지만 종량제 크레딧이 필요하며 구독 요금제의 사용량 제한에는 포함되지 않음

  • 앞으로 몇 년 안에 최고의 모델이라는 개념이 틈새로 밀려나도 놀랍지 않을 것임
    대부분의 운영 시스템에서는 언제 저렴한 모델을 쓰고, 강력한 모델로 전환하며, 여러 출력을 결합할지 아는 오케스트레이터가 승자가 될 수 있음

    • 그게 Gemini CLI의 발상 아닌지 궁금함
    • 진화할 갈래가 매우 많지만 결국 최고의 모델이 틈새 개념이 되는 방향으로 수렴할 듯함
      큰 흐름은 기기 내장 모델이며, 모델이 칩 다이에 들어가 몇 년마다 칩셋을 교체하는 방식도 가능함. 그런 환경에서는 대형 클라우드 사업자가 손해를 볼 것임

  • 가장 흥미로운 결론 중 하나는 모델 크기보다 모델 선택이 더 중요할 수 있다는 것임
    업계는 더 큰 모델에 집중해 왔지만, 요청을 적절한 전문 모델 조합으로 지능적으로 라우팅하면 훨씬 적은 비용으로 더 큰 개선을 얻을 수 있어 보임
    약한 모델도 쓸모없어진 게 아니라 각기 다른 영역에서 뛰어나며, 다른 모델과 결합하면 가치가 크게 높아질 수 있음. 다만 적절한 모델 선택이 훨씬 어려운 코딩·에이전트 작업에서도 성립할지는 궁금함

    • 각 작업에 전문성을 지니면서 상관관계가 낮은 소형 모델을 강하게 앙상블하면 매우 흥미로운 결과를 얻을 수 있음
      에이전트·코딩 작업은 세분성 때문에 더 복잡함. 각 모델을 언제, 어떻게, 그리고 세션·목표·작업·대화 차례·도구 호출 중 어느 추상화 계층에서 사용할지 결정해야 하며 현재 적극적으로 연구 중임

  • 실제로 몇 가지 사용자 경험 결함을 발견함
    Thinking이 계속 표시돼 멈췄거나 네트워크 문제가 생긴 것처럼 보이고, 프롬프트를 입력하는 왼쪽 패널을 확장하거나 크기 조절할 수 없음. 코드를 생성해 달라고 하면 출력이 계속 끊긴 뒤 처음부터 다시 시작해 이전 대화를 이어가지 못함

  • 문제의 복잡도를 미리 알 수 없고 이후 대화를 같은 모델로 보낸다는 보장이 없다면 이 방식은 잘 작동하지 않음
    같은 대화를 여러 모델에 라운드 로빈으로 보내면 캐시가 깨져, 캐시를 고려하는 시스템보다 오히려 비용이 더 들 가능성이 큼

  • Anthropic Opus 4.8과 Fable 5를 한동안 사용했고 최신 OpenAI 모델도 시험했는데, 모두 불필요한 출력을 지나치게 많이 생성함
    가격이 아니라 품질 때문에 다른 모델을 시험하기 시작했고, 업무 영역에서는 GLM 5.2가 Fable 5보다 모든 면에서 훨씬 우수했음. 작업을 성공적으로 끝내지 못하는 경우가 오히려 놀라울 정도임
    Kimi K2.7은 지시가 조금 더 필요하지만 Opus 4.8보다 나은 사용감을 주며 K3는 아직 써보지 못함. 최신 OpenAI 모델은 소프트웨어 설계와 구현 능력이 터무니없이 나쁨
    이는 데이터 분석, 기계학습, 소프트웨어 공학이 많은 내 업무 영역에 한정한 평가임

  • 벤치마크도 사용 모델 정보도 없고, AI 생성 영상과 가입 페이지만 있음
    “모놀리스를 마이크로서비스로 바꿔 모든 장애를 살인 미스터리처럼 만들었다”는 아키텍처 농담이 떠오름

    • 공개 평가기는 https://echo.tracerml.ai/eval/에 있음
      현재 7개 벤치마크 계열에서 저장된 907개 행을 공개하며 프롬프트, 출력, 평가, 비용 기록을 확인할 수 있고 더 추가할 예정임
      요청별 라우팅 정책 자체가 제품이므로 공개하지 않지만, 요청별 비법을 노출하지 않는 범위에서 사용 가능한 오픈 가중치 모델 목록 일부, 버전 날짜, 전체 할당 비율, 평가 설정은 공개할 수 있음. 새 영상도 제작 중임
    • 벤치마크는 https://echo.tracerml.ai/eval/에 있음
      좋은 벤치마크는 아니지만 적어도 존재함
    • 본질적으로 OpenRouter를 재현하려는 것으로 보임. OpenRouter는 장애 조치, 사용량 측정, 자동 전환 등으로 특정 공급자를 추상화하며 꽤 잘 작동하는 영리한 인프라 추상화임
      실제 문제를 해결하기보다 “OpenRouter가 유니콘이 됐으니 나도 바이브 코딩으로 비슷하게 만들 수 있다”고 투자자에게 말하려는 시도처럼 보여 아쉬움
      Fable급이라고 부르는 것도 지적으로 게으르거나 부정직하게 느껴짐
    • tenderlove의 “마이크로서비스는 함수 호출을 분산 컴퓨팅 문제로 바꾼다”라는 문구가 떠오름
    • 로그인으로 보호되는 앱은 Show HN에서 허용되지 않는 것으로 알고 있음

  • Ask Jeeves, AltaVista, Lycos의 결과를 모아주던 Dogpile.com을 다시 만든 것인지 궁금함. 시간은 순환하는 듯함

    • 좋은 아이디어는 시대와 도구가 바뀌어도 대체로 여전히 좋음
    • 앙상블 모델은 Kaggle에서도 늘 가장 좋은 성능을 냈음
      우리도 같은 방식을 구현했음: https://trustedrouter.com/blog/prometheus-2-new-draco-state-...
    • 서비스의 모든 작업에 같은 EC2 인스턴스 크기를 쓰지 않는 접근임
    • 삼각형 바퀴를 만들 수도 있지만 바퀴가 둥근 데는 이유가 있음
    • 모델 혼합(Mixture of Models) 이라고 볼 수 있음
      OpenRouter, JusCode, Fireworks 같은 다른 AI 게이트웨이 제품도 최근 같은 구성을 권장하므로 유용한 부분은 있을 가능성이 큼
답변달기