오픈 모델로 갈아타는 데 따른 단점은 크지 않음

(marble.onl)

1P by GN⁺ 4시간전 | ★ favorite | 댓글 1개

기술 업무에서 오픈 LLM은 여전히 성능·호환성·신뢰 비용이 있지만, 최근 격차가 줄어 Claude나 GPT 같은 독점 모델 의존을 낮출 여지가 커짐
과거 Linux는 MS Office 호환성, 특수 파일 형식, 미성숙한 오픈소스 생태계 때문에 전문 업무에서 위험했지만, 웹앱 확산과 생태계 성숙으로 희생이 크게 줄어듦
2026년 6월 21일 기준 Artificial Analysis intelligence leaderboard 상위는 Claude와 GPT 같은 독점 API 모델이며, Claude code와 주요 API는 사용 편의성과 조직 내 신뢰에서 여전히 앞서 있음
오픈 모델은 제공사나 OpenRouter 같은 제3자를 통해 쓸 수 있지만 개인정보·데이터 공유 우려가 있고, 직접 실행하면 프라이버시는 나아져도 비용·복잡성·속도 부담이 생김
Claude의 ID verification 도입은 상위 모델 사용 중단 비용을 다시 보게 만들었지만, 오픈 모델이 선두와 몇 달 차이까지 가까워진 만큼 단기 생산성 저하가 결정적 장애물은 아닐 수 있음

Linux 전환 비용으로 본 오픈 LLM의 현재 위치

예전에는 Linux 사용이 기술 업무에서도 전문적 위험을 만들 수 있었음
- Word 문서나 PowerPoint를 제대로 렌더링하지 못할 수 있었음
- Open Office의 내보내기 결과를 신뢰해야 하는 상황이 있었음
- 특수 파일 형식을 쉽게 열지 못해 협업이 어려울 수 있었음
- 주류 소프트웨어 기능을 따라가려는 오픈소스 프로젝트에는 거친 부분이 많았음
지금은 생산성 소프트웨어가 웹앱으로 제공되는 경우가 많고, Linux와 오픈소스 소프트웨어가 성숙해져 격차가 좁아짐
- CAD 같은 특정 분야 소프트웨어는 여전히 Windows가 필요할 수 있음
- 다만 Linux와 오픈소스는 예전처럼 일반 업무 전반에서 큰 희생을 요구하지 않음

오픈 모델 사용자가 감수해야 하는 비용

오픈 LLM 사용자에게는 아직 분명한 패널티가 남아 있음
- 2026년 6월 21일 기준 Claude와 GPT가 Artificial Analysis intelligence leaderboard 상위에 있음
- 성능뿐 아니라 호환성과 사용 편의성에서도 Claude code와 주요 API가 강함
- OpenAI와 Anthropic에 LLM 질의를 보내는 것은 많은 사람이 수용하는 수준의 신뢰를 얻고 있음
오픈 모델을 API로 쓰는 경로에는 신뢰 문제가 따라붙음
- 모델 제공사가 직접 서빙하거나 OpenRouter 같은 제3자가 서빙할 수 있음
- 클라이언트 데이터나 기밀 데이터가 포함된 API 호출을 보내기에는 개인정보와 데이터 공유 측면에서 더 불안함
- Deepseek나 OpenRouter 등에 요청을 보내면 실제 위험과 별개로 더 많은 우려가 나올 수 있음
직접 실행은 프라이버시 문제를 줄이지만 비용·복잡성·속도 부담이 생김
- 로컬 또는 클라우드에서 실행할 수 있음
- 직접 실행은 비싸거나 복잡하거나 상대적으로 느린 문제 중 최소 두 가지를 동반함

Claude ID 확인이 만든 전환 계기

Claude의 identity verification 도입이 전환 판단을 앞당김
- 최근 모델의 새로운 보호장치(safeguards)와 Mythos 관련 상황도 사용자 경험이 나빠질 조짐으로 받아들여짐
- ID verification을 받아들이지 않을 때 상위 모델을 중단하는 직업적 손실이 핵심 문제로 남음
오픈 모델 전환은 2008년 Linux와 Windows의 격차보다 훨씬 가까운 상황으로 평가됨
- 이미 로컬이나 클라우드에서 여러 오픈 모델을 실행할 수 있는 환경이 있음
- 오픈 모델용 코딩 하네스도 존재함
- 오픈 모델은 선두 모델과 매우 가까워졌고 보통 몇 달 뒤처지는 수준임
- 생산성은 단기적으로 떨어질 수 있지만, 연구 시절 Matlab에서 GNU Octave로 바꾸는 것처럼 결정적 장애물은 아니라고 봄

GN⁺ 4시간전 [-]

Hacker News 의견들

모든 요청에 대해 eurouter.ai에서 아래 라우팅 규칙을 쓰는 이유가 바로 그 부분임
```
{  
"model": "glm-5.2",  
"models": [  
"deepseek-v4-pro",  
"deepseek-v4-flash"  
],  
"provider": {  
"allow_fallbacks": true,  
"data_collection": "deny",  
"data_residency": "EU",  
"max_retention_days": 0,  
"eu_owned": true  
}  
}  
```
비싸긴 하지만 적어도 법적으로는 데이터 프라이버시가 보장된다고 봄. Anthropic, OpenAI, OpenRouter보다 더 신뢰함
개인적으로는 미국 AI 도구를 쓰는 것이 도덕적으로 받아들이기 어렵고, 그들에게 돈을 내서 그들이 연루된 범죄를 지원하고 싶지 않음[1]
[1]: https://news.ycombinator.com/item?id=48512339
- Anthropic의 레드라인에서 걸리는 부분은 “of Americans”라는 표현임. 그러면 나머지 문명 세계는 마음대로 해도 된다는 건가? 미국 밖의 동맹국을 기계학습에서 조작된 테스트나 데이터 유출로 불안정하게 만들어도 괜찮다는 건가 싶음
  더 이상한 건 모델이 https://www.anthropic.com/constitution을 따르며 그 내용이 모델에 내장돼 있다고 주장한다는 점임. 그런데 Claude Code와 cowork의 시스템 프롬프트는 이런 항목들을 다시 반복함. 정말 내장돼 있다면 그럴 필요가 없어야 함
  API 버전 Claude에 충분히 프롬프트 엔지니어링을 하면 히틀러 지지자처럼 행동하게 만들 수 있고, 이는 그들의 주장과 정면으로 모순됨. 특히 Opus 4.7은 특정 소수자 집단을 겨냥한 선전물도 기꺼이 만들어줬지만, 4.8에서는 아직 같은 성공을 보지 못함. 요즘은 모델의 사이버 능력 악용 쪽에 더 관심이 있어 그 방향으로 깊게 밀어붙이진 않았음
  처음부터 결론은 Anthropic의 전략이 순전히 이미지 관리라는 것이었고, 회사에 대한 지지가 쏟아진 걸 보면 꽤 성공한 셈임
- eurouter.ai를 봤는데, 제안 자체가 굉장히 나빠 보임
  무료 계정에 15% 마크업이라는 가격도 말이 안 되고, 월 40€를 내지 않으면 월 1000 요청 제한이 있음. 그런데 정확히 어떤 가치를 제공하는지 모르겠음
  DeepSeek-V4-Pro에는 TensorX라는 단일 제공자만 있고, 캐시 읽기 비용이 DeepSeek보다 100배 이상 비쌈($0.44 vs $0.003625). 특히 eurouter.ai에서는 캐시 토큰 비용 정보를 찾지 못해서 TensorX 웹사이트까지 봐야 했음
- “범죄”라는 말로도 부족함
  “AI-assisted targeting in the Gaza Strip” - https://en.wikipedia.org/wiki/AI-assisted_targeting_in_the_G...
  “Palantir allegedly enables Israel's AI targeting in Gaza, raising concerns over war crimes” - https://www.business-humanrights.org/de/neuste-meldungen/pal...
  “What The Wounds Are Telling Us” - https://www.volkskrant.nl/kijkverder/v/2025/gunshot-palestin...
- OpenRouter의 다른 대안들이 궁금해져서 조금 찾아봄
  EURouter(암스테르담): https://www.eurouter.ai/pricing
  Eden AI(프랑스): https://www.edenai.co/pricing
  nexos.ai(리투아니아): https://nexos.ai/pricing/
  Requesty(독일): https://www.requesty.ai/pricing
  Cortecs(오스트리아): https://cortecs.ai/pricing
  Nordference(에스토니아): https://nordference.ai/pricing
  정말 버섯처럼 생겨나는 듯함. 직접 써본 건 아니라 어느 곳도 추천하는 건 아니지만, 필요한 사람들에게는 선택지가 있는 것 같음
- 데이터 보안이 실제 걱정이라면 결국 감수하고 직접 호스팅하는 것 말고는 해법이 없어 보임
사람들이 개방 가중치 모델이 독점 모델보다 “몇 달 뒤처졌다”는 이유로 배제하는 게 흥미로움
LLM 발전 속도가 엄청나게 빠르다는 건 알지만, 몇 달 전의 Opus와 GPT가 정말 지금의 개방 가중치 모델 수준이었다면 갈아타지 않을 이유가 없음. 특히 몇 달 전부터 그 모델들을 쓰고 있던 사람이라면 더 그렇다
코드베이스가 바뀐 것도 아니니 개방 가중치 모델을 쓰면 됨. 골대를 옮기면 안 됨
- 새로운 독점 모델은 매번 “획기적”이고 “다른 모델은 못 푼 X 작업을 풀었다”고 홍보되지만, 한 달 뒤에는 이전 세대의 별로인 모델로 불림
  그래서 Kimi-2.7, GLM-5.2, Deepseek-v4를 쓰는 데 전혀 문제 없음. 이미 천장에 꽤 닿았고, 이제 대부분의 개선은 추론이나 도구 호출을 조금 낫게 만드는 하네스 개선과 약간 더 나은 강화학습에서 나오는 것처럼 보임
- 개방 모델을 많이 실험해봤지만, “몇 달 뒤처졌을 뿐”이라는 말에는 지치고 있음
  아직 최고의 개방 가중치 모델조차 몇 달 전의 Opus와 같다고 확신하지 못하겠음. 벤치마크가 뭐라고 말하는지는 알고 기대도 컸지만, 실제 사용 경험은 벤치마크와 맞지 않았음
  Opus 4.8조차 힘들어하는 작업을 많이 함. 최첨단 LLM도 아직 완전히 도달하지 못한 상황에서, 더 뒤처진 모델로 옮길 동기가 생기지 않음
- 지금 이 글을 HN에서 읽고 있는 유일한 이유가 Anthropic API 장애 때문이라서, 이것도 자체 호스팅 쪽에 한 표임
- “몇 달 뒤처졌다”보다 조금 더 정확히 말하면, 중요한 기준은 2025년 11월 24일 Claude Opus 4.5 이전인지 이후인지일 가능성이 큼. 그 모델이 크리스마스에 OpenClaw 열풍을 만든 모델이었음
- 회사에서 Deepseek V4 flash 제공자를 쓰는데, 실제로 동작하는 업무의 95% 를 10분의 1 비용으로 처리함. 더 강한 모델을 가끔 꺼내 쓰긴 하지만, 그건 한 번 더 생각해본 뒤임
  해자는 너무 평평해서 식량 +1, 생산 +1만 주는 수준임. 도로가 있으면 금 +1
이 모델들이 놀라운 점은 사실상 인터넷을 로컬 머신에 들어갈 수 있는 형태로 증류해 놓고, 자연어로 질의할 수 있다는 것임
기술과 하드웨어가 증류해야 할 지식 기반의 증가 속도보다 더 빠르게 좋아지고 있어서, 쓸 만한 로컬 모델이 가능해지는 건 피할 수 없어 보임
이 글의 태도가 꽤 놀랍게 느껴짐. 한편으로는 Linux와 다른 자유·오픈소스 소프트웨어를 받아들인 이야기로 시작하는데, FOSS의 핵심은 사용자가 실행하는 소프트웨어를 이해하고 수정할 수 있게 해주는 것임
그런데 나머지는 작성자가 수정할 방법도 이해할 방법도 없는 도구인 LLM을 쓰는 이야기임. 거대한 부동소수점 행렬은 좋게 봐야 컴파일된 코드에 비견될 정도이고, 실제로는 독점 소프트웨어를 디컴파일해서 이해하는 편이 더 쉬울 때도 있음
게다가 대부분의 경우 “개방” 모델을 실행하려 해도 감당하기 어려운 하드웨어가 필요함. 소프트웨어 자유를 찬양하던 곳에서 어떻게 여기까지 온 건지 모르겠음
제목은 단정적으로 말하지만, 본문에는 “최소화되길 바란다”라고 되어 있음
여러 구독을 쓰고, OpenRouter를 통해 다양한 LLM 제공자를 토큰 단위로 시험하며, 개방 가중치 모델도 로컬에서 돌려봄
아직은 동의하기 어려움. Anthropic과 OpenAI 모델이 정말로 다른 것보다 훨씬 낫다. 개방 가중치 모델은 전반적으로 벤치마크 최적화가 과하게 된 것 같고, 실제 경험은 벤치마크가 암시하는 것과 매우 다름
이런 경험을 말하면 사람들이 지금 듣고 싶어 하는 현실이 아니라서 자주 다운보트를 받지만, 복잡한 작업에서는 사실임
숙련된 사용자가 다룬다면 쉬운 작업 상당수는 개방 가중치 모델로 충분히 처리할 수 있다고 봄. 약간의 감독만 붙이면 주니어에게 맡겨도 되는 정도의 일이라면 어떤 모델이든 가능함
하지만 내가 하는 많은 작업에서는 Opus 4.8 Max조차 계속 주의 깊게 봐주고, 방향을 잡아주고, 검토해야 함. Fable도 그랬지만 정도는 덜했음
큰 개방 가중치 모델을 써보면, 로컬에서는 견딜 만한 양자화 수준으로 합리적인 속도가 안 나와서 호스팅으로 쓰게 되는데, 큰 작업에서는 결국 버릴 가능성이 높은 출력을 기다리며 토큰을 태우는 시간이 더 길게 느껴짐. 그 수준에 도달했으면 좋겠지만 아직은 아님
- 예시가 있나요?
Claude는 4.6에 도달한 뒤부터 코딩 용도로 쓸 만해지기 시작했음. 그 뒤에도 있으면 좋은 추가 기능은 있었지만, 4.6 Sonnet과 Opus가 개방 가중치였다면 더 필요한 게 없었을 것 같음
Fable을 조금 써보면서 그 생각이 더 강해짐
로컬 추론에 더 익숙해지고 싶었지만 하드웨어가 없어서, 별로 논의되는 걸 못 본 로컬 협동조합 같은 걸 생각하게 됨
경제성을 보면 여러 사람이 모여 좋은 하드웨어와 개방 모델을 운영하는 게 말이 될 수도 있어 보이는데, 그런 얘기를 본 적이 없음. 내가 놓친 건가 싶음
그런 방식에 참여하고 싶은 사람들이 서로를 찾도록 돕는 서비스를 만들면 꽤 멋질 것 같음
- 이런 걸 많이 못 보는 이유는 다들 계산해보고, 좋은 거래가 아니라는 걸 깨닫고, 포기하기 때문임
  지금 /r/localllama 상단에도 바로 이 계산에 관한 글이 있음: https://www.reddit.com/r/LocalLLaMA/comments/1ubrcwj/tokenom...
  요약하면 GLM 5.2를 돌리는 데 최소 약 2만 달러가 들고, 클라우드 호스팅 버전에 비해 고통스러울 정도로 느릴 것임. 서버가 24시간 토큰을 계산한다는 추정에서도 손익분기까지 몇 년이 걸림
  로컬로 돌릴 유일한 이유는 완전한 데이터 프라이버시가 최우선일 때뿐임. 그 대가로 높은 프리미엄을 내는 셈임
- 개방 모델을 아주 저렴한 요금으로 제공하는 곳은 많음. 일반적으로 여러 제공자의 다양한 지표를 추적하는 OpenRouter를 살펴보는 걸 추천함
- https://news.ycombinator.com/item?id=48524387
- 클라우드에 호스팅된 개방 모델???
그렇긴 한데 OpenAI도 같은 가격임. z.ai에 월 18달러를 낼 이유가 뭐지, OpenAI가 월 20달러인데?
- 내가 본 큰 장점 하나는 사람들이 모델에 애착을 갖는다는 것임. 나도 포함됨. 개방 모델은 자신에게 완벽하게 맞는 모델을 찾았는데 다음 버전이 별로라면, 예전 버전을 영원히 실행할 수 있음. 직접 하든 누군가 대신 해주든 가능함
- 한 가지 이유는 요청 한도일 수 있음. OpenAI의 ChatGPT Plus w/Codex(월 20달러)는 최악의 경우 5시간 요청 한도가 GPT-5.5는 15회, GPT-5.4는 20회, GPT-5.4-Mini는 60회임
  반면 Z.ai Lite(월 18달러)는 GLM 5.2에 대해 최악의 경우 약 80회를 제공함. 오프피크 기준이고, 피크는 뉴욕 시간 오전 2~6시임. 그래서 Z.ai가 더 싼 가격에 더 높은 한도를 줄 수 있음
  (https://codeberg.org/mutablecc/calculate-ai-cost/src/branch/...)
- https://news.ycombinator.com/item?id=48618455
- OpenCode Go는 월 10달러이고, 한도도 저것들이나 Codex보다 훨씬 넉넉함
- 가격 페이지에는 더 이상 명시되지 않는 것 같지만, z.ai 코딩 플랜은 예전에는 같은 가격대의 Claude 플랜보다 사용량이 3배라고 주장했음. 그게 정확한지는 모르겠지만, API 가격만 봐도 GLM이 훨씬 저렴함
Linux가 명확히 유능하지만 사용하기 좋게 다듬으려면 해킹과 추가 수고가 필요하던 시절에는 반항아처럼 Linux를 쓰기 쉬웠음
하지만 경험상 개방 모델은 능력이나 운영 요구사항 면에서 아직 거기까지 오지 못함. GLM5.2가 유능해 보이긴 하지만, 그 정도로 유능하게 돌리려면 거대한 GPU 클러스터가 필요할 것임
호스팅 API로 개방 모델에 접근할 거라면, 호스팅 API로 폐쇄 모델을 쓰는 것과 다를 바 없어짐. 15년 전 Linux를 쓰던 때와 비교하면 인센티브가 무너짐
오해는 없었으면 함. 로컬 모델을 돌리고 만족하고 싶지만, 지금은 아님
- “호스팅 API로 개방 모델에 접근할 거라면 호스팅 API로 폐쇄 모델을 쓰는 것과 같다”는 건 아님
  핵심은 단일 주체가 통제하지 않기 때문에 엔시티피케이션을 당할 수 없다는 것임. 이미 그런 일이 있었고, 지금도 일어나며, 앞으로도 일어날 것임
  개방 가중치라면 쉽게 끌려가거나, 잠기거나, 접근을 차단당하지 않음. 어떤 기업이 그러려 해도 서버 팜을 가진 다른 누군가가 고객으로 받아줄 수 있고, 워크플로에서 바꿀 건 API URL과 키뿐임
  같은 성격과 같은 지식을 가진 동일 모델과 대화하게 됨
글의 큰 방향에는 일부 동의하지만 두 가지가 있음
첫째, 내 테스트에서는 개방 모델이 아직 소프트웨어 개발·엔지니어링과 인접 작업에서 적어도 Claude Opus와 겨룰 수준은 아니었음
둘째, 지속되는 동안 즐겨야 함. 올해 말쯤에는 보안이라는 구실로 이런 개방 모델들이 “불법” 선언되지 않는다면 정말 놀랄 것임. 여기서 구실이라고 한 이유는 주된 동인이 규제 포획과 산업 보호주의일 것이기 때문임
- 미국에서 모델을 금지하면 중국 같은 경쟁 국가만 강해짐

답변달기

오픈 모델로 갈아타는 데 따른 단점은 크지 않음

Linux 전환 비용으로 본 오픈 LLM의 현재 위치

오픈 모델 사용자가 감수해야 하는 비용

Claude ID 확인이 만든 전환 계기

함께 보면 좋은 글 β

댓글과 토론

Hacker News 의견들