Ask HN: GPT에서 자체 모델로 전환한 분들, 경험은 어땠나요?
(news.ycombinator.com)HN에 올라온 질문에 대한 답변들을 정리
- 수십 명의 고객에게 OpenPipe위에서 GPT-4/GPT-3.5를 자체적인 미세 조정된 모델로 전환하는데 도움을 주었음
- 가장 일반적인 반응은 "와, 이렇게 적은 노력으로 이렇게 잘 작동할 줄은 몰랐어요"라는 것
- 대부분의 작업에서 파인튜닝된 Mistral 7B는 훨씬 적은 비용으로 GPT-3.5를 능가
- 일부 사용 사례에서는 GPT-4와 비슷하거나 더 나은 성능을 발휘 (특히 분류, 정보 추출, 요약과 같은 작업의 경우)
- Mistral-Instruct-0.1을 사용하여 전화/이메일 요약, Mixtral을 계약 마이닝에, OpenChat을 RAG 도구를 갖춘 에이전트 챗봇을 보강하는 데 사용함
- 경험은 훌륭했으며, INT8 트레이드오프는 하드웨어 FP8(FP4)가 더 널리 사용되고 저렴해질 때까지는 수용 가능
- 온프레미스 비용은 이미 A100 및 V100 레거시 장비를 사용하여 수백만 건의 상호작용을 실행하는 데 흡수 되어버렸음
- Continue와 Ollama를 함께 사용하고 있으며, 주로 사용하는 LLM은 deepseek-coder 7b임. 이 설정은 ChatGPT 4만큼 좋고, 로컬 우선이며, 전반적으로 만족스러움
- 기술적인 작업을 수행하기 위해 LLM을 튜닝했는데, 매우 잘 작동함. 그러나 LLM을 평가하는 것이 의외로 어렵고, GPT-4가 일반적으로 그렇게 훌륭하지 않다는 것을 발견함
- 10,000개 이상의 레코드에 대한 데이터 추출이나 처리를 할 때는 로컬 모델을 사용하는 것을 선호함. 호스팅 서비스는 이 시점에서 느리고 취약할 것. 미세조정된 Mistral 7B (OpenChat이 가장 좋음)는 데이터를 빠르게 처리함. 복잡한 프롬프트에 대한 정보를 요약하기 위해 ChatGPT-4를 사용하고, 그걸 로컬 모델에서 실행. 점점 상황이 더 나아질 것으로 생각함
- 앱과 엔터프라이즈 제품에서 OpenAI의 API와 온디바이스 라이브러리(예: llama.cpp)를 모두 지원함. API와 라이브러리가 매우 유사하여 사용자에게는 전환 과정이 거의 투명함. 다른 플랫폼의 API도 곧 지원할 예정이며, OpenAI만큼 쉽게 통합 가능함.
- 와이파이가 없는 비행 중에 Mistral 7B를 사용했는데, 필요한 정보를 찾는 데는 꽤 좋았지만, 단계별 지시사항을 제공할 때는 성공 여부가 갈림.
- Double.bot을 구축하는 동안 여러 모델을 테스트했지만 결국 gpt4로 돌아감. 다른 모델들은 재미있지만, gpt4가 해결하는 100개 질문 중 1개를 놓치면 실망스러움. 현재 모델 주변의 기능을 구현하는 것에서 더 많은 가치를 얻고 있으며, 이는 GitHub copilot의 문제점을 해결함(올바르게 괄호를 닫는 자동완성, 제안을 수락할 때 자동으로 import, 주석을 작성할 때 제안을 비활성화하여 방해가 되지 않도록 함, 줄 중간 완성 등). 6개월 이내에 오픈소스 모델이 gpt4에 따라잡기를 바람.
- 일반적으로 Llama 2는 특히 영어를 제외한 다른 언어에서는 꽤 나쁘다고 생각. 나는 채팅용 믹스트랄에서 매우 좋은 결과를 얻었음. 물론 실제 ChatGPT와 비교하면 모두 프랑켄슈타인처럼 느껴짐. 비슷하게 느껴지고 잘 작동하다가도 가끔은 완전히 엉망인 쓰레기나 아티팩트를 내놓아 미세 조정을 소홀히 한 것은 아닌지 의문이 들기도 함
- 우리는 자체 모델로 첫 번째 단계를 수행 한 다음 자체 모델의 결과가 확실하지 않은 경우 gpt로 에스컬레이션함
- 2024년에는 (덜 검증된/확장된) 경쟁업체에 비해 비용과 지연 시간을 경험한 훨씬 더 많은 사람들이 OpenAI를 떠날 것으로 예상. 속도와 품질이 상충되는 경우가 많은데, 나는 OpenAI보다 3배 이상 빠르고 1/3 이상의 품질을 제공하는 여러 공급업체를 보았음
- 스크립팅, 아이디어 검색 및 / 또는 항상 사실 확인이 필요한 정의와 같은 사용 사례에 Mixtral 8x7b (q5)를 사용하고 있음. 현재 96GB 램이 장착된 M2에서 lmstudio를 사용중. 하지만 Ollama 또는 다른 OSS 솔루션으로 전환하는 것을 고려중