26P by xguru 4달전 | favorite | 댓글 1개

HN에 올라온 질문에 대한 답변들을 정리

  • 수십 명의 고객에게 OpenPipe위에서 GPT-4/GPT-3.5를 자체적인 미세 조정된 모델로 전환하는데 도움을 주었음
    • 가장 일반적인 반응은 "와, 이렇게 적은 노력으로 이렇게 잘 작동할 줄은 몰랐어요"라는 것
    • 대부분의 작업에서 파인튜닝된 Mistral 7B는 훨씬 적은 비용으로 GPT-3.5를 능가
    • 일부 사용 사례에서는 GPT-4와 비슷하거나 더 나은 성능을 발휘 (특히 분류, 정보 추출, 요약과 같은 작업의 경우)
  • Mistral-Instruct-0.1을 사용하여 전화/이메일 요약, Mixtral을 계약 마이닝에, OpenChat을 RAG 도구를 갖춘 에이전트 챗봇을 보강하는 데 사용함
    • 경험은 훌륭했으며, INT8 트레이드오프는 하드웨어 FP8(FP4)가 더 널리 사용되고 저렴해질 때까지는 수용 가능
    • 온프레미스 비용은 이미 A100 및 V100 레거시 장비를 사용하여 수백만 건의 상호작용을 실행하는 데 흡수 되어버렸음
  • Continue와 Ollama를 함께 사용하고 있으며, 주로 사용하는 LLM은 deepseek-coder 7b임. 이 설정은 ChatGPT 4만큼 좋고, 로컬 우선이며, 전반적으로 만족스러움
  • 기술적인 작업을 수행하기 위해 LLM을 튜닝했는데, 매우 잘 작동함. 그러나 LLM을 평가하는 것이 의외로 어렵고, GPT-4가 일반적으로 그렇게 훌륭하지 않다는 것을 발견함
  • 10,000개 이상의 레코드에 대한 데이터 추출이나 처리를 할 때는 로컬 모델을 사용하는 것을 선호함. 호스팅 서비스는 이 시점에서 느리고 취약할 것. 미세조정된 Mistral 7B (OpenChat이 가장 좋음)는 데이터를 빠르게 처리함. 복잡한 프롬프트에 대한 정보를 요약하기 위해 ChatGPT-4를 사용하고, 그걸 로컬 모델에서 실행. 점점 상황이 더 나아질 것으로 생각함
  • 앱과 엔터프라이즈 제품에서 OpenAI의 API와 온디바이스 라이브러리(예: llama.cpp)를 모두 지원함. API와 라이브러리가 매우 유사하여 사용자에게는 전환 과정이 거의 투명함. 다른 플랫폼의 API도 곧 지원할 예정이며, OpenAI만큼 쉽게 통합 가능함.
  • 와이파이가 없는 비행 중에 Mistral 7B를 사용했는데, 필요한 정보를 찾는 데는 꽤 좋았지만, 단계별 지시사항을 제공할 때는 성공 여부가 갈림.
  • Double.bot을 구축하는 동안 여러 모델을 테스트했지만 결국 gpt4로 돌아감. 다른 모델들은 재미있지만, gpt4가 해결하는 100개 질문 중 1개를 놓치면 실망스러움. 현재 모델 주변의 기능을 구현하는 것에서 더 많은 가치를 얻고 있으며, 이는 GitHub copilot의 문제점을 해결함(올바르게 괄호를 닫는 자동완성, 제안을 수락할 때 자동으로 import, 주석을 작성할 때 제안을 비활성화하여 방해가 되지 않도록 함, 줄 중간 완성 등). 6개월 이내에 오픈소스 모델이 gpt4에 따라잡기를 바람.
  • 일반적으로 Llama 2는 특히 영어를 제외한 다른 언어에서는 꽤 나쁘다고 생각. 나는 채팅용 믹스트랄에서 매우 좋은 결과를 얻었음. 물론 실제 ChatGPT와 비교하면 모두 프랑켄슈타인처럼 느껴짐. 비슷하게 느껴지고 잘 작동하다가도 가끔은 완전히 엉망인 쓰레기나 아티팩트를 내놓아 미세 조정을 소홀히 한 것은 아닌지 의문이 들기도 함
  • 우리는 자체 모델로 첫 번째 단계를 수행 한 다음 자체 모델의 결과가 확실하지 않은 경우 gpt로 에스컬레이션함
  • 2024년에는 (덜 검증된/확장된) 경쟁업체에 비해 비용과 지연 시간을 경험한 훨씬 더 많은 사람들이 OpenAI를 떠날 것으로 예상. 속도와 품질이 상충되는 경우가 많은데, 나는 OpenAI보다 3배 이상 빠르고 1/3 이상의 품질을 제공하는 여러 공급업체를 보았음
  • 스크립팅, 아이디어 검색 및 / 또는 항상 사실 확인이 필요한 정의와 같은 사용 사례에 Mixtral 8x7b (q5)를 사용하고 있음. 현재 96GB 램이 장착된 M2에서 lmstudio를 사용중. 하지만 Ollama 또는 다른 OSS 솔루션으로 전환하는 것을 고려중

HN이라서 영어 기준임을 염두해야 할 것 같습니다.