- 초당 최대 80개의 토큰을 처리(GPT-4 Turbo는 초당 ~20토큰)
- 32K 토큰 윈도우를 지원
- CodeLlama-70B 모델 기반으로 추가적인 50B 토큰으로 파인튜닝됨
- HumanEval 에서 82.3%를 기록해서 81%인 GPT-4 Turbo(gpt-3-0125-preview)를 상회함
- Meta의 CRUXEval 에서는 59%로 GPT-4의 62%에 조금 못 미침
- 코드생성 측면에서는 거의 GPT-4 Turbo와 동일하거나 일부 작업에서는 이를 능가
- GPT-4 Turbo 보다 덜 "Lazy" 해서 상세한 코드 예제를 생성하는데 주저하지 않음
1년쯤 전에 GeekNews를 통해 Phind를 알게 된 이후로 코드 질문은 거의 다 Phind로 해왔습니다. 가끔 헤메는게 보이긴 하는데 그래도 이젠 노하우가 생겨서 덜 헤매도록 질문하고그래요.
Hacker News 의견
-
Phind 사용 경험 공유
- Phind를 지난 3-4주간 거의 매일 사용했으며, 생성된 코드의 품질이 좋고 실행도 잘 됨.
- ChatGPT보다 정확도가 높고 올바른 방향을 제시함.
- ChatGPT는 최근 2개월 이상 느려졌지만, 주제를 공부하는 데에는 ChatGPT가 더 자세하고 설명적임.
-
코드 품질 평가에 대한 의심
- GPT-4가 제공한 정규식을 통해 문자열을 분리하는 문제를 해결하고, 필요한 단위 테스트를 추가하여 성공적으로 커밋함.
- 70B 모델은 여러 번의 시도에도 불구하고 이 문제에 대한 답을 제공하지 못함.
- GPT-4 이외의 모델을 사용해볼 때마다 시간 낭비처럼 느껴짐.
-
Phind 창립자의 안내
- Phind-70B 모델을 로그인 없이 무료로 시도해볼 수 있음.
-
Phind의 응답 속도와 품질에 대한 인상
- 응답 속도에는 인상적이지만, 품질에는 그다지 만족하지 않음.
- GPT-4는 몇 번의 시도 끝에 POST 요청을 고려하여 처리하지만, Phind는 주로 GET 요청에만 집중함.
-
LLM에 대한 재미있는 도전
- 기본적인 논리 퍼즐을 LLM에게 제시하여 해결 능력을 테스트함.
- Phind-34B는 특히 재미있게 반응하며 때로는 루프에 빠짐.
-
Wireshark 플러그인 작성 경험 비교
- Phind와 ChatGPT를 비교하여 Wireshark 플러그인 작성 경험을 공유함.
-
API 연동 가능성 문의
- Phind의 API가 GPT-4를 코딩에 사용하는 데 최적화된 aider.chat에 연동될 수 있는지 질문함.
-
Phind 사용 경험 공유
- 1년 이상 Phind를 사용해온 사용자로, GPT보다 선호함.
- 긴 질문 스레드 후에 반복되거나 루프에 빠지는 이슈가 있었음.
-
코드 번역에 대한 Phind의 반응
- ChatGPT 3.5/4는 때때로 Go 파일을 C#으로 전체 번역하는 반면, Phind는 전체 코드 번역을 거부함.
-
Phind-70B의 속도와 성능
- Phind-70B는 GPT-4 Turbo보다 훨씬 빠르며, 이는 NVIDIA의 TensorRT-LLM 라이브러리와 H100 GPU를 사용함으로써 달성됨.