# Phind-70B 공개 - GPT-4 Turbo와 코드 품질 격차를 줄이면서 4배 빠른 실행 가능한 모델

> Clean Markdown view of GeekNews topic #13492. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=13492](https://news.hada.io/topic?id=13492)
- GeekNews Markdown: [https://news.hada.io/topic/13492.md](https://news.hada.io/topic/13492.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-02-23T10:38:55+09:00
- Updated: 2024-02-23T10:38:55+09:00
- Original source: [phind.com](https://www.phind.com/blog/introducing-phind-70b)
- Points: 6
- Comments: 3

## Topic Body

- 초당 최대 80개의 토큰을 처리(GPT-4 Turbo는 초당 ~20토큰)  
- 32K 토큰 윈도우를 지원   
- CodeLlama-70B 모델 기반으로 추가적인 50B 토큰으로 파인튜닝됨   
- HumanEval 에서 82.3%를 기록해서 81%인 GPT-4 Turbo(gpt-3-0125-preview)를 상회함   
- Meta의 CRUXEval 에서는 59%로 GPT-4의 62%에 조금 못 미침   
- 코드생성 측면에서는 거의 GPT-4 Turbo와 동일하거나 일부 작업에서는 이를 능가   
- GPT-4 Turbo 보다 덜 "Lazy" 해서 상세한 코드 예제를 생성하는데 주저하지 않음

## Comments



### Comment 23323

- Author: cosine20
- Created: 2024-02-27T09:08:24+09:00
- Points: 1

1년쯤 전에 GeekNews를 통해 Phind를 알게 된 이후로 코드 질문은 거의 다 Phind로 해왔습니다. 가끔 헤메는게 보이긴 하는데 그래도 이젠 노하우가 생겨서 덜 헤매도록 질문하고그래요.

### Comment 23267

- Author: xguru
- Created: 2024-02-23T19:44:34+09:00
- Points: 1

[phind - 개발자를 위한 Generative AI 검색 엔진](https://news.hada.io/topic?id=8554)  
[phind - 개발자를 위한 GPT-4 기반 검색 엔진](https://news.hada.io/topic?id=8942)

### Comment 23257

- Author: neo
- Created: 2024-02-23T10:38:55+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=39471388) 
- *Phind 사용 경험 공유*
  - Phind를 지난 3-4주간 거의 매일 사용했으며, 생성된 코드의 품질이 좋고 실행도 잘 됨.
  - ChatGPT보다 정확도가 높고 올바른 방향을 제시함.
  - ChatGPT는 최근 2개월 이상 느려졌지만, 주제를 공부하는 데에는 ChatGPT가 더 자세하고 설명적임.

- *코드 품질 평가에 대한 의심*
  - GPT-4가 제공한 정규식을 통해 문자열을 분리하는 문제를 해결하고, 필요한 단위 테스트를 추가하여 성공적으로 커밋함.
  - 70B 모델은 여러 번의 시도에도 불구하고 이 문제에 대한 답을 제공하지 못함.
  - GPT-4 이외의 모델을 사용해볼 때마다 시간 낭비처럼 느껴짐.

- *Phind 창립자의 안내*
  - Phind-70B 모델을 로그인 없이 무료로 시도해볼 수 있음.

- *Phind의 응답 속도와 품질에 대한 인상*
  - 응답 속도에는 인상적이지만, 품질에는 그다지 만족하지 않음.
  - GPT-4는 몇 번의 시도 끝에 POST 요청을 고려하여 처리하지만, Phind는 주로 GET 요청에만 집중함.

- *LLM에 대한 재미있는 도전*
  - 기본적인 논리 퍼즐을 LLM에게 제시하여 해결 능력을 테스트함.
  - Phind-34B는 특히 재미있게 반응하며 때로는 루프에 빠짐.

- *Wireshark 플러그인 작성 경험 비교*
  - Phind와 ChatGPT를 비교하여 Wireshark 플러그인 작성 경험을 공유함.

- *API 연동 가능성 문의*
  - Phind의 API가 GPT-4를 코딩에 사용하는 데 최적화된 aider.chat에 연동될 수 있는지 질문함.

- *Phind 사용 경험 공유*
  - 1년 이상 Phind를 사용해온 사용자로, GPT보다 선호함.
  - 긴 질문 스레드 후에 반복되거나 루프에 빠지는 이슈가 있었음.

- *코드 번역에 대한 Phind의 반응*
  - ChatGPT 3.5/4는 때때로 Go 파일을 C#으로 전체 번역하는 반면, Phind는 전체 코드 번역을 거부함.

- *Phind-70B의 속도와 성능*
  - Phind-70B는 GPT-4 Turbo보다 훨씬 빠르며, 이는 NVIDIA의 TensorRT-LLM 라이브러리와 H100 GPU를 사용함으로써 달성됨.