# g1 - Groq에서 Llama-3.1 70B를 사용하여 o1과 유사한 추론 체인 생성

> Clean Markdown view of GeekNews topic #16803. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=16803](https://news.hada.io/topic?id=16803)
- GeekNews Markdown: [https://news.hada.io/topic/16803.md](https://news.hada.io/topic/16803.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-09-17T09:44:53+09:00
- Updated: 2024-09-17T09:44:53+09:00
- Original source: [github.com/bklieger-groq](https://github.com/bklieger-groq/g1)
- Points: 2
- Comments: 1

## Topic Body

- g1은 LLM의 추론 능력을 향상시키기 위해 프롬프트 전략을 사용하는 초기 프로토타입  
- 이는 LLM이 논리적 문제를 해결할 수 있게 하며, 기존 모델들이 어려워하는 문제를 해결할 수 있게 함  
- g1은 오픈 소스 커뮤니티가 새로운 전략을 개발하도록 영감을 주기 위해 오픈 소스로 공개  
  
##### 작동 방식  
  
- g1은 Llama3.1-70b를 사용하여 동적 Chain of Thought를 생성함.  
- 각 단계에서 LLM은 다음 추론 단계로 진행하거나 최종 답변을 제공할 수 있음.  
- 시스템 프롬프트에는 LLM을 위한 팁이 포함됨.  
- 예를 들어, "대안 답변 탐색 포함" 및 "답을 도출하기 위해 최소 3가지 방법 사용"과 같은 지시사항이 있음.  
- 이러한 방법을 통해 LLM의 추론 능력이 향상됨.  
  
##### 예시  
  
- g1은 단순 논리 문제를 60-80%의 정확도로 해결할 수 있음.  
- 예시: "strawberry에 R이 몇 개 있나요?"라는 질문에 대해 g1은 70%의 정확도를 보임.  
  
##### 빠른 시작  
  
- Streamlit UI 사용 방법:  
  ```bash  
  python3 -m venv venv  
  source venv/bin/activate  
  pip3 install -r requirements.txt  
  export GROQ_API_KEY=gsk...  
  streamlit run app.py  
  ```  
  
- Gradio UI 사용 방법:  
  ```bash  
  cd gradio  
  pip3 install -r requirements.txt  
  python3 app.py  
  ```  
  
##### 프롬프트 전략  
  
- 프롬프트 예시:  
  ```json  
  {  
    "title": "Identifying Key Information",  
    "content": "To begin solving this problem, we need to carefully examine the given information and identify the crucial elements that will guide our solution process. This involves...",  
    "next_action": "continue"  
  }  
  ```  
  
- 프롬프트 구성:  
  - 전문가 AI 어시스턴트 역할 부여  
  - 각 단계에 제목과 내용을 제공  
  - JSON 형식으로 응답  
  - 최소 3단계 이상의 추론 단계 사용  
  - LLM의 한계를 인식하고 대안 답변 탐색 포함  
  - 재검토 시 실제로 다른 접근 방식을 사용  
  
##### 주요 포크  
  
- Mult1: 여러 AI 제공자를 사용하여 o1과 유사한 추론 체인 생성 (GitHub Repository)  
  
##### Credits  
  
- 이 앱은 Benjamin Klieger에 의해 개발됨  
  
##### GN⁺의 정리  
  
- g1은 LLM의 추론 능력을 향상시키기 위한 프롬프트 전략을 사용하는 초기 프로토타입임.  
- 오픈 소스 커뮤니티가 새로운 전략을 개발하도록 영감을 주기 위해 오픈 소스로 공개됨.  
- g1은 단순 논리 문제를 해결하는 데 있어 기존 모델보다 높은 정확도를 보임.  
- 이 기사는 LLM의 추론 능력을 향상시키기 위한 다양한 방법을 탐구하는 데 유용함.  
- 유사한 기능을 가진 다른 프로젝트로는 OpenAI의 o1이 있음.

## Comments



### Comment 28956

- Author: neo
- Created: 2024-09-17T09:44:53+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=41550364) 
- ChainOfThought 방법은 단순하며, TreeOfThoughts가 더 정교한 방법임
  - OpenAI와 관련된 힌트는 트리 탐색과 관련이 있음
  - CoT를 트리로 구축하고 최적의 솔루션을 찾는 것이 중요함
- 대문자로 지시사항을 강조하는 것이 재미있음
  - AGI를 성공시키는 첫 번째 사람은 LLM의 신뢰성을 높이는 방법을 찾을 것임
- o1의 혁신은 Chain-of-Thought가 아니라 CoT를 잘 수행하도록 모델을 가르치는 것임
  - 단순한 프롬프트 엔지니어링으로는 o1 성능을 얻을 수 없음
- LLM이 입력을 다르게 '확대'하여 문제를 해결할 수 있음
  - 텍스트를 글자별로 입력하거나 이미지 형태로 변환하여 세부 사항을 확인할 수 있음
- optillm 프로젝트와 유사한 작업을 수행함
  - 여러 최적화 기술을 사용하여 LLM을 개선할 수 있음
- ollama:8b를 사용하여 100% 로컬에서 실행하도록 변경함
  - Readme는 아직 업데이트되지 않음
- "추론"의 정의를 찾는 것이 중요함
  - LLM의 추론 문제를 고전 알고리즘과 결합하여 해결할 수 있음
  - 생각 과정을 두 부분으로 나누고 적절한 모델에서 실행해야 함
- .9와 .11 중 어느 것이 더 큰지 묻는 프롬프트에서 .9가 더 크다고 응답함
  - 이는 단순한 시스템 프롬프트임
- 재미로 Llama-3.1 7B 모델을 로컬에서 실행하도록 프로젝트를 포크함
  - 딸기 문제는 해결하지 못하지만 0.9가 더 크다는 것을 알아냄