# 상용 수준의 LLM 애플리케이션을 위한 개발자 가이드 (번역 글)

> Clean Markdown view of GeekNews topic #12011. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=12011](https://news.hada.io/topic?id=12011)
- GeekNews Markdown: [https://news.hada.io/topic/12011.md](https://news.hada.io/topic/12011.md)
- Type: news
- Author: [ninebow](https://news.hada.io/@ninebow)
- Published: 2023-11-24T13:10:09+09:00
- Updated: 2023-11-24T13:10:09+09:00
- Original source: [discuss.pytorch.kr](https://discuss.pytorch.kr/t/llm-the-developers-guide-to-production-grade-llm-apps/2919?utm_source=geeknews)
- Points: 32
- Comments: 3

## Topic Body

- Zapier의 AI 제품 개발자 Tal Peretz가 작성한 글을 허락 하에 번역하였습니다.   
  
- 원문은 [여기](https://buildingaistuff.com/p/the-developers-guide-to-production?utm_source=pytorchkr)에서 확인하실 수 있으며, 주요 내용은 아래와 같습니다.  
  
---  
  
- 프롬프트 엔지니어링 - 시작 단계  
  
- 평가의 역할: (항해의 기준) 북극성  
  - AI 평가를 체계적으로 접근하기 / Systematic Approach to AI Evaluations  
  - 심층 테스트를 위해 데이터셋 활용하기 / Dataset Utilization for In-depth Testing  
  - AI의 평가로 평가 개선하기 / Refining Evaluations with AI Assessments  
  - 평가를 위한 지표들 / Metrics to evaluate  
  - 사람의 평가를 모범 기준으로 삼기 / Human Evaluation as the Gold Standard  
  
- RAG: 필요 시 상황에 맞는 심층 정보  
  - 시도해 볼 기법들 / Techniques to Experiment With  
  
- 미세조정: 전문화의 기술  
  - 학습 데이터의 부족: 양과 질의 균형 문제 / Insufficient Training Data: The Quantity-Quality Equilibrium  
  - 불균형한 학습 데이터: 편향성 딜레마 / Unbalanced Training Sets: The Bias Dilemma  
  - 공개 데이터 재사용: 새로운 신호가 필수적 / Reusing Public Data: The New Signal Imperative  
  - 부족한 프롬프트 엔지니어링: 명확한 명령 / Poor Prompt Engineering: The Clarity Commandment  
  - 점진적으로 평가하지 않음: 지속적인 실수 / Not Evaluating Incrementally: The Continuous Oversight  
  
- 모든 것이 필요할 때  
  
- 마무리하며

## Comments



### Comment 20913

- Author: cosine20
- Created: 2023-11-27T09:07:36+09:00
- Points: 1

공유 감사합니다.

### Comment 20884

- Author: apkas
- Created: 2023-11-24T22:46:56+09:00
- Points: 1

OpenAI 에서 발표한 A Survey of Techniques for Maximizing LLM Performance 와 거의 같은 내용인 것 같네요?

### Comment 20896

- Author: ninebow
- Created: 2023-11-25T17:12:42+09:00
- Points: 1
- Parent comment: 20884
- Depth: 1

OpenAI DevDay 영상을 못 봤었는데 말씀해주신 세션이 있는걸 이제 알았습니다. :)  
알려주셔서 감사합니다!  
  
(+ 다른 분들을 위해 제가 찾은 유튜브 링크 공유드립니다!)  
https://www.youtube.com/watch?v=ahnGLM-RC1Y