Ollama, 구조화된 출력 지원

• Ollama가 이제 JSON 스키마를 사용하여 모델의 출력을 특정 형식으로 제약하는 구조화된 출력(Strucutured Output) 기능을 지원
• Python 및 JavaScript 라이브러리가 업데이트되어 이 기능을 사용할 수 있게 됨
• 구조화된 출력의 주요 활용 사례
  • 문서에서 데이터 파싱
  • 이미지에서 데이터 추출
  • 모든 언어 모델 응답의 구조화
  • JSON 모드보다 더 높은 신뢰성과 일관성 제공
• 사용 팁
  • Pydantic (Python) 또는 Zod (JavaScript)로 JSON 스키마 정의
  • 프롬프트에 "JSON으로 반환" 추가
  • Temperature 설정을 0으로 낮춰 결정론적 출력 확보
• 향후 계획
  • 로짓 노출로 생성 제어 지원
  • 성능 및 정확도 개선
  • JSON 스키마 외 추가 형식 지원
  • GPU 가속 샘플링 지원

[curiousotter]

기존에는 json schema를 프롬프트의 일부로 포함시키고 api parameter에는 format: json 형태로만 썼었는데 이제 토큰도 아끼고 더 편하게 설정할 수 있게 되었네요!