guidance - LLM 제어를 위한 안내 언어

• 기존 프롬프트보다 더 효과적으로 언어 모델을 제어할 수 있는 언어.
• Handlebars 템플릿 기반으로 출력 구조와 방법을 지정하고, 논리적 흐름을 제어할 수 있음.
• 프롬프트 내부에서 키/값 캐시를 사용하고, 원하는 부분만 추론하도록 하여 추론 성능 향상.
• 단순한 출력 구조 제어를 넘어 JSON 등 유효한 구문 보장까지 가능.
• HuggingFace 모델과 손쉬운 통합을 지원.

[kunggom]

얼핏 봐서는 LMQL보다 더 유연하고 쓰기 쉬워 보이는 것 같은데, 실제로 써본 후기가 궁금하군요.

[dnjstmxhs]

무척 유용하네요. nodejs 포팅버전 있으면 참 좋겠습니다.

[kuroneko]

• HN 스레드

저장소에 가면 예시들이 많은데, 예시만 봐도 상당히 흥미롭습니다.

특히 구조화된 출력이 필요한 경우 LLM이 전체가 아니라 딱 내용 부분만 생성하게 해서
추론 시간을 반으로 줄였다는 부분이 좋아 보이네요.