▲kuroneko 2023-05-17 | parent | ★ favorite | on: guidance - LLM 제어를 위한 안내 언어(github.com/microsoft) HN 스레드 저장소에 가면 예시들이 많은데, 예시만 봐도 상당히 흥미롭습니다. 특히 구조화된 출력이 필요한 경우 LLM이 전체가 아니라 딱 내용 부분만 생성하게 해서 추론 시간을 반으로 줄였다는 부분이 좋아 보이네요.
저장소에 가면 예시들이 많은데, 예시만 봐도 상당히 흥미롭습니다.
특히 구조화된 출력이 필요한 경우 LLM이 전체가 아니라 딱 내용 부분만 생성하게 해서
추론 시간을 반으로 줄였다는 부분이 좋아 보이네요.