16P by kunggom 2023-05-15 | favorite | 댓글과 토론
  • LLM(거대 언어 모델)에 자연어로 쿼리할 수는 있지만, 때로는 LLM이 인간의 의도를 정확하게 이해하지 못할 때도 있음
  • 스위스 취리히 연방공대(ETH Zürich)의 SRIlab(Secure, Reliable, and Intelligent Systems Lab) 연구진은 이를 해결하고자 LMP(Language Model Programming)라는 개념을 제시
  • LMP 개념을 구현한 언어 및 플랫폼이 바로 LMQL(Language Model Query Language)
  • SQL문과 유사한 선언적 구문
  • LLM의 출력 결과물에 명확한 제약 조건을 부여하여, 예기치 않은 결과가 나오지 않게끔 작동 방식을 제어
  • Python으로 구현되어, AI 쿼리에서 Python 함수나 제어 흐름 사용 가능
  • OpenAI API를 통한 GPT-4 및 로컬에서 호스팅되는 트랜스포머 모델 사용 가능
  • 소비 토큰을 절약하므로 유료 API 사용 비용을 26~85% 절감 가능
  • 논문: https://doi.org/10.48550/arXiv.2212.06094
  • 문서: https://docs.lmql.ai/
  • Playground: https://lmql.ai/playground
  • Github: https://github.com/eth-sri/lmql