- Square에 근무할 때 공포의 "anlytics on-call" 이 있어서, 내 턴이 되면 여러 부서의 다양한 SQL질문에 대답해야 했음
- 이 온콜을 GPT-3로 대체해보기로 함
- Patterns Studio 안에서 구현
- 사용자의 질문, 스키마 및 기존 테이블의 데이터, 명확한 질문을 통해 프롬프트를 구성
- 여러 GPT 모델을 통해 실행한후, 5개 이상의 완성된 SQL 문장을 얻음
- SQL을 관련 테이블에 수행하고 최고의 결과를 찾음
- 해당 결과를 슬랙봇에 연결
- SQL 생성과 실행 부분은 다음과 같은 루프가 구성됨
- 후보 쿼리를 생성
- SQL을 GPT로 품질 체크. 일반적인 에러를 찾고, 쿼리의 정확한 버전을 생성하도록 함
- SQL을 테이블에 대해 실행
- 에러가 있거나 결과가 있다면, GPT에게 다시 정확한 결과를 내도록 쿼리 수정을 요청하고 다시 루프를 돔
- 결과가 나왔다면 리턴
- 최종적으로 하나의 사용자 질문에 대해서 약 20번의 GPT 호출을 수행
- Step-by-Step으로 따라해보기 (Crunchbase 데이터 사용)