Hacker News 의견

• ChatDB.ai 프로젝트 개발 중인 사용자 경험

  • ChatDB.ai라는 유사한 프로젝트를 개발 중임.
  • AI와 SQL을 결합하여 가장 성공적이었던 경험은 SQL 제공자의 오류를 각 반복 후 LLM에 피드백하는 것이었음.
  • 포맷된 오류 메시지 래퍼를 사용하여 시스템 테이블 쿼리를 강력하게 제안함으로써, 스키마 정보를 발견하는 데 매우 효과적이었음.
  • 이러한 작은 조정으로, 4개 이상의 테이블 조인이 필요한 쿼리를 찾는 데 놀라울 정도로 능숙해짐.

• GPT-4를 사용한 개인 경험

  • GPT-4를 사용하여 이미 유사한 작업을 수행함.
  • MySQL CLI의 SHOW TABLE 명령어로 테이블 구조를 확인하고, 해당 테이블을 기반으로 장바구니 포기율 등 비즈니스 지표를 보여주는 쿼리를 생성함.
  • 이 방법이 상당히 잘 작동함을 경험함.

• 자연어를 SQL로 번역하는 시스템에 대한 회의적인 견해

  • 자연어를 SQL로 번역하는 시스템 개발 노력을 인정하면서도, 자연어와 모델의 근본적인 특성이 추정적이고 정밀도가 떨어진다는 점에서 회의적임.
  • SQL 데이터베이스는 대부분의 경우 정확하고 정밀한 정보 처리를 위해 설계되었으며, 추정적인 레이어를 도입하는 것은 문제를 더 악화시킬 수 있음.
  • 이러한 시도가 실제 세계의 요구를 효과적으로 해결하는 데 생산적인지 의문을 제기함.

• YC 지원 스타트업들을 포함한 유사 제품에 대한 관심

  • Minds DB (YC W20), Buster (YC W24), DB Pilot 등과 같은 몇 가지 유사 제품을 추적하고 있으며, 이 분야에 관심이 많음.
  • 자신도 이러한 솔루션을 찾고 있음.

• duckdb 기반 보고 서비스에 대한 경험

  • 전반적으로 잘 작동하지만 몇 가지 문제에 부딪힘:
    • 낮은 온도 설정에도 불구하고 GPT-4가 때때로 예제나 스키마에서 벗어남.
    • 서비스는 일반적인 데이터를 호스팅하지만, 고객은 자신들의 도메인 언어로 보고서 생성을 요청함.
    • LLM 프롬프트 디버깅이 까다로움. 고객이 모델을 쉽게 혼란시킬 수 있음.
    • 생성된 쿼리에 대한 "설명"을 고객에게 제공하여 보고서 작성에 사용된 내용을 투명하게 함.

• RAG 작동 방식에 대한 우려와 설명

  • "train"이라는 용어 사용에 대해 우려를 표함.
  • RAG가 훈련이나 미세 조정 없이 데이터 준비, 청킹, 벡터화만을 필요로 한다는 점을 강조하며 설명하는 데 많은 시간을 할애함.

• LLM의 환각 문제에 대한 궁금증

  • LLM이 "어제"와 같은 시간 개념을 어떻게 해석하는지, 생성된 SQL이 문법적으로 유효하더라도 의도와 다를 수 있는 문제에 대해 궁금함.
  • 특히 MAX, COUNT와 같은 집계 쿼리에서 잘못된 숫자를 내놓을 위험이 있으며, 이를 확인하기 위해서는 SQL을 직접 읽어야 하는데, 이는 전체 목적에 어긋남.

• 자체 데이터셋과 기술을 사용한 경험 공유

  • 내부 직원들이 구조화된 데이터셋과 대화할 수 있는 봇을 개발하는 데 유사한 기술을 사용함.
  • 실제로는 어느 정도 작동하지만 몇 가지 도전 과제가 있음:
    • 기존 모델에는 없는 특정 업무 관련 열거형과 데이터 타입이 많아, 이를 수동으로 정의하고 프롬프트에 문맥으로 추가해야 함.
    • 시간 관련 질문에 대한 처리가 어려움.
    • 사용자가 무엇이든 물어볼 수 있기 때문에, 단일 테이블에 대해 많은 예시 SQL 쿼리가 필요함.
    • 다양한 테이블로 확장하는 데 어려움이 있으며, 더 효율적인 방법이 있는지 궁금함.
    • Llama2 70B Gen 모델을 사용했지만, 다른 모델이 SQL 쿼리 생성에 있어 더 나은 성능을 보이는지 궁금함.

• bit.io에서의 경험과 고객 반응

  • bit.io에서 유사한 작업을 수행했으며, 사람들이 이를 좋아함.
  • 작업 중 발견한 내용에 대한 여러 기사가 있으며, 현재는 Databricks에 인수되어 서비스를 종료함.
  • 가능한 한 질문에 답변할 준비가 되어 있음.