Hacker News 의견

• 첫 번째 의견

  • 정부 기관을 위한 기업 RAG 구축 경험 공유
  • RAGAS 지표를 사용한 A/B 테스트 결과:
    • 하이브리드 검색(의미론적 + 벡터)과 LLM 기반 재랭킹은 합성 평가 질문에서 큰 변화 없음
    • HyDE는 합성 평가 질문에서 답변 및 검색 품질을 심각하게 저하시킴
  • 하이브리드 검색은 항상 유용하지만, 한 가지 방법이 항상 우승하지 않음
  • Azure AI Search의 의미론적 검색이 벡터 유사성과 함께 충분히 효과적임
  • 다양한 방법을 테스트할 필요가 있음
  • 다음 시도할 것들:
    • RAPTOR
    • SelfRAG
    • Agentic RAG
    • 쿼리 정제(확장 및 하위 쿼리)
    • GraphRAG
  • 배운 점:
    • 항상 기준선과 실험을 사용하여 귀무 가설을 반박하려고 시도해야 함
    • 세 가지 유형의 평가 질문/답변 사용: 전문가 작성, 실제 사용자 질문, 합성 질문

• 두 번째 의견

  • 프롬프트 캐싱을 활용하는 방식이 마음에 듦
  • 캐싱 덕분에 프롬프트 비용이 1/10로 줄어듦
  • 캐싱 비용 절감으로 다양한 트릭이 가능해짐
  • 컨텍스추얼 검색과 프롬프트 캐싱에 대한 노트 공유

• 세 번째 의견

  • RAG 결과를 개선하기 위해 LLM을 사용하여 기본 청크를 확장하는 접근법은 흔함
  • HyDE를 사용한 쿼리 확장은 항상 개선되지 않음
  • Anthropic의 새로운 점은 프롬프트 캐싱 도입
  • 프롬프트 캐싱은 긴 문서를 컨텍스트로 제공하여 비용을 절감함
  • Cohere API가 매우 만족스러움

• 네 번째 의견

  • 문서를 h1, h2, h3 헤딩을 기준으로 청크로 나누고, 청크 시작 부분에 헤더를 추가하는 방식 사용
  • 예시:
    • 기존 청크: "성인의 일반적인 복용량은 하루에 3번 200mg 정제 또는 캡슐 1~2개"
    • 새로운 청크: "# 열 ## 치료 --- 성인의 일반적인 복용량은 하루에 3번 200mg 정제 또는 캡슐 1~2개"
  • 이 방식은 LLM 없이도 잘 작동함

• 다섯 번째 의견

  • 이 기술에 반대하는 입장
  • 벡터 임베딩은 첫 번째 줄 바꿈 텍스트 블록에 과도하게 집중할 수 있음
  • IDF 검색이 어느 정도 극복하지만 충분하지 않음
  • "semantic boost"를 사용하여 임베딩을 문서의 제목, 요약 등으로 이동시킬 수 있음
  • Trieve API의 "semantic boost" 설명 공유

• 여섯 번째 의견

  • "링크드 리스트" 전략을 사용하여 청크가 참조된 항목에 여러 포인터를 가지게 함
  • 각 댓글이 원래 게시물에 대한 포인터가 되는 방식으로 설명
  • 이 기술의 예시 공유

• 일곱 번째 의견

  • 200k 토큰을 사용하여 작은 데이터셋에서 최상의 답변을 얻는다는 주장은 경험과 다름
  • 프롬프트가 커질수록 출력이 일관되지 않고 지시를 따르기 어려워짐
  • 다른 사람들도 비슷한 경험을 했는지, 이를 피하는 방법이 있는지 궁금함

• 여덟 번째 의견

  • RAG를 사용하여 지식을 검색하는 대신 규칙을 검색하는 문제에 직면함
  • 특정 규칙이 적용될 수 있는지 판단하기 위해 작은 분류기를 훈련시키는 접근법 제안
  • 예시: 멀티 유저 던전 게임에서 특정 규칙이 적용되는지 여부를 판단하는 방식
  • 규칙이 적용되는지 여부를 결정하는 것이 더 추상적이고 어려운 문제임
  • 이 문제를 해결할 방법을 찾고 있음

• 아홉 번째 의견

  • 지식 베이스가 200,000 토큰(약 500 페이지)보다 작을 경우
  • Anthropic이 토크나이저를 공개해주길 바람

• 열 번째 의견

  • AI 산업이 다시 TF-IDF로 돌아가는 날을 기다림