▲

Local Deep Research - 로컬에서 나만의 연구 조수 운영하기

 (github.com/LearningCircuit)
16P by GN⁺ 20일전 | ★ favorite | 댓글 4개
  • 강력한 AI 기반 연구 도구, 여러 LLM과 웹 검색을 사용해 깊이 있는 반복 분석을 수행
    • ArXiv, Wikipedia, Google, PubMed, DuckDuckGo, SerpAPI, 로컬 RAG, The Guardian 등의 검색 기능을 통합
  • 로컬에서 실행해 개인정보 보호를 강화하거나 클라우드 기반 LLM을 설정해 성능을 향상시킬 수 있음

고급 연구 기능

  • 자동화된 심층 연구: 지능적인 후속 질문 생성
  • 출처 추적 및 검증: 인용 및 출처 자동 추적
  • 반복 분석: 다단계 반복 분석으로 포괄적 커버리지 제공
  • 전체 웹페이지 콘텐츠 분석: 스니펫이 아닌 전체 콘텐츠 기반 분석

유연한 LLM 지원

  • 로컬 모델 지원: Ollama 기반의 로컬 AI 처리
  • 클라우드 모델 지원: Claude, GPT 등 클라우드 LLM 지원
  • Langchain 모델 호환: 다양한 Langchain 모델 지원
  • 모델 선택 가능: 성능, 응답 속도 등에 따라 모델 설정 가능

풍부한 출력 옵션

  • 상세 연구 결과: 인용 포함된 상세한 보고서 제공
  • 종합 연구 보고서: 포괄적인 연구 결과 제공
  • 빠른 요약: 핵심 내용 요약 가능
  • 출처 추적 및 검증: 출처 추적 및 검증 지원

프라이버시 중심 설계

  • 로컬 실행 가능: 로컬 모델 사용 시 모든 데이터가 사용자 기기에 저장됨
  • 검색 설정 가능: 개인정보 보호 강화
  • 투명한 데이터 처리: 데이터 처리 방식 명확하게 공개

향상된 검색 통합

  • 자동 검색 엔진 선택: 검색 엔진을 쿼리 내용에 따라 자동 선택
  • Wikipedia 통합: 신뢰할 수 있는 사실 검색
  • arXiv 통합: 과학 논문 및 학술 연구 검색
  • PubMed 통합: 의학 및 생물 의학 연구 자료 검색
  • DuckDuckGo 통합: 일반 웹 검색 (속도 제한 가능)
  • SerpAPI 통합: 구글 검색 결과 제공 (API 키 필요)
  • Google Programmable Search: 사용자 정의 검색 설정 (API 키 필요)
  • The Guardian 통합: 뉴스 및 저널리즘 콘텐츠 검색 (API 키 필요)
  • 로컬 RAG 검색: 개인 문서 검색 가능 (벡터 임베딩 사용)
  • 전체 웹페이지 콘텐츠 검색: 웹페이지 전체 내용 검색 가능
  • 출처 필터링 및 검증: 신뢰할 수 있는 출처로 필터링 가능
  • 검색 매개변수 설정 가능: 검색 범위, 기간 등 설정 가능

로컬 문서 검색 (RAG)

  • 벡터 임베딩 기반 검색: 개인 문서에서 내용 검색 가능
  • 사용자 정의 문서 컬렉션 생성: 주제별로 문서 그룹화 가능
  • 프라이버시 보호: 모든 문서는 로컬에서 처리됨
  • 지능적 청킹 및 검색: 문서 내용을 청킹 및 검색
  • 다양한 문서 형식 호환: PDF, 텍스트, Markdown 등 지원
  • 통합 메타 검색 자동 적용: 로컬 및 웹 검색 통합 가능

웹 인터페이스

  • 대시보드 제공: 직관적인 인터페이스
  • 실시간 진행 상황 업데이트: 연구 진행 상태 실시간 제공
  • 연구 이력 관리: 이전 연구 기록 접근 및 관리 가능
  • PDF 보고서 내보내기: 연구 보고서 PDF로 다운로드 가능
  • 연구 관리: 진행 중인 연구 중단 또는 삭제 가능

지원 검색 엔진 옵션

  • Auto: 쿼리에 따라 자동 엔진 선택
  • Wikipedia: 일반 정보 및 사실 검색에 적합
  • arXiv: 과학 및 학술 논문 검색에 적합
  • PubMed: 생물 의학 및 의학 연구에 적합
  • DuckDuckGo: 개인 정보 보호 중심의 일반 웹 검색
  • The Guardian: 뉴스 및 저널리즘 검색 (API 키 필요)
  • SerpAPI: 구글 검색 결과 제공 (API 키 필요)
  • Google Programmable Search: 사용자 정의 검색 (API 키 필요)
▲
zxshinxz 19일전  [-]
  • 생명 계열 종사자로서 간략하게 사용한 결과를 공유하고자 함.

Reseach mode는 2개로 제공됨.

  1. Quick summary
  • 소요시간은 약 5~6분 정도 (4070 ti super, 16GB 기준, Mistral 및 Gemma 3:12b)
  • 환각 증상이 있어서 Reference를 직접 생성하나, 문서에 링크가 걸리는 Ref는 출처가 명확한 것 같음.
  • 질문에 대한 대답을 신기술에 초점을 맞춰서 답변하려는 의도가 있음. 특히 AI와 연관 지으려고 함.
  1. Detailed Report
  • 소요 시간은 약 1시간 (4070 ti super 16GB, Gemma 3:12b)
  • 하나의 리뷰 페이퍼를 만들어주는 격임. 그런데 Reference가 확 줄어버리는 문제가 있음. 내용은 맞다고 쳐도 근거를 댈 수 없으니 약간의 개선이 필요함. (아무래도 되새김질을 진행하여 글의 퀄리티를 높이는 것 같은데 이 과정에서 Ref link들이 유실되는 것 같음.)
  • 다만 확실히 Quick summary보다는 퀄리티 높은 내용들을 제공함.

Config 파일에서 다양한 설정이 가능. 검색할 데이터베이스를 PubMed에만 국한되게 만들어서 자료의 퀄리티를 한층 더 높일 수 있음. 한번에 검색할 텍스트들이나 RAG 사용 시 얼만큼의 청크를 만들지 설정할 수 있음.

현재 0.01V 임을 감안했을 때 Local 머신으로 이 정도까지 보고서를 만들어낼 수 있다는 것이 매우 놀라움. 특히 생명과학 쪽은 Chatbot들이 일반화된 서술을 사용하는 경우가 많은데 해당 프로그램을 통해서 만들어진 보고서는 굉장히 과학적인 서술을 사용함.

해당 프로그램은 현재 한글을 지원하지 않음. 질문을 한글로 해도 보고서는 영문으로 출력됨.
또한 PDF 내보내기를 통해서 PDF 파일로 답변을 받을 때 한글은 나오지 않는 문제가 있음.

Ref가 보고서 생성 도중에 사라지는 문제, 환각을 일으키는 문제만 해결된다면 정말 강력한 도구라고 생각함.

답변달기
▲
zxshinxz 18일전  [-]

더 사용해보니 Ollama에서는 다양한 모델 중에서도 Qwen2.5에서 잘 작동하는 것 같음. Deepseek-r1은 Search 할 때 쿼리를 이상하게 만들어서 근거가 되는 내용을 잘못 가져오고 Gemma류는 예시로 든 프롬프트를 실제 프롬프트로 인식해서 해당 관련 주제 내용을 꼭 집어넣으려고 함.

답변달기
▲
GN⁺ 20일전  [-]
Hacker News 의견

  • 지역적(로컬)이고 저해상도(로파이)인 공간을 위한 노력에 박수를 보냄. 그러나 문서의 예시를 읽어보니 결과물이 다소 혼란스러운 느낌임

    • 중간 단계가 하나 이상 필요하다고 생각함. 예를 들어, 그래프 데이터베이스를 사용하여 LLM이 정보를 저장하고 상호 연결성을 확인하며 스스로 질문을 던져 최종 보고서를 생성할 수 있음
    • 최종 보고서는 사용자가 질문하거나 직접 편집할 수 있는 인터랙티브 HTML 파일이 될 수 있음
    • Onyx라는 유사한 오픈 딥 리서치 도구가 있으며, UI/UX가 더 나은 것 같음. 저자가 이 도구를 로컬로 포팅하는 것을 고려할 수 있음
    • 이 프로젝트가 좋지 않다는 것이 아니라, 많은 오픈 딥 리서치 프로젝트가 사라질까 걱정됨. 사람들이 가장 관심 있는 부분에 집중하여 협력하는 것이 더 나을 것임

  • 이 프로젝트는 멋짐

    • 인터넷을 소스로 임베딩을 추가하고 싶다면 exa.ai를 시도해보길 권장함. Wikipedia, 수천 개의 뉴스 피드, Github, 7천만 개 이상의 논문을 포함함
    • 참고: 나는 창립자 중 한 명임

  • 시도해봤지만 많은 오류가 발생하여 보고서를 생성할 수 없었음. 생성 실패 시 재개할 방법이 없어, API 호출이 실패하면 처음부터 다시 시작해야 함

  • 웹 검색을 위해 Kagi와 Tavily API도 고려할 것

  • 매우 멋져 보임. open-webui의 RAG 기능과 비교하면 어떤지 궁금함

    • 웹 검색과 문서 임베딩 방법이 있지만, 결과가 임베딩에서 세부 사항이 손실되어 미흡함. 이 방법이 더 나은지 궁금함

  • (로컬) LLM을 사용하여 벡터 검색에 의존하지 않고 자료집에서 관련 자료를 직접 검색하는 사람이 있는지 궁금함

  • 좋은 작업임

    • 최근에 RAG를 위해 큐레이션된 구조화된 정보를 사용하여 사전 처리된 로컬 컬렉션이 이 동적 검색 접근 방식에 좋은 보완이 될 수 있다고 생각함
    • LangChain을 사용한 것을 보았으며, txtai를 확인해볼 가치가 있음

  • AI 검색 경험을 제공하고 북마크의 내용을 혼합하여 보고서를 생성하는 도구가 있는지 궁금함. 현재 북마크는 쓸모없는 상태임. 이것이 유용하게 만들 수 있음

    • 현재 OpenAI의 딥 리서치에서 자주 발생하는 실패 모드는 낮은 권위의 출처에서 답을 가져와 과학 저널인 것처럼 참조를 제공하는 것임. 이런 출처는 가치 있는 내용을 거의 포함하지 않으며, 다른 출처가 고품질이어도 저품질 출처가 모든 것을 망침
    • 이미 큐레이션한 콘텐츠(북마크)를 강조하면 신호 대 잡음비(SNR)를 크게 향상시킬 수 있음

  • LLM을 위한 3D 게임 같은 GUI를 만드는 사람이 다음의 Jobs/Gates/Musk이자 노벨상 수상자가 될 것이라고 생각함. 이는 LLM의 내부를 수백만 명이 볼 수 있게 하여 정렬 문제를 해결할 것임. 컴퓨터는 GUI가 있는 OS가 등장한 후에야 대중화되었으며, 현재의 챗봇은 명령줄과 비슷함. AI 안전 아이디어를 공유하기 위해 ASK HN을 시작했음

답변달기
▲
zhniee 19일전  [-]

이해 안됨. 아카데믹 수준은 커녕 초딩 코딩 수준도 안되는걸 왜 공유 하는지...

답변달기