Show GN: Distill - Rust로 만든 웹 스크래핑 + LLM 분석 API 서버
(url.lou2.kr)웹 페이지를 스크래핑하고 LLM으로 구조화된 데이터를 추출하는 Rust API 서버입니다.
주요 기능:
- Headless Chrome 기반 JavaScript 렌더링 지원
- Gemini API 연동으로 스크래핑 결과 즉시 분석
- JSON Schema 기반 구조화된 응답
- 탭 풀링으로 동시 50개 요청 처리
- SSRF 방지, 상수 시간 API 키 비교 등 보안 기능 내장
사용 예시:
POST /scrape로 URL과 분석 프롬프트를 보내면,
페이지 내용과 LLM 분석 결과를 JSON으로 반환합니다.
JinaAI, Firecrawl 같은 서비스의 셀프호스팅 대안으로 만들었습니다.
스크래핑만 필요하면 LLM 없이도 사용 가능합니다.