# Show GN: Distill - Rust로 만든 웹 스크래핑 + LLM 분석 API 서버

> Clean Markdown view of GeekNews topic #25298. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=25298](https://news.hada.io/topic?id=25298)
- GeekNews Markdown: [https://news.hada.io/topic/25298.md](https://news.hada.io/topic/25298.md)
- Type: show
- Author: [leelou2](https://news.hada.io/@leelou2)
- Published: 2025-12-24T11:08:55+09:00
- Updated: 2025-12-24T11:08:55+09:00
- Original source: [url.lou2.kr](https://url.lou2.kr/VBpN)
- Points: 19
- Comments: 0

## Summary

**Distill**은 Rust로 구현된 웹 스크래핑 및 **LLM 분석 API 서버**로, Headless Chrome을 통해 JavaScript 렌더링이 필요한 페이지도 안정적으로 처리합니다. Gemini API와 연동해 스크래핑 직후 구조화된 JSON 데이터를 생성하며, 탭 풀링으로 최대 50개의 동시 요청을 효율적으로 관리합니다. JinaAI나 Firecrawl 같은 상용 서비스의 셀프호스팅 대안으로, LLM 분석 없이도 순수 스크래핑 서버로 활용할 수 있습니다.

## Topic Body

웹 페이지를 스크래핑하고 LLM으로 구조화된 데이터를 추출하는 Rust API 서버입니다.  
  
주요 기능:  
- Headless Chrome 기반 JavaScript 렌더링 지원  
- Gemini API 연동으로 스크래핑 결과 즉시 분석  
- JSON Schema 기반 구조화된 응답  
- 탭 풀링으로 동시 50개 요청 처리  
- SSRF 방지, 상수 시간 API 키 비교 등 보안 기능 내장  
  
사용 예시:  
POST /scrape로 URL과 분석 프롬프트를 보내면,  
페이지 내용과 LLM 분석 결과를 JSON으로 반환합니다.  
  
JinaAI, Firecrawl 같은 서비스의 셀프호스팅 대안으로 만들었습니다.  
스크래핑만 필요하면 LLM 없이도 사용 가능합니다.  
  
- GitHub: https://github.com/lee-lou2/distill

## Comments



_No public comments on this page._