- 웹사이트를 빠르고 가볍게 Markdown과 llms.txt 형식으로 변환해, AI가 검색 가능한 LLM 컨텍스트 생성을 지원하는 도구
- 전통적인 HTML→Markdown 변환기 는 LLM용이 아니어서 토큰도 많이 쓰고, 속도도 느림
-
mdream 코어는 LLM에 최적화된 HTML→Markdown 변환기로 약 50% 적은 토큰으로 최적화된 출력물을 생성하며, 1.4MB HTML을 약 50ms안에 초고속 변환가능
-
5kB gzip 크기의 라이브러리로 외부 의존성 없음
-
@mdream/crawl 패키지로 사이트 전체를 크롤링해 llms.txt, llms-full.txt, 개별 Markdown 파일을 생성하고, Claude Code 같은 AI 도구와 연계할 수 있음
- CLI, Docker, GitHub Actions, Vite, Nuxt 등 다양한 환경에서 실행 가능
-
플러그인 시스템으로 파이프라인 후킹을 통해 콘텐츠 필터링, 노드 변환, 커스텀 동작등을 추가 가능
-
extractionPlugin: CSS 셀렉터를 이용해 특정 요소를 추출, 데이터 분석에 활용
-
filterPlugin: CSS 셀렉터나 태그 ID 기준으로 요소 포함/제외 가능
-
frontmatterPlugin: HTML head 정보(title, meta 등)로 YAML frontmatter 생성
-
isolateMainPlugin:
<main> 요소나 header~footer 범위로 주요 콘텐츠만 추출
-
tailwindPlugin: Tailwind CSS 클래스를 Markdown 서식(굵게, 기울임 등)으로 변환
-
readabilityPlugin: 콘텐츠 가독성 점수화 및 추출 (실험적 기능)