# Show GN: LLM-free 웹 크롤링 : web-content-extractor

> Clean Markdown view of GeekNews topic #19560. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=19560](https://news.hada.io/topic?id=19560)
- GeekNews Markdown: [https://news.hada.io/topic/19560.md](https://news.hada.io/topic/19560.md)
- Type: show
- Author: [sunrabbit](https://news.hada.io/@sunrabbit)
- Published: 2025-03-04T19:05:15+09:00
- Updated: 2025-03-04T19:05:15+09:00
- Original source: [github.com/wrtnlabs](https://github.com/wrtnlabs/web-content-extractor)
- Points: 24
- Comments: 1

## Summary

데이터 수집의 중요성이 증가하면서 자동화된 웹 크롤링의 수요가 늘고 있지만, HTML에서 중요한 본문을 추출하는 것은 어려운 작업입니다. web-content-extractor는 HTML에서 본문을 자동으로 분석하고 링크를 수집하여 코드 레벨에서 자동화할 수 있는 도구로, DOM Based Content Extraction via Text Density 논문을 구현하고 약간의 휴리스틱을 적용하여 실전에서 사용할 수 있는 성능을 제공합니다. 많은 사용 후 피드백과 스타는 개발에 큰 도움이 됩니다.

## Topic Body

최근 AI의 발전으로 데이터 수집의 중요도가 늘었는데요, 그런 만큼 자동화된 웹 크롤링의 수요도 덩달아 증가하는 추세입니다.  
  
그러나 HTML에서 중요한 본문을 획득하는 것은 생각보다 어려운 일입니다. LLM을 사용하면 낫겠으나, 시간과 비용 모두 부담이 됩니다.  
  
web-content-extractor는 이 문제를 해결해 줍니다. HTML에서 본문을 자동으로 분석하고, 링크를 수집해 코드 레벨에서 자동화할 수 있습니다.  
  
이 라이브러리는 DOM Based Content Extraction via Text Density 논문을 구현하고, 약간의 휴리스틱을 적용한 구현체입니다. 실전에서 충분히 사용할 수 있을 만큼의 성능을 보장합니다.  
  
많은 사용 후 이슈 부탁드립니다.  
스타는 개발에 많은 도움이 됩니다.

## Comments



### Comment 35447

- Author: kaydash
- Created: 2025-03-05T02:33:55+09:00
- Points: 1

좋은의도에 박수를 보냅니다