# Git Scraping - 웹 변경사항을 Git Repo에 기록하기

> Clean Markdown view of GeekNews topic #3008. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=3008](https://news.hada.io/topic?id=3008)
- GeekNews Markdown: [https://news.hada.io/topic/3008.md](https://news.hada.io/topic/3008.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2020-10-12T09:47:45+09:00
- Updated: 2020-10-12T09:47:45+09:00
- Original source: [simonwillison.net](https://simonwillison.net/2020/Oct/9/git-scraping/)
- Points: 15
- Comments: 1

## Topic Body

- 계속 바뀌는 웹사이트 데이터를 GitHub Actions 로 긁어다가 기록해서 커밋로그와 함께 쌓아두기

- 캘리포니아 산림보호 및 화재예방국 에서 최근의 CA 산불 데이터를 긁어다가 기록해본 예제

- XHR JSON 데이터를 curl로 가져다가 jq 로 분리해 내서 기록하는 간단한 깃헙 액션 워크플로우 YML 파일을 만들어 실행

- 내용이 변경되었을 경우에만 커밋하도록 하고,  깃헙 Cron 설정으로 한시간에 3번 정도 실행

- 작성자는 예전에 허리케인 정보나 다른 공공서비스등에도 적용한 기록들을 다 공개 한바 있음

## Comments



### Comment 3141

- Author: xguru
- Created: 2020-10-12T09:48:04+09:00
- Points: 1

국내 정부 기관들 웹사이트가 API 또는 데이터화 되지 않은 경우가 많은데

이런 방식도 또 다른 시도가 될수 있을거 같네요.