Pipet - 온라인에서 데이터를 스크래핑/추출하는 CLI 도구

(github.com/bjesus)

3가지 동작을 지원 : HTML 파싱, JSON 파싱, 클라이언트에서 자바스크립트 실행
curl 같은 기존 도구에 의존하며, Unix Pipe를 이용하여 동작
.pipet 파일로 명령을 구성하며 파일안에는 여러개의 블록으로 구성
- 하나의 블록은 3개의 섹션
  - 첫줄은 리소스 URL
  - 다음 라인들은 읽어올 데이터들을 지정하는 쿼리
  - > 로 시작하면 다음 페이지를 읽어올 셀렉터 (옵셔널)
파일 예제

curl https://news.ycombinator.com/  
.title .titleline  
  span > a  
  .sitebit a