The Pile, 825GiB 규모의 오픈소스 언어 모델링 데이터셋 (2020)

• 대규모 언어 모델 훈련에서 데이터 출처의 폭이 중요해지면서, The Pile은 22개 고품질 데이터셋을 묶은 825GiB 규모의 공개 훈련 세트로 공개됨
• 핵심 설계는 책, 코드, 웹페이지, 채팅 로그, 학술 논문 등 여러 출처를 결합해 교차 도메인 일반화를 높이는 데 있음
• The Pile로 훈련한 모델은 기존 언어 모델링 벤치마크에서 중간 수준의 개선을 보였고, Pile BPB에서는 유의미한 개선을 보임
• Pile BPB는 여러 도메인의 텍스트를 함께 다루기 때문에 단일 말뭉치 성능보다 폭넓은 텍스트 모델링 능력을 확인하는 데 쓰임
• 리더보드는 테스트셋 중복 가능성을 *로 표시하며, Zero-shot은 The Pile의 모든 구성요소가 훈련 데이터에 포함되지는 않았음을 뜻함

---

The Pile의 구성과 배포

• The Pile은 825GiB 규모의 다양한 오픈소스 언어 모델링 데이터셋임
• 22개의 더 작고 고품질인 데이터셋을 하나로 결합해 구성됨
• 다운로드 파일은 the Eye에서 호스팅됨
• The Pile을 사용하거나 The Pile로 평가하는 모델이 있으면 EleutherAI에 알릴 수 있음
• The Pile 또는 구성요소를 사용할 경우 다음 논문을 인용해야 함

  • The Pile: An 800GB Dataset of Diverse Text for Language Modeling

    • arXiv preprint arXiv:2101.00027, 2020

훈련 세트와 벤치마크로서의 역할

• 특히 대규모 모델에서는 데이터 출처의 다양성이 일반적인 교차 도메인 지식과 다운스트림 일반화 능력을 개선함
• 평가 결과, The Pile로 훈련한 모델은 전통적 언어 모델링 벤치마크에서 중간 수준의 개선을 보였고 Pile BPB에서는 유의미한 개선을 기록함
• Pile BPB(bits per byte)는 여러 도메인의 텍스트 이해가 필요한 벤치마크임
  • 대상 도메인에는 책, GitHub 저장소, 웹페이지, 채팅 로그가 포함됨
  • 의학, 물리, 수학, 컴퓨터과학, 철학 논문도 포함됨
• 이 벤치마크는 도메인별 세계 지식과 추론 능력을 함께 요구해, 대규모 언어 모델의 교차 도메인 텍스트 모델링 능력을 평가하는 데 활용됨
• 리더보드 예시는 2021년 1월 1일 기준 항목을 포함함
  • GPT-3 (Zero-Shot)*, OpenAI: Test BPB 0.7177
  • GPT-2 (Zero-Shot)*, OpenAI: Test BPB 1.2253
  • *는 잠재적 테스트셋 중복 가능성을 나타냄
  • Zero-shot은 The Pile의 모든 구성요소가 훈련 데이터에 포함되지는 않았음을 뜻함

[GN⁺]

Hacker News 의견들

• 2020년에 The Pile에 Books3가 포함된 것을 우려했더니, Eleuther 책임자였던 Stella Biderman이 이렇게 답했음:
  데이터에는 1) 세상에 존재하며 온라인에 올라온 원자료, 2) 그 원자료를 언어 모델링용으로 정제·가공한 세트별 데이터, 3) 세트별 데이터를 가중치까지 포함해 크게 결합한 The Pile이 있다고 했음
  Eleuther는 2와 3을 만들고 공개했으며, 2는 사람들이 재가중·재조합할 수 있게 둔 것이고 대부분은 3을 그대로 받을 것이라고 설명함
  또 2와 3은 저작권 있는 데이터가 들어 있어도 미국 기준으로는 공정 이용이라 저작권 침해가 아니며, Maroon 5를 웹사이트에서 내려받아 2에 해당하는 데이터셋을 만드는 것은 경우에 따라 침해일 수 있지만 자신들의 사용은 침해가 아니라고 봤음

  • “2와 3은 공정 이용이라 저작권 침해가 아니다”는 건 소송으로 다퉈 보기 전까지는 알 수 없음
    공정 이용은 혼자 선언한다고 성립하는 게 아니고, The Office의 Michael Scott처럼 “파산을 선언한다!”고 외치는 것과 비슷함
    법원은 1) 사용의 목적과 성격, 2) 저작물의 성격, 3) 사용된 분량과 핵심성, 4) 잠재 시장이나 가치에 미치는 영향을 따져 판단하며, OpenAI가 New York Times와 다투는 것도 바로 이 이유임
    개요는 https://copyright.columbia.edu/basics/fair-use.html가 꽤 잘 정리해 줌
  • 2번 세트에 저작권자가 배포를 허락하지 않은 완전한 저작물, 예컨대 책 한 권이 들어 있다면 어떻게 그 말이 참일 수 있는지 이해가 안 됨
    “언어 모델링용 처리”가 완전히 되돌릴 수 없는 과정이라는 뜻이라면 모를까
  • 저작권 쟁점의 정답은 모르겠지만, 2024년에는 모델에 들어간 인간 노동을 두고 “데이터는 세상에 존재한다”, “데이터셋으로 수집되었다” 같은 수동태보다 나은 태도를 가졌으면 함
  • 저자 허락 없이 저작물을 배포하고, 저자와 경쟁하는 방식으로 사용하며, 많은 AI가 돈을 벌고, 일부는 원문을 그대로 재현함
    이런 데이터셋은 저작권법의 4요소 심사 대부분에서 실패하는 것처럼 보이고, LLM을 설명해 준 비전문가들도 AI 회사가 남의 작업물을 훔친다고 받아들였음
    관련 법적 쟁점, The Pile을 포함한 각 데이터셋, 합법적 대안, 균형 잡힌 저작권 개정안을 정리한 글이 있음: http://gethisword.com/tech/exploringai/
    지금은 최소한 한 나라에서라도 즉시 세 규칙이 필요하다고 봄: 합법 접근권이 있는 저작물은 AI 학습에 쓸 수 있어야 하고, 학습 제한·추가 과금·다운로드 제한은 불법이어야 하며, 개인 사용 목적의 학습을 위해 접근 가능한 저작물을 복사·변환할 수 있어야 하고, 무료 공개 웹 저작물은 조건과 무관하게 AI 학습용으로 복사·공유·처리·묶을 수 있어야 함
    AI 출력물의 저작권은 기존 AI 및 혼합 저작물 법리에 따르고, 출력이 저작권 대상이라면 사용자가 기존 저작물에 의존해 직접 출판한 것과 같은 지위가 되어야 하며, 이를 판단할 수 있도록 학습셋도 공개되어야 함
  • Libgen을 긁고 저작권 있는 콘텐츠를 내려받아 재배포하는 게 불법이 아니라고?
    회의적임. 인터넷 어딘가에서 받은 영화를 토렌트로 시딩하는 건 “공정 이용”이 아니고, The Pile은 데이터를 변환하는 코드만이 아니라 재배포된 데이터 자체임
    이 논리라면 Libgen 미러를 합법적으로 운영할 수 있다는 뜻이 됨

• 이 데이터셋에 배포되는 콘텐츠의 라이선스 재현과 크레딧·저작자 표시는 어디서 확인할 수 있음?
  전부 포함되어 있나? 모든 포함 항목이 준수 상태인지 알 수 있나?
  저작권 데이터를 먹은 모델로 만든 생성기가 출력물에서 저작권 의무를 피할 수 있다는 논의에는 열려 있지만, 데이터셋 자체는 당연히 그 안의 콘텐츠 저작권에 묶이는 것 아닌가?

  • 이 데이터셋에는 해적판 전자책 전용 토렌트 트래커인 Bibliotik 전체 덤프에 가까운 Books3가 들어 있음
    유명 저자나 출판사 이름으로 벽을 채우고 다트를 던지면, 맞은 쪽이 이 데이터 일부의 권리를 갖고 있을 가능성이 큼
    “AI 연구용”이라고만 하면 뭐든 해도 되는 듯함. .ai 도메인만 있으면 Blu-ray 립을 올려도 괜찮다는 식임
  • 자기 장난감을 만드는 게 다른 사람들이 자기 노동 산물에 대해 갖는 권리보다 중요하다고 생각해서 훔친 것임

• 사람들이 저작권 있는 작품을 인터넷에 공유하고 재게시한다니 믿을 수 없음. 충격적임
  아무튼 RedPajama 30T와 The Pile이면 “all you need”인가? ;)

  • 나중에 특정 자연어 처리 작업을 다루기 위한 사전 학습에는 충분함
    흥미로운 결과를 얻으려면 여기서 지시 데이터셋을 생성해야 하고, 다양한 작업을 포괄해야 함
    완성문 자체가 LLM에 지식과 추론을 드러내게 하는 게 아니라, 크고 다양한 지시 데이터셋이 그렇게 만듦
  • 저작권 논쟁이 너무 많아서, 허용적 라이선스 데이터만 포함한 The Pile v2를 만들려는 프로젝트가 진행 중임

• The Pile 논문에 나온 Books3가 저자들이 소송 중인 그 데이터셋 맞음? 인기 있고 저작권 있는 자료가 대량으로 들어간 그거?

  • 맞음. 링크된 논문에 따르면 Books3는 Shawn Presser가 공개한 Bibliotik 비공개 트래커 콘텐츠 사본에서 파생된 책 데이터셋임
    Bibliotik은 소설과 논픽션이 섞여 있고, 그다음으로 큰 책 데이터셋인 BookCorpus2보다 거의 한 자릿수 규모로 크며, 긴 문맥 모델링 연구와 일관된 스토리텔링에 책이 귀중해서 포함했다고 되어 있음
  • 여러 법적 절차를 살펴보는 출발점으로는 이 목록이 괜찮아 보임. Silverman 등 사례까지 얼마나 자주 갱신되는지는 모르겠음
    https://originality.ai/blog/openai-chatgpt-lawsuit-list
  • 그런 것 같음. https://www.wired.com/story/battle-over-books3/ 참고
  • 자기들 데이터가 저작권 출처에서 오지 않았거나 저작권 대상이 아니라고 주장하나?

• Books3에 관심이 많이 쏠렸지만, 이 데이터셋의 또 다른 큰 구성요소는 이름이 속이는 듯한 OpenWebText2임
  이건 추천을 많이 받은 Reddit 제출물에 링크된 제3자 웹사이트 15년치를 긁은 것이고, 내 글도 일부 들어 있음

  • 관련성과 영향은 제쳐 두고, 접근 제한 없는 사이트에 인터넷 공개로 올려 놓고 그 콘텐츠에 대한 도덕적 권리를 주장하는 건 납득하기 어려움
    라디오로 방송하거나 수백만 임의의 사람 집 앞에 인쇄물을 배달하는 것과 같음
    지식재산권 소유권을 확립하고 데이터를 저작권으로 보호하는 방법은 있지만, Tumblr 팬픽, YouTube 댓글, HN 토론은 정식 저작권 확보 경로가 아님
    합법적으로 긁을 수 있는 웹사이트에 올린 것은 공정 이용 대상이 될 수 있음
    공개 웹사이트에서 모은 데이터는 개인적으로 무엇이든 할 수 있고, 긁은 데이터셋으로 훌륭한 HN LLM을 만들어 개인적으로 쓸 수도 있음
    최근 판례를 고려하면, 저작권을 존중하고 원문 재현을 막기 위해 선의의 노력을 하는 한, 전 세계의 저작물을 다 학습시킨 모델이라도 API로 제공하고 상업적으로 사용할 수 있을 수 있음
    다만 모델 자체를 팔거나 배포하면 다른 법적 영역으로 들어감
    인터넷은 원래 그렇게 작동하도록 설계되었고, 접근을 막고 싶다면 인증, 네트워크 설정, 접근 제어를 구현하면 됨
    그런 장치 없이 공개 사이트에 올렸다면, 광범위한 공정 이용에 대한 보호 주장을 상당 부분 포기한 것으로 봐야 하고, 서버와 도메인을 둔 순간 전 세계가 다운로드하러 오라고 묵시적으로 초대한 셈임
    OpenWebText2에서 오용됐다고 여기는 것도 근본적으로는 공개 웹사이트에 올려 이후 사용에 대한 통제권을 잃은 데서 비롯되며, 공정하게 긁힌 것임
  • 도메인 이름을 알려 주면 주요 LLM에서 표절 여부를 확인해 보겠음
    아마 그 어떤 모델도 당신 글에서 한 문장도 만들어내지 못할 것 같음

• 아직 어딘가에서 받을 수 있나? 몇 달 전에 내려받으려 했는데 다운로드 링크가 404였고, 지금도 그런 것 같음

  • 배포는 대부분 토렌트·마그넷 링크와 직접 하드 드라이브 교환으로 이루어짐
    이미 가진 사람을 모른다면 공개 트래커를 찾아보면 됨
    다만 저작권 콘텐츠가 포함되어 있으니 배포는 불법 복제에 해당한다는 점을 알아야 함
  • 여기에 마그넷 링크를 올려도 괜찮은지 모르겠음
    magnet:?xt=urn:btih:0d366035664fdf51cfbe9f733953ba325776e667&dn=EleutherAI_ThePile_v1
  • The Pile은 오래된 소식이고, 더 최근 데이터셋인 the-stack-v2 같은 걸 보라는 안내가 있음
    https://huggingface.co/datasets/bigcode/the-stack-v2
    — https://the-eye.eu/public/AI/pile/readme.txt
  • The Pile에는 선별된 출처가 많이 들어 있고, 최근 추세는 선별 데이터 출처를 필터링된 웹 크롤과 결합하는 쪽임
    예컨대 Common Crawl을 강하게 처리해 섞는 방식이고, 다른 사람들이 말한 dolma나 코드 모델용 the-stack-v2가 그런 예임

• 이름이 멋짐. Manhattan Project의 원래 “Pile”이 떠오름
  “The Making of the Atomic Bomb”(1986)에서 읽었고, 아마 최근 영화에도 나왔을 것 같음

  • 사실 거의 안 나옴. 아주 짧게 언급되는 장면이 있었던 정도로 기억함
    영화는 마지막에 투박한 메시지를 만들려고 일화를 꿰어 놓은 느낌이었음
    실제 재현이라기보다 허구적 이야기로 보면 괜찮은 영화였지만, 책을 보는 편이 낫겠음
    특히 Fermi에 관심 있다면 David Schwartz의 “The Last Man Who Knew Everything”을 추천함

• The Pile은 꽤 오래됐는데, 이건 업데이트된 버전인가?

  • 아님
    관련해서 the-stack 데이터셋 v2가 최근 공개됐음
    Software Heritage 2023-09-06 그래프 데이터셋을 순회해 1억 420만 개 GitHub 저장소에 속한 고유 파일 32억 8천만 개를 수집했고, 2023-09-14까지의 GitHub Archive 데이터에서 저장소 수준 메타데이터를 추가로 모았다고 함
    전체 비압축 크기는 67.53TB이며, 전처리 파이프라인에서 정확한 중복 제거 위에 근사 중복 제거를 구현했음
    중복 제거 후 크기와 토큰 수 기준으로 v1은 2.9TB·200B, v2는 32.1TB·900B임
    곧 꽤 강력한 공개 코딩 모델이 나올 것 같고, 테스트해 보려는 모델은 dolphincoder-starcoder2-15b-iMat.GGUF, CodeFuse-DeepSeek-33B-iMat.GGUF, OpenCodeInterpreter-DS-33B-iMat.GGUF, starcoder2-15b-instruct-iMat.GGUF임
    데이터셋: https://huggingface.co/datasets/bigcode/the-stack-v2
    GGUF 양자화: https://huggingface.co/dranger003

• 대형 Hollywood 스튜디오는 여러 사이버 보안 회사에 많은 돈을 주고 불법 복제 콘텐츠를 찾아 호스팅 회사에 저작권 침해 중단 통지를 보냄
  저자와 예술가들이 데이터 조합 같은 형태로 모이면 스튜디오와 같은 일을 할 수 있음
  저작권법에 실질적인 힘이 있다면, 그런 조직이 콘텐츠를 호스팅하는 곳에 법적 요청을 보내 내려 달라고 요구할 수 있을 것임