AI로 오염되지 않은 콘텐츠를 위한 Low-background Steel

 (blog.jgc.org)
1P by GN⁺ | ★ favorite | 댓글 1개
  • AI 생성물이 웹에 대량으로 섞이기 전의 자료를 찾기 위해 lowbackgroundsteel.ai가 2023년 3월 만들어짐
  • 이름은 핵실험의 방사성 동위원소에 오염되지 않은 저방사능 강철과 납에서 따온 비유임
  • 실제 low-background steel과 납은 보통 1945년 Trinity Test 이전에 침몰한 선박에서 회수된 금속을 가리킴
  • 사이트는 2022년 AI 생성 콘텐츠가 급증하기 전에 만들어진 텍스트·이미지·영상 출처를 모으는 데 초점을 둠
  • ChatGPT 공개 이전의 Wikipedia 덤프, Arctic Code Vault, Project Gutenberg 같은 자료로 연결하며, 다른 미오염 출처도 제출받음

AI 이전 자료를 모으는 허브

  • lowbackgroundsteel.ai는 AI 생성 콘텐츠가 섞이지 않은 온라인 자료를 모으기 위해 만들어진 자료 허브임
  • 2023년 3월에 시작됐으며, AI 생성물이 확산되기 전의 온라인 리소스를 정리하는 역할을 함

이름에 담긴 비유

  • Low-background Steel은 핵실험에서 나온 방사성 동위원소에 오염되지 않은 금속을 뜻함
  • 이런 강철과 납은 보통 1945년 Trinity Test 이전에 침몰한 선박에서 회수됨
  • 사이트는 이 개념을 콘텐츠에 적용해, AI 생성 콘텐츠에 오염되지 않은 자료를 Low-background Steel이라고 부름

수집 대상과 예시

  • 수집 대상은 2022년에 AI 생성 콘텐츠가 급격히 늘어나기 전에 만들어진 텍스트, 이미지, 영상 출처임
  • 현재 연결되는 예시는 다음과 같음
    • ChatGPT 공개 이전의 Wikipedia 덤프

    • Arctic Code Vault

    • Project Gutenberg

      • 그 외 추가 자료 출처

자료 제출

  • AI 생성 콘텐츠에 오염되지 않은 다른 출처를 알고 있다면 제출 페이지를 통해 보낼 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Unicode에 새 평면(plane) 을 추가해서, 의사소통에 필요한 모든 문자를 복제하되 추가 상태 비트를 넣으면 된다고 봄
    확실한 인간 작성, 인간 눈 전용, AI 생성 인정 같은 범위를 두고, 이를 어기면 감옥에 보내는 식임
    물론 모든 범위는 시각적으로 구분 안 되는 동형문자라서, 공정한 공개를 위한 소프트웨어 매개 준은닉 채널이 됨
    여러 출처에서 복사·붙여넣기해도 미묘한 문자 인코딩 차이로 출처 정보가 따라오며, 농담은 거의 1에 가까운 비율로만 하고 있음

    • 음식처럼 완전히 유기농 콘텐츠에도 시장 가치가 생길 것임
      인간이 쓰고, 그리고, 작곡하고, 편집하고, 큐레이션한 콘텐츠라는 뜻임
      다만 음식처럼 허용 범위를 정의하기가 악몽이고, 유기농임을 증명하기 어렵고, 인증은 신뢰망에 의존하며, 실제로는 피하려던 것에 오염되고, 심지어 더 나쁘다는 증거가 있어도 더 비싼 값을 받을 수 있음
    • Unicode에는 원래 텍스트 일부가 다른 언어에서 왔음을 표시하기 위해 만든 Tag Characters 범위가 있음
      이 용도는 HTML 태그 같은 상위 수준 표기로 대체되며 폐기됐지만 문자는 여전히 존재함
      보이지 않고, 연속된 태그 문자가 커서 이동에서는 하나의 문자처럼 동작한다는 점이 특이함
      ASCII를 반영하므로 임의의 JSON이나 다른 데이터를 그 안에 인코딩할 수 있어, 숨은 데이터나 폐기된 사용법으로 사람들을 짜증나게 해도 괜찮다면 LLM 생성 구간 표시에도 꽤 적합함
      https://en.m.wikipedia.org/wiki/Tags_(Unicode_block)
    • AI 생성을 어떻게 정의할지가 문제임
      숙제를 예로 들면, 학생이 전부 펜과 종이로 직접 쓰는 경우와 AI에게 전부 쓰게 하는 경우는 명확하지만, 온라인 백과로 조사했는데 그 백과가 AI로 답하는 경우, AI에게 글 구조·요점·결론만 받는 경우, 직접 쓴 뒤 오탈자·문법·문체 개선만 AI에 맡기는 경우는 애매함
      추가로 여러 주제의 글을 직접 쓴 뒤 AI에게 최고의 글을 고르게 하는 경우도 있음
    • 이런 법이 시행된 지 12밀리초 후면 인도에 타이핑 공장이 생기고, 인간 작업자가 AI 출처의 텍스트를 손으로 다시 베껴 쓰며 “데이터 세탁”을 하게 될 것임
    • 외국어로 쓴 글을 ChatGPT에게 영어로 번역하게 하면 AI 생성 콘텐츠인가
      종이에 쓴 글을 LLM으로 OCR하면 어떤가
      매우 상세한 개요를 주고 계속 고쳐 쓰게 하면서 확실하지 않은 사실은 가차 없이 제거하면 어떤가
      문법만 고치고 서툰 영어를 제대로 된 과학적 문체로 바꾸는 데만 AI를 쓰면 어떤가
      이런 경우 모두 최종 결과가 LLM에서 복사·붙여넣기된 형태여도, 답은 분명히 “아니다”라고 봄

  • AI 생성 콘텐츠는 본질적으로 평균으로의 회귀이고, 학습에도 인간의 효용에도 해로움
    AI가 생성할 수 있는 것을 굳이 공개할 이점은 없고, 그냥 직접 질문하면 됨
    AI 콘텐츠는 태그를 달아 공개할 수는 있겠지만, 그 외에는 공익보다 공해에 가까운 경우가 훨씬 많음

    • 그 논리라면 애초에 왜 무엇이든 써야 하나
      Shakespeare의 소네트도 이미 존재하던 단어들의 배열이고, 모든 수학 증명·소설·저널리즘도 가능한 기호 배열 공간 안의 한 구성일 뿐임
      무언가가 생성 가능했다는 사실은, 특정 목적·맥락·독자를 위해 생성됐을 때의 가치를 부정하지 않음
    • 몇 년 전까지만 해도 직관적으로 그럴듯했고, 제한적인 실험적 근거도 있던 믿음이었음
      하지만 이후 잘 큐레이션된 AI 생성물에서 여러 능력 돌파가 나오면서, 그 생각은 결정적으로 반박됐다고 봄
    • AI가 수정하거나 교정한 콘텐츠는 어떻게 봐야 하나
      요즘 블로그 글은 음성 메모로 받아쓰기하고, 전사한 뒤 CGPT나 Claude에 넣어 톤과 리듬을 다듬게 함
    • 직접 질문하면 인간 전문가가 내용을 검토하고 이름을 걸어 보증하는 단계가 없음
      그 큐레이션과 보증에는 가치가 있음
      물론 “그 사람들이 정말 그러겠어?”라고 바로 떠올릴 수 있고, 동의하지만 AI 이전에도 대체로 그런 일은 일어나지 않았음
      인터넷 콘텐츠의 대다수는 이미 저임금 필자들이 전문성 없이 급히 찍어낸 저품질 글이었고, AI가 그 점을 바꾸지는 않음
    • 말도 안 됨
      deep research 도구를 써본 적 있나
      유토피아 오류에 빠지면 안 됨
      인간도 쓰레기 같은 글을 공개함

  • 사람들이 생각하는 것만큼 큰 문제가 될지 확신이 안 듦
    장기적으로는 AI가 자동차 수리 매뉴얼을 읽는 대신 실제로 차를 고치는 식의 실제 경험에서 배우게 하는 것이 목표일 것임
    그러면 저작권 없는 학습 데이터를 무제한으로 얻고, AI로 오염된 학습 데이터 문제도 자연스럽게 피해 갈 수 있음

    • 환각이 인용되고, 결국 사실처럼 출처가 붙는 게 문제임
      예를 들어 “Connect Four가 내장된 MS-DOS 생산성 프로그램은 무엇인가?”라고 물어보면 됨
      MSDOS 에뮬레이터가 있고 정답도 아는데, 약간 obscure한 질문이라 그런지 AI마다 매번 다른 답을 내고 정답을 준 적은 못 봤음
      다시 확실하냐고 물으면 마음을 바꿈
      이런 답들이 온라인에 인용되고, 다시 AI가 그 순환 참조를 출처로 학습하면 그때는 진실이 사라짐
      정말로 위 질문을 해보면, AI가 완전히 지어낸 답을 권위 있게 반복하는 훌륭한 예시가 됨
    • 실제 경험으로 직접 데이터를 생성해야 한다는 건 매우 비싸고, 데이터 획득에 실제 운영 위험이 붙는다는 뜻일 수 있음
      Waymo는 실제 도로에서 차를 운행하며 경험을 얻지만, 단위 시간당 얻는 데이터의 한계는 차량 규모에 달려 있고, 현실에서 운행해도 안전한 수준의 능력에 먼저 도달해야 함
      자동차 수리를 하려는데 온정책 롤아웃 외의 지식 없이 시작한다면, 상당 기간 차를 많이 망가뜨리며 배우고, 로봇이 실패했다는 것을 알려줄 인간에게도 비용을 내야 함
      정비사가 매뉴얼을 보고 명시적 훈련을 받기를 바라는 데는 이유가 있고, 이런 비용 논리는 정비사가 인간이든 AI든 똑같이 적용됨
      오프정책 강화학습을 쓴다 해도, 그 데이터가 이전 세대 모델의 시연이면 여전히 AI 오염 학습 데이터임
    • YouTube에는 실제 자동차 수리 경험을 담은 학습 데이터가 엄청나게 많지만, 모두 저작권이 있음
      AI 기업이 학습 전에 이 콘텐츠를 라이선스해야 하는지는 논쟁거리임
    • 일반지능이 가능한 휴머노이드 로봇이 나오기 전에는 자동차를 수리하는 AI 시스템도 없을 것이라고 봄
      그런 로봇이 나오기 전에는 5성급 호텔의 AI 메이드도 없을 것임
      원래 말이 틀렸다는 뜻은 아니지만, 오늘과 그 시점 사이의 간격이 상상할 수 없을 만큼 커서 “AI 쓰레기가 언어 단어 빈도 데이터베이스를 오염시키는 건 걱정하지 말라, 언젠가 해결된다”는 말은 조금 빗나간 느낌임
    • 장기적으로는 AGI를 원한다는 뜻인가
      AGI가 나오면 스팸도 좋아진다는 말인가
      https://xkcd.com/810/

  • 선택한 용어가 우려를 무관한 것처럼 보이게 하도록 아주 절묘하게 골라졌다는 점이 마음에 듦
    대기권 핵실험 종료 이후 배경 방사선이 자연 수준에 가까워져, 새 강철도 방사성 신호가 충분히 낮아 대부분의 방사선 민감 용도에 특수 저배경 강철이 더는 필요 없게 됐다는 설명과 비슷함
    하지만 “오염되지 않은” 데이터가 필요하다고도, 그런 데이터를 찾기 어렵다고도, LLM 출력이 어차피 모든 것을 감염시킬 거라고도 보이지 않음
    LLM 데이터는 자연 배경의 Reddit 댓글보다 약간 나을지도 모르고, archive.org나 Gutenberg 같은 곳도 있음

  • 현재로서는 AI 오염이 AI 학습 실행에서 실질적인 문제라고 믿을 이유가 없음
    2022년 이전 공개 크롤링 데이터로 학습한 AI가 2022년 이후 크롤링 데이터로 학습한 AI보다 눈에 띄게 낫지 않음
    심지어 일부 경우에는 이유는 모르지만 최신 크롤링 데이터가 토큰당 성능이 약간 더 좋음

    • “저배경 강철” 발상 뒤에는 합성 데이터로 AI를 학습하면 AI가 완전히 미쳐 쓸모없어지는 모델 붕괴로 이어질 수 있다는 생각이 있음
      그런 일은 일어나지 않았거나, 모든 AI 기업이 내부적으로 AI 데이터를 걸러내는 작동하는 필터를 갖고 있는 것임
      전자에 걸겠음
      다만 AI 생성 데이터에 너무 많이 노출되면 인간에게 모델 붕괴 비슷한 일이 생길 가능성은 있다고 보지만, 그건 일화적 관찰과 직감에 가깝다
    • 이 추론은 여러 이유로 꽤 나쁨
      2022년 이후 LLM 학습은 훨씬 좋아졌고, 학습 데이터의 AI 쓰레기가 끼치는 악영향이 매개변수 규모 증가와 더 나은 학습 기법의 이득을 압도하지 않는다고 해서 악영향이 없다는 뜻은 아님
      “성능이 낫다”도 매우 느슨한 표현이고, 이를 의미 있게 측정하는 좋은 답도 아직 없음
      Gemini 2.5가 GPT-4o보다 낫다는 건 알 수 있지만, Gemini 2.5와 Claude 4 사이를 구분하는 건 더 까다로움
      지금 단계의 쓰레기 데이터 효과 크기는 같은 세대 모델 간 작은 차이 수준일 가능성이 큼
      데이터로 증명하기 어려울 만큼 작은 효과를 찾는 상황이라면, 이 경우에는 제1원리에서 출발하는 게 타당하고, 제1원리는 AI 생성 콘텐츠로 학습하지 않는 편이 좋다고 분명히 말함
    • 아직 사람들은 본격적으로 쓰레기 콘텐츠를 생성하기 시작하지 않았고, 앞으로 훨씬 늘어날 것이라고 봄

  • AI 콘텐츠에 그다지 알레르기가 있지는 않지만, 저배경 강철 비유는 감탄스럽다
    훌륭함

    • 나도 AI 콘텐츠에 알레르기가 있는 건 아님
      이 사이트를 만든 이유는 인간이 만들었다고 아는 것들을 추적하기 위해서였음
    • 이건 공포증이라기보다 AI를 자기 출력으로 학습시키는 일을 피하려는 쪽에 가까워 보임
      최근 동료들과도 이야기하던 주제임
      AI 이전 콘텐츠는 앞으로 더 귀해질 수밖에 없는데, 다시는 더 만들 수 없는 것이기 때문임
      이상적으로는 2015년쯤 이용 가능했던 모든 데이터에 암호학적 타임스탬프를 찍어뒀어야 하지만, 지금은 지금 상황에서 해야 함

  • 오늘은 묘하게 예언자가 된 기분임
    https://news.ycombinator.com/item?id=44217676

    • 이 예시는 Hacker News에서 적어도 1년 전, 아마 그보다 더 오래전에 들었음
      2년 전 글도 있음: https://news.ycombinator.com/item?id=34085194
    • 이 비유는 ChatGPT 출시 이후 흔한 비유였음
    • 그 생각은 정말 틀렸다고 봄
      콘텐츠와 합성 데이터를 주석 처리하는 과정은 AI 출력을 미래 출력을 더 좋게 만드는 기울기로 바꿀 것임
      LLM 출력에서는 덜 분명할 수 있지만, 이미지와 영상 모델에서는 아주 명확해야 함
      시스템의 최고의 시각 출력들을 선택하는 과정에서, 도입된 작은 오류와 취향 기반 큐레이션이 시스템을 더 나은 성능과 더 높은 일반성으로 이끌 것임
      유전체를 합성 기계로, 물리를 확률적 기울기로 본다면 생명과 유전이 모든 생태적 틈새에 적응하는 것과 다르지 않음
      우리는 같은 일을 빠르게 돌리고 있는 셈임
    • 잘했음
      AI “오염”이 없는 콘텐츠라는 식의 프레이밍은 예전에도 들어본 것 같고, 이미 떠돌던 아이디어였다고 봄
      다만 저배경 강철 비유가 적절하다는 점만큼은 성공적인 예측이었다고 편하게 주장해도 됨

  • 중고 종이책, 특히 “reading copies”나 “ex-library”로 불리는 낡았지만 쓸 만한 책들이 중고책 시장에서 헐값에 팔리고 있음
    기본 참고서를 포함해 자기만의 물리적 도서관을 만들고, 지역 공공도서관과 대학 도서관을 지원하는 걸 추천함
    전문 분야와 관심 분야의 논문도 종이 사본으로 갖춰두면 좋음
    조상들의 방식을 따르라는 뜻임
    AI가 사실에 대해 대놓고 거짓말한 적이 있었고, 모든 경우에 AI를 설득하지는 못했더라도 내가 맞았다는 걸 스스로 확인할 수 있는 물리적 도서관이 있어서 다행이었음

  • 이 비유가 잘 맞나
    새 저배경 강철을 만드는 건 방사성 입자가 어디에나 있어서 극도로 어렵지만, AI 없는 콘텐츠를 만드는 건 어렵지 않음
    그냥 AI로 쓰지 않으면 됨

    • 어떤 작품이 AI가 없다는 걸 증명하는 건 불가능하지 않더라도 완전히 비현실적임
      그래서 본인 외에는 아무도 확신할 수 없음
    • 새 저배경 강철을 만드는 게 어려운 건 아님
      회수해서 쓰는 편이 더 싸기 때문임
    • 누가, 무슨 이유로, 어떤 돈으로 그런 AI 없는 콘텐츠를 만들 것인가
    • 그냥 낚시성 제목일 뿐임

  • 이 사이트 이름부터 Y combinator에서 따왔음
    약간의 철학적 손짓을 제외하면, 추론 모델에게 요구해야 할 능력 중 하나는 콘텐츠를 입력받아 콘텐츠를 출력하고 다시 그 콘텐츠를 소비하는 함수의 고정점을 찾는 능력임
    원래 인간 콘텐츠, 원래 콘텐츠에서 파생된 콘텐츠, 다시 그 파생 콘텐츠에서 파생된 콘텐츠가 뒤섞인 데이터를 재귀적으로 학습해도, 기반 시스템의 두드러진 특징과 패턴을 추출할 수 있으리라 낙관함

답변달기