SB-1047으로 오픈소스 AI 위축과 안전성 저하 우려

 (answer.ai)
1P by GN⁺ | ★ favorite | 댓글 1개
  • SB-1047은 안전한 AI 개발을 목표로 하지만, 현재 조항은 오픈소스 개발자와 소규모 기업에 과도한 부담을 줄 수 있음
  • 개발 제한이 강해지면 투명성·협업이 줄어들어 더 넓은 전문가 커뮤니티가 안전 문제를 찾고 고치는 능력도 약해질 수 있음
  • “covered model” 정의가 넓고 의무적 중단·보고·지침 준수 요구가 커서, 선의의 오픈소스 모델 개발까지 위축될 수 있음
  • 감사, 법률 자문, 수수료, 민사 벌칙 가능성은 스타트업과 연구자에게 진입 장벽과 자기검열 압박으로 작용할 수 있음
  • 더 나은 접근은 모델 개발 자체보다 고위험 사용처를 규제하고, 오픈소스 지원·산학관 협력·정부 AI 전문성 투자를 병행하는 것임

SB-1047에 대한 기본 입장

  • 이 글은 Jeremy의 SB-1047 법안 작성자 대상 개인 제출문이며, Answer.AI의 공식 입장은 아님
  • SB-1047이 추구하는 안전하고 보안성 있는 AI 개발이라는 목표 자체는 긍정적으로 볼 수 있음
  • 문제는 현재 법안의 일부 조항이 오픈소스 개발자, 소규모 기업, AI 생태계 전반의 혁신에 부정적 영향을 줄 수 있다는 점임
  • 오픈소스 개발이 제한되면 AI 안전성도 함께 약해질 수 있음
    • 투명성·협업이 줄어들면 더 많은 전문가가 잠재적 안전 문제를 식별하고 해결하기 어려워짐
    • 통제가 소수 대형 주체에 집중되면 다양성·복원력이 낮아지고, 단일 실패 지점과 시스템적 위험 가능성이 커짐

오픈소스 개발 위축 우려

  • 오픈소스는 미국 소프트웨어 산업의 성공을 가능하게 한 핵심 요소이며, 많은 사람이 중요한 소프트웨어 도구에 접근할 수 있게 해왔음
  • 현대 AI의 기본 구성 요소 상당수도 오픈소스에서 나오며, 학술 연구와 안전·보안 연구 역시 거의 모두 오픈소스 기반으로 진행됨
  • 오픈소스가 약해지면 개발자, 소비자, 학계, 신규 스타트업 모두가 영향을 받음

  • 지나치게 넓은 “covered model” 정의

    • 법안의 “covered model” 정의가 매우 넓어, 위험이 낮은 다양한 오픈소스 모델까지 포함될 수 있음
    • 그 결과 유익한 AI 프로젝트를 수행하는 선의의 개발자 활동도 의도치 않게 범죄화될 수 있음

  • 범용 도구에 대한 책임 문제

    • AI 모델은 워드프로세서, 계산기, 웹브라우저처럼 컴퓨터에서 실행되는 범용 소프트웨어에 가까움
    • 웹브라우저나 계산기 개발자가 모든 악용을 막을 수 없듯, 모델 제작자도 모델이 절대 해로운 일에 쓰이지 않도록 보장하기 어려움
    • 이런 책임을 범용 도구 제작자에게 부과하면, 충분한 법무팀을 갖춘 대기업 외에는 사실상 도구를 만들기 어려워질 수 있음

  • 개발자 요구사항의 부담

    • 법안은 개발자에게 의무적 중단, 광범위한 보고, 모호할 수 있는 “covered guidance” 준수 같은 부담을 부과함
    • 복잡한 규제 절차를 감당할 자원이 부족한 오픈소스 개발자에게 이런 요구사항은 더 크게 작용함
    • 법적 결과와 관료적 절차에 대한 두려움은 오픈소스 개발 참여를 줄이고, AI 발전을 이끈 협업 문화를 약화시킬 수 있음
    • 투명성이 줄어들면 잠재적 안전 문제를 찾고 해결하는 일도 더 어려워짐

소규모 기업과 연구 생태계에 미치는 영향

  • 제안된 규제는 AI 분야에서 혁신하려는 소규모 기업과 스타트업에 큰 진입 장벽을 만들 수 있음
  • 규제 준수 비용과 법적 위험은 창업자를 위축시키고 경쟁을 제한할 수 있음
  • 그 결과 혁신 속도가 느려지고, 권한이 기존 대기업에 더 집중될 가능성이 있음

  • 비용과 법적 위험

    • 수수료, 감사, 법률 자문 등 규제 준수 비용은 소규모 기업과 스타트업에 큰 부담이 됨
    • 이런 비용 구조는 경쟁을 제한하고 기존 대기업에 권한을 집중시켜 혁신을 저해할 수 있음

  • 연구 위축과 인재 유출

    • 법안 조항을 의도치 않게 촉발할 수 있다는 두려움은 연구자와 개발자의 자기검열로 이어질 수 있음
    • 유망한 AI 연구 방향을 피하게 되면 과학적 진전과 사회 문제 해결을 위한 AI의 잠재력이 제한됨
    • 제한적인 환경은 유능한 AI 연구자와 개발자를 캘리포니아 밖으로 이동하게 만들 수 있음
    • 이는 캘리포니아 경제에 피해를 주고 AI 혁신 리더십을 약화시킬 수 있음

캘리포니아와 미국 AI 혁신에 대한 파급

  • 캘리포니아는 특히 기술 분야에서 미국 혁신을 이끄는 중요한 역할을 함
  • SB-1047이 AI 개발에 과도한 부담을 부과하면 이 핵심 분야에서 캘리포니아의 리더십이 약해질 수 있음
  • 그 영향은 미국 전반으로 퍼져 AI 연구개발의 전체 진전을 늦출 수 있음

제안된 대안

  • AI 모델 개발 자체를 규제하기보다, AI 애플리케이션과 실제 위험에 초점을 맞추는 접근이 필요함

  • 오픈소스 개발 지원

    • AI 모델의 오픈소스 개발을 장려하면 협업과 투명성을 높이고, 더 다양하고 복원력 있는 AI 생태계를 만들 수 있음

  • 개발보다 사용 규제에 집중

    • 규제의 초점은 AI 모델 개발이 아니라 AI의 사용 방식이어야 함
    • 특히 공공 안전과 보안에 높은 위험을 초래하는 애플리케이션에 집중할 필요가 있음
    • 의료, 형사사법, 핵심 인프라처럼 피해 가능성이 큰 영역에서 AI 사용을 규제하면, 해로운 사용에 대한 책임을 확보하면서 AI 기술 발전도 이어갈 수 있음

  • 투명성·협업·전문성 투자

    • 산업계, 학계, 정부 간 협력을 통해 책임 있는 AI 개발을 위한 모범 사례 개발과 채택을 장려할 수 있음
    • 산업 표준 마련, 오픈소스 개발 촉진, AI 안전 연구 투자가 함께 필요함
    • 정부 기관이 AI 전문성을 갖추도록 자원을 제공하면 잠재적 위험을 더 효과적으로 모니터링하고 대응할 수 있음
    • 이런 접근은 안전과 혁신의 균형을 맞춘 더 정교한 AI 규제를 가능하게 함

우려되는 구체 조항

  • Section 22602 (f): “covered model” 정의가 지나치게 넓어 다양한 오픈소스 모델을 포함할 수 있음
  • Section 22603 (b): 개발자 요구사항이 과도해 오픈소스 개발을 위축시킬 수 있음
  • Section 22606 (a): 민사 벌칙 가능성이 연구와 혁신에 냉각 효과를 만들 수 있음
  • Section 11547.6 (c)(11): 수수료 부과 권한이 소규모 기업의 진입 장벽을 만들 수 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • 모델 제작자가 모델이 해로운 일에 절대 쓰이지 않도록 보장할 수는 없고, 이는 웹브라우저·계산기·워드프로세서 개발자도 마찬가지임
    이런 범용 도구 제작자에게 책임을 지우면, 실제로는 충분한 법무팀을 둔 대기업 말고는 이런 도구를 만들 수 없게 됨. 기술이 “해로운 목적”에 쓰이지 않도록 보장하는 것은 거의 불가능하고, 이런 조항은 LLM 개발에서 대기업 외의 참여자를 막는 또 하나의 장벽이 될 듯함

    • 이 법은 무언가를 보장하라고 요구하는 게 아니라, 아직 정해질 모범 관행을 따르고 안전 사고를 보고하라는 정도로 이해됨
      안전 사고 자체에 대한 책임을 지는 것도 아니고 보고만 하면 되며, 다소 곤란할 수는 있어도 전반적으로 꽤 합리적으로 보임
    • 새 Frontier Model Division은 정보를 받고 가이드라인을 내는 조직일 뿐, 허가제도 아니고 개발자를 조사하는 기관도 아님
      고성능 모델이 나쁜 일, 심지어 재앙적 피해에 쓰였다고 해서 자동으로 책임지는 것도 아니며, 합리적인 예방 조치를 했는지가 핵심임. 개발자의 과실 여부와 무관하게 재앙적 피해에 책임을 지우는 엄격책임 방식도 가능했지만 이 법안은 그렇게 하지 않음
      전체적으로, 모델이 재앙적 피해를 일으킬 수 있다면 현재 모델에는 해당하지 않더라도 미래 모델에는 가능할 수 있으니, 예측 가능하게 그런 피해를 일으킬 수 있는 방식으로 배포해서는 안 된다는 취지라 꽤 합리적임
      법안의 구체 내용을 알고 싶다면 Zvi의 자세한 글을 추천함. 개인적으로는 가장 심각한 위험에 초점을 맞춘 꽤 좁은 제안이며, 예컨대 EU AI Act보다 훨씬 좁다고 봄: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
    • 피해의 임계값을 정하지 않으면 그 주장은 의미가 없음
      그렇지 않으면 오픈소스 생물학 작용제 연구, 오픈소스 핵탄두, 오픈소스 인간 복제 프로토콜을 막는 것도 함께 비판해야 함. 이들도 모두 이중용도 기술이고, 객관적으로는 도덕적으로 중립적임
    • 매우 위험한 물건을 만드는 사람은 그에 대한 책임을 져야 하거나, 생산 자체가 강하게 규제돼야 함
      길모퉁이에서 수류탄을 팔도록 허용하지 않는 것과 같음. 책임에서 도망치려는 태도는 대형 기술기업에서 가장 마음에 들지 않는 부분 중 하나임
    • 법안 아래쪽에 숨어 있는 피해의 정의는 대량 사상자를 낳는 화학·생물·방사능·핵무기 생성이나 사용, 중요 기반시설 사이버공격으로 5억 달러 이상의 피해, 사람이 했다면 형법 위반이 될 행위를 AI 모델이 자율적으로 수행해 5억 달러 이상 피해를 내는 경우, 그리고 그와 비슷한 수준의 공공 안전·보안 위협임
      이는 신약 개발과 재료과학용 AI, 전력망과 광대역 트래픽 관리용 AI, 금융·의료 서비스 AI 등을 포함할 수 있음. 군산복합체 쪽은 연방 계약만 관련된다면 이 법이 아예 건드리지 못할 수도 있음. 기밀 군사용 AI 개발은 무모해 보이고, War Games를 안 본 건가 싶음
      https://technologymagazine.com/top10/top-10-military-technol...
      적어도 오픈소스라면 능력이 더 즉각적으로 드러남

  • 정치권이 오픈소스 AI를 매우 강하게 겨냥하고 있어서 미친 상황처럼 보임
    Soros는 기업 AI 프로젝트와 정부 AI 프로젝트의 결합이, 기업 혁신을 멀리했던 냉전기 독재자들보다 더 강력한 위협을 만든다고 했음. “억압적 정권과 IT 독점의 결합은 그런 정권에 열린 사회보다 내장된 우위를 준다. 그들은 열린 사회에 치명적 위협을 가한다”는 내용임
    https://www.wired.com/story/mortal-danger-chinas-push-into-a...
    전 세계 영향력을 추구하는 쪽은 말 그대로 모두 AI에 군침을 흘리고 있음. 곧 금지될지도 모르는 큰 llama3 모델을 돌리려고 512GB Mac Studio가 나오면 사야 하나 진지하게 고민될 정도임

    • 누군가 정치권과 상업용·폐쇄형 AI 사이의 관계를 탐사보도로 파헤쳐 줬으면 함
      OpenAI 같은 회사의 투자자나 수혜자들이 정치인과 가까운 관계를 맺고 있을 수 있음. 직접 연결고리는 없을 가능성이 크고, 그런 연결을 감추고 그럴듯한 부인을 가능하게 만드는 데 이미 매우 능숙해졌을 것임
    • 장기 계획을 잘 모르겠고, 어쩌면 입법자들이 이 분야가 장기적으로 어디로 가는지 이해하지 못한다고 봄
      아직 정말 초기 단계임. 학계가 크게 실패하지 않는 한, 5년쯤 뒤에는 교수 연구 클러스터에서 현재 최첨단 수준의 모델을 학습시킬 수 있을 것이고, 아마 R1 대학에만 국한되지도 않을 것임
      장기적으로는 도서관 한 곳 분량의 텍스트에 접근할 수 있는 사람이라면 누구나 쓸 만한 모델을 만들 수 있게 될 것 같음. 우리 뇌에 마법 같은 것은 없으니, 언젠가는 인간을 가르치는 데 필요한 책 수 정도로 컴퓨터에 읽고 쓰기를 가르칠 수 있을 것임. 설령 우리보다 10배 멍청하더라도, 보통 미국인이 평생 수백 권의 책을 읽는데 전자책 수천 권 이상 소유하려면 허가를 받으라고 할 건가 싶음
    • AI 지지자들이 맞다면, AI는 당연히 거대한 불안정화 위협임
      자율성이 전혀 없고 전부 프롬프트 결과일 뿐인 더 약한 버전이어도, 약속한 성능을 실제로 제공한다면 심각하게 불안정해질 것임. 거의 비용이 0에 가까운 가짜 모든 것이 가능한 세상에 우리는 전혀 준비돼 있지 않음
      반면 기존 ITAR처럼 실제 안전과는 거의 관계없는 매우 이상한 규칙으로 나타날 가능성도 큼
    • 실행만 가능하면 되고 속도는 상관없다면 Dell R720에서도 돌릴 수 있음. 수백 GB RAM을 지원하고, https://ollama.com/로 다운로드도 쉬움
      Mac Studio보다 훨씬 저렴함. 몇백 달러에 R820을 샀고 RAM 256GB가 들어 있으며 더 많이 확장할 여지도 있음

  • 블로그에 안 나와 있어서 덧붙이면, 2024년 2월 7일 Scott Wiener 상원의원이 캘리포니아 주의회에 SB-1047을 발의했음
    정식 명칭은 Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act이고, 고급 AI 모델의 개발과 사용을 규제하려는 법안임. 개발자가 AI 모델 학습 전에 특정 안전 판단을 내리고 여러 안전 요건을 준수하며 AI 안전 사고를 보고하도록 요구함. 또한 Department of Technology 안에 Frontier Model Division을 만들어 감독하고, 위반 시 민사 벌금을 도입함
    https://www.dlapiper.com/en/insights/publications/2024/02/ca...

  • 이런 규제가 기존 선도 AI 기업에 유리한 고착 효과를 만들고 신규 진입을 불가능하게 할까 걱정됨

    • 그것은 규제 포획이라고 부르며, 여기서 충분히 벌어지고 있을 수 있음
    • 프런티어 모델 비용이 이미 1억 달러 이상이니 그 배는 이미 떠난 것 같음
      처음부터 10억 달러쯤 조달할 수 있는 완전히 미친 팀이 아니면 경쟁할 기회가 없음
    • 어떤 사람들은 그게 의도된 목적이라고 할 수도 있음

  • 믿기 힘듦. Scott Wiener의 주택 정책은 좋아하지만, 이 법안은 정부의 과도한 개입이 만연해 있음
    아이러니하게도 그가 오랫동안 싸워 온 NIMBY 시스템과 같은 효과를 낼 것임
    비파생 적용 모델 학습을 시작하기 전에, 제한 의무 면제 대상이 될 때까지 해당 모델을 신속히 완전 중단할 수 있는 기능을 구현하라는 식임. 결국 허용받은 것만 학습할 수 있다는 뜻처럼 보임
    당연히 수수료 부과 권한을 가진 새 부서도 따라옴. Frontier Model Division을 만들어 개발자의 연간 인증 보고서를 검토하고 요약 결과를 공개하며, 관련 수수료를 부과해 별도 기금에 넣을 수 있게 함
    그리고 당연히 컨설턴트에게 돈도 내야 함. Department of Technology가 컨설턴트에게 CalCompute라는 공공 클라우드 컴퓨팅 클러스터를 만들도록 맡기며, 대규모 AI 모델의 안전하고 보안성 있는 배포 연구와 공정한 혁신 촉진을 주된 목표로 삼는다고 함

    • 즉시 완전 중단할 수 있는 기능을 구현하라는 건, 꺼버릴 수 있어야 한다는 뜻임
      쉬워야 하지 않나 싶고, 그래도 끌 수 있음을 보장하는 건 좋은 일로 보임

  • 장기적으로 AI 스타트업에 가장 좋은 주가 어디일지 궁금함
    원래는 캘리포니아라고 봤겠지만, 이제는 규제로 과속할 가능성이 낮은 주를 고르는 게 더 중요해 보임. 워싱턴은 아직 이런 움직임이 없고, 주 소득세가 없으며 Seattle/Redmond에 AI 엔지니어와 연구자가 많아서 여기 있음. Texas도 규제를 추가하지 않을 가능성이 크고 Austin에 있으면 비슷한 장점이 있음. 캘리포니아가 규제로 산업을 밀어내면 다른 어디가 떠오를까?

    • 1년 내내 날씨가 좋고, 이미 큰 도시권이 있으며, 캘리포니아보다 법과 세금이 나은 주가 핵심임
      그래서 Texas와 Florida 도시들이 성장 중임. Seattle은 날씨가 나쁘고, Washington은 춥고, 큰 도시들은 잘 관리되지 않아 부유한 가족에게 살기 매력적이지 않음
    • 주 정치도 중요하지만, 전기요금과 새 데이터센터용 부동산 확보 가능성도 중요함
      캘리포니아는 전기요금이 특히 높고, 새 산업시설 건설도 어렵게 만듦. 냉각 수요에 도움이 될 수역 근처라면 더 그렇음. 기업이 일부 직원을 캘리포니아에 둘 수는 있어도, 하드웨어는 다른 곳에서 돌아갈 가능성이 큼
    • Miami 인구는 이런 법에 이념적으로 매우 반대하는 성향이 강함
    • Tennessee가 가능함. 전력 수요를 감당할 댐이 있음

  • 이 글은 매우 나쁜 글이고 LLM 생성물 냄새가 남
    이 법안을 실제로 이해하고 싶다면 Zvi의 분석을 읽는 편이 낫다: https://thezvi.substack.com/p/on-the-proposed-california-sb-...

    • Zvi는 이 법안의 중요한 부분 몇 가지를 놓친 것 같음
      예를 들어 적용 모델의 상업적·공개적·광범위한 사용을 시작하기 전에, 긍정적 안전 판단이나 제한 의무 면제가 없다면 개발자는 “개인이 해당 모델을 사용해 중대한 피해를 일으킨 파생 모델을 만들 수 없도록 방지”하는 합리적 보호장치와 요건을 구현해야 한다고 되어 있음
      이는 단순히 불가능함. 모델 가중치를 주면 나는 분명히 미세조정해서 적용 피해를 일으키도록 만들 수 있음. 예컨대 화학·생물무기 제작 지침을 제공하게 할 수 있음. 이 요건은 충족 불가능하고, 충족하지 못하면 적용 모델을 배포할 수 없음
    • “LLM 생성물 냄새”라는 말과 관련해, Answer.AI는 기초 연구 돌파구를 바탕으로 실용적인 최종 사용자 제품을 만드는 새로운 종류의 AI 연구개발 연구소라고 소개함
      회사나 저자가 내부 제품을 직접 써봤을 가능성이 매우 큼
    • 글의 출처를 둘러싼 논쟁으로 빠지지 말고 본문의 실질에 집중했으면 함

  • “적용 모델”은 두 기준 중 하나를 만족하는 AI 모델임
    첫째, 10^26회를 넘는 정수 또는 부동소수점 연산량으로 학습된 모델. 둘째, 2024년 기준 10^26회를 넘는 연산량으로 학습된 AI 모델과 비슷하거나 더 높은 성능을 낼 것으로 합리적으로 예상되는 만큼 큰 연산량으로 학습된 모델이며, 이는 최첨단 기초 모델의 일반 성능을 정량화하는 데 흔히 쓰이는 벤치마크로 평가됨
    기본 CPU 구조 수업만 들어도 정수 연산과 부동소수점 연산은 계산 부담이 크게 다르다는 걸 앎. 어떤 주체가 법정에서 이 표현을 이용해 사후적으로 적용 기준을 크게 낮출 수 있음. 예컨대 부동소수점 1회가 정수 연산 10회와 같으니 한계는 정수 10^26회 또는 부동소수점 10^25회라고 주장할 수 있음
    오늘의 벤치마크를 기준으로 더 나은 알고리즘까지 미래 대비하려다 보니, 노력량 자체가 더는 중요하지 않은 지점까지 감. 오늘의 벤치마크가 실제 능력을 반영하든 아니든 거기에 기준선을 긋는 것처럼 보임. 작은 모델이 이런 벤치마크에서는 일부러 낮은 성능을 내면서, 핵무기 제작 같은 그들이 걱정하는 과제에는 뛰어나도록 학습될 수도 있음

    • 법안에는 더 흥미로운 조각도 있음
      적용 모델 학습을 시작하기 전에 개발자가 해당 모델이 모든 벤치마크에서 더 낮은 성능을 낼지 판단할 수 있다고 되어 있는데, 학습 전에 성능을 어떻게 안다는 건가 싶음
    • 정수 연산은 제쳐두고, 부동소수점 정밀도는 무엇을 기준으로 하나? 그것만으로도 숫자가 크게 왜곡될 수 있음
    • 어떤 의미에서는 이것이 주머니 속에서 돌아가는 범용 인공지능을 만들게 할 수도 있음
      쓸 수 있는 상한이 생기면 인간의 독창성이 그 범위 안에 들어맞는 방향으로 모일 것임. 물론 이는 미국만의 이야기임. 중국, 러시아, 북한, 이란 등은 여전히 이 기술을 자유롭게 추구할 수 있음

  • 이 글 전체가 ChatGPT로 작성된 것처럼 느껴짐
    예를 들어 원 법안조차 인용하지 않고 오픈소스의 가치에 대해 계속 모호한 주장만 함

    • 요점을 글머리표 목록으로 요약하려는 열의도 ChatGPT식 표현임
    • 이런 단정은 곧 사이트에서 금기처럼 될 것 같음
      토론에 무엇을 더해 주는지 모르겠고, 반박으로 기능하는 논증이 있는지도 의문임

  • AI 모델의 개발 자체를 규제하기보다, 특히 공공 안전과 보안에 높은 위험을 초래하는 응용 영역을 규제해야 한다는 제안이 마음에 듦
    의료, 형사사법, 중요 기반시설처럼 피해 가능성이 가장 큰 고위험 영역에서 AI 사용을 규제하면, AI 기술의 발전은 계속 허용하면서도 해로운 사용에 대한 책임을 보장할 수 있음. 이 접근에 반대할 좋은 논거가 있는지 궁금함

답변달기