개빈 뉴섬, SB 1047 AI 안전 법안 거부

 (wsj.com)
1P by GN⁺ | ★ favorite | 댓글 1개
  • 캘리포니아 주지사 Gavin Newsom이 AI 안전 법안 SB 1047을 거부하면서, AI 규제 범위를 둘러싼 논쟁이 이어짐
  • 거부 이유의 핵심은 법안이 가장 크고 비용이 많이 드는 AI 모델에만 적용돼 범위가 좁다는 점임
  • Newsom은 모델이 고위험 상황에 배포되는지 여부를 법안이 고려하지 않는다고 봄
  • OpenAI와 Meta는 법안에 반대했고, AI 기술을 개발한 저명한 연구 과학자들은 지지함
  • Newsom은 SB 1047보다 더 포괄적인 AI 규칙을 추진하려는 입장임

거부 결정과 이해관계

  • 캘리포니아 주지사 Gavin Newsom은 논란이 된 AI 안전 법안 SB 1047을 거부함
  • 이 법안은 대형 기술 기업들과 AI 기술을 개발한 저명한 연구 과학자들을 서로 맞서게 만든 사안임
  • OpenAI와 Meta는 법안에 반대했고, 연구 과학자들은 지지함

법안 범위와 거부 이유

  • Newsom은 거부 메시지에서 법안의 적용 범위가 제한적이라고 판단함
    • 법안은 가장 크고 비용이 많이 드는 AI 모델에만 적용됨
    • AI 모델이 고위험 상황에 배포되는지 여부를 고려하지 않음
  • Newsom은 이 법안보다 더 포괄적인 AI 규칙을 원하고 있음

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...

  • Newsom의 결정은 훌륭했음. 캘리포니아 의회는 매우 활발하지만 최근 몇 년은 유행 따라가기식 입법이 너무 심했고, Wiener의 의제 중 특히 주택 정책은 지지하지만 이 법안은 완전히 빗나갔다고 봄
    사실상 오픈 모델을 겨냥한 어뢰였고, OpenAI나 Anthropic 같은 선두 업체는 이 법안이나 오픈 모델 전반을 크게 걱정하지 않았음. 지지자는 Musk 같은 후발 주자들이 하위권을 정리하려는 쪽이거나, 서방의 적대 세력과 조심스러운 저작권 보유자처럼 자신들이 통제하지 못하는 AI를 반대하는 쪽에 가까웠음: https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...

    • Newsom이 거부권을 행사한 이유 중 하나는 이 법안의 적용 기준이 현재 어떤 모델보다도 훨씬 높은 데 있었고, 그는 이 법안이 완전히 건드리지 않는 훨씬 작고 훈련 연산량이 낮은 모델까지 더 넓게 제한하는 방안을 원했음
      또 OpenAI는 Google, Meta와 함께 이 법안에 대한 조직적 반대를 주도했고, Anthropic은 오히려 주요 지지자였음
    • 이 법안이 오픈 모델을 겨냥한 어뢰라면 왜 Google, Microsoft, OpenAI가 반대했는지 의문임. 그들이 가장 큰 이익을 볼 위치 아닌가?
    • 큰 신산업을 죽일 수 있는 법안은 만든다 해도 사후 대응적이어야 함. 이건 형편없는 법안이었고, 주지사의 결정이 다행임
    • 속도를 늦추고 양쪽을 들어봐야지, AGI가 1~2년 안에 오고 T1000이 잡으러 온다고 믿는 쪽 말만 들어선 안 됨
      LLM은 특히 전용 하드웨어가 더 만들어질수록 밝은 미래가 있다고 봄. 대부분의 문제는 시장이 해결할 수 있고, 잘못된 방향으로 가거나 독점과 남용이 명확해질 때 정부가 개입해야지, 양극단의 넓은 추측만으로 움직이면 안 됨
    • 나도 대체로 Wiener와 정치적으로 잘 맞고 특히 주택과 대중교통 쪽은 그렇지만, 이번 법안은 아니었음

  • https://legiscan.com/CA/text/SB1047/id/3019694
    이 법안은 특정 규모를 넘는 모델에 오픈 가중치를 제공하는 것을 불법화하고, 그런 모델을 훈련할 만큼의 연산 자원을 팔기 전에 고객이 법을 무시하고 모델을 훈련하지 않을지 확인하게 만들며, 모델이 재난을 돕지 않고 꺼질 수 있다는 걸 입증하는 감사 요건을 강제하는 법안으로 보임

    • 감사는 아무것도 증명할 수 없고, 미래를 계획하는 데도 가치가 없음. 감사는 잠재적 위험 요소에 대한 통찰을 주는 순수한 사후 회고 도구일 뿐임
      그리고 “꺼질 수 있어야 한다”는 대목은 입법자들이 Star Trek 에피소드가 아니라 현실 안에서 움직였으면 좋겠다는 생각이 듦
    • “특정 규모를 넘는 모델에 오픈 가중치를 제공하는 것을 불법화한다”는 내용은 법안 어디에도 없음. 법안 반대자들 때문에 많은 사람이 그렇게 오해하게 됐을 뿐임
    • 이 법안은 근본 원인을 “어쩌면 컴퓨터가 너무 똑똑해서”로 잘못 잡고, “인간과 기업이 도구를 악하게 사용하면 책임져야 한다”는 쪽을 놓친 입법처럼 들림
    • 아주 나쁜 법임. 이 법을 찬성하는 사람들, 특히 기업들은 자기들이 시장을 독점하려는 게 아닌지 감시받아야 함
    • 제안된 법이 너무 터무니없이 멍청해서 캘리포니아에 산다면 다음 선거에서 Anthony Weiner의 상대에게 투표하는 걸 진지하게 고려해야 함
      이 사람에게 권력을 맡기기 어렵고, 그가 밀어붙인 우스꽝스러운 법이 이번이 처음도 아님. 대표적으로 그는 명백히 위헌적인 AB2098 뒤에 있었고, 이 법은 법원에서 깨지기 전에 캘리포니아 주의회가 조용히 폐지했음: https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
      https://www.sfchronicle.com/opinion/openforum/article/COVID-...
      이건 당파 문제가 아님. 정치적 성향이나 “AI 안전”에 대한 입장과 무관하게, 이런 끔찍한 판단력과 입법을 통한 자기과시보다 더 신중한 대표를 원해야 함

  • 관련 글들. 더 있나?
    OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - 2024년 9월, 댓글 26개
    Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - 2024년 6월, 댓글 8개
    California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - 2024년 6월, 댓글 2개
    California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - 2024년 5월, 댓글 42개
    California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - 2024년 5월, 댓글 11개
    Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - 2024년 5월, 댓글 35개
    California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - 2024년 4월, 댓글 16개
    SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - 2024년 4월, 댓글 190개
    Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - 2024년 4월, 댓글 103개
    On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - 2024년 2월, 댓글 115개

  • 대형 AI 모델의 즉각적 위험은 지구를 클립으로 바꾸는 게 아니라 사기 서비스화를 만들고 아무것도 신뢰할 수 없는 사회를 만드는 데 있음
    X개 이상의 매개변수를 가진 모델이 만든 이미지, 오디오, 비디오에는 AI 생성이라는 메타데이터를 붙이게 하는 다소 서툰 법이라도 찬성할 수 있음. 그런 태그를 붙이지 않는 모델을 만드는 건 금지하는 식임
    다만 명백한 문제는 AI 이미지의 스크린샷을 찍어 메타데이터 없이 다시 올리는 것까지 불법화해야 한다는 점이고, 특히 이미지는 집행이 완전히 엉망이 될 수 있음. 무엇보다 이 분야의 모든 조치는 “나쁜 행위자”가 무엇을 하는지는 우리가 사실상 통제할 수 없다는 전제에서 만들어져야 함. 책임 있게 행동한다는 건 돈을 포기한다는 뜻이고, 그 돈은 덜 책임 있는 국가가 가져가게 됨

    • 오픈 모델에서는 누구나 그런 태깅 기능을 꺼버릴 수 있으니, 태그 없는 출력을 금지한다는 건 말이 안 됨
    • 신뢰할 수 없는 콘텐츠를 분류하려는 법은 실패할 운명처럼 보임. 반대로 신뢰성을 전달하는 더 나은 방법을 찾아야 하고, 법을 더 추가한다고 여기서 도움이 될지도 모르겠음
    • AI 이미지 검증의 가장 현실적인 방법은 생성기가 만든 모든 이미지의 지문을 저장하는 것이라고 봄
      나중에 어떤 이미지가 나오면 Meta든 누구든 “이거 너희가 만든 것 같나?”라고 물어볼 수 있음. YouTube의 콘텐츠 ID나 CSAM 탐지처럼 이미 비슷한 기술이 존재함. 완벽하진 않지만, 모든 이미지 생성을 잠그려는 시도의 거대한 부작용 없이 도움이 될 수 있음
    • 사기에 쓰이는 경우에는 AI 콘텐츠 표시를 의무화하는 법을 만들면 됨
    • 지구를 클립으로 바꾸는 일은 당장 일어나지 않을 테니 그 위험은 안전하게 무시해도 됨

  • 기사에서 법안이 다루는 위험을 과장했는지 궁금해서 원문을 읽어봤음
    “중대한 위해”는 적용 대상 모델이나 그 파생 모델이 유발하거나 실질적으로 가능하게 한 위해를 뜻하고, 화학·생물·방사능·핵무기의 생성이나 사용으로 대량 사상자가 발생하는 경우, 중요 기반시설에 대한 사이버공격으로 대량 사상자나 5억 달러 이상의 피해가 발생하는 경우, 제한적 인간 감독 아래 모델이 범죄에 해당할 행위로 사망·중상·재산 피해를 일으키는 경우, 그리고 이에 준하는 공공 안전·보안상의 중대한 위해를 포함
    단, 모델이 출력한 정보가 일반인이 다른 출처에서 합리적으로 공개 접근 가능한 정보라면 제외되고, 다른 소프트웨어와 결합된 경우 모델이 위해 가능성에 실질적으로 기여하지 않았다면 제외되며, 개발자의 모델 생성·저장·사용·공개로 유발되거나 가능해진 위해가 아니면 제외됨

    • Newsom은 AI 모델이 이런 피해를 자율적으로 일으킬 수 있다고 믿는 건가, 아니면 인간이 사용하고 감독해야 가능하다는 걸 이해하고 있는 건가?
      인간이 AI로 피해를 일으킬 수 있다면 AI 없이도 해낼 수 있을 텐데, AI가 파괴적 목표의 가능성을 얼마나 높이는지가 핵심임. 우려가 AI가 이를 더 접근 가능하고 효과적으로 만든다는 건지, 정확한 괴물이 뭔지 모르겠음. 이런 모델들이 악용 가능한 기반시설과 시스템의 비공개 정보를 갖고 있다고 보진 않음
    • “일반인이 다른 출처에서 합리적으로 공개 접근 가능한 정보”로 인한 위해는 제외한다는 예외는 규칙 전체를 삼켜버리고, AI의 차이점을 겨냥하지 못함. AI는 여러 사실 흐름을 통합하는 데 보통 사람보다 실제로 더 뛰어남
      그래서 이 법은 입법 쇼처럼 보임. 관심과 기부를 끌어 정치적 프랜차이즈를 구축하려는 설계일 수 있음. 가장 큰 모델만 겨냥해 가장 큰 플레이어만 영향받게 하는 것도, 이들이 결정당 기부 여력이 가장 크고 반대에 따른 선의 손실이 가장 작기 때문일 수 있음
      AI 규제는 새 조세법전급으로 복잡한 입법·행정 과제가 될 텐데, 정치적 프랜차이즈로 다루면 불가능해짐. OpenAI가 영리기업으로 바뀌는 상황을 보면 비영리 형태만으로는 공익 중심을 유지하기에 부족함. 이런 전환 허용은 1990년대 이후 비영리 병원 시스템의 영리 전환과 비슷한 수준임
      AI의 잠재력은 우리의 거버넌스 취약성을 선명하게 드러냄. 약한 거버넌스는 더 많은 기회를 주기도 하지만, 그 실패로 인한 착취에서 벗어나려는 동력이 독재를 키우고, 독재는 다른 권리와 함께 재산권도 집어삼킴

  • 문제 중 하나는 통제 불능의 AI 연산이 그냥 캘리포니아 밖에서 일어날 거라는 우려인가?
    Sonoma의 CAFO 관련 카운티 선거에서도 비슷하게, 지역적으로 환경 진전을 얻더라도 규제가 느슨한 다른 주로 문제를 수출하는 결과가 될 수 있다는 쟁점이 있음: https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...

    • 모든 법이 그렇듯 지리적으로 규제를 회피하는 사람들은 분명 생김. 잘 쓰인 법은 나중에 규제 기능을 원하게 되는 다른 지역에서 선례나 출발점으로 참고됨
      EU와 캘리포니아는 기술과 프라이버시에서 자주 이런 선도 위치에 서는 것 같음. 겉보기엔 헛수고처럼 보일 수 있지만, 길을 닦는 과정이고 좋은 법이 전 세계적으로 발판을 얻기 위한 필수 단계임

  • 멍청한 법이었으니, 정치인이 한 번쯤은 똑똑한 일을 한 셈임

  • 이 법안의 찬반 논리를 요약한 자료가 있으면 궁금함. 기사를 읽고 처음 든 생각은, “합리적 주의”와 “불합리한 위험” 같은 표현이 끝없이 소송으로 이어질 수 있어 법률로는 불가능할 정도로 모호해 보인다는 것이었음
    동시에 Geoffrey Hinton과 Yoshua Bengio처럼 현재 생성형 AI 물결의 기반 기술을 상당 부분 만든 컴퓨터 과학자들이 공개 지지했고, 주요 AI 기업의 전·현직 직원 119명도 통과를 촉구하는 서한에 서명했음. 물론 한 분야의 지능이 법률 조언을 믿어도 된다는 뜻은 아니지만, Hinton과 Bengio가 왜 이 법을 강하게 지지했는지 궁금함

    • “합리적 주의”와 “불합리한 위험”은 전혀 문제가 되는 표현이 아니라 완전히 표준적인 법률 개념임. 예컨대 불법행위법이 바로 그런 것들을 다룸
      물론 소송으로 갈 수는 있지만, 회색지대가 있으면 회사는 분명히 괜찮은 영역 안에서 운영해야 하고, 경계를 밀어붙이면 법적 도박을 하는 걸 알아야 한다는 게 핵심임. 상식적인 절차와 명확한 문서 기록, 변호사가 승인한 의사결정을 마련하면 대체로 안전지대에 머무르기 쉬움. 법안이 다른 이유로 나쁠 수는 있어도, 이 두 표현 자체가 문제는 아님
    • 우려는 가까운 미래의 시스템이 현재 시스템보다 훨씬 유능해지고, 그때가 되면 대응하기 너무 늦을 수 있다는 데 있음
      대형 최첨단 AI 기업의 많은 사람들은 세계를 바꿀 AGI가 5년 이내에 올 수 있다고 믿고, 예로 Aschbrenner의 Situational Awareness를 볼 수 있음. AI가 테러를 더 쉽게 만들 수 있다는 병행 우려도 있음: https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
      Yoshua Bengio는 최근 AI 안전에 대한 견해를 자세히 썼고, 인간 수준 AI가 아주 곧 온다는 쪽에는 덜 무게를 두지만 5~20년 안에 초인간 지능이 가능하다고 봄. “그 불확실성, 재앙이나 멸종급 위험의 규모, 최근 AI 능력의 빠른 진전을 예측하지 못했다는 사실을 고려하면, 불가지론적 신중함이 훨씬 현명한 길”이라고 함
      Hinton도 최근 통제 상실 위험에 대한 자세한 강연을 하고 있음. 지지자들은 대체로 이 법안을 통제 상실과 오용의 최악 시나리오를 어느 정도 다루는 좁게 맞춘 법안으로 봄: https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
      https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
      https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
    • 무엇이 합리적 주의에 해당하는지 살펴보고 결론을 여기 정리했음: https://www.lesswrong.com/posts/kBg5eoXvLxQYyxD6R/my-takes-o...
    • 컴퓨터 과학자 Scott Aaronson이 자신의 블로그에 쓴 지지 글이 있음: https://scottaaronson.blog/?p=8269
      이전 해설 글들로 연결되고, 찬반 논거와 댓글의 추가 논의도 있음
    • California Office of Legislative Counsel은 모든 법안 전문에 항상 “digest”를 제공함: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtm...
      업계 관점의 찬반 목록은 아니지만, 이 법안이 무엇을 하는지에 대한 가장 중립적인 설명일 가능성이 큼

  • 끔찍한 입법이었고 주지사가 막아서 다행임
    이게 바로 규제 포획의 모습임. 누군가 당신의 제품을 범용재로 만들어버리면, 계속 무료로 만들지 못하게 불법화하는 것임
    차라리 Linux를 불법화해서 모두 Microsoft와 Apple을 쓰게 만드는 것과 다를 바 없음

    • 동의하지 않음. 이 주제에서는 이념적이고 정보가 부족한 주장을 너무 많이 봄
      AI 스타트업 창업을 꿈꾸는 많은 사람이 AI 지형과 장단점을 합리적이고 중립적으로 평가하기는 어렵다고 봄
    • 이런 법은 기업들이 다른 49개 주와 거의 수백 개의 다른 나라가 있다는 사실을 깨닫게 만들기도 함
      캘리포니아에는 기술과 대학이 결합한 드문 시대정신이 있지만, 충분한 돈과 약속이 있으면 다른 곳에서도 재현 불가능한 건 아님
    • 이 거부권은 무엇보다 캘리포니아가 AI 경쟁에서 불리해지는 걸 원하지 않았기 때문이었을 가능성이 큼
답변달기