# SB-1047으로 인한 오픈소스 AI 위축과 안전성 저하 우려

> Clean Markdown view of GeekNews topic #14577. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=14577](https://news.hada.io/topic?id=14577)
- GeekNews Markdown: [https://news.hada.io/topic/14577.md](https://news.hada.io/topic/14577.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-04-30T10:25:36+09:00
- Updated: 2024-04-30T10:25:36+09:00
- Original source: [answer.ai](https://www.answer.ai/posts/2024-04-29-sb1047.html)
- Points: 1
- Comments: 1

## Topic Body

### 오픈소스 개발에 대한 우려사항들
- 과도하게 광범위한 정의: 법안 내 "적용 대상 모델"에 대한 정의가 매우 광범위하여, 최소한의 위험만 내포하고 있는 다양한 오픈소스 모델들까지 포괄할 수 있음. 이는 의도치 않게 유익한 AI 프로젝트에 종사하는 선의의 개발자들의 활동을 범죄화할 수 있음. 
- 이중 용도: AI 모델은 워드 프로세서, 계산기, 웹브라우저와 같이 컴퓨터에서 실행되는 일반적인 소프트웨어임. 모델의 제작자는 모델이 해로운 일에 사용되지 않도록 보장할 수 없음. 이는 웹브라우저, 계산기, 워드프로세서의 개발자도 마찬가지임. 이러한 범용 도구의 제작자에게 책임을 묻는 것은 실제로 대기업의 법무팀을 제외하고는 그러한 도구를 만들 수 없다는 것을 의미함.
- 제한적 요구사항: 이 법안은 의무적인 폐쇄, 광범위한 보고, 잠재적으로 모호한 "적용 대상 지침" 준수 등 개발자에게 상당한 부담을 부과함. 이러한 요구사항은 복잡한 규제 프로세스를 탐색할 자원이 부족한 오픈소스 개발자들에게 불균형적인 영향을 미칠 수 있음.  
- 개방성 저해: 법적 제재와 관료주의적 장애물에 대한 우려로 인해 오픈소스 개발이 위축될 수 있으며, AI 발전의 원동력이었던 협업 정신을 저해할 수 있음. 이러한 투명성 감소는 잠재적 안전 문제를 식별하고 해결하는 것을 더 어렵게 만들 수 있음.

### 중소기업과 혁신에 미치는 영향
- 진입장벽: 컴플라이언스와 관련된 상당한 비용(수수료, 감사, 법률 자문 등)은 중소기업과 스타트업에 상당한 진입장벽을 만들 수 있음. 이는 경쟁을 제한하고 기존 대기업에 권력을 집중시켜 궁극적으로 혁신을 저해함.  
- 연구에 대한 위축 효과: 의도치 않게 법안 조항을 위반할 것에 대한 두려움은 연구자와 개발자들이 자기 검열을 하거나 유망한 AI 연구 분야를 탐구하는 것을 회피하도록 만들 수 있음. 이는 과학적 진보를 저해하고 사회적 문제를 해결하기 위한 AI의 잠재력을 제한할 것임.
- 인재 유출: 이 법안으로 인해 조성된 제한적 환경은 유능한 AI 연구자와 개발자들을 캘리포니아 주에서 밀어낼 수 있으며, 주 경제에 해를 끼치고 AI 혁신을 주도하는 입지를 약화시킬 수 있음. 

### 대안적 접근 방식
- 오픈소스 개발 지원: 협업, 투명성, 더욱 다양하고 탄력적인 AI 생태계 조성을 위해 AI 모델의 오픈소스 개발을 장려하고 촉진할 것.
- 개발이 아닌 사용에 초점: AI 모델 개발을 규제하는 대신, 특히 공공 안전과 보안에 높은 위험을 초래하는 애플리케이션에 초점을 맞출 것. 건강관리, 형사사법, 중요 인프라 등 피해 가능성이 가장 높은 고위험 영역에서의 AI 사용을 규제하여 유해한 사용에 대한 책임을 묻되, AI 기술의 지속적인 발전은 허용할 것.  
- 투명성과 협업 촉진: 산업계, 학계, 정부 간 협력을 통해 책임감 있는 AI 개발을 위한 모범사례 개발과 채택을 장려할 것. 여기에는 산업 표준 수립, 오픈소스 개발 육성, AI 안전 연구에 대한 투자 등이 포함될 수 있음. 
- AI 전문성에 투자: 정부 기관이 AI에 대한 전문 지식을 개발하고 잠재적 위험을 효과적으로 모니터링하고 해결할 수 있는 역량을 구축할 수 있도록 자원을 제공할 것. 이를 통해 안전과 혁신의 균형을 이루는 더욱 정보에 입각하고 미묘한 AI 규제 접근법이 가능할 것임.

### GN⁺의 의견
- 오픈소스 모델의 개발을 규제하는 대신 규제 당국은 오픈소스 개발을 장려하고 감독하는 역할을 해야 함. 오픈소스는 투명성과 협업을 증진시킬 뿐만 아니라 다양한 관점을 제공하므로 오히려 안전성을 높이는 데 도움이 될 수 있음. 
- AI 모델 자체를 규제하기보다는 고위험 분야에서의 AI 활용에 대해 감독하고 규제하는 것이 더 효과적일 것임. 건강, 사법, 공공 안전 등 위험도가 높은 분야에서의 AI 활용에 대해서는 엄격한 가이드라인과 규제가 필요하지만, 저위험 분야에서는 AI 기술 발전을 저해하지 않는 선에서 규제해야 함.
- 이 법안이 AI 개발에 지나친 부담을 줌으로써 캘리포니아가 AI 분야에서 선도적 위치를 잃을 위험이 있음. 혁신을 저해하지 않으면서도 유해한 사용에 대해서는 책임을 물을 수 있는 대안적 접근 방식을 모색해야 할 것임.  
- 정부는 AI에 대한 전문성을 키우고 AI 생태계에 대한 이해를 높여 보다 현명한 규제 정책을 펼칠 필요가 있음. 단순히 규제를 강화하기보다는 산학연 협력을 통해 바람직한 방향으로 유도해 나가는 노력이 필요해 보임.

## Comments



### Comment 24807

- Author: neo
- Created: 2024-04-30T10:25:36+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=40198766) 
* 모델 개발자는 웹 브라우저, 계산기, 워드 프로세서 개발자와 마찬가지로 모델이 해로운 용도로 사용되지 않도록 완벽히 보장할 수 없음. 이런 범용 도구 제작자에게 책임을 지우는 것은 사실상 대기업의 법무팀만 가능하게 만듦.

* 정치인들은 오픈소스 AI에 강력히 대응 중임. 소로스는 기업과 정부의 AI 프로젝트 시너지가 냉전시대 독재자들보다 더 큰 위협이 될 수 있다고 말함. "독재 정권과 IT 독점 기업의 결합은 개방 사회에 내재적 우위를 부여하며 치명적 위협"이라고 함.

* 블로그에는 언급되지 않았지만, 2024년 2월 7일 캘리포니아 주의회에서 SB-1047 법안이 소개됨. 선진 AI 모델 개발과 사용을 규제하기 위한 것으로, 개발자에게 안전성 평가, 안전 요구사항 준수, 사고 보고 등을 의무화하고 기술부 산하에 감독 기구를 신설함.

* 이런 규제로 기존 선두 AI 기업에 유리하고 신규 진입은 불가능해질까 우려됨. 스콧 위너의 주택 정책은 좋았으나 이 법안은 정부의 과도한 간섭임. 

* 정부가 허용한 것만 학습할 수 있고, 새로운 부서와 수수료 부과 권한이 생기며, 당연히 컨설턴트 고용도 의무화됨.

* 장기적으로 AI 스타트업에 유리한 주는 어디일까? 캘리포니아는 아닐 듯. 워싱턴이나 텍사스는 아직 규제 움직임이 없고 장점도 있어 보임.

* '적용 대상 모델'의 정의가 모호함. Int와 float 연산은 계산량이 크게 다른데 법정에서 문구 해석 여지가 있음. 현재 벤치마크 기준으로 미래까지 고정시켜 알고리즘 발전과 무관하게 제한하려 함.

* 이 기사는 LLM이 생성한 것 같은 수준 낮은 내용임. 법안을 제대로 이해하려면 Zvi의 분석을 읽어보는 게 좋음.

* 이 기사 전체가 ChatGPT가 쓴 것처럼 느껴짐. 막연히 오픈소스의 가치를 언급하면서 원 법안은 인용조차 안 함.

* "AI 모델 개발 대신 활용, 특히 공공 안전에 위험한 분야를 규제하자"는 의견이 있음. 의료, 형사사법, 핵심 인프라 등 위험이 큰 분야에서의 AI 사용을 규제해 유해한 사용에 책임을 묻되 AI 기술 발전은 허용하자는 것인데, 이에 대한 반론이 있을까?