AI 안전 전문가들은 위선적이라는 비판이 있음. 그들이 주장하는 바를 실천한다면, 모든 AI를 금지해야 한다고 주장할 것임. AI의 해로운 영향은 가중치 공개 여부와 상관없이 이미 발생하고 있으며, 특히 표절을 숨기고 인터넷에 기술적으로 다른 단어로 재구성된 동일한 텍스트를 스팸으로 보내는 것이 AI의 가장 수익성 높은 사용 방법으로 지적됨.
오픈 소스 AI의 종말이 가까울 수 있는 또 다른 이유는 훈련 데이터가 라이선스를 받게 되면 그것으로 끝날 것이라는 점임. 많은 사람들이 오픈AI와 미드저니가 오픈 소스 AI가 생존하기 위해 필요한 것, 즉 미세 조정이나 처음부터 훈련하는 것에 대해 분노하고 있음. 정치인이 이를 플랫폼 이슈로 삼는 순간, 법이 재작성되어 회사들이 훈련 데이터를 마음대로 사용하는 것을 막을 것으로 보임.
안전에는 여러 유형이 있음. 예를 들어, 이익 보호도 안전의 한 형태임. AI 분야의 기존 회사들을 위한 로비스트처럼 보이는 조직들이 많이 있음. 마이크로소프트의 라이선스 집행 노력이 이러한 전략을 사용했던 것으로 기억됨.
AI 안전이라는 용어 아래 여러 가지 다른 아이디어가 포함되어 있어 도움이 되지 않음. 예를 들어, "안전한" 정치적으로 올바른 출력, 포르노 없음, 대규모 사회/선거 조작, 강력한 AI에 의한 인류 멸망 등이 있으며, 이 세 가지는 서로 거의 공통점이 없어 모든 토론을 비효율적으로 만듦.
정부는 "AI"를 그들의 통제와 감독 없이 일반인들이 사용할 수 있는 능력이 그들의 권력 확장을 줄인다는 것을 알고 있음. 기사에서 보여주듯이, 이러한 "싱크탱크"들은 Llama 2의 반복을 방지하기 위해 이미 기반을 마련하고 있음. 우리에게는 AI 스톨만이 필요하며, FOSS AI 모델이 80년대와 90년대에 FOSS UNIX를 위해 추진된 운동처럼 되어야 함. 하지만 스톨만에게 이 주제에 대해 글을 썼을 때 그는 관심이 없거나 패배주의적인 태도를 보이며 모델 가중치에 대한 GPL의 아이디어를 대부분 무시함.
대부분의 AI 안전 전문가들은 자신들이 설교하는 것을 강하게 믿는 것처럼 보임. 그들이 옳은지는 전혀 다른 논의임. 그러나 AI 안전에 대한 자금 조달은 분명히 규제 캡처나 어떤 형태의 보호주의에 의해 부분적으로 동기가 부여됨.
기존의 통제 또는 권력 시스템이 자기 복제하는 욕구를 과소평가하지 마십시오.
많은 선의의 AI 안전 연구자들이 있지만, "나에게는 AI가, 너에게는 안 된다"는 이중 잣대를 드러내는 안전 위선도 보임.
데이터 라이선싱은 큰 병목 현상이 될 것임.
검열되지 않은 결과는 오픈소스 모델에 대한 질문을 어둡거나 회색 영역에서 불리하게 사용될 것임.
오픈소스와 폐쇄 소스 모델 사이의 계산 능력과 모델 크기 차이가 큼. 7B는 오픈소스에 해당하며 폐쇄 소스는 그보다 훨씬 클 것임.
이러한 조직들이 FLOP 임계값을 명명하고 MMLU를 관련 평가 메트릭으로 삼는 것은 다소 우스꽝스러움. 여러 조직이 비슷한 임계값을 복사하여 붙여넣은 것처럼 보임. 계산 비용이 저렴해짐에 따라 이러한 임계값도 점점 저렴해질 것임. 우리는 이를 되돌아보며 편협하고 짧은 안목으로 여길지도 모름.
Hacker News 의견