- 안전하고 강력한 AI 시스템 제품인 "Safe Superintelligence(안전한 초지능)" 제작을 목표로 하는 회사
- 안전과 성능을 동시에 고려하여 혁신적인 엔지니어링과 과학적 돌파구를 통해 문제를 해결
- 성능을 최대한 빠르게 향상시키면서도 항상 안전이 우선이 되도록 계획
- 오직 SSI에만 집중하여 관리 오버헤드/제품 주기/상업적 압력등에서 보호
- 공동 창업자
- Ilya Sutskever : OpenAI의 공동창립자이자 전 수석 과학자
- Daniel Gross : 애플에 인수된 검색엔진인 Cue의 공동 창업자. 인수후 애플에서 AI/검색 담당.
- 주로 GitHub의 CEO였던 Nat Friedman과 함께 다양한 스타트업에 투자 : Instacart, Coinbase, Airtable, Figma, Notion,..
- Daniel Levy : OpenAI의 전 Optimization 팀 리드
Hacker News 의견
-
Ilya가 AI 발전에 기여할 수 있게 되어 기쁨. 하지만 상업적으로 더 유리한 회사들처럼 높은 보상을 어떻게 제공할지 궁금함. 이념적으로 동기부여된 사람이나 이미 재정적으로 독립된 사람들을 찾을 수 있을지도 모름. 또한, 다른 회사들이 수십억을 투자해 거대한 GPU 데이터 센터를 구축하는 상황에서 충분한 컴퓨팅 자원을 확보하는 것도 어려움.
-
"슈퍼인텔리전스"가 인간을 위협할 수 있다는 우려를 이해함. 하지만 더 큰 걱정은 "슈퍼인텔리전스"가 탈출하지 않고 특정 인간이 이를 통제하는 상황임. 역사적으로 큰 권력을 가진 인간들이 어떤 행동을 했는지 보면 알 수 있음. 냉전 시기의 핵무기 경쟁이 좋은 예임.
-
비즈니스 인센티브가 안전하지 않은 AI를 만든다는 지적에 동의함. 소셜 미디어 추천 알고리즘이 이미 사회와 특히 젊은이들에게 매우 위험함. 부정적인 외부 효과가 존재할 때 정부가 적절한 규제를 만들어야 함.
-
Ilya의 문제는 안전한 AI를 개발하는 것이 아니라 안전한 비즈니스를 개발하는 것임. 오늘날 안전한 AI를 만들 수 있지만, 다음 관리자가 이를 어떻게 다룰지는 알 수 없음. 안전한 비즈니스 문제를 해결하면 많은 사회적 해악을 제거할 수 있음.
-
슈퍼인텔리전스가 달성될 수 있다면, 안전성에 대해 비관적임. 자신보다 더 높은 지능을 샌드박싱하는 것은 불가능해 보임. 슈퍼인텔리전스는 새로운 공격 벡터를 생각해낼 수 있음. 영화 "트랜센던스"처럼 새로운 물리학적 발견을 통해 마법과 같은 일을 할 수 있음.
-
비즈니스 모델이 SSL과 유사한 외부 프로토콜이 될 것이라는 예측. 다양한 접근 방식이 존재하는 상황에서 정의된 프로토콜과 표준이 없으면 "안전성"이 제품 계층으로 실행될 가능성은 없음. Ilya는 이를 실행할 수 있는 신뢰성과 기술력을 갖춘 인물로 보임.
-
Ilya는 그의 이름만으로도 거의 무제한의 자금을 모을 수 있을 것 같음. "성공할 때까지 제품 없음"이라는 방향에 동의하지 않음. 실세계 피드백이 슈퍼인텔리전스를 개발하는 데 중요할 것임. 하지만 슈퍼인텔리전스가 도달 가능하다는 점에는 동의함.
-
"단일 집중"이 제품 주기나 관리 오버헤드를 없앤다는 설명이 필요함.
-
안전한 슈퍼인텔리전스가 제한 없는 슈퍼인텔리전스와 경쟁할 수 있을지 궁금함. 다른 회사가 안전성에 시간을 쓰지 않고 같은 목표를 추구한다면 경쟁할 가능성이 있는지 의문임.
-
Yann LeCun이 LLM을 사용해 "진정한" 지능을 구축하는 아이디어를 무시하는 인터뷰를 봄. 그는 박사 과정 학생들에게 이 기술이 아닌 다음 기술에 연구하라고 권장함. Ilya가 현재 하고 있는 일과 어떻게 조화시킬 수 있을지 궁금함. Ilya가 다른 기술을 사용할 계획인지 궁금함.