# OpenAI를 퇴사한 일리야 수츠케버, Safe Superintelligence Inc. 창업

> Clean Markdown view of GeekNews topic #15420. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=15420](https://news.hada.io/topic?id=15420)
- GeekNews Markdown: [https://news.hada.io/topic/15420.md](https://news.hada.io/topic/15420.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2024-06-20T09:16:01+09:00
- Updated: 2024-06-20T09:16:01+09:00
- Original source: [ssi.inc](https://ssi.inc/)
- Points: 7
- Comments: 1

## Summary

OpenAI의 공동창립자 일리야 수츠케버와 다양한 스타트업에 투자한 다니엘 그로스, 그리고 OpenAI의 전 Optimization 팀 리드 다니엘 레비가 공동 창업자로 참여. 이 회사는 성능 향상과 안전을 동시에 고려하여 AI 기술의 미래를 선도할 계획이라고 합니다. 근데 Safe 한 AI는 중요하긴 합니다만, 창업 아이템으로 적절한지는 잘 모르겠어요. 안전하지 않은(?) AI보다 분명히 더 비싼 제품일텐데, 성능이 다른 제품보다 뛰어나려면 뭔가 다른 혁신이 필요할 듯 합니다.

## Topic Body

- 안전하고 강력한 AI 시스템 제품인 "Safe Superintelligence(안전한 초지능)" 제작을 목표로 하는 회사   
  - 안전과 성능을 동시에 고려하여 혁신적인 엔지니어링과 과학적 돌파구를 통해 문제를 해결  
  - 성능을 최대한 빠르게 향상시키면서도 항상 안전이 우선이 되도록 계획  
- 오직 SSI에만 집중하여 관리 오버헤드/제품 주기/상업적 압력등에서 보호   
- 공동 창업자  
  - Ilya Sutskever : OpenAI의 공동창립자이자 전 수석 과학자   
  - Daniel Gross : 애플에 인수된 검색엔진인 Cue의 공동 창업자. 인수후 애플에서 AI/검색 담당.   
    - 주로 GitHub의 CEO였던 Nat Friedman과 함께 다양한 스타트업에 투자 : Instacart, Coinbase, Airtable, Figma, Notion,..  
  - Daniel Levy : OpenAI의 전 Optimization 팀 리드

## Comments



### Comment 26416

- Author: xguru
- Created: 2024-06-20T09:51:06+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=40730156)   
- Ilya가 AI 발전에 기여할 수 있게 되어 기쁨. 하지만 상업적으로 더 유리한 회사들처럼 높은 보상을 어떻게 제공할지 궁금함. 이념적으로 동기부여된 사람이나 이미 재정적으로 독립된 사람들을 찾을 수 있을지도 모름. 또한, 다른 회사들이 수십억을 투자해 거대한 GPU 데이터 센터를 구축하는 상황에서 충분한 컴퓨팅 자원을 확보하는 것도 어려움.  
  
- "슈퍼인텔리전스"가 인간을 위협할 수 있다는 우려를 이해함. 하지만 더 큰 걱정은 "슈퍼인텔리전스"가 탈출하지 않고 특정 인간이 이를 통제하는 상황임. 역사적으로 큰 권력을 가진 인간들이 어떤 행동을 했는지 보면 알 수 있음. 냉전 시기의 핵무기 경쟁이 좋은 예임.  
  
- 비즈니스 인센티브가 안전하지 않은 AI를 만든다는 지적에 동의함. 소셜 미디어 추천 알고리즘이 이미 사회와 특히 젊은이들에게 매우 위험함. 부정적인 외부 효과가 존재할 때 정부가 적절한 규제를 만들어야 함.  
  
- Ilya의 문제는 안전한 AI를 개발하는 것이 아니라 안전한 비즈니스를 개발하는 것임. 오늘날 안전한 AI를 만들 수 있지만, 다음 관리자가 이를 어떻게 다룰지는 알 수 없음. 안전한 비즈니스 문제를 해결하면 많은 사회적 해악을 제거할 수 있음.  
  
- 슈퍼인텔리전스가 달성될 수 있다면, 안전성에 대해 비관적임. 자신보다 더 높은 지능을 샌드박싱하는 것은 불가능해 보임. 슈퍼인텔리전스는 새로운 공격 벡터를 생각해낼 수 있음. 영화 "트랜센던스"처럼 새로운 물리학적 발견을 통해 마법과 같은 일을 할 수 있음.  
  
- 비즈니스 모델이 SSL과 유사한 외부 프로토콜이 될 것이라는 예측. 다양한 접근 방식이 존재하는 상황에서 정의된 프로토콜과 표준이 없으면 "안전성"이 제품 계층으로 실행될 가능성은 없음. Ilya는 이를 실행할 수 있는 신뢰성과 기술력을 갖춘 인물로 보임.  
  
- Ilya는 그의 이름만으로도 거의 무제한의 자금을 모을 수 있을 것 같음. "성공할 때까지 제품 없음"이라는 방향에 동의하지 않음. 실세계 피드백이 슈퍼인텔리전스를 개발하는 데 중요할 것임. 하지만 슈퍼인텔리전스가 도달 가능하다는 점에는 동의함.  
  
- "단일 집중"이 제품 주기나 관리 오버헤드를 없앤다는 설명이 필요함.  
  
- 안전한 슈퍼인텔리전스가 제한 없는 슈퍼인텔리전스와 경쟁할 수 있을지 궁금함. 다른 회사가 안전성에 시간을 쓰지 않고 같은 목표를 추구한다면 경쟁할 가능성이 있는지 의문임.  
  
- Yann LeCun이 LLM을 사용해 "진정한" 지능을 구축하는 아이디어를 무시하는 인터뷰를 봄. 그는 박사 과정 학생들에게 이 기술이 아닌 다음 기술에 연구하라고 권장함. Ilya가 현재 하고 있는 일과 어떻게 조화시킬 수 있을지 궁금함. Ilya가 다른 기술을 사용할 계획인지 궁금함.