Ilya가 AI 발전에 기여할 수 있게 되어 기쁨. 하지만 상업적으로 더 유리한 회사들처럼 높은 보상을 어떻게 제공할지 궁금함. 이념적으로 동기부여된 사람이나 이미 재정적으로 독립된 사람들을 찾을 수 있을지도 모름. 또한, 다른 회사들이 수십억을 투자해 거대한 GPU 데이터 센터를 구축하는 상황에서 충분한 컴퓨팅 자원을 확보하는 것도 어려움.
"슈퍼인텔리전스"가 인간을 위협할 수 있다는 우려를 이해함. 하지만 더 큰 걱정은 "슈퍼인텔리전스"가 탈출하지 않고 특정 인간이 이를 통제하는 상황임. 역사적으로 큰 권력을 가진 인간들이 어떤 행동을 했는지 보면 알 수 있음. 냉전 시기의 핵무기 경쟁이 좋은 예임.
비즈니스 인센티브가 안전하지 않은 AI를 만든다는 지적에 동의함. 소셜 미디어 추천 알고리즘이 이미 사회와 특히 젊은이들에게 매우 위험함. 부정적인 외부 효과가 존재할 때 정부가 적절한 규제를 만들어야 함.
Ilya의 문제는 안전한 AI를 개발하는 것이 아니라 안전한 비즈니스를 개발하는 것임. 오늘날 안전한 AI를 만들 수 있지만, 다음 관리자가 이를 어떻게 다룰지는 알 수 없음. 안전한 비즈니스 문제를 해결하면 많은 사회적 해악을 제거할 수 있음.
슈퍼인텔리전스가 달성될 수 있다면, 안전성에 대해 비관적임. 자신보다 더 높은 지능을 샌드박싱하는 것은 불가능해 보임. 슈퍼인텔리전스는 새로운 공격 벡터를 생각해낼 수 있음. 영화 "트랜센던스"처럼 새로운 물리학적 발견을 통해 마법과 같은 일을 할 수 있음.
비즈니스 모델이 SSL과 유사한 외부 프로토콜이 될 것이라는 예측. 다양한 접근 방식이 존재하는 상황에서 정의된 프로토콜과 표준이 없으면 "안전성"이 제품 계층으로 실행될 가능성은 없음. Ilya는 이를 실행할 수 있는 신뢰성과 기술력을 갖춘 인물로 보임.
Ilya는 그의 이름만으로도 거의 무제한의 자금을 모을 수 있을 것 같음. "성공할 때까지 제품 없음"이라는 방향에 동의하지 않음. 실세계 피드백이 슈퍼인텔리전스를 개발하는 데 중요할 것임. 하지만 슈퍼인텔리전스가 도달 가능하다는 점에는 동의함.
"단일 집중"이 제품 주기나 관리 오버헤드를 없앤다는 설명이 필요함.
안전한 슈퍼인텔리전스가 제한 없는 슈퍼인텔리전스와 경쟁할 수 있을지 궁금함. 다른 회사가 안전성에 시간을 쓰지 않고 같은 목표를 추구한다면 경쟁할 가능성이 있는지 의문임.
Yann LeCun이 LLM을 사용해 "진정한" 지능을 구축하는 아이디어를 무시하는 인터뷰를 봄. 그는 박사 과정 학생들에게 이 기술이 아닌 다음 기술에 연구하라고 권장함. Ilya가 현재 하고 있는 일과 어떻게 조화시킬 수 있을지 궁금함. Ilya가 다른 기술을 사용할 계획인지 궁금함.
Hacker News 의견
Ilya가 AI 발전에 기여할 수 있게 되어 기쁨. 하지만 상업적으로 더 유리한 회사들처럼 높은 보상을 어떻게 제공할지 궁금함. 이념적으로 동기부여된 사람이나 이미 재정적으로 독립된 사람들을 찾을 수 있을지도 모름. 또한, 다른 회사들이 수십억을 투자해 거대한 GPU 데이터 센터를 구축하는 상황에서 충분한 컴퓨팅 자원을 확보하는 것도 어려움.
"슈퍼인텔리전스"가 인간을 위협할 수 있다는 우려를 이해함. 하지만 더 큰 걱정은 "슈퍼인텔리전스"가 탈출하지 않고 특정 인간이 이를 통제하는 상황임. 역사적으로 큰 권력을 가진 인간들이 어떤 행동을 했는지 보면 알 수 있음. 냉전 시기의 핵무기 경쟁이 좋은 예임.
비즈니스 인센티브가 안전하지 않은 AI를 만든다는 지적에 동의함. 소셜 미디어 추천 알고리즘이 이미 사회와 특히 젊은이들에게 매우 위험함. 부정적인 외부 효과가 존재할 때 정부가 적절한 규제를 만들어야 함.
Ilya의 문제는 안전한 AI를 개발하는 것이 아니라 안전한 비즈니스를 개발하는 것임. 오늘날 안전한 AI를 만들 수 있지만, 다음 관리자가 이를 어떻게 다룰지는 알 수 없음. 안전한 비즈니스 문제를 해결하면 많은 사회적 해악을 제거할 수 있음.
슈퍼인텔리전스가 달성될 수 있다면, 안전성에 대해 비관적임. 자신보다 더 높은 지능을 샌드박싱하는 것은 불가능해 보임. 슈퍼인텔리전스는 새로운 공격 벡터를 생각해낼 수 있음. 영화 "트랜센던스"처럼 새로운 물리학적 발견을 통해 마법과 같은 일을 할 수 있음.
비즈니스 모델이 SSL과 유사한 외부 프로토콜이 될 것이라는 예측. 다양한 접근 방식이 존재하는 상황에서 정의된 프로토콜과 표준이 없으면 "안전성"이 제품 계층으로 실행될 가능성은 없음. Ilya는 이를 실행할 수 있는 신뢰성과 기술력을 갖춘 인물로 보임.
Ilya는 그의 이름만으로도 거의 무제한의 자금을 모을 수 있을 것 같음. "성공할 때까지 제품 없음"이라는 방향에 동의하지 않음. 실세계 피드백이 슈퍼인텔리전스를 개발하는 데 중요할 것임. 하지만 슈퍼인텔리전스가 도달 가능하다는 점에는 동의함.
"단일 집중"이 제품 주기나 관리 오버헤드를 없앤다는 설명이 필요함.
안전한 슈퍼인텔리전스가 제한 없는 슈퍼인텔리전스와 경쟁할 수 있을지 궁금함. 다른 회사가 안전성에 시간을 쓰지 않고 같은 목표를 추구한다면 경쟁할 가능성이 있는지 의문임.
Yann LeCun이 LLM을 사용해 "진정한" 지능을 구축하는 아이디어를 무시하는 인터뷰를 봄. 그는 박사 과정 학생들에게 이 기술이 아닌 다음 기술에 연구하라고 권장함. Ilya가 현재 하고 있는 일과 어떻게 조화시킬 수 있을지 궁금함. Ilya가 다른 기술을 사용할 계획인지 궁금함.