Hacker News 의견들
- 이 스레드에는 댓글이 1800개 이상 있음. 전부 읽고 싶으면 각 페이지 하단의 More를 누르거나 아래처럼 페이지를 직접 열면 됨
https://news.ycombinator.com/item?id=38375239&p=2
https://news.ycombinator.com/item?id=38375239&p=3
https://news.ycombinator.com/item?id=38375239&p=4 - OpenAI가 계속 501(c)(3) 자선단체로 남는다면, 이사회에 들어간 Microsoft 직원은 Microsoft의 사업적 필요가 아니라 자선단체의 사명을 앞세울 신인의무가 있음. 이해상충이 너무 명백해서 IRS가 이 구조를 좋아할 것 같지는 않음
- 대기업 이사회에는 “서류상” 이해상충이 흔함. 실제 경영 경험이 있는 사람이 이사회에 앉아 책임 있게 행동하길 바라면 어느 업계에서나 생기는 일이고, 기술 업계나 OpenAI만의 특수한 문제가 아님
실제로는 이사회 규정과 상식에 따라 필요할 때 회피하고 멍청한 짓을 안 하는 방식으로 굴러감 - 비영리 조직이 지금처럼 큰 조사를 받아본 적이 없을 테고, 새 이사들은 자기 보호를 위해 변호사를 끌어들이려 할 것 같음. Sam Altman이 정말 해임할 만한 일을 했을 때 그들의 입장을 상상해보면 됨
OpenAI를 공익 자선단체로 만든 건 큰 실수였고, 그런 혼란 속으로 들어가는 건 꺼려짐. 나중에 민간 재단 지위로 기울면 더 재미있어질 것임 - OpenAI는 자선단체가 아님. Microsoft의 투자는 영리 회사인 OpenAI Global, LLC에 들어간 것임
https://openai.com/our-structure에 따르면 영리 자회사는 OpenAI Nonprofit이 완전히 통제하고, 이사회 구성원은 “광범위하게 이로운 안전한 AGI”라는 사명을 위해 신인의무를 수행해야 함. 투자자와 직원, Microsoft의 수익 배분에는 상한이 있고, 상한을 넘는 잔여 가치는 인류의 이익을 위해 비영리 조직으로 돌아감. 또한 AGI 도달 여부는 이사회가 판단하며, AGI는 Microsoft의 지식재산 라이선스와 상업 조건에서 제외됨 - Microsoft가 지명한 이사가 반드시 Microsoft 직원이라는 징후는 없음. 물론 그럴 수도 있지만, 큰 비영리 조직에는 영리 기업 출신 이사가 흔히 있음
IRS가 이런 일에 크게 신경 쓸 것 같지는 않음. OpenAI가 세금을 내는 영리 기업 Microsoft에 이익을 몰아준다는 주장이라면, 최악의 악의적 개입을 가정해도 IRS보다 SEC 쪽 사안에 가까워 보임 - 정부가 이걸 강하게 규제할 것 같지는 않음. AI는 정부와 군에 너무 중요해서, 사소한 이해상충 때문에 경쟁 우위를 늦추려 하지 않을 것임
- 대기업 이사회에는 “서류상” 이해상충이 흔함. 실제 경영 경험이 있는 사람이 이사회에 앉아 책임 있게 행동하길 바라면 어느 업계에서나 생기는 일이고, 기술 업계나 OpenAI만의 특수한 문제가 아님
- Sam이 CEO로 돌아오면서 OpenAI 이사회는 기능을 잃었다는 걸 증명한 것 아닌가 싶음. 누가 이사회에 있든 CEO 해임이라는 가장 기본적인 권한을 행사할 수 없게 됐고, Sam은 사실상 해고 불가능한 사람임을 보여줬음
그렇다고 Sam이 거짓말했거나 앞으로 그럴 것이라고 주장하는 건 아님- 전혀 그렇지 않음. 이사회가 책임을 맡은 집단 중 가장 무능한 방식으로 행동했을 뿐임
적법 절차를 거치고, 직원과 투자자에게 알리고, CEO를 해임하는 이유를 발표했다면 15분짜리 Google Meet으로 처리한 뒤 완전히 침묵하는 사태는 없었을 것이고, 이런 분노도 일어나지 않았을 것임 - Apple 이사회가 Tim Cook이 무대에서 그해 개발자 플랫폼 업데이트와 기록적 성장·판매를 발표한 직후 아무 예고 없이 해임하고, 며칠 동안 투자자에게 이유나 유용한 소통을 거부하고, 같은 주말에 첫 임시 CEO를 전혀 다른 업종 출신 또 다른 임시 CEO로 교체했다고 상상해보면 됨
단지 CEO 해임이라는 기본 권한을 행사했다는 이유만으로 이사회에 대한 주주 반란이 없었을 거라고 생각한다면 상황을 일부 놓치고 있는 것임 - 사람들이 생각하는 것보다 이건 이사회에 더 좋은 거래이고 Sam에게는 더 나쁜 거래임. Sam, Greg, Ilya가 모두 이사회에서 빠졌고, D'Angelo는 터무니없는 행동에도 남아 있으며 새 이사 선임에 거부권과 큰 발언권을 갖게 됨
앞으로 모두가 Sam을 경계할 것임. 그는 이전 이사회에서 가졌던 것보다 훨씬 적은 지렛대를 갖게 됨. 결국에는 매력과 사회적 능력으로 다른 독립 이사들을 설득해 이길 수 있겠지만, D'Angelo 편이 아니라 자기 편으로 남게 하려면 자신의 행동을 많이 통제해야 함 - 맞지만, 반대로 이번 일은 OpenAI가 더 이상 매끄럽게 돌아가지 않고, 아마 다시는 그러기 어렵다는 걸 보여줬음. 뱀의 머리를 잘랐다가 다시 붙이고 예전처럼 기어가길 기대할 수는 없음
Sam이 남더라도 OpenAI처럼 복잡한 조직에는 CEO가 직접 개입하지 않아도 잘 굴러가야 하는 수천 개의 암묵적 규칙, 관계, 숨은 절차가 있음. Sam의 재고용은 앞으로의 OpenAI가 예전의 희미한 그림자에 가까워졌다는 뜻으로 보임. 그가 정말 다시 자리 잡는다면 이상하게 느껴지고, 다른 퇴사자들을 생각하면 더 그렇다. OpenAI가 죽는다는 뜻은 아니지만 약한 면을 드러낸 건 분명함 - 이사회는 핵심 이해관계자들을 먼저 설득한다면 여전히 Sam을 해임할 수 있음. 잘하고 있는 사람을 아무 정당화 없이 해임한 게 말이 안 됐고, 그게 핵심 문제였던 듯함
결국 이 비영리 구조는 보여주기용이고 잘 작동하지 않을 것이라는 걸 모두 알고 있음
- 전혀 그렇지 않음. 이사회가 책임을 맡은 집단 중 가장 무능한 방식으로 행동했을 뿐임
- 어쩐지 Coke/New Coke fiasco가 떠오름. 결과적으로는 Coke Classic을 전보다 더 유명하게 만든 사건이었음
소비자들은 자신들이 알고 자라온 맛을 돌려달라고 분노했고, 기존 제품을 되살리라는 요구가 너무 커서 기자들은 전체 프로젝트가 연출 아니냐고까지 했음. 이에 Coca-Cola 사장 Don Keough가 1985년 7월 10일 이렇게 답했음: “우리는 그렇게 멍청하지도 않고, 그렇게 똑똑하지도 않습니다.”
https://en.wikipedia.org/wiki/New_Coke- Stranger Things 때문에 New Coke가 재출시됐을 때 마셔봤는데, Coca Cola Classic보다 훨씬 낫더라. 실패한 게 아쉬움
- 그 연출이 설탕에서 고과당 옥수수 시럽으로 바꾸는 걸 숨기기 위한 것이었을 거라고 예상했음
- Ilya는 이사회에서 빠졌는데 Adam은 여전히 남아 있음. 눈썹이 올라갈 만한 일이지만 어쨌든 그렇다
Sam이 돌아왔다고 이 일이 그냥 사라지지는 않을 것임. Sam이 대체 불가능한 사람처럼 보인 이상 OAI는 큰 변화를 겪을 것임. 장기적으로 OAI가 Facebook이나 Uber 같은 거대 기업 중 하나가 될지는 의심스럽고, 신뢰를 잃었음- 그가 대체 불가능하다기보다는, 별 이유 없이 갑자기 쫓아내면 문제가 생긴다는 쪽에 가까움
- 역사는 좋은 제품이 신뢰보다 훨씬 중요하다는 걸 반복해서 보여줬고, Facebook과 Uber가 그 증거임. 스캔들 직후에는 다들 신뢰를 잃었다고 크게 말하지만, 시간이 되면 조용히 계약을 갱신함
Google, Amazon, Facebook 같은 대형 광고 회사들은 거의 매달 스캔들이 있어도 광고 매출은 계속 들어옴. Meltdown은 큰 스캔들이었지만 Intel은 계속 칩을 찍어내고 있음 - Facebook은 신뢰를 너무 많이 잃어서 셀 수도 없지만, 여전히 Megacorp 아닌가?
- Sam Altman은 엄청나게 카리스마 있는 창업 CEO이고, 어떤 사람들은 조작적이라고 보지만 많은 직원들에게 사랑받음. 이사회에 쫓겨났다가 이사회가 실수를 깨닫자 복귀했음
Facebook, Amazon, Microsoft, Google 같은 거대 성공 기업의 창업 서사와 딱 맞지는 않지만, 이런 사람이 거대한 회사를 만들 가능성은 여전히 있다고 봄. 물론 거대한 회사를 만드는 것보다 중요한 건 미친 듯이 훌륭한 제품을 만드는 것임
- 결국 정확히 무슨 일이 있었는지는 아직 모르고, 아마 앞으로도 모를 것임. 다만 빠른 상업화 쪽인 Team Sam과 초기 원칙 유지 쪽인 Team Helen/Ilya 사이에 균열이 있었던 건 분명해 보임
GPT-3 이전에 나온 기사에서도 투명성, 개방성, 협업이라는 창립 이상이 치열한 경쟁과 더 많은 자금 압박에 침식되고 있다고 했음. Team Helen은 공황 상태로 움직였지만 조직의 창립 원칙을 지킨다고 믿었기 때문에 이길 거라고 봤을 듯함. 하지만 애초에 승산이 없었음. 대중 중 AI Safety를 진짜로 신경 쓰는 사람은 소수이고, 나머지는 ChatGPT가 숙제를 도와주는 걸 좋아함. 이사회가 터무니없이 멍청하게 행동한 건 조롱받아 마땅하지만, 정말로 초인간 AI가 가깝고 악의적으로 행동할 수 있다고 믿었다면 속도를 늦추려 하지 않았겠냐는 반대편도 생각해볼 필요가 있음
솔직히 그 위협을 진지하게 받아들이기는 어렵지만, 예전보다 더 깊이 이해하고 싶어짐. 생각했던 것만큼 근거 없는 것은 아닐지도 모름. 언젠가 Team Helen이 “우리가 막으려던 게 바로 이거였다”고 말하게 되는 날이 오지 않길 바람
https://www.technologyreview.com/2020/02/17/844721/ai-openai...- 여기서 일반 대중이 어떻게 생각하는지는 중요하지 않음. 결정적 요인은 직원 반란이었고, 직원이 없으면 조직은 빈 껍데기임
직원들은 실제 세계에 빠른 영향을 내겠다는 쪽에 섰고, 이는 그들의 경력과 주식 옵션에도 직접 영향을 줌. 원칙 싸움이라고 보는 것도 순진함. 빠른 상업화 대 원칙이라는 구호는 각 진영이 자기 편을 모으기 위해 내세운 것이고, 실제로는 약하고 혼란스러운 조직 구조를 이용한 노골적인 권력 장악이었을 가능성이 큼. Altman을 몰아내는 “올바른” 방식은 이사회에서 그의 권한을 서서히 묶고 점점 의례적인 역할로 밀어내 스스로 그만두게 만드는 것이었음 - OpenAI가 특이점에 가까워지고 있다면 Google, Meta, Baidu 등도 마찬가지임. 그렇다면 NSA나 백악관을 끌어들이고, Google, Meta, Microsoft까지 포함해 완화 조치를 시작하는 게 맞음
OpenAI만 늦추면 가정이 틀렸을 때는 회사에 해롭고, 맞았을 때도 도움이 안 됨. 이건 원칙과 방향의 싸움이라기보다 자존심과 권력 싸움에 더 가까워 보임 - 이 서사는 그럴듯하지만, 처음 나온 보도자료의 기괴하고 공격적인 문구를 설명하지 못함
창립 원칙이나 헌장을 가리키며 이사회가 Sam과 그 해석을 두고 좁힐 수 없는 견해차가 있었다고 말하고, 동시에 그간의 공로에 깊이 감사했다면 상황은 달라졌을 수 있음. 물론 적절한 후임 CEO와 직원들의 PPU가 유동화될 것이라는 보장이 훨씬 더 중요했겠지만. 처음에는 Sam이 범죄라도 저지른 줄 알았을 정도로 성명문이 나빴음 - 책임 있는 진보를 말하던 조직이 자기들 조직 안의 유인 구조 정렬조차 못 했다는 아이러니는 조롱받아도 됨. 이는 신뢰도에 큰 타격이고, 그들이 내세우는 윤리적 우려까지 의심하게 만듦
- 위협이 진짜라고 생각한다면, 이미 망한 게 아닌가? OpenAI는 이 문제를 연구하는 여러 팀 중 하나일 뿐이고, 모두 큰 상장사들의 막대한 자금과 인재를 등에 업고 있음
OpenAI가 독특한 기여를 한 건 맞지만 압도적으로 앞선 것도 아님. OpenAI가 흔들리면 다른 곳이 선두를 잡을 가능성이 높고, 다음 큰 혁신이 어디서 나올지도 알 수 없음. 위협을 진짜로 본다면 왜 OpenAI가 절대적인 선두라고 가정하는지 이해가 안 됨. 회사를 느리게 만들면 가장 가능성 높은 결과는 다른 곳에 선두를 넘겨주는 것임
- 여기서 일반 대중이 어떻게 생각하는지는 중요하지 않음. 결정적 요인은 직원 반란이었고, 직원이 없으면 조직은 빈 껍데기임
- 구도를 이렇게 보면 됨. 개발자 한 명인 Ilya 대 사업가 한 명인 Sam에서는 Sam이 이김. 수백 명의 개발자가 퇴사를 위협하고 이사회가 버티자 개발자들이 이김
밖에서 보면 개발자들이 처음부터 힘을 쥐고 있었던 것처럼 보이고, 그래야 맞음- 어떤 회사든 95%가 같은 입장을 취하는 건 전례가 없지만, 몇 가지 이유가 있음
그들은 새 Microsoft 스타트업에서 비슷한 직책과 보수를 받을 수 있었으니 일자리가 위험하지 않았고, Sam이 애초에 각 채용을 승인했으며, OpenAI는 더 높은 보상을 줄 수 있는 다른 회사보다 목표가 있는 비영리 조직에서 일하고 싶어 하는 사람들을 뽑아왔음. 어쨌든 함께 퇴사하겠다고 결집한 건 좋은 전략이었고 작동했음. “OpenAI is nothing without its people”은 나쁜 이사회에 대한 권력 견제였음 - 세 마리 용이 있음: 직원, 고객, 정부. 동기가 있고 정렬되면 이 셋 중 누구든 원하면 회사를 끝낼 수 있음
용을 깨우면 안 됨 - 돈이 이긴 것에 더 가까움. 대부분의 직원은 OpenAI의 사명에 크게 신경 쓰지 않은 게 분명해 보임. 그들을 탓하지는 않는데, 이들은 영리 OpenAI 회사에 고용됐고 그 목표에 맞춰 지분으로 보상받았기 때문임
내 생각에는 이사회가 OpenAI의 원래 사명을 지키려 한 건 옳았음. 이제 그 사명은 아무 의미가 없어졌지만. Google, Meta, Microsoft가 어차피 개발할 거라는 주장은 편리한 논리임. 핵무기 경쟁에서도 “우리가 안 만들면 남들이 만든다”는 식으로 쓰였고, 그 결과가 오늘날의 상황임 - Ilya가 이 일의 근원이었다고 확신할 수 있나? 그는 처음엔 지지했지만, 이후 되돌리지 않으면 퇴사하겠다는 서명에도 참여했음
D'Angelo가 아니라 Ilya가 배후였다는 증거가 무엇인지 궁금함 - 개발자들의 결합이 회사 자체보다 강해 보임. 그래서 빅테크 경영진이 노조를 그렇게 싫어하는 것임
- 어떤 회사든 95%가 같은 입장을 취하는 건 전례가 없지만, 몇 가지 이유가 있음
- 민간 산업 주도의 AI 안전 접근에 기대가 있었지만 이제는 어려워 보이고, 공공 AI 연구개발에 대한 국가 투자가 느린 탓에 모든 AI 안전 접근이 불확실해 보임
장난감 모델에서의 안전 연구는 계속 진전을 내겠지만, 업계의 예상은 창발적 속성 때문에 최첨단 모델을 연구하지 않고는 안전성에 대해 배울 수 있는 상한이 낮다는 쪽으로 보임. Altman은 OpenAI의 거버넌스 구조가 안전을 우선하게 만드는 장치라고 홍보했지만, 안전 인력을 ChatGPT 부하 대응 쪽으로 재배치했다는 보도는 우려됨. 이제 이사회는 기술적으로는 가능했지만 이런 이해관계를 통제할 만큼 강하지 않았음을 보여줬고, Anthropic을 포함해 안전 지향 조직이 자금 제공자의 가속주의적 영향에서 어떻게 벗어날 수 있을지 불분명해짐- 창발적 속성 같은 건 없고, 검색 가능한 지식이 선형적으로 늘어날 뿐임
계획을 못 세우고, 산술도 못 하고, 추론도 못 함. 자연어 질의로 지식을 대략 검색할 수 있고 이 부분은 꽤 좋으며, 데이터를 자연어와 다른 양식으로 인코딩할 수 있음. 이 자체는 걱정하지 않지만, 사람들이 이 모델이 할 수 있는 일을 심하게 오해한 뒤 중요한 일에 쓰려는 건 걱정됨 - ChatGPT를 계속 안정적으로 돌리는 것 같은 초기 상업화에 더 많은 노력을 쓰면, 오히려 최첨단 능력 개발에는 노력이 덜 갈 수도 있음. Altman은 애초에 AI 안전 사람이 아니었으니, 개인적으로는 Anthropic이 더 나은 리더십으로 이 문제를 피하길 바람
- 무능하지 않고 개인적 이익을 위해 권력을 남용하지 않으면 됨. 사람들은 생각만큼 멍청하지 않아서 그런 헛소리를 꿰뚫어보고, 멍청한 폭군을 따르느니 그만둘 것임
- “장난감 모델”이 아닌 모델이 무엇인지 알고 싶음
- 창발적 속성 같은 건 없고, 검색 가능한 지식이 선형적으로 늘어날 뿐임
- 정말 이런 일이 일어날 줄은 몰랐음. 다음 질문은 당연히 Ilya가 어떻게 되느냐임. 이번 발표상으로는 이사회에서 빠진 것 같은데, 여전히 수석 과학자인가? 그와 Sam이 관계를 회복해서 그렇게 가까이 일할 수 있을지 믿기 어려움
Adam이 이사회에 남은 것도 흥미롭고, 그가 이해상충 때문에 주동자였다는 여기서 떠돌던 여러 가설을 반박하는 것처럼 보임- Ilya 입장에서는 크게 달라진 게 없어 보임. Sam은 상업화를 얼마나 빠르게 추진할지에 대한 지속적인 의견 차이로 한 달 전 그를 옆으로 밀어냈음
Ilya가 여전히 밀려난 상태라면 아마 그만두고, 가장 많은 통제권을 주는 회사가 그를 데려갈 것임. 해고돼도 마찬가지임. 합의의 일부로 다시 중심에 세워진다면 아마 수석 과학자로 남을 것임. 이제 Sam의 적대감이 좀 줄어들길 바람 - 이상하게도 Ilya는 이번 일에서 꽤 괜찮게 나온다고 봄. 그는 자신의 가치와 AI 안전을 위한 최선이라고 믿은 판단에 따라 결정했고, 그 결과를 보고 마음을 바꾼 뒤 책임졌음
인터넷에서 번복했다고 조롱받을 걸 알았을 텐데도, 서명한 직원들에게 최선이라고 생각한 방향으로 움직였음. 그의 행동은 비판받을 수 있지만 도덕적 성격은 드러났다고 봄. 다른 이사회 구성원들은 더 개인적인 이유로 결정한 것처럼 보이고, Adam의 이해상충과도 맞아 보임. 솔직히 4명 중 이사회에 남기고 싶은 사람은 Ilya뿐임. 리더십 자리에는 새 정보에 따라 방향을 바꿀 수 있는 사람이 필요함 - 좀 더 낙관적으로 볼 수 있음. 둘은 서로를 꽤 잘 알고, 큰일을 함께 해내는 법도 알고 있음. 가끔 일이 터지거나 누가 실수할 수 있고, 진심 어린 간단한 사과는 꽤 멀리 감
- Sam은 비즈니스 관계가 어떻게 작동하는지 알기 때문에 관계 회복에 문제 없을 것임. 게다가 Ilya는 트윗에서 보였듯 이미 반지에 입맞춤했음
- Ilya 입장에서는 크게 달라진 게 없어 보임. Sam은 상업화를 얼마나 빠르게 추진할지에 대한 지속적인 의견 차이로 한 달 전 그를 옆으로 밀어냈음
- 새 이사회는 Adam D'Angelo가 친이사회, Brett Taylor가 친Sam, Larry Summers가 중립에 가까워 보임. Brett은 일요일부터 Sam 복귀를 밀어왔으니 Sam과 OpenAI 리더십이 그를 좋아한다고 추정함. Larry는 AI 분야에서 일한 적은 없지만 일반적으로 존경받는 이름이고, 양쪽이 타협하기 전에 광범위한 인터뷰와 평판 확인을 했을 것임
앞으로 이사회가 어떻게 변할지 흥미로움. 대략 두 파벌이 있었음. Sam이 너무 빠르다고 본 파벌이 그를 해임했고, Sam의 궤적이 괜찮다고 본 파벌에는 Sam과 Greg가 있었음. 이제 이사회에 균형이 생겼고, 이후 선임이 어느 한쪽으로 기울게 만들 수 있음. 안타깝게도 분열된 이사회는 오래가기 어렵고 결국 한쪽이 이길 가능성이 큼. 나는 Sam 쪽이 결국 이길 것 같지만 지켜봐야 함
이번 드라마에서 가장 슬픈 결과 중 하나는 Greg가 OpenAI에서 밀려난 것임. Greg는 뛰어난 사람일 뿐 아니라 OpenAI에 주 80~90시간을 꾸준히 쏟아부었고, 인생의 상당 부분을 이 조직을 만드는 데 바쳤다고 할 수 있음. 그런 사람이 OpenAI를 만드는 데 90시간 근무는커녕 거의 기여하지 않은 이사회에 의해 물러나야 했다면 모욕임. Ilya는 예외이며, 자기 행동이 OpenAI를 죽이고 있다는 걸 보고 입장을 뒤집은 것도 주목할 만함- 여기서 무서운 선택은 Larry Summers임. 그의 은행 규제 완화 관점은 글로벌 금융위기로 이어졌고, 인종차별적·성차별적 입장으로 여러 논란도 있었음. 게다가 Epstein의 오랜 친구였고 그의 섬에도 여러 번 갔음
- Greg는 직장에서가 아니라 이사회 자리에서만 물러나야 했음