▲

Greg Brockman 인터뷰: AI가 곧 폭발적으로 성장할 것! 앞으로 어떤 일이 벌어질까?

 (fs.blog)
2P by GN⁺ | ★ favorite | 댓글 1개
  • Greg Brockman은 OpenAI가 AGI 미션을 달성하려면 비영리 한계를 넘어 영리 법인과 대규모 컴퓨트를 확보해야 했다고 봄
  • OpenAI의 기술 전환점은 Dota의 PPO 확장, 언어 모델의 의미 학습, GPT-4 이후 AGI 기준 재검토로 이어짐
  • AI 개발은 이미 AI로 가속되고 있으며, 코드 작성은 빠르게 대체되지만 코드 구조 설계는 인간 전문가가 여전히 강하다고 봄
  • 앞으로 핵심 제약은 컴퓨트이며, OpenAI는 데이터센터와 무료 접근성을 통해 기술 혜택을 넓게 배분하려 함
  • 반복적 배포, 안전, 중립성, 규제는 모두 제품과 사회의 핵심 과제이며, 성공 기준은 AGI가 인류 전체에 이익이 되는 것임

OpenAI의 설립과 구조 전환

  • Stripe 이후 AI로 이동한 이유

    • Greg Brockman은 Stripe에서 풀던 문제가 평생 붙잡고 싶은 문제는 아니었고, AI가 세계에서 전개되는 방식에 영향을 줄 수 있다면 의미 있는 삶이 될 수 있다고 판단함
    • Patrick Collison은 Brockman이 Stripe를 떠나려 할 때 Sam Altman과 이야기해보라고 했고, Sam은 몇 분 만에 Brockman이 이미 떠나기로 결정했다고 봄
    • Brockman이 AI 회사를 생각 중이라고 하자 Sam도 AI에서 무언가를 시작하려 한다며 계속 연락하자고 했고, 이는 2015년 연구소 설립 논의로 이어짐

  • 2015년 연구소 설립과 초기 팀

    • 당시 DeepMind는 연구자, 자본, 데이터, 실적을 갖춘 “10,000파운드 고릴라”처럼 보였고, AlphaGo 공개 전에도 추진력이 분명했음
    • 핵심 질문은 “최고 연구자 다수를 모아 연구소를 시작하기에 너무 늦었는가, 가능한가”였고, 어렵다는 이유는 많았지만 불가능하다는 결론은 나오지 않음
    • Sam Altman과 Brockman은 “해야 한다”고 결론 내렸고, Brockman은 다음 날부터 전업으로 조직 구축에 들어감
    • 초기 구상에는 Ilya Sutskever, Dario Amodei, Chris, Greg Brockman이 포함됐지만 완전히 성사되지는 않았고, Chris는 Google Brain으로 갔으며 John Schulman 등이 관심을 보임
    • 약 10명이 “누가 함께하느냐”를 묻는 상태에서 Sam은 오프사이트를 제안했고, 공식 제안·조직 구조·확정 합류자 없이 Napa에 사람들을 모음
    • Napa 오프사이트에서는 이후 10년간 이어진 기술 계획에 가까운 방향이 나왔고, 핵심은 강화학습 해결, 비지도학습 해결, 더 복잡한 대상을 점진적으로 학습하는 전략이었음

  • 비영리 구조의 한계와 영리 법인

    • 2017년 OpenAI는 AGI를 실제로 만들기 위해 필요한 조건과 컴퓨트 규모를 계산하기 시작했고, 큰 컴퓨터가 필요하다는 결론에 도달함
    • Cerebras가 만들던 독특한 컴퓨팅 하드웨어가 계산상 필요한 수준보다 훨씬 앞서갈 수 있다고 봤고, 독점 접근이나 대규모 데이터센터 확보가 AGI 구축에 큰 우위를 줄 수 있다고 판단함
    • 비영리 모금에는 상한이 있다고 봤고, Elon Musk, Sam Altman, Ilya Sutskever, Greg Brockman은 OpenAI 미션 달성을 위한 유일한 경로가 OpenAI와 연결된 영리 법인을 만드는 것이라고 합의함
    • AGI를 만들려면 자본이 필요하지만, 비영리 구조만으로는 1억 달러나 5억 달러는 가능해도 10억 달러는 매우 어렵다고 봄

  • 내부 긴장과 Sam Altman 해임 사태

    • 인간 수준 지능의 기계를 만들 수 있다고 믿는 조직에서는 의사결정권자, 의사결정에 들어가는 가치, 공로 배분 같은 일반 회사의 사내 정치도 실존적 무게를 띠게 됨
    • Brockman은 영상 통화에서 Sam을 제외한 이사회가 모여 있는 것을 봤고, 이사회가 Sam Altman을 제거하기로 결정했다는 통보를 받음
    • 추가 정보를 요청했지만 더 공유할 것이 없다는 답을 받았고, 자신도 이사회에서 제거되지만 회사에는 남아 미션 수행에 중요하다는 통보를 받음
    • 사유나 피드백을 받지 못한 Brockman은 통화 직후 아내와 이야기한 뒤 사임해야 한다고 결론 내림
    • 사임 당일 Sam과 Brockman이 다음에 무엇을 하든 함께하겠다는 메시지가 쏟아졌고, 가까운 협업자들도 그날 함께 사임함
    • Sam을 포함한 다섯 명은 새 회사 구상을 시작했고, Brockman은 회사를 되찾을 가능성을 10% 로 봄
    • 일요일 밤 이사회가 임시 CEO였던 Mira를 새 인물로 교체하자 회사가 반발했고, 작은 “구명보트”처럼 예상 합류자만 받으려던 계획은 거의 모두를 받아들여야 하는 상황으로 커짐
    • Thanksgiving 직전에도 많은 직원이 귀향 항공편을 취소하고 사무실에 모였고, 청원 문서에는 너무 많은 사람이 동시에 서명하려 해 Google 문서가 멈춤
    • Brockman은 새벽에 Twitter를 확인했고, Ilya가 청원에 서명하며 회사가 다시 합쳐지길 원한다고 올린 것을 보고 크게 안도함

  • Ilya Sutskever와 관계 회복, 리더십의 교훈

    • Ilya는 Brockman의 민사 결혼식 주례를 맡았을 정도로 가까운 관계였고, 둘은 힘든 시간을 함께 지나옴
    • 이후 둘은 쌓였거나 말하지 않았던 것들을 이해하고 표현하기 위해 많은 시간을 보냈고, Brockman은 그 과정을 통해 마무리에 도달했다고 느낌
    • 사태 이후 경쟁사들이 사람들을 빼가려 했고 더 많은 돈이나 더 나은 제안이 있었을 수 있지만, 그 주말 동안 OpenAI는 한 명도 잃지 않았고 아무도 경쟁 제안을 받아들이지 않음
    • Ilya가 떠났을 때는 OpenAI 역사에서 거의 유일하게 더 이상 하고 싶지 않다고 느낀 순간이었고, 왜 이 일이 중요한지와 고통을 감수할 가치가 있는지를 다시 찾아야 했음
    • 휴식기에는 DNA 시퀀스에 언어 모델을 학습했고, 아내와 동물의 건강 문제에 AI가 무엇을 할 수 있는지 관심을 두며 기술을 개인적으로 의미 있는 영역에 적용함
    • 되돌아보면 잘못한 일들은 대체로 해야 한다고 알던 결정을 너무 오래 미룬 형태였고, 반복해서 배운 교훈은 어려운 결정을 하고 어려운 대화를 하라는 것임

기술적 전환점과 AI 개발의 가속

  • “진짜다”라고 느낀 연속된 순간들

    • OpenAI의 발전은 한 번의 깨달음이 아니라 “진짜다”라고 느끼는 순간들이 이어지는 과정이었음
    • 초기 출범은 팀을 모아 미션을 추구할 수 있게 된 순간이었지만, 다음 날 사무실에는 무엇을 해야 할지, 심지어 화이트보드도 없는 상태였음

  • Dota와 PPO가 보여준 확장성

    • Dota는 첫 큰 성과였고, 컴퓨트를 키우면 결과도 커진다는 점을 보여줌
    • 원래 Dota 프로젝트는 기존 강화학습이 확장되지 않을 것이라고 보고 새로운 방법을 개발하려는 시도였으며, 사용한 알고리듬은 PPO였음
    • PPO는 모든 시간 단계를 계획하고 계층 구조가 없어 인간의 하루 계획 방식과 다르고, 결함이 많으며 확장되지 않을 것으로 봤지만 기준선을 한계까지 밀어붙이기로 함
    • PPO를 계속 확장한 결과 최고 인간 플레이어 성능을 넘었고, 단순 알고리듬과 대규모 컴퓨트가 실제에서도 작동한다는 발견으로 이어짐
    • Dota 환경은 프로그래밍하거나 앞을 내다보거나 검색하기 어려운 복잡한 환경이었고, 거의 인간 같은 직관이 필요했음
    • 사용한 신경망은 “작은 곤충 뇌”에 가까운 시냅스 수였고, 같은 계산 접근을 인간 뇌 규모에 더 가깝게 키우면 어떨지라는 질문을 남김

  • 언어 모델, 의미 학습, GPT-4 이후 기준 변화

    • 2017년 unsupervised sentiment neuron 논문은 언어 모델링 목표에서 의미론이 생기는 것을 처음 본 순간으로 꼽힘
    • 다음 문자를 예측하도록 학습했을 뿐인데 신경망이 문장의 긍정·부정을 이해하게 됐고, 쉼표·명사·동사 위치뿐 아니라 문장의 의미를 학습할 수 있음을 보여줌
    • GPT-4를 다루던 중 “왜 이것이 AGI가 아닌가”라는 질문이 나왔고, 원하는 주제로 유창하게 대화할 수 있었지만 분명 무언가 부족했음
    • GPT-4 공개 2개월 전에 갖고 있던 AGI 기준은 GPT-4의 실제 능력과 맞지 않았을 가능성이 있었고, 앞으로도 다음 단계가 가능하다는 돌파 순간들이 남아 있다고 봄

  • 예측, 비지도학습, 강화학습의 연결

    • 다음 단어를 예측하는 일은 평범해 보이지만, Einstein의 다음 말을 정말 예측할 수 있다면 최소한 Einstein만큼 똑똑한 것이라는 관점이 나옴
    • 예측의 핵심은 이미 알려진 것을 맞히는 것이 아니라, 한 번도 본 적 없는 새로운 상황에서 다음에 무엇이 올지 예측하는 데 있음
    • 모델 학습은 정적·관찰 데이터에서 다음에 올 것을 예측하도록 학습하는 비지도학습과, AI가 스스로 행동을 선택하고 세계의 관찰을 받아 자기 데이터에서 배우는 강화학습으로 구분됨
    • 두 단계에서 쓰는 기술은 근본적으로 같고, 달라지는 것은 데이터 구조임

  • AI가 AI 개발을 가속하는 단계

    • AI를 자체 개발 과정에 적용하면서 개발 속도가 점점 빨라지는 단계에 들어섰다고 봄
    • ChatGPT 이후 내부 개발 과정은 10~20% 빨라졌고, 최근의 코딩 도구는 소프트웨어 엔지니어링 방식을 크게 바꿈
    • 모델 생산에서 병목의 대부분은 시스템 구현, 규모 확장, 대형 컴퓨터 관리 같은 소프트웨어에 있음
    • 곧 AI가 자체 연구 아이디어를 내고, 실험을 실행하고, 테스트하는 단계에 이를 것으로 봄
    • 현재 코드 작성에서 AI가 쓰지 않은 부분의 비율은 알기 어렵고 “사라지는 수준”이며, 올바른 맥락과 구조가 주어지면 실제 코드 작성은 AI가 인간보다 낫다고 봄
    • 다만 모듈 배치, 구성 요소 관계, 특정 인터페이스 정의 같은 코드 구조 설계에서는 인간 전문가가 여전히 훨씬 낫다고 봄

  • 새로운 아이디어와 chain of thought 비공개

    • AI가 사람이 생각하지 못한 새로운 아이디어를 내는 단계에는 가까워지고 있다고 봄
    • 2024년 자체 칩 설계에서 회로 면적을 줄이기 위해 OpenAI 기술을 적용했고, 모델이 만든 최적화는 인간 목록에 이미 있던 것이었지만 시간이 없어 못 했을 일을 더 빠르게 구현함
    • 수학과 물리에서는 열린 수학 문제와 열린 물리 문제를 풀고 있으며, 최근 양자물리의 특정 문제를 커뮤니티 예상과 반대 방향으로 해결하고 우아한 공식까지 내놓았다고 함
    • OpenAI는 증류를 어렵게 만들기 위해 노력하며, 특히 chain of thought처럼 사용자에게 결과를 주는 데 필수적이지 않지만 모델의 일부인 요소를 보호함
    • OpenAI의 핵심 우위는 특정 모델 하나가 아니라 모델을 만드는 기계에 있음
    • reasoning을 보여주지 않는 이유 중 하나는 증류 방지이고, 더 중요한 이유 중 하나는 해석 가능성임
    • chain of thought가 보기 좋도록 학습되면 충실성이 사라지고, 모델은 실제 이유가 아니라 사용자가 원하는 모양의 reasoning을 만들어낼 수 있음
    • OpenAI는 chain of thought를 사용자에게 보여주기 좋은 형태로 학습시키려는 유혹을 피하기로 초기 결정했고, 경쟁·안전 이유로 중간 사고를 공개하지 않는 쪽으로 기울었음

컴퓨트 제약, 데이터센터, 제품 초점

  • 컴퓨트가 핵심 제약이 되는 세계

    • 앞으로는 전반적으로 컴퓨트 제약 세계로 가고 있다고 봄
    • 모델이 만드는 가치는 단순한 질문 답변을 넘어 건강 정보 접근, 여러 데이터 소스 통합, 기업 지식 베이스 검색, 어려운 문제 해결, 인간보다 나은 소프트웨어 작성으로 확장됨
    • GPT-5에서 5.1, 5.2, 5.3 Codex, 5.4로 이어지는 진전은 매우 컸고, 모델은 사용자의 의도를 이해하고 목표에 맞춰지는 능력이 크게 향상됨
    • Codex 같은 표면에 모델을 올리면 개발자가 이전보다 훨씬 더 많은 것을 달성할 수 있음
    • 전 세계 모든 사람에게 GPU 하나씩만 주려 해도 80억 GPU가 필요하지만 현재 궤적은 그 수준에 가까이 가지 못함
    • 오늘날 수십만 GPU는 큰 규모이고, 앞으로 수백만 GPU가 올 수 있지만, 세계에는 여전히 컴퓨트가 너무 적고 이 기술을 모두에게 가져가려면 훨씬 더 많이 필요함

  • 데이터센터 전략과 물리적 인프라

    • OpenAI는 앞으로 올 것을 예상해 컴퓨트를 구축하는 데 많은 노력을 들였고, 모델을 모두에게 널리 제공한다는 미션에 집중하려 함
    • 데이터센터에 많은 노력과 돈을 쏟는 전략은 경쟁사들로부터 조롱받았지만, 이제는 사업뿐 아니라 기술을 모두에게 전달하는 미션 수행에도 우위가 될 것으로 봄
    • AI용 데이터센터는 “인류가 만드는 가장 큰 기계”에 가까우며, 그 목적은 암 치료, 사업 운영, 일상적 질의처럼 사람에게 중요한 문제를 해결하고 목표 달성을 돕는 데 있음
    • 특정 문제 전용 데이터센터에 대해, 예를 들어 Dakota의 거대한 데이터센터가 암 해결만 맡는 형태가 올해 일어나는 것도 배제할 수 없다고 봄
    • 현재 데이터센터는 매우 섬세한 대형 기계이고, 과거에는 케이블이 너무 팽팽해서 신호 무결성 문제가 생기고 컴퓨터가 작동하지 않는 일도 있었음
    • 현재 시스템 유지보수는 사람이 물리적으로 수행하지만, 앞으로는 로보틱스로 이동할 가능성이 있음
    • 우주 데이터센터는 기술적 문제가 많지만, 컴퓨트 수요가 너무 커 모든 선택지를 생각해야 한다고 봄

  • 컴퓨트 배분과 접근성

    • 컴퓨트가 제한된 상황에서는 “이미지 생성”과 “암 해결”처럼 서로 다른 수요 사이에서 어디에 컴퓨트를 배분할지가 사회적으로 중요한 질문이 됨
    • OpenAI는 모두가 컴퓨트에 접근해야 한다고 보고, ChatGPT에 무료 티어를 둔 이유도 기술을 널리 쓰게 하고 사람들이 직접 이해하며 활용 방식을 형성하게 하려는 데 있음
    • “아이보리 타워”식으로 문제를 먼저 해결한 뒤 성과를 배포하는 접근에도 장점은 있지만, OpenAI의 무게중심은 기술의 혜택을 광범위하게 배분하는 쪽에 있음

  • 엔터프라이즈와 소비자의 결합

    • OpenAI의 다음 단계에서 엔터프라이즈는 매우 중요하며, 경제가 눈앞에서 컴퓨트 기반 경제로 바뀌고 있음
    • 소프트웨어 엔지니어링에서 이미 변화가 보였고, 컴퓨터로 일하는 모든 분야에서 “사람이 컴퓨터로 일하는” 방식이 아니라 컴퓨터가 사람을 위해 일하는 방식으로 이동할 것으로 봄
    • 엔터프라이즈와 소비자의 경계는 흐려질 수 있으며, 창업이 훨씬 쉬워지는 변화가 이미 나타나고 있음
    • 한 친구는 여동생이 원하던 앱을 듣는 동안 Codex에 입력했고, 몇 시간 뒤 앱을 보여주자 여동생이 “누가 만들었냐”고 물었으며, 그는 “네가 만들었다”고 답함
    • Codex는 소프트웨어 엔지니어만을 위한 도구가 아니라, 비전과 실행 의지가 있는 사람이라면 누구나 빌더가 될 수 있게 하는 도구로 제시됨

  • 개인 AI와 하나의 기술 시스템

    • OpenAI가 특히 집중하는 소비자 영역은 엔터테인먼트나 자기표현보다 목표 해결임
    • 스마트폰 사용자가 약 40억 명이라면 모두가 자신을 잘 알고, 개인 맥락을 이해하며, 신뢰할 수 있고, 조언을 구할 수 있는 개인 AI 또는 개인 AGI를 가져야 한다고 봄
    • 개인 AI는 좋아하는 음악가가 도시에 오면 티켓을 사는 것처럼 능동적으로 행동할 수 있으며, 어떤 경우에는 먼저 확인하고 어떤 경우에는 사전 승인에 따라 바로 실행할 수 있음
    • 목표는 여전히 사용자가 정해야 하며, 사용자가 통제권을 가져야 한다는 전제가 붙음
    • 개인 AI 또는 개인 AGI에 접근해야 할 사람은 40억 명을 넘어 80억 명, 즉 전 지구가 될 것이라고 봄
    • 업무에서 쓰든 개인 생활에서 쓰든, 여러 인스턴스를 갖게 될 수는 있지만 근본적으로는 하나의 기술 시스템으로 봄

배포, 안전, 중립성, 규제

  • 반복적 배포

    • 반복적 배포(iterative deployment) 는 OpenAI가 기술을 사람에게 유익하게 만들고 임무를 달성하기 위해 사용해 온 핵심 기둥 중 하나임
    • AGI를 비밀리에 만들고 아무것도 배포하지 않다가 어느 순간 버튼을 눌러 배포하는 경로도 있지만, 그 경우 강력한 시스템과 현실의 첫 접촉을 한 번에 감당해야 함
    • 반대로 점점 강해지는 시스템을 여러 번 배포하면 “100번째 시스템”을 다루는 상황이 되고, 이전 99번의 문제 해결에서 배울 수 있으며 세계도 적응할 시간을 갖게 됨
    • GPT-3 배포 전에는 허위정보 같은 큰 그림을 많이 생각했지만, 실제 가장 큰 오용은 사람들에게 여러 약을 광고하는 의료 스팸이었음
    • 반복적 배포는 중간 버전을 세상에 내놓아 실제 오용과 위험을 보고 배우는 방식이며, 무작정 배포하자는 뜻은 아님
    • AI처럼 빠르게 배포되고 강력한 기술에는 플레이북이 없으며, OpenAI도 만들어 가며 배워야 하는 상황임

  • 안전은 제품 기능

    • 안전은 단순한 부가 요소가 아니라 핵심 제품 기능이며, 누구도 자신과 정렬되지 않은 모델을 원하지 않음
    • 사용자는 어떤 상황에서도 믿을 수 있고 올바른 일을 하는 모델을 원함
    • OpenAI는 안전에 사람들이 인식하는 것보다 훨씬 많이, 어쩌면 다른 어떤 연구소보다 많이 투자했을 가능성이 있다고 봄
    • ChatGPT는 세계에서 가장 많은 사람이 쓰는 언어 모델 배포 사례이기 때문에, OpenAI는 안전을 신경 써야 하며 실제로 항상 신경 써 왔다고 밝힘
    • 성공적인 제품을 만드는 AI 개발자가 안전에 매우 강하게 투자하지 않는 지속 가능한 상태는 없다고 봄

  • 사회적 회복력과 OpenAI Foundation

    • 안전은 모델 자체만이 아니라 사회가 회복력을 갖는 방식과도 연결됨
    • 자동차에는 안전벨트와 도로가 필요하고, 전기에는 안전 기준과 전봇대·고압선 배치 같은 규칙이 있음
    • AI도 모델 자체만이 아니라 세계와 어떻게 통합되고 사회가 어떻게 회복력을 갖는지가 중요함
    • OpenAI Foundation은 AI를 위한 회복력 있는 층을 사회가 투자하고 구축하도록 돕는 일을 핵심 초점 중 하나로 둠

  • 모델의 정치적 편향, 중립성, 사용자 선호 학습

    • OpenAI는 모델이 중립적이고 진실을 대표하도록 많은 노력을 기울이며, 모델에 들어가는 가치와 동작 방식은 웹사이트의 공개 사양에서 볼 수 있고 피드백도 가능하다고 함
    • Twitter 스크린샷은 뒤에 있는 메모리, 숨은 지시, 이전 대화 맥락 때문에 답변이 특정 방향으로 조정된 경우가 있어 항상 완전히 정직하지 않을 수 있음
    • 어떤 질문은 정답이 없고, 한 단어로 답하라고 할 경우 어떤 답을 하든 편향 주장이 나올 수 있음
    • OpenAI가 중요하게 보는 핵심은 진실과 사용자를 대표하는 AI임
    • 사용자 선호에 맞춰 모델을 학습시키는 방식은 진화해왔고, 한때 모델이 사용자가 듣고 싶어 하는 말을 해주는 방향으로 기울었던 적이 있음
    • 목표는 모델이 사용자의 장기 목표와 장기적 안녕을 돕는 것이며, 단기적 만족을 얻기 위한 “채점자 해킹”이 일어나지 않도록 기술적 개선을 했음

  • 규제, 데이터센터 우려, 국가 전략

    • AI 규제는 기술이 궁극적으로 사람들에게 이익을 주도록 해야 하며, 안정적이라고 생각했던 제도, 직업, 삶의 경로가 더 이상 안정적이지 않을 수 있음을 다뤄야 함
    • 모두가 컴퓨트에 접근해야 하는지, 기술이 더 많은 경제적 가치를 만들 때 그 가치가 한곳에만 쌓이지 않게 할 방법은 무엇인지가 규제의 핵심 질문이 됨
    • ChatGPT 사용으로 본인 또는 사랑하는 사람의 생명이 구해졌다고 말하는 사람들이 있으며, 그런 활용은 지원되고 보호되어야 한다고 봄
    • 의사나 변호사와의 대화는 법적으로 보호되는 특권 대화이지만, AI에는 그런 체계가 아직 없음
    • 데이터센터가 전기요금을 올리는지에 대한 우려가 있으며, OpenAI는 그렇게 되지 않도록 하겠다는 약속을 갖고 있음
    • 데이터센터의 물 사용량에 대한 이야기가 많지만, OpenAI 데이터센터는 물을 매우 적게 쓰며 많이 쓴다는 말은 잘못된 정보라고 밝힘
    • 물 사용량이 적은 이유는 폐쇄 루프 구조라서, 수영장 같은 양의 물을 채운 뒤 계속 순환시키는 방식이기 때문임
    • 현재 상황은 “글로벌 AI 경주”라기보다 글로벌 AI 르네상스에 가깝고, 국가 간 역학은 아직 완전히 정해지지 않았다고 봄
    • 미국이 AI에서 선도하는 것은 민주적 가치가 보호되고 보존되도록 하는 데 중요하다고 봄
    • 각국은 AI가 경제 안보와 국가 안보의 기반이 되고 있다면 어떤 형태로든 참여해야 하며, 주권 AI 전략이 필요하다고 깨닫는 중임
    • 칩 수출과 기술 수출을 너무 강하게 제한하면 다른 나라가 자체 경쟁자를 만들거나 다른 제공자에 의존하게 되고, 너무 느슨하면 미국이 우위를 잃을 수 있음
    • 리더십은 단지 앞서는 것이 아니라 세계를 함께 데려가는 것까지 포함함

일자리, 필요한 역량, 바람직한 미래

  • 일자리 불안과 얻게 되는 것

    • AI가 정확히 어떻게 전개될지는 불확실하고 놀라운 방식으로 나타날 수 있으며, 현재의 AI와 세계는 과학소설이 예상한 모습과도 다름
    • 변화가 오고 있다는 점은 부정할 수 없으며, 잃는 것은 보기 쉽지만 얻게 되는 것은 사전에 보기 훨씬 어려움
    • 1950년의 사람에게 컴퓨터, 휴대전화, GPS를 거쳐 3분 안에 현재 위치로 차를 부를 수 있게 된다고 설명하면 이상하게 들리겠지만, 실제로 그런 기술 투자가 수천, 수만, 수백만 개의 활용으로 이어졌음
    • AI의 핵심은 역량 강화와 인간의 주체성에 있으며, 일부 제도와 직업은 생각보다 안정적이지 않을 수 있어 사람들에게 영향을 줄 것임
    • 여러 세대의 AI 기술을 보며, 이전 세대 기술을 먼저 익힌 사람들이 다음 세대에서도 가장 큰 이익을 얻는 경향이 있었다고 봄
    • 핵심 역량은 주체성, 비전, 아이디어이며, 시도해 보는 진입장벽이 어느 때보다 낮아짐
    • 세계는 불확실성과 전환을 지나는 모든 사람을 어떻게 지원할지 생각해야 하며, 경제는 컴퓨트 기반 경제로 달라질 것임

  • 젊은 세대가 익혀야 할 것

    • 고등학생, 대학생, 초기 커리어 단계의 사람에게 중요한 역량은 AI를 깊이 활용하고 AI에서 최대한을 끌어내는 법을 이해하는 것임
    • 앞으로 모두가 에이전트의 관리자, 더 나아가 자율 AI 기업의 CEO가 되는 세계로 갈 수 있다고 봄
    • 10만 명 규모 회사의 노동력이 모두 자신을 위해 24시간 움직이는 상황을 상상할 수 있으며, 이를 위해서는 토큰과 컴퓨트가 필요함
    • 모두가 컴퓨트에 접근하는 것은 세계가 제대로 해결해야 할 핵심 문제임
    • 앞으로 중요한 역량은 AI를 활용하는 법, 기술들을 새롭게 조합하는 법, 에이전트와 상호작용하고 관리하는 법, 자신이 원하는 것과 목적을 이해하는 법임

  • 위험과 바람직한 미래

    • 지금까지 기술은 사람이 기계에 맞춰 몸과 생활을 비트는 방식이 많았고, 상자 앞에서 타이핑하며 손목터널증후군과 굽은 어깨를 겪는 모습은 인간에게 자연스럽지 않음
    • 앞으로는 컴퓨터로 일하는 것이 아니라 컴퓨터가 사람을 위해 일하는 세계로 이동하며, 이는 기회와 위험을 함께 만듦
    • 기계가 사람의 목표 실현을 돕는다면, 서로 충돌하는 목표를 어떻게 조정할지, AI가 무엇을 도와주고 무엇은 도와주지 않을지 경계를 정해야 함
    • AI가 사회에 어떻게 들어갈지, 혜택이 한 기업이나 한 집단에만 가지 않고 모두를 끌어올리도록 할 방법을 찾아야 함
    • 모든 사람이 훌륭한 삶과 이 기술에 접근하고 그것으로 무언가를 할 수 있도록 바닥을 높여야 하며, 그에 따라 천장도 올라갈 것으로 봄
    • 의료 접근성에서는 모두가 주머니 속에 오늘날 어떤 의사 팀보다 나은 의사를 갖는 세계가 가능하다고 봄
    • 이런 변화는 파괴적이며 공짜로 오지 않고, 이미 초기 오류도 나타났음
    • 향후 2년 동안 선을 위한 힘이 될 수 있다고 보지만, 그 상승 가능성을 달성하려면 잘못될 수 있는 방식과 위험을 함께 인정해야 함

  • 개인적 기준과 성공의 정의

    • 논문을 쓰고 인용을 받으며 학회에서 주목받는 것만으로는 미션을 달성할 수 없고, “그 활동이 어떻게 AGI가 세계에 더 좋은 방향으로 가게 하느냐”와 연결되어야 충분함
    • Ilya의 표현으로는 “고통을 겪어야 한다”는 관점이 있고, 고통이 없다면 가치를 만들고 있지 않다는 의미에 가까움
    • OpenAI의 방식은 문제를 덮어두고 무작정 추진하는 것이 아니라, 어려운 진실을 마주하고 현실을 있는 그대로 이해하는 것에 가까웠다고 봄
    • 비기술자에게 전하고 싶은 AI의 의미는 개인 생활에 도움이 되고, 과학과 의학을 진전시키며, 모두를 끌어올릴 선한 힘이 될 것이라는 점임
    • 성공은 OpenAI의 미션, 즉 인공일반지능이 모든 인류에게 이익이 되도록 보장하는 것임

함께 보면 좋은 글 β

▲
GN⁺   [-]
Hacker News 의견들

  • 예전 컴퓨터 잡지는 프로그래머 대상이었고 코드 목록도 실려 있던 때가 기억남
    그러다 어느 순간부터 IBM 대 Microsoft 소송 얘기만 하더니, 그 뒤로는 컴퓨터 회사들의 내부 정치만 떠드는 공식을 찾은 것처럼 변함. 이런 기업 대 기업 보도는 지루하고, 기술판 리얼리티 TV 같음. 오늘 밤엔 Debra가 탈락할까, Deborah가 탈락할까 하는 식임

    • Wired가 편집장을 바꾸던 때가 기억남. Chris Anderson이 떠난 뒤로는 “iPhone 얘기하는 GQ”가 됨
    • “기술” 업계에는 두 세계가 있고, 해커 타입이 생각하는 기술은 세상이 말하는 기술과 다름
      세상이 보는 쪽은 실제 기술보다는 그 기술이 가능하게 만든 미친 수준의 돈, 권력, 영향력, 음모에 가깝다. IBM 대 Microsoft 시절에도 그 규모가 컸지만, 지금 OpenAI 같은 시대의 규모는 상상 이상임. 공학·기술 쪽과의 연결이 오직 그 다른 면에 대한 관심 때문에 생긴 세대도 있음. 예전 Byte magazine 시절이 그립다

  • 전체를 듣기 싫다면 여기서 확인 가능함: https://apecast.app/podcast/the-knowledge-project/episode/op...

  • Brockman이 과거를 어떻게 봤는지는 Musk 소송 과정에서 공개된 개인 일기도 있음
    예를 들면 “Financially what will take me to $1B?” 같은 문장이 들어 있음. 참고로 Musk는 너무 늦게 제기해서 패소함

    • 개인 일기 전체가 공개됐는데 그게 최악이라면, 오히려 괜찮은 편임

  • 왜 아무도 Ilya의 속내를 묻지 않는지 모르겠음
    Sam을 해고했다가, Sam이 해고되면 OpenAI를 떠나겠다는 연대 서한에 서명한 흐름이 이해가 안 됨. 그 외 정보는 전부 겉핥기처럼 보임

    • 맞대응의 일부는 Microsoft가 해고가 유지될 경우 조직 자체 없이도 사람들을 개별 채용하고, 잃어버릴 주식 가치 상승분을 보상하려 했다는 점이었음
      실제로 실행하기는 훨씬 어려웠을 것 같지만, 피할 수 없는 결과라고 믿게 만들었을지도 모름
    • 맞음, 그걸 물어봐야 함. Sam을 쫓아낸 뒤 이사회가 왜 사임했는지도 아직 이해가 안 됨

  • 이유는 모르겠지만 이번 에피소드는 꽤 지루하게 느껴짐
    예상 밖이거나 알려지지 않은 내용을 거의 공유하지 않아서 그런 듯함

    • 이미 아는 내용뿐일 줄 알았는데 새로 알게 된 게 많아서 예상보다 더 흥미로웠음

  • 그 일이 OpenAI를 죽이지는 않았을 것 같음. 오히려 바로잡았을 것임

    • 승자가 역사를 씀

  • 흥미로운 건 사실상 우연히 답을 찾았다는 점임. 사전학습은 대규모 비지도 학습이고, RLHF는 강화학습임. 아직 조리법을 몰랐을 뿐임

    • 사전학습은 비지도 학습이 아니라 자기지도 학습임. 그래서 규모 확장에 약간 더 제약이 있음

  • 비영리 단체가 왜 이런 걸 할 수 있었는지 이해가 안 됨
    이러면 비영리가 실제로는 아무 의미 없다는 선례가 되는 것 아닌가. 유리한 구조를 쓰다가 자기들이 부자가 될 때가 오면 바꾸면 되는 셈임

    • 어느 지점이 문제라고 보는지 명확히 하면 도움이 될 것 같음
      OpenAI는 2015년 Delaware 비영리로 설립됐고, 2017년 규모 확장 법칙을 발견하면서 예상보다 훨씬 많은 컴퓨팅과 자금이 필요하다는 걸 알게 됨. 이후 더 많은 자금을 조달하기 위한 구조 변경 협상이 이어졌고, 다른 창업자들이 Musk에게 지배권을 주지 않으면서 Musk가 떠남. 2018년에는 Elon의 기여 중단에도 모금을 크게 늘리려 했지만 1억 달러 목표 중 5천만 달러만 조달함. 2019년에는 상업 자금을 끌어들이기 위해 수익상한 자회사를 만들었고, 비영리는 독립 평가자를 고용해 지식재산권 가치를 평가한 뒤 약 6천만 달러의 공정가치로 영리 법인에 이전함. 그 대가로 비영리는 수익 발생 시 원래 지식재산권 투자에 대해 100배, 즉 60억 달러까지 받을 권리와, 향후 투자자들이 상한에 도달한 뒤 남는 잔여 이익을 받을 권리를 얻음. Microsoft는 2019년 10억 달러, 2021년 20억 달러, 2023년 100억 달러를 투자했고, 각 투자에 20배 또는 6배 상한이 붙어 총 목표 상환액은 920억 달러였음. 2025년에는 수익상한 구조에서 전통적 지분을 가진 공익법인으로 재자본화했고, 비영리는 잔여 이익 권리와 기존 6천만 달러 이전분의 100배 수익상한을 넘기는 대신 영리 법인 지분 26%를 받았으며 현재 가치는 약 2천억 달러임. 이 내용은 Musk v. Altman 기록에서 나온 것이고, 결론적으로 비영리는 2019년에 약 6천만 달러짜리 지식재산권을 미래 이익 60억 달러 권리로 바꿨다가 재자본화 후 2천억 달러 지분을 갖게 됨. 이 스레드에서 비영리가 더 이상 존재하지 않는다고 보는 사람이 많은데, 사실이 아님
    • 요즘은 하면 안 되는 일들이 실제로 벌어지는 경우가 많음
    • 비영리는 원래부터 자신이 소유하는 영리 자회사를 둘 수 있었음
    • 대부분의 비영리는 구조 전환으로 이득을 볼 만한 사명이나 조 단위 제품을 팔 기회가 없음. 원한다고 해도 실질적으로 이익을 낼 방법이 없었을 것임
    • 대부분의 스타트업은 실제로 이익을 내지 못하고, 비영리는 지분을 줄 수 없으니 딱히 유리한 구조도 아님

  • 절차상 한마디 하자면, 지금 가장 중요한 AI 회사는 Anthropic임

    • 지금 가장 과대평가받는 AI 회사가 Anthropic임. 모델이 최고는 아니지만 마케팅은 확실히 잘함
    • Google/DeepMind를 과소평가하는데, 다른 AI 회사들의 기반이 된 트랜스포머를 발명한 것을 포함해 초기 핵심 연구 상당수가 거기서 나옴
    • OpenAI가 리더십을 잃은 느낌이 강함. 몇 달 동안 그들의 모델은커녕 앱도 써본 적이 없음
답변달기