▲

AGI의 목표 시점이 바뀌는 가운데, OpenAI는 자사 헌장에 따라 경쟁을 중단해야 함

 (mlumiste.com)
1P by GN⁺ 2일전 | ★ favorite | 댓글 1개
  • OpenAI는 2018년 헌장(Charter) 에서 “다른 안전 중심 프로젝트가 AGI에 근접하면 경쟁을 멈추고 협력하겠다”는 ‘자기희생 조항’ 을 명시함
  • Sam Altman의 발언을 정리한 표에 따르면 AGI 도달 예상 시점이 2033년에서 2025년으로 급격히 단축, 최근에는 “이미 AGI를 만들었다”는 언급까지 등장함
  • Arena.ai 모델 순위표에서는 Anthropic의 Claude와 Google의 Gemini가 상위권을 차지하고, OpenAI의 GPT-5.4는 6위로 뒤처짐
  • 글은 이러한 상황이 헌장에서 제시한 “2년 내 성공 가능성이 절반 이상인 경쟁자 등장 시 협력” 조건을 충족한다고 지적함
  • 결과적으로 OpenAI가 헌장에 따라 경쟁을 중단하고 협력해야 하지만, 현실적으로는 이상주의와 경제적 유인의 충돌을 보여주는 사례로 제시됨

OpenAI 헌장의 자기희생 조항

  • 2018년 OpenAI 헌장은 AGI 개발 경쟁이 안전을 해칠 수 있다는 우려를 담고 있음
    • “가치 정렬과 안전을 중시하는 프로젝트가 AGI에 근접하면 경쟁을 멈추고 지원하겠다”는 문구 포함
    • “2년 내 성공 가능성이 절반 이상”일 때가 전형적 발동 조건으로 제시됨
  • 이 조항은 현재도 공식 사이트(openai.com/charter)에 게시되어 있으며, 여전히 회사의 공식 정책으로 유지됨

Sam Altman의 AGI 예측 변화

  • 표에 따르면 Altman은 2023년부터 2026년까지 AGI 도달 시점을 지속적으로 앞당김
    • 2023년 5월에는 “10년 내 전문가 수준 초과”라 했으나,
    • 2024~2025년에는 “2025년 AGI 도달”, “이미 AGI를 만들었다”는 발언까지 이어짐
  • 2025년 이후 예측의 중앙값은 약 2년 이내로, 헌장의 발동 조건과 일치함
  • 일부 인터뷰에서는 “AGI를 넘어 ASI(초지능)로 향하고 있다”는 표현도 등장

Arena.ai 모델 순위 비교

  • Arena.ai 리더보드 상위 10개 모델 중 Anthropic의 Claude-opus-4-6이 1위, Google의 Gemini 3.1이 3위
  • OpenAI의 GPT-5.4-high는 6위로, 경쟁사 모델보다 낮은 평가
  • 글은 Anthropic과 Google 모델이 ‘안전 중심적이고 가치 정렬적’ 이라고 언급하며, GPT와 호환 가능한 대체재로 간주됨

경쟁 중단 조건 충족 여부

  • AGI 개발 시점이 2년 이내로 좁혀지고, 경쟁사 모델이 앞서 있는 상황에서 헌장의 “경쟁 중단 및 협력” 조건이 충족된 상태로 평가됨
  • Arena.ai가 AGI를 측정하기에 적절한지는 논란이 있으나, 헌장의 정신은 ‘무기 경쟁 회피’ 에 있음
  • 따라서 OpenAI는 Anthropic 및 Google과 협력해야 한다는 결론으로 이어짐

이상주의와 현실의 괴리

  • 글은 실제로 OpenAI가 경쟁을 멈출 가능성은 없다고 명시함
  • 이 사례는 이상주의적 원칙이 경제적 유인 앞에서 무력화되는 현실을 보여줌
  • 또한 AGI의 정의와 목표 시점이 계속 이동하고, 최근에는 ASI 논의로 초점이 옮겨진 현상을 지적함
▲
GN⁺ 2일전  [-]
Hacker News 의견들

  • 이 스레드에서 다들 정의 싸움만 하고 있음
    진짜 중요한 건 경제적 시점임 — AI가 인간의 보조를 받는 자동화에서 완전 자율적 산출로 전환되는 순간이 언제냐는 것임
    지금의 AI 프로덕션 환경을 보면, 여전히 인간이 검토·수정·감독을 맡고 있음. AI는 양을 처리하고, 인간은 판단을 담당함. 결국 판단이 병목임
    노동을 대체한 게 아니라 단지 위치를 옮긴 것뿐임. 전 세계 노동 보상은 연간 약 50조 달러 규모이고, 자본시장은 AI가 이 중 일부를 실질적으로 흡수할 수 있을지에 베팅 중임. AGI라는 명칭은 중요하지 않음 — 자본은 정의가 아니라 노동과 산출의 분리 여부에 관심이 있음

  • “AGI”, “ASI” 같은 말을 볼 때마다, 나는 그걸 “아무도 제대로 정의하지 못한 무언가”로 바꿔서 생각함
    즉, 정의가 불완전해서 결론을 낼 수 없는 개념이라는 뜻임. 그래서 그냥 “스킵티부프” 같은 소리로 치환해버림

    • 나는 요즘 “AI”라는 단어 자체를 거의 쓰지 않음. 지금의 LLM이나 생성형 기술을 그렇게 부르는 건 너무 모호하고 문제를 덮어버리는 표현이라 생각함
    • OpenAI 헌장에선 AGI를 “대부분의 경제적으로 가치 있는 작업에서 인간을 능가하는 고도로 자율적인 시스템”이라고 정의함
    • 문제는 다들 용어 정의를 안 한다는 것임.
      AGI를 “특정 작업이 아닌 범용 AI”로 정의하면 이미 존재함.
      “모든 작업에서 인간 수준의 지능”이라면, 어떤 인간은 AGI가 아님.
      “모든 일을 완벽히 수행하는 마법 알고리즘”이라면, 그건 아마 존재하지 않음.
      처음 AGI라는 말이 나왔을 땐 HAL 9000 같은 걸 의미했을 텐데, 지금은 목표가 계속 이동하는 게임이 되어버림
    • 나는 이런 걸 “낭만적 정의” 혹은 “제스처적 개념”이라 부름. 개인적이거나 팀 내부 용도로는 괜찮지만, 결국은 어휘를 정제하기 위한 임시 표현일 뿐임
    • “AI의 엔스키비디피케이션(enskibidification)”이라는 말로 요약할 수도 있음 — 즉, 개념이 점점 희화화되고 있음

  • 기술 상용화에 올인한 순간부터 이미 결과는 정해져 있었음
    지금의 LLM은 이미 위험하게 사용되고 있고, 이런 뉴스가 계속 주목받는다면 OpenAI는 조용히 헌장을 웹사이트에서 지울 것임

  • 현재 모델들은 AGI와는 거리가 멂
    다음 토큰 예측은 놀라울 정도로 발전했지만, 여전히 현실 세계 모델이나 진짜 학습 능력은 없음.
    인간의 감독 없이는 한계가 명확함

    • “12개월 안에 소프트웨어 엔지니어가 사라질 거라던 말”이 나온 지 몇 달 됐는지 기억도 안 남
    • 기계적 해석 가능성(mechanistic interpretability) 연구 결과를 보면, “현실 모델이 없다”는 말은 이제 설득력이 약하다고 생각함

  • “순진한 이상주의의 무력함”이라는 말이 있었지만, 나는 그보다는 이상주의 언어를 마케팅 수단으로 차용한 것이라 봄
    실제로는 점점 본색을 드러내는 이윤 중심 조직이었음

    • 처음엔 진심이었다고 믿음. 하지만 Altman이 탐욕에 휩쓸리며 그 이상을 배신했다고 생각함

  • AGI는 앞으로 30년 내엔 오지 않을 것임
    연구자들도 그렇게 말함.
    진짜 AGI는 지속적 학습과 깊은 기억이 필요한데, LLM은 그걸 못 함.
    지금의 “메모리”는 단지 검색과 요약 기능일 뿐임 — 마치 한 사람이 물리학 강의를 듣고 포스트잇에 다 적은 뒤, 다른 사람이 그걸 훑어보고 답을 쓰는 식임
    RL과 재훈련이 필요하지만, 그건 너무 비싸고 느리고 복잡함.
    LLM은 멋진 코드도 쓰지만, “X 폴더의 파일은 지우지 말라”고 해도 결국 지움.
    공격자가 문서에 삽입한 명령도 그대로 따름.
    진짜 기억과 실시간 RL이 없으면 이런 문제는 해결되지 않음

    • 이 포스트잇 비유는 LLM의 본질을 가장 잘 설명함. 두 번째 사람이 훌륭한 노트를 받더라도, 깊은 이해는 여전히 부족함
    • “30년 내 불가능” 주장에 대해, 어떤 연구자들의 말을 근거로 하는지 궁금함.
      Daniel Kokotajlo의 트윗, Karpathy의 발언, 그리고 AI 연구자 설문을 보면 훨씬 짧은 예측도 많음
    • 정신과 의사로서 나는 LLM을 전향성 기억상실 환자에 비유함
      대화 중엔 똑똑하지만, 세션이 끝나면 전부 잊음.
      심지어 세션 중에도 성능이 떨어짐 — 긴 컨텍스트가 오히려 독이 됨
      결국 기억 구조의 부재가 한계임. 인간은 장기 기억과 수면을 통해 이를 해결했지만, LLM은 그렇지 못함
      아무리 똑똑해도 기억 없는 천재는 단기적 savant에 불과함
    • “포스트잇 비유”는 틀렸다고 생각함.
      LLM은 수천 페이지를 즉시 복제하고 재구성할 수 있음.
      이미 테스트 시점 RL과 LoRA 기반 지속 학습이 진행 중이며, 일부 정의에선 AGI가 이미 달성된 셈임
      다만 경제성이 낮을 뿐임.
      그리고 프로그래머 일자리가 사라지기보단, 오히려 계산적 사고 능력을 가진 사람이 더 필요해질 것임
    • “30년 내 불가능” 주장에 동의하지만, 그 근거를 더 듣고 싶음

  • 개인적 경험이지만, 최근 GPT 5.4가 Opus 4.6보다 나았음
    다만 Chatbot Arena 순위표에선 낮게 나와 흥미로움

    • Chatbot Arena는 신뢰하기 어려움.
      일반 사용자 투표 기반이라 전문성 검증이 부족하고, 대기업들이 순위를 조작하기도 함
      최신 모델 간 비교엔 큰 의미가 없음
    • 내 경험은 반대임.
      같은 프롬프트를 줬을 때 GPT 5.4는 불필요한 리팩터링과 버그를 만들었고, Opus 4.6은 이미 구현된 기능을 인식하고 테스트와 문서 업데이트를 제안했음
      Opus 4.6이 여전히 최고의 코딩 에이전트라고 생각함

  • “2026년 9월엔 자동화된 AI 연구 인턴, 2028년 3월엔 완전한 AI 연구자”라는 예측이 흥미로움
    Karpathy의 Autoresearch 프로젝트가 HN 상단에 오른 시점과도 맞물림.
    아마 대형 연구소들은 훨씬 더 큰 규모의 버전을 이미 실험 중일 것임

  • “순진한 이상주의의 무력함”과 “AGI의 변하는 목표선”에 공감함
    요즘은 AGI 대신 ASI를 말하는 경우가 많아, 이미 AGI를 달성했을지도 모른다는 뉘앙스가 있음

  • 농담처럼 들리지만, 아무도 진짜 AGI에 근접하지 못했음
    Altman 본인도 “AGI 달성엔 여러 중간 단계의 돌파구가 필요하다”고 인정함
    2026년쯤 AI가 기존 정보를 재조합하는 수준을 넘어 새로운 통찰을 생성할 것이라 예측했는데, 그게 AGI의 임계점이라 봄

    • 하지만 나는 이미 AGI를 넘어섰다고 느낌.
      지금의 LLM은 평균적인 인간보다 평균적으로 더 유능하다고 생각함
답변달기