▲

GN⁺: ARC 상 – 오픈 AGI 발전을 위한 100만 달러 이상의 경쟁

 (arcprize.org)
1P by neo 3달전 | favorite | 댓글 1개

AGI 발전이 멈췄음. 새로운 아이디어가 필요함

ARC PRIZE 발표

  • ARC Prize: 오픈 AGI 발전을 위한 100만 달러 이상의 상금 대회
  • 목표: 새로운 아이디어를 통해 AGI 발전을 촉진하고, ARC-AGI 평가를 해결하는 것

지능 대 암기

  • 현대 AI: 주로 고차원 패턴을 암기하고 이를 유사한 상황에 적용하는 방식
  • 문제점: 새로운 상황에서 새로운 추론을 생성하지 못함
  • 일반 지능: 새로운 기술을 효율적으로 습득하는 능력
  • 필요성: 새로운 아키텍처나 알고리즘이 필요함

LLM의 한계

  • 기존 AI 시스템: 특정 게임에서 인간을 이길 수 있지만, 다른 게임으로 전환이 불가능함
  • 일반화 실패: AI가 새로운 상황에 적응하지 못함

ARC-AGI

  • 소개: François Chollet의 논문 "On the Measure of Intelligence"에서 소개됨
  • 목표: 새로운 기술을 효율적으로 습득하고 새로운 문제를 해결하는 시스템 평가
  • 현재 상태: 인간은 85%~100% 점수를 얻지만, AI는 34%에 불과함

오픈 소스 AGI 발전

  • 문제점: GPT-4 이후 AGI 연구가 폐쇄적으로 변함
  • 역사: LLM의 발전은 여러 연구자들의 협력 결과
  • 필요성: 새로운 아이디어를 촉진하기 위해 오픈 소스가 필요함

ARC PRIZE 목표

  • 연구 참여 증가: AGI 연구에 참여하는 사람 수를 늘림
  • AGI 발전 측정: 객관적인 AGI 발전 측정 방법을 대중화
  • ARC-AGI 해결: ARC-AGI 평가를 해결하고 지능의 본질에 대해 새로운 것을 배움

시작하기

  • 참여 방법: 누구나 참여 가능, 새로운 아이디어는 어디서든 나올 수 있음
  • 정보 제공: ARC Prize 2024의 형식과 상금 세부 사항 제공

GN⁺의 의견

  • 오픈 소스의 중요성: 오픈 소스는 혁신을 촉진하고 작은 AI 회사와 큰 AI 회사 간의 격차를 줄이는 데 중요함
  • 새로운 아이디어의 필요성: 현재 AI 연구는 새로운 아이디어가 부족하며, 이는 AGI 발전을 저해함
  • 규제 문제: 잘못된 믿음으로 인해 AI 연구에 대한 규제가 강화될 수 있음
  • 경쟁의 장점: ARC Prize와 같은 대회는 연구자들에게 동기를 부여하고 새로운 아이디어를 촉진할 수 있음
▲
neo 3달전  [-]
Hacker News 의견

  • Simon Strandgaard는 ARCathon 2022와 2023에 참여하여 각각 3개와 8개의 과제를 해결했음. 인간이 ARC 과제를 해결하는 방식을 데이터로 수집 중이며, 현재 4100개의 상호작용 기록을 모았음. 다양한 ARC 유사 데이터셋도 제공하고 있음.

  • 현재의 데이터 중심 학습 패러다임이 일반화되지 않고 지속 가능하지 않다는 의견. 인간은 수천 개의 예시 없이도 고양이와 개를 구분할 수 있지만, 컴퓨터는 수백만 개의 예시가 필요함. 데이터가 희귀한 분야에서는 지식 전이가 어려울 수 있음.

  • ARC 문제는 많은 공간적 세계 지식이 필요하며, 추상적 추론보다는 인간의 시각 처리에 직관적인 요소가 많음. 시각적 패턴 인식이 중요한 역할을 함.

  • ARC 테스트가 인간에게도 어렵다는 주장. ConceptARC 테스트에서 인간의 25-30%가 간단한 질문을 해결하지 못함. 이는 ARC의 유용성을 제한할 수 있음.

  • 제한 없는 버전의 대회에 대한 리더보드가 있는지 궁금해하는 의견. GPT-4의 성과를 보고 싶어함.

  • AGI 연구에 대한 100만 달러 상금이 너무 낮다는 의견. AGI의 영향은 최소 수조 달러로 측정될 것이며, 현재의 상금은 최신 공개 LLM 릴리스를 미세 조정하는 데 그칠 수 있음.

  • 특정 퍼즐에 대해 여러 가지 유효한 답이 있을 수 있다는 의견. 예시에서 기대되는 거리를 정확히 알 수 없음.

  • ARC 과제가 시각적 패턴 인식을 목표로 하지만, 이는 지능의 유일한 정의가 될 수 없다는 의견. 인간-AI 협력 지능이 중요하며, 문제는 다중 속성 목표의 최적화로 재구성되어야 함.

  • François Chollet의 논문이 매우 통찰력 있으며, 일반 지능의 정의에 대해 가장 좋은 답변을 제공함. 학습 효율성으로 지능을 정의하는 것이 인간 지능의 인상적인 이유를 이해하는 데 도움이 됨.

  • ARC 문제 세트가 기존 ML 문제 세트보다 훨씬 어렵지만, AGI를 대표하지는 않는다는 의견. 새로운 데이터셋일 뿐 접근 방식은 기존과 유사함. AGI가 이 문제를 해결할 수 있지만, 문제 해결이 AGI의 보증 지표는 아님.

답변달기