▲GN⁺ 2024-06-12 | parent | ★ favorite | on: ARC 상 – 오픈 AGI 발전을 위한 100만 달러 이상의 경쟁(arcprize.org)Hacker News 의견 Simon Strandgaard는 ARCathon 2022와 2023에 참여하여 각각 3개와 8개의 과제를 해결했음. 인간이 ARC 과제를 해결하는 방식을 데이터로 수집 중이며, 현재 4100개의 상호작용 기록을 모았음. 다양한 ARC 유사 데이터셋도 제공하고 있음. 현재의 데이터 중심 학습 패러다임이 일반화되지 않고 지속 가능하지 않다는 의견. 인간은 수천 개의 예시 없이도 고양이와 개를 구분할 수 있지만, 컴퓨터는 수백만 개의 예시가 필요함. 데이터가 희귀한 분야에서는 지식 전이가 어려울 수 있음. ARC 문제는 많은 공간적 세계 지식이 필요하며, 추상적 추론보다는 인간의 시각 처리에 직관적인 요소가 많음. 시각적 패턴 인식이 중요한 역할을 함. ARC 테스트가 인간에게도 어렵다는 주장. ConceptARC 테스트에서 인간의 25-30%가 간단한 질문을 해결하지 못함. 이는 ARC의 유용성을 제한할 수 있음. 제한 없는 버전의 대회에 대한 리더보드가 있는지 궁금해하는 의견. GPT-4의 성과를 보고 싶어함. AGI 연구에 대한 100만 달러 상금이 너무 낮다는 의견. AGI의 영향은 최소 수조 달러로 측정될 것이며, 현재의 상금은 최신 공개 LLM 릴리스를 미세 조정하는 데 그칠 수 있음. 특정 퍼즐에 대해 여러 가지 유효한 답이 있을 수 있다는 의견. 예시에서 기대되는 거리를 정확히 알 수 없음. ARC 과제가 시각적 패턴 인식을 목표로 하지만, 이는 지능의 유일한 정의가 될 수 없다는 의견. 인간-AI 협력 지능이 중요하며, 문제는 다중 속성 목표의 최적화로 재구성되어야 함. François Chollet의 논문이 매우 통찰력 있으며, 일반 지능의 정의에 대해 가장 좋은 답변을 제공함. 학습 효율성으로 지능을 정의하는 것이 인간 지능의 인상적인 이유를 이해하는 데 도움이 됨. ARC 문제 세트가 기존 ML 문제 세트보다 훨씬 어렵지만, AGI를 대표하지는 않는다는 의견. 새로운 데이터셋일 뿐 접근 방식은 기존과 유사함. AGI가 이 문제를 해결할 수 있지만, 문제 해결이 AGI의 보증 지표는 아님.
Hacker News 의견
Simon Strandgaard는 ARCathon 2022와 2023에 참여하여 각각 3개와 8개의 과제를 해결했음. 인간이 ARC 과제를 해결하는 방식을 데이터로 수집 중이며, 현재 4100개의 상호작용 기록을 모았음. 다양한 ARC 유사 데이터셋도 제공하고 있음.
현재의 데이터 중심 학습 패러다임이 일반화되지 않고 지속 가능하지 않다는 의견. 인간은 수천 개의 예시 없이도 고양이와 개를 구분할 수 있지만, 컴퓨터는 수백만 개의 예시가 필요함. 데이터가 희귀한 분야에서는 지식 전이가 어려울 수 있음.
ARC 문제는 많은 공간적 세계 지식이 필요하며, 추상적 추론보다는 인간의 시각 처리에 직관적인 요소가 많음. 시각적 패턴 인식이 중요한 역할을 함.
ARC 테스트가 인간에게도 어렵다는 주장. ConceptARC 테스트에서 인간의 25-30%가 간단한 질문을 해결하지 못함. 이는 ARC의 유용성을 제한할 수 있음.
제한 없는 버전의 대회에 대한 리더보드가 있는지 궁금해하는 의견. GPT-4의 성과를 보고 싶어함.
AGI 연구에 대한 100만 달러 상금이 너무 낮다는 의견. AGI의 영향은 최소 수조 달러로 측정될 것이며, 현재의 상금은 최신 공개 LLM 릴리스를 미세 조정하는 데 그칠 수 있음.
특정 퍼즐에 대해 여러 가지 유효한 답이 있을 수 있다는 의견. 예시에서 기대되는 거리를 정확히 알 수 없음.
ARC 과제가 시각적 패턴 인식을 목표로 하지만, 이는 지능의 유일한 정의가 될 수 없다는 의견. 인간-AI 협력 지능이 중요하며, 문제는 다중 속성 목표의 최적화로 재구성되어야 함.
François Chollet의 논문이 매우 통찰력 있으며, 일반 지능의 정의에 대해 가장 좋은 답변을 제공함. 학습 효율성으로 지능을 정의하는 것이 인간 지능의 인상적인 이유를 이해하는 데 도움이 됨.
ARC 문제 세트가 기존 ML 문제 세트보다 훨씬 어렵지만, AGI를 대표하지는 않는다는 의견. 새로운 데이터셋일 뿐 접근 방식은 기존과 유사함. AGI가 이 문제를 해결할 수 있지만, 문제 해결이 AGI의 보증 지표는 아님.