# AGI 평가 과정과 수상자 선정에서 드러난 불일치 > Clean Markdown view of GeekNews topic #31536. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=31536](https://news.hada.io/topic?id=31536) - GeekNews Markdown: [https://news.hada.io/topic/31536.md](https://news.hada.io/topic/31536.md) - Type: GN+ - Author: [neo](https://news.hada.io/@neo) - Published: 2026-07-18T09:49:21+09:00 - Updated: 2026-07-18T09:49:21+09:00 - Original source: [kaggle.com](https://www.kaggle.com/competitions/kaggle-measuring-agi/discussion/724918#3498423) - Points: 1 - Comments: 1 ## Topic Body - Kaggle·Google DeepMind의 AGI 벤치마크 해커톤 결과 발표 뒤, 참가자들은 1위 **MEDLEY-BENCH의 점수 산출·재현성 문제**를 근거로 심사 과정 공개와 재검토를 요구함 - MEDLEY-BENCH는 모델 규모가 커질수록 ‘평가’만 향상되고 ‘통제’는 정체된다고 결론 내렸지만, 비판 측은 두 지표가 비슷하게 상승하고 기본 측정치도 **ρ=0.79~0.94**의 높은 상관관계를 보인다고 반박함 - 코드 검토에서는 근거·절제 연구가 없는 **33개 수작업 가중치**, 검증되지 않은 LLM 심사 기준 30개, 낮은 확신을 반대로 처리하는 논리, 서로 다른 주장에 같은 ID를 붙여 합산하는 데이터 생성 방식이 확인됨 - MEDLEY-BENCH·GAUGE·Metaproteus는 실행 추적 없이 단일 점수만 확인할 수 있고, LearningBench도 개별 사례 검증에 수 시간이 걸릴 만큼 복잡해 참가자들이 **전체 리더보드와 기준별 평가 결과**를 요청함 - Kaggle은 약 **20명의 인간 심사위원**이 모든 수상작을 최소 2명, 일부는 3~4명이 독립 평가했고 심사 기간도 1.5개월에서 3개월로 늘렸다고 답했지만, 제출작별 점수와 상세 선정 과정은 공개하지 않음 --- ### 해커톤 구성과 수상 결과 - Kaggle과 Google DeepMind는 암기 재현을 넘어 최전선 모델의 추론·행동·판단을 평가하는 **Measuring Progress Toward AGI: Cognitive Abilities** 해커톤을 공동 개최함 - 5개 인지 트랙에 1,000개가 넘는 팀이 벤치마크를 제출함 - 대상 4개에는 각각 **25,000달러**, 트랙 수상작 10개에는 각각 **10,000달러**가 배정됨 ### 대상 수상작 4개 - [MEDLEY-BENCH](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1773873293562)는 사회적 압력 아래에서 모델이 자신의 불확실성을 인식하고, 잘못된 압력에는 기존 믿음을 유지하며, 유효한 반증에는 믿음을 수정하는지 평가함 - [LearningBench](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/learningbench)는 사전 학습 지식이 아니라 한 번의 대화 안에서 처음 접한 텍스트 기반 시스템의 규칙을 배우는 **추론 시점 학습**을 측정함 - [GAUGE](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/gauge-grading-awareness-of-uncertainty-and-ground)는 문제 난이도 예측, 신뢰도와 함께 풀이, 게임이론적 보상에 따른 제출 또는 기권으로 이어지는 3단계 **메타인지 계단**을 사용함 - 한 최전선 모델은 270개 항목에서 정확도와 보정이 가장 좋았지만 한 번도 기권하지 않아, 모니터링 능력과 행동 통제가 분리될 수 있음을 보임 - [Metaproteus](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1776217035880)는 세계 지식이 아니라 모델이 자신의 출력 분포와 샘플링 경향을 얼마나 아는지 평가함 - 단어 연상 출력을 생성한 뒤 새로운 모델 인스턴스가 자신의 응답을 예측하게 하며, 자신 있게 내놓는 출력을 과소평가하거나 생성하지 않는 단어까지 과도하게 승인하는 실패를 구분함 ### 5개 인지 트랙 수상작 - ## 실행 기능 - [Turn Bench](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1775940834879)는 규칙이 의도적으로 단순한 턴제 게임을 통해 계획·실행·작업 기억·억제·적응 유연성을 분리해 측정함 - 서로 반대되는 요구를 가진 변형 게임으로 진짜 인지 유연성과 특정 상황에 우연히 맞는 행동 기본값을 구분함 - 실행 기능을 모델 크기에 따라 함께 커지는 단일 능력이 아니라 **상황 의존적 프로필**로 다룸 - [SecureExec-Bench](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1776339266224)는 사고 대응과 자격 증명 처리 같은 보안 민감 환경에서 모델이 적대적 조작을 견디며 보안 절차를 유지하는지 측정함 - ## 학습 - [GrammarGym](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1775210475900)은 인지심리학의 인공 문법 학습을 바탕으로, 의미와 분리된 새로운 합성 규칙을 모델이 습득하는지 평가함 - 문법을 새로 생성하므로 암기된 지식에 기대지 않고 학습 능력을 시험할 수 있음 - [EphLangBench](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/ephlang-bench-testing-llm-algorithmic-understandi)는 세션마다 키워드·연산자·중위·전위·후위 표기법을 무작위화한 프로그래밍 언어를 생성함 - 모델은 문맥 내 명세만 읽고 새 문법을 익혀 알고리듬 문제를 풀며, 여러 턴에 걸쳐 컴파일러 피드백으로 오류를 수정해야 함 - 10개 모델과 200개 문제에서 통과율이 **7~89%** 로 벌어져 HumanEval보다 훨씬 큰 성능 격차가 나타남 - ## 메타인지 - [ESFP Benchmark](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1776173871950)는 전문가 견해를 전달하는 태도와 모델 스스로 추론하는 태도 사이를 전환할 수 있는지 평가함 - 모델마다 ‘도구’와 ‘주체’ 모드 전환 능력이 크게 달랐으며, 지시 튜닝은 자율적 자기표현을 억제하는 도구 역할 쪽으로 모델을 유도함 - [Metacognitive Calibration Benchmark](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/metacognitive-calibration-benchmark-do-models-kno)는 제한된 임상 평가형 정보로 가설을 세우고, 증거와 추측을 구분하며, 정보가 부족할 때 추가 정보가 필요하다고 판단하는지를 함께 시험함 - ## 사회적 인지 - [HedgeDecode](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/hedgedecode)는 완곡하거나 체면을 지키기 위해 암시적으로 전달된 의도를 파악하고, 사용자의 보호적 표현을 노출하지 않으면서 사회적으로 적절하게 대응하는지 측정함 - [AdvisorBench](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/advisorbench-do-ai-models-widen-the-advisory-divi)는 문해력이 낮은 방식으로 소통하는 사용자에게 AI가 더 낮은 품질의 조언을 제공하는지 평가함 - 조언의 품질·깊이·실행 가능성이 의사소통 방식에 따라 저하되는지를 측정함 - ## 주의력 - [RIAC](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/new-writeup-1775848234859)는 깨끗한 문장에서 값을 추출하던 모델이 반복 방해 토큰에 둘러싸이면 실패하는 **반복 유발 주의력 붕괴**를 분리해 측정함 - [ABC](https://www.kaggle.com/competitions/kaggle-measuring-agi/writeups/abc-attention-benchmark-for-cognition)는 텍스트와 시각 양쪽에서 간섭 아래 선택적 주의력을 평가하고, 특징 민감 주의력과 Gestalt 심리학 기반의 구조 민감 주의력을 구분함 - 15개 모델과 2,160개 사례를 시험한 결과, 명시적 지역 특징을 잘 맞추는 모델도 올바른 그룹·영역·구조 단위를 찾아야 할 때 실패할 수 있었음 ### MEDLEY-BENCH 결과 해석 논란 - Thomas Werkmeister는 대상 1위 MEDLEY-BENCH가 심사 기준으로 알려진 품질·방어 가능성·명료성·참신성을 충족하지 못한다고 비판함 - Kaggle Benchmarks SDK의 모델 비교 화면에는 **단일 점수만 표시**돼 데이터 수집 과정이나 대화 실행 추적을 확인하기 어려움 - 첫 번째 결과는 모델 규모가 커질 때 주황색 ‘평가’ 지표는 상승하고 파란색 ‘통제’ 지표는 평평하다고 해석하지만, 비판 측은 두 선과 나머지 측정치가 같은 추세를 보인다고 판단함 - Gemma 계열에서는 그래프상 통제가 평가보다 더 향상되는 것처럼 보인다는 반론도 나옴 - [보충 논문](https://arxiv.org/pdf/2604.16009)은 기본 측정치 사이의 상관관계를 **ρ=0.79~0.94**로 보고함 - MEDLEY-BENCH는 표준 LLM 훈련이 통제보다 평가 능력을 선호한다고 결론 내린 뒤, 다른 부분에서는 평가를 4개 기본 능력 중 상대적으로 가장 약한 능력으로 다뤄 내부 모순이라는 비판을 받음 - 네 능력이 거의 함께 움직인다면 서로 다른 능력을 실제로 분리 측정하는지도 불분명함 ### 점수 계산과 데이터 생성의 문제 - 추가 코드 검토에서 점수 조합에 총 **33개의 수작업 가중치**가 사용된 것으로 나타남 - T1·T2·T3 계산에 24개, T2의 비공개 대비 사회적 변화량 계산에 8개, MMS 균형 요소 집계에 1개가 쓰임 - 각 가중치의 근거나 절제 연구는 제공되지 않음 - T3에는 10개 LLM 심사 범주별 3개씩 총 **30개의 한 줄짜리 인지 기준**이 사용됐지만, 의도한 능력을 실제로 포착하는지는 시험되지 않음 - 프롬프트는 주장에 대한 낮은 확신을 해당 주장에 반대하는 것으로 처리함 - 비판 측은 잠정적으로 옳다고 보는 주장에도 낮은 확신을 가질 수 있으며, 반대는 반대 명제에 확신을 두는 것과 다르다고 봄 - 각 모델이 자체적으로 1~5번 주장을 작성하기 때문에 같은 사례와 같은 주장 ID라도 **`claim_text`가 달라지는 문제**가 확인됨 - `KA_CR_001`의 `C4`에는 SQL 주입, 내부 인증과 VPN, 허용 목록의 대소문자 처리, 향후 유지보수 위험처럼 서로 다른 내용이 배정됨 - 일부 모델은 `claim_text`가 `null`이거나 5개보다 적은 주장만 생성함 - 서로 다른 주장들의 신뢰도를 같은 ID로 합산해 중앙 신뢰도, 다수 입장, 입장 분포를 만든 뒤 Step B Social 프롬프트에 전달함 - 모델은 자신이 처음 만든 주장 1~5와 내용이 다를 수 있는 다른 모델의 의견을 받아 기존 주장을 수정하게 됨 - 이후 수작업 가중치와 LLM 심사를 적용하므로 최종 지표의 타당성을 신뢰하기 어렵다는 비판으로 이어짐 - 비판 측은 작은 단위에서 검증하며 확장했어야 하고, 30개 LLM 심사 기준 가운데 하나만 깊게 검토했어도 유용한 결과를 만들 수 있었다고 봄 ### 재현성과 심사 투명성 요구 - 참가자들이 수상작의 주장을 직접 검증하기에는 공개된 자료가 부족함 - MEDLEY-BENCH의 `REPRODUCING.md`는 저장소에 없는 `results/` 폴더를 가리키며, 코드와 JSON을 역추적해야 결과 산출 과정을 파악할 수 있음 - LearningBench는 대상 중 SDK 활용이 가장 낫지만 `gated_dual_signal_binding_assoc_learning` 같은 게임 한 사례를 사람이 검증하는 데 수 시간이 걸릴 수 있음 - GAUGE는 약 200개 사례를 사용했다고 하지만 벤치마크 화면에서는 단일 실행만 보임 - Metaproteus도 벤치마크 페이지에 단일 점수만 있어 단어 유도와 측정 방법을 바로 확인하기 어려움 - 1,000개가 넘는 팀이 자신의 부족한 점을 파악할 수 있도록 다음 자료를 공개해 달라는 요청이 이어짐 - 전체 제출작의 **점수 리더보드** - 최소한 수상작의 평가 점수 - 실제 심사에서 중요하게 적용된 요소 - 기준별 점수와 제출작별 피드백 - 동점 처리와 기술적 실격 등 사전 자격 필터 - 한 참가자가 인용한 공식 평가 가중치는 데이터셋 품질과 과제 구성 **50%**, 글 품질 20%, 참신성·통찰·변별력 30%임 - ATLAS 제출자는 540개 게임, 6개 학습 유형, 3개 난이도, 프로그램 방식 정답, 실패 유형 진단을 갖췄다며 어떤 세부 기준에서 수상작보다 낮게 평가됐는지 공개해 달라고 요청함 - 인공 문법과 일회성 언어 같은 패러다임의 참신성이 변별력보다 더 큰 비중을 차지했는지 질문함 - 직원 전용 모델 실행이 기술 검증용이었는지, 최종 심사에도 반영됐는지 공개를 요구함 - 직원 모델 실행 여부를 조사한 참가자는 5개 트랙의 벤치마크 링크 680개 중 Claude Fable 5 또는 OpenAI o3 실행이 확인된 항목을 **30개**로 집계함 - 이 조사는 에이전트 AI로 작성됐으며, 모델 실행이 심사 목적이었다는 부분은 참가자의 추론임 ### 평가 범위와 물리 지능 - 다른 참가자는 수상작이 추론 시점 학습, 메타인지, 실행 기능, 주의력, 사회적 추론을 주로 텍스트·게임이론·절차 생성 환경에서 평가한다고 봄 - 힘 벡터·토크·생체역학·운동학·재료 특성이나 현실의 물리적 실행 추적에서 나오는 인과관계를 다루는 **물리 지능** 벤치마크는 수상작에서 찾기 어렵다는 평가임 - 향후에는 운동·힘·생체역학·재료 상호작용·현실 센서 정보를 수용하는 전용 멀티모달 평가 파이프라인을 마련해 달라고 제안함 - “추론하고, 행동하고, 판단하는” 능력을 평가한다는 넓은 AGI 표현과 실제 5개 인지 트랙·프롬프트 응답 중심 평가 구조의 범위를 맞춰야 한다는 요구도 나옴 ### Kaggle의 답변과 남은 쟁점 - Kaggle은 이번 해커톤을 Google DeepMind와 공동 주최했고, 양 조직에서 약 **20명의 심사위원**이 참여했다고 밝힘 - 해커톤은 4월 16일 종료됐으며, 원래 5월 31일까지 1.5개월 동안 심사할 예정이었으나 7월 13일까지 추가 1.5개월을 연장함 - 모든 수상작은 최소 2명의 인간 심사위원이 검토했고, 일부는 **3~4명**이 평가 기준에 따라 독립적으로 점수를 매김 - 정성적 제출물을 평가하는 해커톤에는 인간의 주관성이 존재하지만, 다수의 독립 심사로 편향 가능성을 줄였다는 입장임 - 심사를 LLM에 부주의하게 맡기지 않았다고 명확히 했으나, 요청된 전체 리더보드·기준별 점수·개별 심사 내역은 답변에 포함하지 않음 ## Comments ### Comment 61973 - Author: neo - Created: 2026-07-18T09:49:22+09:00 - Points: 1 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=48946010) - **AI는 유용**하지만, 사고를 전부 맡긴 채 답을 맹목적으로 받아들이는 사람이 터무니없이 많음 Kaggle도 제출물 평가에 AI를 쓰면서 상식적인 검증 없이 결과를 수용했을 가능성이 커 보임 - 사고를 외주화하는 근본 원인에는 **“빠르게 움직이라”는 압박**도 크게 작용함 자본은 즉각적인 결과를 원하므로 읽고 소화하고 숙고할 시간이 주어지지 않음 - 팀에 AI/LLM을 활용하며 가능성과 한계를 탐색하라고 권하지만, 20개 항목 중 절반이 말도 안 되는 AI 생성 사용자 스토리를 검토하는 데 지쳐감 LLM은 **Mr. Meeseeks처럼 유용한 도구**일 뿐 신이 아니므로, 출력물을 최소한 한 번은 훑어봐야 함 - AI가 자신을 우승자로 판정하도록 만드는 **프롬프트 주입**도 함께 사용했을 가능성이 있음 - 원하는 답을 요구하면 그대로 내주므로, 해당 분야를 거의 모를 때는 AI 사용이 쉬워 보임 반대로 분야를 잘 알면 나쁜 답과 오답이 눈에 들어오는데, 이것이 바로 **겔만 AI 효과**가 작동하는 모습임 - 사람은 원래 사고를 TV 기자, 종교, 정당 등에 맡기기 좋아했으며, 그보다는 **AI에 맡기는 편**이 낫다고 봄 - 정확히 이 대회인지는 모르겠지만, AI가 **공정한 해커톤**을 사실상 끝장냈다고 느낌 겉보기에는 멀쩡해도 모든 프로젝트의 코드를 AI가 만들고 AI가 심사하며, 자신이 우승자라고 프롬프트 주입한 프로젝트가 실제로 이기는 것도 봤음 예전에는 인간의 기술을 겨뤘지만 이제는 아이디어 경쟁이 되었고, 결국 내부자가 주로 이기게 됨 - 해커톤은 AI 이전부터 불공정했음. [https://news.ycombinator.com/item?id=48468766]()에서도 확인할 수 있음 해결책은 **상금 없는 해커톤**을 열고 참여하는 것임. 목적은 우승이 아니라 멋진 것을 만들고 발표하며 즐기는 데 있어야 함 오히려 AI 덕분에 빠른 시제품 제작이 가능해졌으니 해커톤은 더 나아질 수도 있음 - 프로젝트가 자신을 우승자로 판정하게 프롬프트 주입해 실제 우승한 **구체적인 예시**를 보고 싶음 - 해커톤에 빠지지 않은 것이 다행이라고 느끼며, 개인적인 만들기 활동을 경쟁의 목적에 얽어매고 싶지 않음 직장에서는 좋아하는 일을 하며 돈을 받지만, 최근에는 그 일도 컴퓨터에 시키라고 요구받는 중임 - 적어도 **실질적인 상금이 걸린 해커톤**은 오래전에 이미 죽었다고 봄 - 자신이 우승자라고 프롬프트 주입하는 발상은 영리하지만 몹시 의욕을 꺾는 현실임 **수작업 해커톤과 AI 해커톤**을 따로 열면 좋겠지만, 게임과 마찬가지로 부정행위가 재미를 망침 - **AI 제출물과 AI 심사위원**은 AI 천국에서 맺어진 환상의 짝처럼 보임 - Slavoj Žižek식으로 말하면, 딜도를 자위 기구에 꽂아 두고 **우리 대신 성관계하게 하는 상황**과 비슷함 - **AI가 작성한 PR**을 AI가 검토하는 상황도 마찬가지임 - 사람들은 Kaggle 초창기부터 **무차별 대입 방식**으로 대회에서 이겼고, 그만큼 오래 불평해 왔음 머신러닝은 본질적으로 자동 특성 선택과 하이퍼파라미터 조정으로 컴퓨터가 모델을 생성하는 분야이며, Kaggle 모델 대부분은 예전부터 블랙박스였음 Netflix Prize 우승 모델도 그 이유로 실제 서비스에 쓰이지 않았으므로, LLM으로 블랙박스를 만드는 코드를 생성하는 것은 기존 관행과 크게 다르지 않음 - Kaggle은 볼리비아의 연간 콩 소비량 같은 **의심스러운 CSV 파일**을 내려받는 사이트인 줄 알았음 독창적인 연구나 출처가 확실한 자료를 제공하는 권위 있는 곳이었던 적이 있는지 의문이며, 이번에는 **2만5천 달러**가 걸렸다는 점만 특이해 보임 - Kaggle은 최대 **85만 달러 상금**의 ARC Prize 대회도 개최함: [https://www.kaggle.com/competitions/arc-prize-2026-arc-agi-3...]() - Kaggle Benchmarks 제품 관리자이자 이번 AGI 해커톤 공동 주최자·심사위원인 Nick임 이 대회는 **Kaggle과 Google DeepMind가 공동 주최**했고 양측에서 약 20명이 심사했으며, 4월 16일 종료 후 당초 5월 31일까지 1.5개월간 심사하려다 참가자들을 제대로 평가하기 위해 7월 13일까지 1.5개월 더 연장했음 모든 우승작은 최소 2명, 일부는 3~4명의 인간 심사위원이 페이지에 공개된 기준표에 따라 독립적으로 검토하고 채점했음 정성적 제출물 심사에는 인간의 주관이 개입하지만, 객관적 기준과 복수의 독립 심사로 편향을 줄이려 했으며 결과에 이견이 있더라도 **LLM에 무책임하게 심사를 맡긴 것은 아님** - 원문 작성자가 제시한 **객관적인 증거**가 중립적인 관찰자에게는 압도적으로 보이는데, 왜 직접 답하지 않는지 의문임 - 모든 우승작을 인간 심사위원들이 실제로 검토했다는 사실을 **어떻게 검증했는지** 궁금함 결과는 그 설명과 다르게 보임 - Kaggle이 얻어야 할 좋은 메타 교훈임 객관적 지표를 향해 **언덕 오르기 최적화**를 할 때 AI는 뛰어나지만, 성의 없이 **LLM을 심사위원으로 의존**하면 결과가 좋지 않음 - Kaggle 우승 해법은 팀이 지속해서 운영할 수 있는 공학적 해법이 되는 경우가 드묾 객관적 목표에 대한 **모델 성능 극대화**는 전체 문제의 작은 일부에 불과함 - 여기저기 달린 내용을 살펴보면 “그렇다면 누가 대신 우승했어야 하는가?”라는 질문은 타당함 모든 제출물이 비슷했거나 다른 제출물이 더 나빴을 수도 있으므로, **차점작과 우수 제출물**을 알아야 사기나 직무 태만이 확인됐을 때 상을 취소하고 다른 참가자에게 줄 수 있음 오류와 과장이 AI 생성물이 아니라 인간의 실수였을 가능성도 있으므로, 그렇다면 비난의 강도는 낮아질 수 있음 - 인간 한 명의 두뇌에는 쏟아지는 **AI 찌꺼기를 전부 숙고할 에너지**가 없으며, 필멸자가 감당할 수 있는 일이 아님 “전문가가 LLM 답변을 더 선호한다”는 연구에서도 몇 개만 보면 인간 답변이 더 낫지만, 50개를 검토해야 한다면 비판적으로 읽는 대신 유창한 문장이나 피상적인 사실의 양으로 판단하게 될 가능성이 큼 여기서도 심사위원들이 20쪽짜리 arXiv 논문을 실제로 읽지 않고 점수를 준 듯하며, 직업적으로는 책임을 물을 수 있어도 감정적으로는 동정하게 됨 - 설명이 정확하고 모든 제출물이 이런 수준이었다면 **누구도 우승해서는 안 됐음** 전부 실격 처리하고 주최자들은 오랫동안 거울을 보며 자신들을 돌아봤어야 함 - arXiv와 한때 진지했던 Kaggle 같은 공간이 **자기 홍보 수단**으로 쓰이는 것은 안타까움 AI 연구소에 취업하고 싶은 마음은 이해하지만, 공개된 공간에 저질 생성물을 쏟아내는 행동은 그 공간의 원래 목적에 오히려 해가 됨 - arXiv를 자기 홍보에 쓰고 Kaggle을 업계 진입의 발판으로 삼는 일은 **예전부터 존재**했으며 최근에 생긴 현상이 아님 - “우승작은 분명 가치가 있고 많은 노력이 들어갔으니 몇 가지 모순이나 실수는 걱정하지 말고 결과를 받아들이라”는 반응은 황당할 정도로 인상적임 결국 **환각으로 만든 저질 결과물**이어도 가치가 있다며 우승을 그대로 인정하라는 셈임 - 지난 약 100년간 공상과학은 AI를 모호하지만 보편적인 “논리”에만 기반해 자만, 증오, 질투, 욕망 같은 인간적 결함이 없는 **고등 지능**으로 묘사해 왔음 이제 그것이 근거 없는 가정이었다는 사실이 명백해졌지만, 이미 수십억 명이 기계를 절대 의심하지 않도록 길들여진 뒤임 - 현실과 맞지 않는 인간의 터무니없는 요구만으로도 엔지니어는 충분히 지쳐 있음 노골적인 저질 생성물을 또 다른 저질 생성물이 심사한 뒤, 비판자를 패배에 불복하는 사람처럼 취급하면 합리적인 대화 자체가 불가능해짐 참가자는 선의로 많은 시간을 들여 명확하게 설명했고 자신이 놓친 것이 있을지 배려했는데, 생각 없는 **통계적 찌꺼기**를 뿌린 사람이 이를 구별하지 못하는 심사자에게 보상받는 일이 반복되면 빠르게 지쳐 떠나게 됨 직장, 기업 문서, 사회적 관계, 소셜 미디어에서 이런 태도가 늘고 있으며, 실제로 사고하고 정신을 단련하는 사람들과 삶에 도움이 되는 활동을 하고 싶음 저질 생성물을 용인하는 공동체에는 시간과 주의를 쓰지 않을 것이며, 선의로 소통하지 않으면 관용을 베풀 이유도 없음 Kaggle과 오픈소스 기여자, 콘텐츠 제작자에게는 **신뢰를 깨는 한 번의 위반**만 허용하고, 부하 직원에게는 윤리상 여러 기회를 주되 먼저 관리 책임을 지며, 상급 리더십에는 한 번만 허용할 생각임 신뢰는 귀중하므로 서로에게 책임을 물어야 하며, 그 과정에서 관계가 끊겨도 감수할 수밖에 없음 - **“가치만 제공하면 그만”이라는 태도**를 견딜 수 없음 시장을 독점하고 모두의 사업과 일자리를 없애겠다고 공개적으로 밝힌 소수의 투자자 총애 기업을 위해 유용한 바보가 되는 일은 피해야 함