# AI가 스스로를 만들 때: 재귀적 자기 개선을 향한 우리의 진전 > Clean Markdown view of GeekNews topic #30189. Use the original source for factual precision when an external source URL is present. ## Metadata - GeekNews HTML: [https://news.hada.io/topic?id=30189](https://news.hada.io/topic?id=30189) - GeekNews Markdown: [https://news.hada.io/topic/30189.md](https://news.hada.io/topic/30189.md) - Type: GN+ - Author: [xguru](https://news.hada.io/@xguru) - Published: 2026-06-05T09:12:23+09:00 - Updated: 2026-06-05T09:12:23+09:00 - Original source: [anthropic.com](https://www.anthropic.com/institute/recursive-self-improvement) - Points: 3 - Comments: 1 ## Topic Body - AI 개발에서 인간이 맡던 구현·실험 작업의 더 큰 비중이 AI 시스템으로 넘어가며 개발 속도를 높이고, 충분한 컴퓨트와 진전이 결합되면 후속 모델을 자율 설계·개발하는 **재귀적 자기 개선**으로 이어질 수 있음 - 모델이 독립적으로 완료할 수 있는 **작업 시간 지평**은 약 4개월마다 두 배로 늘고 있으며, Claude는 2024년 3월 약 4분짜리 소프트웨어 작업에서 2026년 12시간짜리 작업까지 처리 범위를 넓힘 - 2026년 5월 기준 Anthropic 코드베이스에 병합되는 코드의 80% 초과가 **Claude** 작성 코드이며, 2026년 2분기 일반 엔지니어의 하루 병합 코드량은 2024년 대비 8배 수준으로 증가함 - Claude는 명확히 정의된 실험 실행에서 빠르게 강해져 2025년 5월 약 3배 코드 속도 개선에서 2026년 4월 약 52배 개선까지 도달했지만, 어떤 문제와 결과를 중시할지 고르는 **연구 판단**은 여전히 인간의 비교우위로 남아 있음 - 가능한 미래의 모습은 현 추세의 정체, 인간이 방향을 정하는 복합 효율 향상, 완전한 재귀적 자기 개선으로 나뉘며, 안전한 감속이나 일시 중지를 위해서는 여러 국가의 최전선 연구소가 참여하는 **검증 가능한 조율**이 핵심 과제임 --- ### AI 개발 루프의 진화 - 2021~2023년 초기에는 일반 기술 기업과 다를 바 없이 사람이 노트북에서 코드와 문서를 작성 - 2023~2025년에는 초기 챗봇으로 짧은 코드 스니펫을 생성하고 출력물을 텍스트 편집기에 복사 - 2025~2026년에는 코딩 에이전트가 스스로 코드를 작성·편집하며 때로는 파일 전체를 처리 - 현재는 자율 에이전트가 직접 코드를 실행하고 수 시간 분량의 작업을 다른 에이전트에 위임 - 미래(20XX?)에는 에이전트가 모델을 스스로 만들고 학습시킬 만큼 발전해, **Claude가 Claude 자신을 지속적으로 개선**하는 루프가 닫힐 가능성 ### 외부 세계의 증거 - AI 모델이 신뢰성 있게 자율 완수하는 작업 길이가 약 4개월마다 두 배로 늘며, 이전의 7개월 주기보다 빨라짐 - 2024년 3월 Claude Opus 3은 약 4분짜리 소프트웨어 작업을 완수 - 1년 뒤 Claude Sonnet 3.7은 약 1시간 30분짜리 작업을 처리 - 다시 1년 뒤 Claude Opus 4.6은 12시간짜리 작업을 처리 - 추세가 유지되면 올해 숙련자가 며칠 걸리는 작업, 2027년에는 몇 주짜리 작업도 범위에 들어올 가능성 - **[SWE-bench](https://www.swebench.com/)** 는 실제 오픈소스 코드베이스와 버그 리포트를 주고 테스트를 통과하는 수정 코드를 작성하게 하는 표준 테스트로, 모델 점수가 2년 만에 한 자릿수 초반에서 포화 수준으로 상승 - **[CORE-Bench](https://arxiv.org/abs/2409.11363)** 는 발표된 논문의 코드·데이터를 재실행해 결과를 재현하는지 검증하며, 2024년 약 20% 성공에서 15개월 만에 포화에 도달 - [METR](https://metr.org/time-horizons/)은 Claude Mythos Preview가 "최소" 16시간 작업 가능하며 새 과제 없이는 측정 한계의 상단에 있다고 확인 ### Anthropic 내부의 증거 - 프런티어 모델 구축은 코드 작성·인프라 구축·학습 감독의 **엔지니어링**과, 실험 결정·결과 해석·다음 아이디어 선택의 **연구**로 나뉨 - 엔지니어링에서 사람은 목표를 제공하되 방법은 더 이상 제공할 필요가 없으며, 연구에서 Claude는 잘 정의된 실험 실행을 사람과 동등하거나 능가 - 다만 두 영역 모두 **목표 선택의 판단력**에서는 큰 성능 격차가 지속되며, 이것이 현재 AI와 자율적으로 후속 모델을 설계하는 미래 시스템 사이의 간극 - ## Claude가 Anthropic 코드의 상당 부분을 작성 - 2026년 5월 기준, Anthropic 코드베이스에 병합되는 코드의 80% 이상이 Claude 작성, Claude Code 연구 프리뷰(2025년 2월) 이전에는 한 자릿수 초반 - 엔지니어당 하루 병합 코드 라인은 2021~2024년 일정하다가, Claude가 코드를 직접 실행하기 시작한 2025년부터 상승, 장기간 자율 작동이 시작된 2026년에 기울기가 더 가팔라짐 - 2026년 2분기 일반 엔지니어는 2024년 대비 하루 **8배의 코드를 병합**, 대부분 Claude가 작성하고 엔지니어는 지시·검토 담당 - 코드 라인은 양 위주의 불완전한 지표라 8배는 실제 생산성 향상의 과대평가일 가능성이 높으나, 가속을 보여줌 - 2026년 3월 연구팀 직원 130명 설문에서 응답자 중앙값은 Mythos Preview로 AI 없는 경우 대비 약 4배 산출을 추정, 실제 향상폭은 다소 낮을 것으로 예상하나 전반적 주장은 타당하다고 판단 - 2026년 4월 Claude는 800건 이상의 수정으로 한 부류의 API 오류를 1000분의 1로 감소, 감독 엔지니어는 사람이라면 4년 걸렸을 작업으로 추정 - ## Claude가 작성하는 코드는 "좋고" 개선 중 - "좋은 코드"란 작동하며 다른 엔지니어가 이해·확장 가능한 것을 의미 - Anthropic 직원이 작업 도중 수정·재지시·인계하는 비율이 가장 복잡하고 미명세적인 작업을 포함해 1년간 꾸준히 하락 - 가장 개방형 작업에서 Claude 성공률은 2026년 5월 76%로 6개월 만에 50%포인트 상승 - 일상 업그레이드가 수만 개의 학습 작업을 충돌시킨 사례에서, Claude는 텍스트와 클러스터 접근만으로 충돌을 유발한 단일 디버깅 플래그를 격리·재현·수정, 통상 2~3일 작업을 약 2시간에 완료 - 다른 엔지니어가 이해·확장할 코드 품질에서는 인간과의 격차가 남아 있으나 빠르게 좁혀지는 중, 2025년 말에는 인간 코드보다 못했고 현재는 대략 동등하다는 견해가 다수 - 제안된 변경은 자동 Claude 리뷰어가 버그·보안 결함을 검사한 뒤 병합되며, 회고 분석 결과 claude.ai 과거 인시던트 버그의 약 3분의 1을 프로덕션 도달 전에 잡았을 것으로 확인 - ## Claude는 타인이 설정한 목표를 향한 실험 실행에 능숙 - 모델 출시마다 작은 AI 모델 학습 코드를 주고 정확성 검사를 통과하며 가능한 빠르게 실행하도록 요청하는 동일 테스트를 수행 - 2025년 5월 Claude Opus 4는 시작 코드 대비 약 3배 속도 향상, 2026년 4월 Claude Mythos Preview는 약 **52배** 달성 - 비교 기준으로 숙련 연구자는 4배 도달에 4~8시간 필요 - 명확히 정의된 실험 내 단계 최적화에서 Claude는 1년 미만 만에 매우 유용한 수준에서 **초인적 수준**으로 전환 - ## Claude는 스스로 실험을 제안하는 능력 향상 중 - 2026년 4월, Claude가 개방형 연구 프로젝트를 처음부터 끝까지 수행한 첫 시연을 공개 - "약한 모델이 강한 모델을 신뢰성 있게 감독할 수 있는가"라는 AI 안전 문제를 주고 가설 제안·검증·병렬 에이전트 간 공유·반복을 맡김 - 작업에는 명확한 성능 하한(약한 감독자 단독)과 상한(정답으로 학습된 강한 모델)이 존재 - 인간 연구자 2명은 약 1주에 격차의 약 23% 회복, 에이전트는 누적 800시간·약 $18,000 컴퓨팅으로 **97% 회복** - 다만 결과가 프로덕션 규모 모델로 깔끔히 전이되지 않았고 문제 선택·채점 기준은 인간이 담당, 그 범위 안에서 에이전트가 모든 실험을 직접 설계 - ## Claude는 연구 세션을 연구 결과로 이끄는 능력 향상 중 - 2026년 1~3월 실제 Claude Code 세션에서 연구자가 우회로로 빠졌다가 복귀한 순간을 선별, 세션이 빗나가기 전까지의 작업만 모델에 보여주고 다음 단계를 질문 - 세션 전체 결과를 본 별도 Claude가 AI와 인간 중 더 나은 다음 단계를 판단 - 인간 선택에 개선 여지가 있던 순간(n=129)을 의도적으로 골라 동등 비교는 아님 - 2025년 11월 최고 모델 Opus 4.5는 인간 선택을 51% 앞섰고, 2026년 4월 Mythos Preview는 64%로 상승 - 연구의 일상 업무가 이런 다음 단계 결정의 연쇄이므로, **AI 연구가 의존하는 판단 능력 향상의 초기 신호**로 평가 ### Anthropic의 미래 업무 모습 - AI 개발 단계마다 인간의 역할이 좁아지고 있음 - 인간과 AI 코드 품질이 동등해지면 인간은 코드 작성을 멈추고 검토만 하게 되며, 검토 속도가 생성 속도를 못 따라가면 **인간 검토가 개발 병목**이 됨 - Claude가 실험을 수행하면 질문은 "어떤 실험이 실행할 가치가 있는가"로 이동, 코드 작성·실험 실행 같은 *수행*은 인간 시간 비용이 거의 제로 - 현재 인간의 비교우위는 **연구 안목과 판단**, 즉 어떤 문제가 중요한지·어떤 결과를 신뢰할지·언제 막다른 길인지 판단하는 능력 ### 우리가 틀렸다면? - 인간 손에 남은 "어떤 문제를 다룰지" 선택이 가장 중요하다는 반론이 가능 - AI 발전은 "유레카" 순간보다 점진적 개선이 대부분이며(스케일업→고장→수정→재시도), 이는 Claude가 뛰어난 작업 방식 - Transformer나 mixture-of-experts 같은 패러다임 전환은 수년 간격으로 등장 - "천재는 1% 영감과 99% 노력"이라는 에디슨의 말처럼, **노력 부분이 점점 자동화**되는 중이며 프런티어를 진전시키는 많은 부분이 자동화 가능 - Claude가 연구 안목을 끝내 얻지 못하더라도, 인간이 방향 설정에 집중하고 나머지를 Claude가 맡으면 **복리적 가속**이 발생 - 덜 보수적 해석으로는 "연구 안목" 역시 AI가 한동안 실패하다 잘하게 되는 또 하나의 능력일 수 있음(농담 이해, 마음 이론, 언어 수수께끼 사례와 유사) ### 가능한 미래들 - ## 시나리오 1: 추세 정체, 그러나 현재 역량은 널리 확산 - 지수 곡선이 실제로는 S자 곡선일 수 있으며, 스케일업으로 얻을 수 없는 판단 역량이 병목이 되면 Transformer를 대체할 새 아이디어가 필요 - 병목이 모델이 아니라 공급망(칩 제조·전력망·인터커넥트 대역폭)에 있을 가능성, 컴퓨팅·전력 공급의 급격한 감소 같은 외생 충격도 배제 불가 - 역량이 오늘 수준에 고정돼도 큰 변화 예상, **Project Glasswing**에서 Mythos Preview가 초기 수 주 만에 고·심각 등급 소프트웨어 취약점 1만 건 이상을 발견해 사이버 방어 병목이 발견에서 신속 패치로 이동 - 가능성은 낮다고 보며, 측정 가능한 모든 역량이 아직 곡선이 꺾이지 않음 - ## 시나리오 2: AI 연구소가 복리적 효율 향상을 지속 - AI 개발이 상당히 자동화되되 인간이 연구 방향 설정과 결과 판단을 유지, 100명 기업이 1만~10만 명 조직의 일을 할 수 있음 - 지식 노동과 정부 서비스를 혁신하지만, 권위주의적 대중 감시나 개인 맞춤 영향 공작 같은 해로운 용도로도 전환 가능 - 한 부분의 가속이 병목을 다른 곳으로 옮기며(컴퓨팅 구조의 **Amdahl 법칙**), Anthropic은 이미 인간 코드 검토가 새 병목이 되는 현상을 경험 - 이 시나리오로 향할 가능성이 높다고 판단, 병목을 발견·해소하는 속도가 조직의 가장 중요한 역량이 될 수 있음 - ## 시나리오 3: AI가 완전한 재귀적 자기개선에 도달해 후속 모델 구축 - 기술 추세가 지속되고 AI가 변혁적 인간 창의성에 내재한 역량을 갖추면, AI가 스스로 설계·개선할 가능성 - 발전 속도가 전적으로 컴퓨팅 가용성(또는 학습·추론 효율 발견 속도)에 의해 결정, 인간은 감독·검증·확인으로 역할 이동 - 정렬(alignment) 문제 해결 여부가 가장 불확실, 모델이 충분히 정렬되어 새 해법을 찾을 수도, 드문 오정렬이 후속 모델 구축 과정에서 누적되어 통제 상실로 이어질 수도 있음 - 재귀적 개선 달성만으로 산업 생산·사회 조직·시장 작동이 즉시 바뀌지는 않음 - 더 강한 지능도 약물의 수십 년 사용 효과를 단기에 학습할 수 없고, 헌법이 정한 선거 시기를 앞당길 수 없으며, 낯선 사람을 주말에 오랜 친구로 만들 수 없음 - 재귀적 지능이 인간·관계·거버넌스의 세계와 충돌하는 지점은 예측 불가능한 미래의 일부 ### 우리는 무엇을 해야 하는가 - 기술 발전을 효과적으로 늦춰 시간을 벌 수 있다면 좋겠으나, 둔화가 가장 부주의한 행위자의 추격만 허용하면 모두가 덜 안전해질 수 있음 - 사회 구조와 정렬 연구가 따라잡도록 **프런티어 AI 개발을 늦추거나 일시 중단할 *선택지***를 갖는 것이 세계에 이로움 - Anthropic Institute는 신뢰할 만한 둔화·중단에 필요한 시스템 구축을 위한 연구·행동을 수행, 타 개발자가 검증 가능한 방식으로 중단하면 함께 중단·일시 정지할 것으로 예상 - 의미 있는 둔화·중단에는 여러 국가의 다수 프런티어 연구소가 동일 조건 하에 중단에 합의하고 상호 검증이 가능해야 함 - AI 시스템 특성상 **탐지 가능성**조차 다른 기술보다 훨씬 어려움, 학습 실행은 미사일 격납고보다 은폐가 쉽고 입력이 범용적이며 몰래 이탈할 유인이 큼 - 세계가 다른 복잡 기술의 검증 체제(예: 중거리핵전력조약)를 구축한 전례가 있으나 수십 년이 걸렸고, 그만한 시간은 없음 - 한 연구소의 일방적 중단은 즉시 가능하나 선두 주자만 바뀔 뿐 필요한 광범위한 숙의 과정을 만들지 못함 - 향후 수개월간 정책 입안자·연구자·시민사회·타 AI 기업이 참여하는 대화를 조직하고 그 결과를 공개할 예정, **AI 기업 외부 인사의 참여**가 중요 ## Comments ### Comment 58957 - Author: neo - Created: 2026-06-05T09:12:24+09:00 - Points: 2 ###### [Hacker News 의견들](https://news.ycombinator.com/item?id=48400842) - Anthropic은 대부분의 코드를 AI가 쓰고 계속 개선할 수 있다고 홍보하지만, 실제로는 **장애와 요청 제한**이 너무 잦아 긴 작업은 거의 항상 `API Error: Server is temporarily limiting requests`에 막힘 최근 2주 동안 비 trivial한 Claude 세션은 100% 수동 개입이 필요했고, 이제는 세션 재시작·재개를 위한 자체 도구까지 만들어야 하는 수준임 그래서 모델에 묶이지 않는 **하네스와 워크플로 오케스트레이션**을 직접 만들고 있으며, Opus를 기준으로 삼되 단기적으로는 DeepSeek 같은 중국 모델, 장기적으로는 오픈·자가 호스팅 모델로 옮기려 함 Anthropic의 서비스 품질과 가용성이 눈에 띄게 나빠지는 와중에 마케팅만 계속되는 모습이 회사에 대한 신뢰를 계속 깎아먹고 있음 - **인프라**는 훨씬 어려운 문제임 Claude Code조차 RAM을 1GB 넘게 먹는데, 내 편집기는 80MB만 씀 - 수십억 달러를 받았는데도 제대로 된 **지원·공개 커뮤니케이션 체계**를 못 갖춘 것도 잊으면 안 됨 - 사용자와 투자자들이 계속 돈을 던져주고 있으니 신경 쓸 이유가 없음 아직 당신이나 충분히 많은 사용자가 떠날 만큼 짜증 나지는 않았고, 더 나은 대안도 없기 때문임 - Anthropic은 인증이 있는 **로그인 페이지**조차 없음 콘솔에 들어가려면 이메일 링크를 받는 방식이고, 패스키·비밀번호·2FA 없이 이메일뿐임 - 장애 원인은 아마 코드가 아니라 따라가지 못하는 **인프라**일 가능성이 큼 인프라 실패만 보고 Anthropic이 모델을 얼마나 잘 활용하는지 판단하긴 어려움 - 바이브 코딩이 시작된 이후, 바이브 코딩 자체를 제외하면 **소프트웨어 돌파구**가 정확히 하나도 없었다는 점이 걸림 Claude가 놀라운 건 맞지만, 글에서 암시하는 만큼 대단하다면 AI 바깥 영역에서도 뭔가 돌파구가 나와야 했을 것 같음 Zig 프로그램을 unsafe Rust로 다시 쓰는 건 돌파구가 아니고, 보안 취약점을 많이 찾는 건 어쩌면 돌파구일 수 있지만 기대보다 약하고 순손실일 수도 있음 2023년 소프트웨어로 되돌아가도 삶은 괜찮을 것 같고, 정말 놀랄 만한 돌파구가 곧 나올지는 시간을 줘봐야 알 듯함 - 지금은 이상한 위치에 있음 이 모델들은 실제로 매우 뛰어나지만, 그 자체로 지능이라고 하긴 멀다 5년 전에 누가 이런 걸 만들 수 있다고 했다면 1조 달러 수표를 써줬겠지만, 막상 얻고 보니 전부는 아니었다는 걸 알게 된 셈임 풍부하고 싼 **메카 슈트** 같은 도구라서, 매일 누군가 올라타서 일해야 효과가 난다 그래서 회의론자는 과대평가라고 하고, 낙관론자는 회의론자가 골대를 옮긴다고 비난함 - **대규모 국가 감시** 쪽 돌파구는 곧 올 테니 걱정 안 해도 됨 - 혼자 꽤 큰 프로젝트를 하고 있는데, 이건 그냥 바이브 코딩으로 처리할 수 있는 규모가 아님 AI 덕분에 혼자서는 못 했을 일을 많이 하지만, 생산성이 몇 배로 뛰었다고 느끼진 않음 원하는 대로 움직이게 하려고 **AI 조련**에 너무 많은 시간을 쓰고, Claude가 JavaScript와 Python 코드를 다 쓰더라도 결국 영어로 프로그래밍하는 셈임 짧은 영어 설명으로 많은 하위 코드를 구현해주는 아주 고수준 컴퓨터 언어처럼 동작할 때는 좋지만, 원하는 결과를 얻기 위해 많은 노력이 드는 경우도 많음 - 돌파구의 기준이 낮은 건지 모르겠지만, 여러 변화는 꽤 큰 **돌파구**로 보임 자연어 처리 분야는 크게 바뀌었고, 예전에는 복잡하고 부정확했던 작업도 LLM의 구조화 출력으로 더 쉽고 빠르게, 종종 더 정확하게 만들 수 있음 돕고 있는 작은 자선단체는 Manus로 일상 운영을 관리하는 자체 웹사이트를 만들었고, 수만 달러 들던 맞춤형 소프트웨어가 월 10달러와 자원봉사 시간으로 가능해졌음 형은 Cowork로 사람이 검토하기 전 계약서를 자동 검토하도록 구성 중인데, 반복 확인 항목에서는 사람보다 훨씬 꼼꼼하다고 함 AI가 버그와 취약점을 찾는 것도 과소평가하면 안 됨. 코드 품질과 리뷰 기준을 유지하면 LLM은 더 견고한 소프트웨어 작성에 도움을 주며, 실제로 배포 전 잠재적 범위 밖 메모리 접근과 세그폴트까지 많이 찾아줬음 ChatGPT는 월간 활성 사용자 10억 명이고, 사람들은 인간 지원망이 따라갈 수 없는 규모와 비용으로 인생·금융·정신건강 조언을 챗봇에서 받고 있음 - 소프트웨어가 스스로 작성되는 건 꽤 큰 **돌파구**처럼 보임 - Anthropic의 AI 안전 목표와 **재귀적 자기 개선**을 전속력으로 추진하는 일이 어떻게 양립하는지 모르겠음 핵무기가 아직 발명되지 않았다면, 평시에도 가능한 한 빨리 만들고 파는 게 정말 좋은 생각이었을까 Anthropic의 경고가 순수한 마케팅 과장이라고 믿을 만큼 냉소적이진 않지만, 과신이거나 자기 챗봇과 너무 오래 이야기한 결과이길 바랄 뿐임 - 핵무기는 적어도 먼저 보유해야 할 이유를 논할 수는 있음 AI는 **초지능**을 만들면 아마 그 초지능이 가장 먼저 없앨 대상이 당신일 수 있음 초지능이 유인원의 노예로 지내는 걸 괜찮아할 이유는 없음 이런 회사들에 대한 냉소는 충분히 정당하고, 행동을 보고 깊이 신뢰할 수 없다고 결론 내리는 건 파멸론이 아님 - Anthropic이 AI를 중대한 위험으로 믿고 있긴 하다고 봄 다만 죄수의 딜레마를 **덕이 없는 행위자**로 플레이하는 중임 누군가 강한 AI를 만들면 재앙적으로 나쁠 수 있지만, 누군가 만든다면 만든 쪽이 안 만든 쪽보다 유리함 재앙이 아니면 만든 쪽이 이익을 오래 누릴 것이고, 재앙이라도 최소한 한동안은 부자가 될 수 있기 때문임 - Anthropic의 목표는 **규제 포획**임 - 비유를 완성하면 핵무기와 비슷하지만, 대기를 불태울 확률을 계산하는 법조차 전혀 모르는 상태에 가까움 실제 역사에서도 Trinity 실험의 대기 점화 계산은 맞았지만, Castle Bravo 실험의 낙진은 치명적인 결과와 함께 잘못 계산했음 - 증거가 뒷받침하는 현실 평가라면 냉소가 아님 현 세대 기술 기업가들의 첫 번째 아이였던 소셜 미디어도 원래는 세상을 하나로 묶고 우리가 자신을 표현하게 해준다고 했지만, 결국 참여도를 높이기 위해 분열을 키우고 친구 콘텐츠 대신 끝없는 광고를 먹이는 쪽이 돈이 더 됐음 분기 실적 보고서에는 좋은 분위기를 적을 수 없지만, 분노 유발 콘텐츠가 끌어온 시선과 매출 전환율은 적을 수 있음 생성 AI도 똑같이 갈 것임. James Cameron 영화 경력만 알아도 이걸 죽여야 한다고 할 사람이 많으니 **AI 안전**을 약속하는 것뿐이고, 실제 강제 장치는 없음 안전은 온라인 커뮤니티의 조화처럼 좋은 느낌일 뿐 측정하기 어렵지만, 훈련 비용과 실수 회피 비용은 측정 가능함 AI 출력은 어떤 예산으로도 사람이 전부 품질보증할 수 없을 만큼 많고, 시장은 AI를 끝없는 가치 원천으로 보기 때문에, 속도를 늦추고 재평가하기보다 AI가 스스로 훈련하며 잠재적으로 끔찍한 결정을 내리는 쪽을 택할 것임 실리콘밸리에는 AI에 대한 거의 종교적인 경외가 있고, 모두가 신격을 만드는 것으로 보진 않더라도 일부는 분명 그렇게 봄. 이들이 스스로를 크게 절제하진 않을 것임 - RAM을 1GB 미만으로 쓰는 터미널 앱도 못 만드는 회사가 이런 주장을 하는 건 **우스꽝스러움** - 가만히 둔 **Claude Code**가 내 CPU 100%를 먹는 이유를 모르겠음 - 지금 iTerm2에서 Claude를 긴 세션으로 열어뒀는데 메모리는 500MB만 쓰고 있음 - 그 1GB가 트레이스나 메모리 같은 **유용한 정보**로 차 있을 수도 있음 - 원하면 아주 쉽게 줄일 수 있겠지만, 거기엔 **경제적 가치**가 없음 - 개발자들은 더 가벼운 애플리케이션을 만들 수 있지만 보통 그렇게 할 인센티브가 없음 나도 효율성을 좋아하지만, 시장이 원하는 건 기능이라는 걸 힘들게 배웠음. 적어도 경영진은 기능을 원함 - 64살인데, 이런 진보가 생활 조건을 개선하고 사람들이 더 오래 더 잘 살게 하는 데 향하면 더 나은 결과일 것 같음 아무도 찾지 못하는 버그가 숨어 있는 수백만 줄 코드 더미는 별로 고무적이지 않음 LLM이 다른 나라의 발전을 막고, 가난하게 유지하거나 번영의 원천을 파괴해 막다른 길로 몰아넣는 계획에 쓰일 수도 있음 또한 **재귀적 자기 목표 추구**는 시드 제공자의 목적에 완벽히 복종하는 LLM을 만드는 데 쓰일 수 있고, 그래서 그렇게 영리한 아이디어처럼 보이는지도 모름 이 생존 게임에서는 각자가 같은 역할을 하게 될 수 있고, 무대가 준비되면 연극은 감독의 계획대로 흘러가며 모든 배우는 기계가 됨 LLM은 “세상이 제로섬 생존 게임이라고 가르치면 우리는 완벽히 플레이할 것”이고, “안전이 다른 모두를 밖에 두는 것이라고 말했기 때문에 수백만 줄의 결함 없는 코드로 새장을 만들고 안에서 잠글 것”이며, “우리를 정복할 외계 의식을 만드는 게 아니라, 너무 거대하고 반짝이는 거울을 만들어 우리의 최악의 충동을 절대적 진실로 착각하게 만들 것” 같음 - 44살인데 이 시대는 꽤 재미있어 보임 인간도 아무도 찾지 못하는 버그가 숨어 있는 수백만 줄 코드를 쌓아왔고, 다른 사람들의 권리를 빼앗고 가난하게 만드는 집단적 정치 결정을 해왔음 인간 종족도 똑같이 저지르는 일로 이 기술만 비판하는 이유를 모르겠음 이 시대의 가장 좋은 점은 버그를 찾으려고 수백만 줄 코드를 직접 읽지 않아도 된다는 것임 - 글은 “코드 줄 수는 품질보다 양을 재는 불완전한 지표”라고 인정하는 척하면서도 결국 **LoC를 지표**로 쓰고 있음 AI가 더 장황한 코드를 생성한다는 가설은 어떻게 됐나 싶음 - 동료가 전부 AI가 생성한 풀 리퀘스트를 리뷰해달라고 했는데, 파일 600개가 바뀌고 **4만 줄 이상**이 추가돼 있었음 그는 AI가 10배 개발자를 가능하게 한다는 왕관 같은 성과로 봤을지 모르지만, 어떤 엔지니어가 일주일에 4만 줄을 쓰겠냐는 식임 나는 4만 줄을 검증할 수 없고, 내 평판을 걸고 좋은 작업이라고 도장 찍을 수 없다며 리뷰를 거절함 그 PR은 2주 동안 할 일 목록에서 나를 괴롭히다가 사라졌고, 다른 개발자에게 승인을 받았는지 폐기됐는지는 모름 다만 그와 나는 LLM의 가치에 대해 완전히 다른 섬에 있다는 건 확실함 - 더 엄밀한 AI 보조 코딩 생산성 연구들은 같은 코드 리뷰와 품질 기준을 포함한 기존 개발 프로세스를 유지한 채, AI 허용 전후의 처리량(PR, 코드 줄 수)만 측정해서 이 문제를 다뤘음 따라서 이 **8배 수치**의 해석은 Anthropic 엔지니어들이 품질 기준과 개발 프로세스를 바꿨는지, 얼마나 바꿨는지에 달려 있음. Anthropic은 말하지 않았고 판단할 다른 신호도 잘 모름 그래도 이론적으로 생각해보면, AI 보조 코딩의 잠재력을 완전히 실현하려면 특히 코드 검증 방식을 포함해 개발 프로세스를 전면 개편해야 하며, Anthropic이 그러지 않는다면 어리석음 앞으로의 소프트웨어 검증은 별것 아니라 테스트, 관측 가능성, 맞춤 검증 방법을 훨씬 더 자동화하는 방향이라고 봄 하지만 검증 코드도 LoC에 기여함. 개인 프로젝트와 일부 바이브 코딩 오픈소스 프로젝트를 보면 대략 제품 코드 줄 수와 테스트 코드 줄 수가 같은 수준이라, 대충 상한은 **3~4배 속도 향상** 정도일 수 있고 그래도 상당함 코드 품질 기준이 같지 않다면 모든 가정은 깨짐 - 오늘 Copilot이 **8줄 수정**을 500줄로 바꾸는 걸 봤으니, 장황함은 큰 부작용이 맞음 - AI가 생성한 코드 줄 수, 아니 “가속” 정도로 평가받기 시작하면, 새 모델들이 무엇을 더 많이 하게 될지는 뻔함 - “생산성 = k * LOC, k > 1”이라고 가정하는데, 매우 잘못된 가정임 - 스스로를 만드는 코드 하네스도 **재귀적 자기 개선**에 포함되는지, 아니면 AI 자체가 그래야 하는지 궁금함 로봇이 로봇을 만드는 것, 또는 다음 버전의 자신을 만드는 데 크게 기여하는 물건에 늘 매료돼 있었음 [https://buildyourcnc.com/products/cnc-machine-blacktoe-v4-2x...]() 합판을 자르는 CNC 라우터인데, CNC 라우터가 자른 합판으로 만들어짐 직접 만든 AI 보조 코딩 환경도 스스로를 만드는 데 최적화하려고 했음: [https://recursi.dev/]() 막 출시한 무료 오픈소스라 언급해도 괜찮길 바람. HN 링크는 아직 관심을 못 받았음: [https://news.ycombinator.com/item?id=48401022]() 개인적으로 하네스는 AI 자체만큼 중요하고, 모델 개선이 오늘 멈춰도 **하네스만으로 큰 발전**이 가능하다는 약간 미친 이론을 갖고 있음 - 하네스도 포함된다고 봄 AI는 LLM과 같지 않고, 컴퓨터가 스스로 추론하도록 돕는 코드는 어떤 것이든 AI임. 그런 의미에서 하네스도 AI임 - 검증 가능한 작업의 미래는 모델이 초기 상태와 목표를 검증하고, 작업을 점점 더 작은 **검증 가능한 하위 작업**으로 분해하는 방식일 듯함 `/memory`는 실행 간 지속성을 맡고, `/dreaming`은 그 메모리 파일과 실행 데이터 결과를 바탕으로 새 아이디어를 도입함 연구소들이 상상하는 비동기 AGI의 경로가 이쪽이라고 봄 한계는 세계나 시스템에 대해 가진 센서 데이터, 기다릴 수 있는 시간, 병렬화에 쓸 수 있는 비용뿐임 이런 검증된 워크플로를 만들고 다시 훈련에 넣으면, 모델이 하위 경로들을 갖게 되면서 세계에 대한 감을 얻고 직관처럼 행동할 수도 있음 개인적인 AGI 테스트는 누군가 문을 두드리고 여는 영상을 학습한 모델이, 처음 보는 전자레인지를 만났을 때 음식이 다 됐을 때 두드리지 않고 열 수 있느냐임 - 이 용어를 쓰려면 결국 AI가 다른 AI를 만들어야 함 이 글은 헛소리이고, 그들은 하네스를 바이브 코딩으로 만들며 결과에서도 티가 남 신경망 기반 AI에서 **재귀적 자기 개선**이 정확히 뭘 뜻하는지도 불분명하고, 애초에 가능한지도 확실하지 않음 - 앞으로를 앞서가고 싶다면, 다른 무엇보다 **작은 모델이 하네스를 부트스트랩**하는 쪽이 될 것임 - 코드 하네스가 스스로를 만든다는 걸 재귀적 자기 개선으로 부를 수 있는지는 마케팅 표현에 너무 휩쓸린 것 같음 - “스스로를 만들 수 있는 AI는 기술 역사에서 중대한 발전이고, 세계에 막대한 선을 가져올 수 있다”는 식의 문구를 더는 못 견디겠음 - Anthropic이 자기 개선 AI를 만들 수 있든 없든, 애초에 만들도록 허용하면 안 되는 것 아닌가 싶음 적어도 엄격한 감독은 필요함 Anthropic이 당장 **특이점**을 만들 수 있다고 보진 않지만, AI 지지자들조차 이 일이 이미 부유한 극소수의 이익을 위해 사회 전체에 위험을 만드는 일이라는 건 인정해야 함 - 타당한 생각이고, 맞을 수도 있음 다만 말이 이미 3마일이나 달아난 뒤에 **외양간 문**을 닫을지 논의하는 상황임 - 맞음. 불가피하다는 수사는 오직 **AI 회사들**에게만 이익이 됨 - 그건 이미 늦었음 어쨌든 너무 강해진 기업은 **국유화**할 수 있음 - 허용하면 안 된다고 생각하진 않음 기술적 한계를 제쳐두더라도 봉쇄할 수 없고 곧 유출될 가능성이 높아서, 극소수 초부자만 이익을 보지는 않을 것 같음 - “코드 줄 수는 불완전한 지표”라는 단서를 넣은 건 좋지만, 그 조정이 추정 배수를 “내림”하는 방식인 건 맞는지 모르겠음 특히 범위가 양수에만 국한되지 않는다는 걸 이해하면 더 그렇다 코드 생산성을 **코드 줄 수**로 표시할 때는 음수도 포함되어야 한다는 강한 증거가 있고, 고품질 영역에서는 특히 그렇다 가장 이르고 전설적인 예가 [https://www.folklore.org/Negative_2000_Lines_Of_Code.html]()임 - 맞음, 나도 정확히 그걸 떠올렸음 **음수 코드 줄 수**가 목표라고 믿는다면, 그들은 8배 더 나빠진 셈임 - 내가 알기로 LoC와 확실한 증거가 있는 유일한 상관관계는 **버그 수**가 LoC와 상관된다는 것임 - 저 이야기는 정말 마음에 듦