- AI 시대의 핵심 변화로 자율적 구성 요소 개선, 의도 기반 엔지니어링, 투명성 전환, 스캐폴딩 인식, 전문지식 확산 등 5가지 아이디어가 상호 강화하며 모든 조직의 운영 방식을 근본적으로 재편하는 중
- Karpathy의 Autoresearch 프로젝트에서 영감을 받아, 목표 상태를 정의하고 자동으로 평가·개선하는 사이클이 ML 연구를 넘어 보안·컨설팅·채용 등 모든 분야로 확장 가능
- 코딩이나 프롬프팅이 아닌, 원하는 결과를 검증 가능한 기준으로 명확히 표현하는 능력이 새로운 핵심 엔지니어링 스킬로 부상
- AI가 조직 내부의 실제 비용·품질·프로세스를 가시화하면서, 지식 노동의 75~99%가 스캐폴딩(부수 작업) 이었음이 드러남
- 전문가 머릿속에만 존재하던 지식이 스킬·SOP·컨텍스트 파일로 추출되면 모든 AI 인스턴스가 동시에 학습하는 비가역적 래칫 효과 발생
1. 자율적 구성 요소 최적화 (Autonomous Component Optimization)
- Karpathy의 Autoresearch 프로젝트가 이 개념을 구체화한 대표 사례로,
PROGRAM.md 파일에 아이디어를 입력하면 시스템이 모델 파라미터 튜닝, 환경 설정 등 번거로운 작업을 자동 처리하고 ML 최적화를 통해 기존보다 나은 결과를 도출
- Autoresearch가 단일 프로젝트를 넘어 "Autoresearch for X"라는 패러다임으로 확산 중이며, 다양한 분야의 사람들이 자신의 프로젝트에 동일한 접근법 적용 가능성을 탐색
-
일반화된 검증 가능성(general verifiability) 또는 일반화된 hill-climbing 개념과 결합하여, 모든 결과물을 이상 상태 기준(ideal state criteria)으로 분해하고 자동으로 개선하는 구조
-
Evals for everything 개념이 이와 연결되며, 모든 활동이 측정 가능할 뿐 아니라 개선 가능해지는 것이 핵심
- 이를 가능하게 하는 기반이 투명성(transparency)
보편적 개선 사이클 (Universal Improvement Cycle)
- 모든 기업·조직·정부·개인의 표준 운영 모델이 될 사이클:
- 목표를 미션·목표·워크플로·SOP로 구조화
- 에이전트가 워크플로를 실행
- 출력·대화·결과·품질을 광범위하게 로깅
- 오류·실패·품질 이슈가 해당 조직의 문제 수집 지점으로 유입
- 자기 개선 알고리듬이 문제 수집 지점에서 데이터를 가져와 autoresearch 방식으로 문제 해결·실험·검증·최적화 수행
- 수정 사항 확인 후 SOP를 업데이트하고 사이클 반복
- 이 사이클의 핵심: 목표 매핑 → 에이전트 실행 → 전수 로깅 → 실패 수집 → 자율 개선 → SOP 업데이트 → 반복, 매 반복마다 속도 가속
2. 의도 기반 엔지니어링으로의 전환 (Intent-Based Engineering)
- AI의 진정한 힘은 현재 상태에서 이상 상태로 이동하는 것이지만, 그 전에 자신이 실제로 원하는 것을 명확히 표현(articulate) 하는 능력이 선행되어야 함
-
표현 격차(articulation gap) 문제가 심각: CEO에게 이상적인 보안 프로그램을 물으면 손짓만 하고, 팀 리더에게 "완료"의 의미를 물으면 세 사람이 세 가지로 해석하는 문단이 나옴
- 이 격차는 전문가와 AI 사이만이 아니라 리더와 자기 조직 사이에도 존재
- 구체적 방법론으로, 모든 요청을 8~12 단어의 이산적·테스트 가능한 이상 상태 기준으로 역분해하고 이진(pass/fail) 평가 적용
- 이 기준이 확보되면 hill-climbing, 평가, 자동 개선이 모두 가능
- 새로운 핵심 엔지니어링 스킬은 코딩도 프롬프팅도 아닌, 의도를 검증 가능한 수준으로 명확히 표현하는 능력
3. 불투명성에서 투명성으로의 전환 (Opacity to Transparency)
- 기업들은 지금까지 내부에서 실제로 무엇이 일어나는지 제대로 파악하지 못해왔음: 프로세스의 실제 비용, 소요 시간, 산출물 품질, 실제 업무 수행자와 부수 작업 수행자의 구분 등
- 대부분의 조직이 "감(vibes)과 스프레드시트" 로 운영되어 왔으나, AI가 실제 업무·비용·품질을 이전에는 불가능했던 방식으로 측정 가능하게 변환
- 투명성이 확보되면 개선이 가능해지며, 이는 기업·정부·소규모 팀 등 모든 조직에 적용 가능
- 투명성이 가장 먼저 드러내는 사실: 업무의 대부분이 실제 업무가 아니었음
4. 대부분의 업무는 스캐폴딩 (Most Work is Scaffolding)
- AI가 드러낸 사실로, 지식 노동의 75~99%가 스캐폴딩 오버헤드에 해당
- 보안 테스팅, 개발, 컨설팅 등에서 대부분의 시간이 도구 유지, 워크플로, 템플릿, 지식 베이스 관리에 소비
- 실제 어려운 사고(hard thinking)는 극소수의 사람이 극소수의 시간 동안 수행
- AI는 스캐폴딩 부분을 압도적으로 잘 처리: Agent Skills로 맥락·방법론·도구를 스킬로 패키징하면 AI가 대부분의 전문가 수준 이상으로 실행
- 업무 자체가 어려웠던 것이 아니라 스캐폴딩을 유지하는 것이 어려웠음
5. 전문지식의 공공 지식화 (Expertise Diffusion)
-
표현 격차(articulation gap): 전문가가 아는 것과 문서화된 것 사이에 큰 간극 존재
- 예: 모든 것을 알지만 아무것도 문서화하지 않은 62세 직원 "Cliff"가 은퇴하면 그 지식은 사라짐
- 현재 전문지식이 스킬, SOP, 컨텍스트 파일, 오픈소스 프로젝트로 분산 저장되는 중이며, 한번 추출된 지식은 다시 제거 불가능
- "수영장에 넣은 소변"에 비유: 공개된 스킬, 문서화된 프로세스, 전문가 디브리핑이 영구적으로 집단 지식 베이스에 진입
-
비가역적 래칫(one-way ratchet) 효과: 인간은 한 분야에서 깊은 전문성을 쌓는 데 20~30년이 걸리고 잊어버리고 은퇴하지만, AI는 캡처된 전문지식을 즉시 흡수하고 절대 잊지 않으며 무한 복제 가능
- 인간의 전문지식 축적 속도와 AI의 전문지식 축적 속도 간 격차가 매일 확대 중
시사점 (Implications)
자율 개선이 모든 영역의 속도를 변화시킴
- 이상 상태를 정의하고, 측정하고, 자동 반복할 수 있게 되면 수개월의 수동 튜닝이 하룻밤 사이에 완료
- ML 연구뿐 아니라 보안 프로그램, 컨설팅 산출물, 콘텐츠 파이프라인, 채용 프로세스 등 정의 가능한 이상 상태가 있는 모든 것에 적용 가능
- 모든 조직이 동일한 사이클(목표 매핑 → 에이전트 실행 → 로깅 → 실패 수집 → 자율 개선 → SOP 업데이트)을 운영하게 되며, 먼저 도입한 조직이 복리 효과로 경쟁 불가능한 격차 형성
의도가 병목이 됨
- 새로운 희소 스킬은 코딩이나 프롬프팅이 아닌 원하는 것을 명확히 말하는 능력
-
아이디어의 품질이 항상 가장 중요하며, 두 번째로 중요한 것은 그 아이디어를 표현하고 정의하고 조직 전체를 정렬시키는 능력
- 대부분의 리더와 기업이 이를 수행하지 못하는 상태이며, 먼저 해결하는 조직이 모든 최적화 도구를 실제 목표에 집중시킬 수 있음
모든 것이 투명해짐
-
불투명한 감(vibes)에서 투명하고 최적화 가능한 구성 요소로 전환되며, 사기꾼과 게이트키퍼가 숨을 곳이 줄어듦
- 제품·서비스 경쟁에서도 에이전트가 마케팅 카피나 고객 추천이 아닌 실제 검증 가능한 성과 데이터를 요구하게 되며, 이를 갖추지 못하면 경쟁에서 탈락
스캐폴딩의 상품화 (Commoditization)
- 특정 분야의 전문성으로 여겨졌던 것이 사실은 대부분 사람들이 이해하지 못했던 스캐폴딩이었음이 드러남
- 예: 특정 개발 환경 설정과 유지, 법률·컨설팅 등 고소득 전문직의 부수 작업도 동일
전문 지식이 공공 인프라화
- 전문가만 보유하던 지식이 곧 모든 사람, 특히 AI가 보유하게 됨
- 특정 분야에서 50년 경험의 우위가 오래 지속되지 못할 것이며, 해당 지식은 본인이나 전 세계 동료에 의해 추출될 것
핵심 요약 및 결론
- 5가지 아이디어 모두 상호 작용하며 서로를 증폭시키는 구조
- 다양한 구성 요소를 개선할 수 있을 뿐만 아니라, 개선의 속도 자체도 개선됨
- 모든 기업·정부·조직이 동일한 사이클(목표 정의 → 에이전트 실행 → 전수 로깅 → 실패 수집 → 시스템 자체 개선)로 수렴하게 되며, 먼저 도달하는 조직이 복리 효과로 나머지가 따라잡을 수 없는 격차를 형성