GN⁺: 과도한 효율성의 부작용 (2022)

너무 높은 효율성은 모든 것을 악화시킴: 과적합과 강한 버전의 굿하트 법칙

효율성이 증가하면 역설적으로 결과가 나빠질 수 있음. 이는 거의 모든 곳에서 사실임. 이 현상을 강한 버전의 굿하트 법칙이라고 부를 것임. 예를 들어, 표준화된 시험을 통한 학생 성취도의 중앙 집중식 추적은 좋은 아이디어처럼 보이지만, 이는 학교가 시험 준비에 집중하게 만들어 전반적인 교육 결과를 악화시킬 수 있음. 정치, 경제, 건강, 과학 등 많은 분야에서도 유사한 예가 존재함.

과적합과 굿하트 법칙

• 과적합: 머신러닝에서 목표를 직접 맞출 수 없기 때문에 유사한 프록시를 사용하여 모델을 훈련함. 처음에는 프록시가 개선되면서 목표도 개선되지만, 최적화를 계속하면 프록시가 더 좋아져도 목표는 더 이상 개선되지 않음. 이를 과적합이라고 부름.
• 굿하트 법칙: 측정이 목표가 되면 좋은 측정이 되지 않음. 이는 경제학뿐만 아니라 다양한 분야에 적용됨.

강한 버전의 굿하트 법칙: 너무 효율적이 되면 우리가 신경 쓰는 것이 악화됨

• 프록시 목표를 계속 최적화하면 목표가 악화될 수 있음. 이는 머신러닝에서 매우 일반적인 현상임.
• 강한 버전의 굿하트 법칙: 측정이 목표가 되고 효과적으로 최적화되면 측정하려는 것이 악화됨.

효율성 증가와 과적합이 어디에나 존재함

• 효율성이 증가하면 사회 전반에 걸쳐 긍정적이거나 부정적인 결과를 초래할 수 있음.
• 예시:
  • 목표: 아이들을 잘 교육시키기
    • 프록시: 표준화된 시험 성적
    • 결과: 시험 준비에만 집중하여 실제 교육의 질이 떨어짐
  • 목표: 과학의 빠른 발전
    • 프록시: 출판물 수에 따른 보너스
    • 결과: 부정확한 연구 결과 출판 증가
  • 목표: 건강한 인구
    • 프록시: 영양가 있는 음식 접근성
    • 결과: 비만 문제

과적합과 강한 버전의 굿하트 법칙을 완화하는 방법

• 프록시 목표와 원하는 결과를 더 잘 맞추기: 머신러닝에서는 테스트 상황과 유사한 훈련 예제를 수집함. 사회 시스템에서는 법, 인센티브, 사회 규범을 변경하여 목표와 더 잘 맞추도록 함.
• 정규화 페널티 추가: 머신러닝에서는 파라미터의 크기를 작게 유지함. 사회 시스템에서는 복잡성을 줄이거나 추가 비용을 부과함.
• 시스템에 노이즈 주입: 머신러닝에서는 입력, 파라미터, 내부 상태에 무작위 노이즈를 추가함. 사회 시스템에서는 무작위 요소를 추가하여 예측 가능성을 줄임.
• 조기 중단: 머신러닝에서는 검증 손실이 악화되기 시작하면 훈련을 중단함. 사회 시스템에서는 의사 결정 시간을 제한하거나 시장 활동을 중단함.
• 능력/용량 제한: 머신러닝에서는 모델을 작게 만들어 과적합을 방지함. 사회 시스템에서는 조직이나 에이전트의 용량을 제한함.
• 능력/용량 증가: 머신러닝에서는 모델을 매우 크게 만들어 과적합을 방지함. 사회 시스템에서는 능력을 크게 증가시켜 목표와 프록시 간의 트레이드오프를 제거함.

마무리 생각

강한 버전의 굿하트 법칙은 AI에 대한 개인적인 두려움의 근본 원인임. AI는 거의 모든 작업에서 효율성을 높일 수 있음. 이 문제를 해결하기 위한 연구 기회가 많음. 사회 시스템이 강한 버전의 굿하트 법칙으로 인해 붕괴되면 이를 해결하기 위한 합리적인 행동을 취하기 어려워짐. 이 현상을 명명하고 더 잘 이해하는 것이 도움이 될 것임.

GN⁺의 정리

• 강한 버전의 굿하트 법칙은 효율성이 증가하면 목표가 악화될 수 있음을 설명함.
• 머신러닝의 과적합 현상과 유사하며, 다양한 분야에 적용될 수 있음.
• 프록시 목표와 실제 목표를 더 잘 맞추고, 정규화 페널티를 추가하며, 시스템에 노이즈를 주입하는 등의 방법으로 문제를 완화할 수 있음.
• AI의 효율성 증가로 인해 다양한 부작용이 발생할 수 있으며, 이를 해결하기 위한 연구가 필요함.
• 사회 시스템이 붕괴되지 않도록 강한 버전의 굿하트 법칙을 이해하고 대응하는 것이 중요함.

[gguimoon]

우리나라의 수능 시험은 수학 능력 측정이라는 초기 목적에서 벗어나, 등급 컷 분배만을 효율화하려는 시스템으로 변화했다고 들었습니다. 이는 굿하트 법칙을 벗어나지 못한 예로 보입니다.

[neo]

Hacker News 의견

• Jascha는 Google Brain에서 일했던 뛰어난 ML 연구자이며 현재는 Anthropic에 있음

  • 딥 뉴럴 네트워크에서 신호 전파를 수학적으로 설명한 연구로 유명함
  • "dynamical isometry"와 같은 개념을 통해 매우 깊은 트랜스포머 모델의 수렴을 달성함
  • 그의 최적화 직관은 ML을 넘어 현대 사회 전반에 걸쳐 있음
  • 그의 메시지는 기술적 배경을 넘어 인간적이고 공감적인 행동 촉구임
  • 과적합 문제와 경제학, 정치학, 경영학 등 다른 분야 간의 수학적 연결을 제안함

• Goodhart의 법칙은 측정이 목표가 되면 좋은 측정이 되지 않는다는 내용임

  • 문제는 측정뿐만 아니라 인간 행동에 있음
  • 인간은 설정된 제어 시스템을 악용하려 함
  • Campbell의 법칙이 이를 더 잘 설명함
  • 정규화, 조기 종료 등의 완화책은 간접적이거나 새로운 문제를 초래할 수 있음

• 스웨덴에서 지난 20년 동안 사회적 문제로 대두됨

  • 의료 효율성은 주치의의 "완료된 작업"으로 측정됨
  • 단순한 사례를 처리하는 데 최적화되어 개인적인 접촉이 사라짐
  • 철도 시스템은 민영화되었지만 지연 문제로 고통받고 있음

• 운동 생리학에서도 유사한 법칙이 존재함

  • 일반적인 훈련 방법론이 더 의미 있는 지표를 제공함
  • 전문화된 운동 선수는 성능 향상이 일반적인 체력 향상을 나타내지 않음
  • 스포츠에서 "기본 체력"과 "최고 체력"의 비유가 있음

• 대기 이론에서도 관련 법칙이 있음

  • 사용률이 100%에 가까워지면 대기 시간이 무한대로 증가함
  • 여유가 필요함

• GDP에 집중하는 것을 좋아하지 않음

  • 삶의 만족도와 낙관주의에 대한 분기별 설문조사가 더 나은 지표임
  • GDP는 경제 활동을 반영하지만 삶의 질을 반영하지 않음

• 지역 하드웨어 상점에서 이 법칙의 예를 발견함

  • 도난 방지 케이지 설치로 인해 고객 경험이 악화됨
  • 데이터 기반 결정이 항상 최적의 결과를 가져오지 않음

• 체인 레스토랑 방문 시 유사한 경험을 함

  • 모든 것이 최적화되어 기계적이고 인위적으로 느껴짐
  • 고객 경험이 아닌 수익 창출에 초점이 맞춰져 있음

• 저자의 이름을 기억해냄

  • 2015년에 최초의 생성 확산 모델을 발명함

• 효과는 존재하지만 예시는 정확하지 않음

  • 학업 성적에 대한 과도한 강조는 교육의 목적과 다름
  • 비만은 영양가 높은 음식을 우선시한 결과가 아님
  • 불평등 증가는 사회적 필요에 따른 자원 분배와 무관함
  • 자극 부족이 감각적 중독이나 도박을 초래함
  • 공공 교육 확대, 설탕 과세, 부의 재분배가 더 쉬운 해결책임