# 과도한 효율성의 부작용 (2022)

> Clean Markdown view of GeekNews topic #16988. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=16988](https://news.hada.io/topic?id=16988)
- GeekNews Markdown: [https://news.hada.io/topic/16988.md](https://news.hada.io/topic/16988.md)
- Type: GN+
- Author: [neo](https://news.hada.io/@neo)
- Published: 2024-09-30T09:45:10+09:00
- Updated: 2024-09-30T09:45:10+09:00
- Original source: [sohl-dickstein.github.io](https://sohl-dickstein.github.io/2022/11/06/strong-Goodhart.html)
- Points: 6
- Comments: 2

## Topic Body

### 너무 높은 효율성은 모든 것을 악화시킴: 과적합과 강한 버전의 굿하트 법칙

효율성이 증가하면 역설적으로 결과가 나빠질 수 있음. 이는 거의 모든 곳에서 사실임. 이 현상을 강한 버전의 굿하트 법칙이라고 부를 것임. 예를 들어, 표준화된 시험을 통한 학생 성취도의 중앙 집중식 추적은 좋은 아이디어처럼 보이지만, 이는 학교가 시험 준비에 집중하게 만들어 전반적인 교육 결과를 악화시킬 수 있음. 정치, 경제, 건강, 과학 등 많은 분야에서도 유사한 예가 존재함.

#### 과적합과 굿하트 법칙

- **과적합**: 머신러닝에서 목표를 직접 맞출 수 없기 때문에 유사한 프록시를 사용하여 모델을 훈련함. 처음에는 프록시가 개선되면서 목표도 개선되지만, 최적화를 계속하면 프록시가 더 좋아져도 목표는 더 이상 개선되지 않음. 이를 과적합이라고 부름.
- **굿하트 법칙**: 측정이 목표가 되면 좋은 측정이 되지 않음. 이는 경제학뿐만 아니라 다양한 분야에 적용됨.

#### 강한 버전의 굿하트 법칙: 너무 효율적이 되면 우리가 신경 쓰는 것이 악화됨

- 프록시 목표를 계속 최적화하면 목표가 악화될 수 있음. 이는 머신러닝에서 매우 일반적인 현상임.
- 강한 버전의 굿하트 법칙: 측정이 목표가 되고 효과적으로 최적화되면 측정하려는 것이 악화됨.

#### 효율성 증가와 과적합이 어디에나 존재함

- 효율성이 증가하면 사회 전반에 걸쳐 긍정적이거나 부정적인 결과를 초래할 수 있음.
- 예시:
  - **목표**: 아이들을 잘 교육시키기
    - **프록시**: 표준화된 시험 성적
    - **결과**: 시험 준비에만 집중하여 실제 교육의 질이 떨어짐
  - **목표**: 과학의 빠른 발전
    - **프록시**: 출판물 수에 따른 보너스
    - **결과**: 부정확한 연구 결과 출판 증가
  - **목표**: 건강한 인구
    - **프록시**: 영양가 있는 음식 접근성
    - **결과**: 비만 문제

#### 과적합과 강한 버전의 굿하트 법칙을 완화하는 방법

- **프록시 목표와 원하는 결과를 더 잘 맞추기**: 머신러닝에서는 테스트 상황과 유사한 훈련 예제를 수집함. 사회 시스템에서는 법, 인센티브, 사회 규범을 변경하여 목표와 더 잘 맞추도록 함.
- **정규화 페널티 추가**: 머신러닝에서는 파라미터의 크기를 작게 유지함. 사회 시스템에서는 복잡성을 줄이거나 추가 비용을 부과함.
- **시스템에 노이즈 주입**: 머신러닝에서는 입력, 파라미터, 내부 상태에 무작위 노이즈를 추가함. 사회 시스템에서는 무작위 요소를 추가하여 예측 가능성을 줄임.
- **조기 중단**: 머신러닝에서는 검증 손실이 악화되기 시작하면 훈련을 중단함. 사회 시스템에서는 의사 결정 시간을 제한하거나 시장 활동을 중단함.
- **능력/용량 제한**: 머신러닝에서는 모델을 작게 만들어 과적합을 방지함. 사회 시스템에서는 조직이나 에이전트의 용량을 제한함.
- **능력/용량 증가**: 머신러닝에서는 모델을 매우 크게 만들어 과적합을 방지함. 사회 시스템에서는 능력을 크게 증가시켜 목표와 프록시 간의 트레이드오프를 제거함.

#### 마무리 생각

강한 버전의 굿하트 법칙은 AI에 대한 개인적인 두려움의 근본 원인임. AI는 거의 모든 작업에서 효율성을 높일 수 있음. 이 문제를 해결하기 위한 연구 기회가 많음. 사회 시스템이 강한 버전의 굿하트 법칙으로 인해 붕괴되면 이를 해결하기 위한 합리적인 행동을 취하기 어려워짐. 이 현상을 명명하고 더 잘 이해하는 것이 도움이 될 것임.

### GN⁺의 정리

- 강한 버전의 굿하트 법칙은 효율성이 증가하면 목표가 악화될 수 있음을 설명함.
- 머신러닝의 과적합 현상과 유사하며, 다양한 분야에 적용될 수 있음.
- 프록시 목표와 실제 목표를 더 잘 맞추고, 정규화 페널티를 추가하며, 시스템에 노이즈를 주입하는 등의 방법으로 문제를 완화할 수 있음.
- AI의 효율성 증가로 인해 다양한 부작용이 발생할 수 있으며, 이를 해결하기 위한 연구가 필요함.
- 사회 시스템이 붕괴되지 않도록 강한 버전의 굿하트 법칙을 이해하고 대응하는 것이 중요함.

## Comments



### Comment 29579

- Author: gguimoon
- Created: 2024-10-02T08:07:03+09:00
- Points: 1

우리나라의 수능 시험은 수학 능력 측정이라는 초기 목적에서 벗어나, 등급 컷 분배만을 효율화하려는 시스템으로 변화했다고 들었습니다. 이는 굿하트 법칙을 벗어나지 못한 예로 보입니다.

### Comment 29479

- Author: neo
- Created: 2024-09-30T09:45:10+09:00
- Points: 1

###### [Hacker News 의견](https://news.ycombinator.com/item?id=41684082) 
- Jascha는 Google Brain에서 일했던 뛰어난 ML 연구자이며 현재는 Anthropic에 있음
  - 딥 뉴럴 네트워크에서 신호 전파를 수학적으로 설명한 연구로 유명함
  - "dynamical isometry"와 같은 개념을 통해 매우 깊은 트랜스포머 모델의 수렴을 달성함
  - 그의 최적화 직관은 ML을 넘어 현대 사회 전반에 걸쳐 있음
  - 그의 메시지는 기술적 배경을 넘어 인간적이고 공감적인 행동 촉구임
  - 과적합 문제와 경제학, 정치학, 경영학 등 다른 분야 간의 수학적 연결을 제안함

- Goodhart의 법칙은 측정이 목표가 되면 좋은 측정이 되지 않는다는 내용임
  - 문제는 측정뿐만 아니라 인간 행동에 있음
  - 인간은 설정된 제어 시스템을 악용하려 함
  - Campbell의 법칙이 이를 더 잘 설명함
  - 정규화, 조기 종료 등의 완화책은 간접적이거나 새로운 문제를 초래할 수 있음

- 스웨덴에서 지난 20년 동안 사회적 문제로 대두됨
  - 의료 효율성은 주치의의 "완료된 작업"으로 측정됨
  - 단순한 사례를 처리하는 데 최적화되어 개인적인 접촉이 사라짐
  - 철도 시스템은 민영화되었지만 지연 문제로 고통받고 있음

- 운동 생리학에서도 유사한 법칙이 존재함
  - 일반적인 훈련 방법론이 더 의미 있는 지표를 제공함
  - 전문화된 운동 선수는 성능 향상이 일반적인 체력 향상을 나타내지 않음
  - 스포츠에서 "기본 체력"과 "최고 체력"의 비유가 있음

- 대기 이론에서도 관련 법칙이 있음
  - 사용률이 100%에 가까워지면 대기 시간이 무한대로 증가함
  - 여유가 필요함

- GDP에 집중하는 것을 좋아하지 않음
  - 삶의 만족도와 낙관주의에 대한 분기별 설문조사가 더 나은 지표임
  - GDP는 경제 활동을 반영하지만 삶의 질을 반영하지 않음

- 지역 하드웨어 상점에서 이 법칙의 예를 발견함
  - 도난 방지 케이지 설치로 인해 고객 경험이 악화됨
  - 데이터 기반 결정이 항상 최적의 결과를 가져오지 않음

- 체인 레스토랑 방문 시 유사한 경험을 함
  - 모든 것이 최적화되어 기계적이고 인위적으로 느껴짐
  - 고객 경험이 아닌 수익 창출에 초점이 맞춰져 있음

- 저자의 이름을 기억해냄
  - 2015년에 최초의 생성 확산 모델을 발명함

- 효과는 존재하지만 예시는 정확하지 않음
  - 학업 성적에 대한 과도한 강조는 교육의 목적과 다름
  - 비만은 영양가 높은 음식을 우선시한 결과가 아님
  - 불평등 증가는 사회적 필요에 따른 자원 분배와 무관함
  - 자극 부족이 감각적 중독이나 도박을 초래함
  - 공공 교육 확대, 설탕 과세, 부의 재분배가 더 쉬운 해결책임