과도한 효율성의 부작용 (2022)

 (sohl-dickstein.github.io)
6P by GN⁺ | ★ favorite | 댓글 2개
  • 효율성은 목표와 지표가 잘 맞을 때만 성과를 키우며, 대리 지표를 지나치게 최적화하면 실제로 중요했던 대상이 나빠질 수 있음
  • 머신러닝의 과적합은 이 구조를 잘 보여주며, 훈련 데이터와 대리 목적함수는 좋아져도 실제 성능은 멈추거나 악화될 수 있음
  • 표준화 시험, 논문 보너스, 보상회로 극대화, 여론 지지, 정보 공유, 자본주의, paperclip maximizer 사례는 목표와 대리 지표의 불일치가 사회 시스템에서도 반복됨을 보여줌
  • 완화책은 대리 목표 정렬, 정규화, 노이즈 주입, 조기 중단, 역량 제한, 역량 확대이며, 머신러닝의 과적합 대응 방식을 사회 시스템에 비유해 적용함
  • AI가 거의 모든 작업의 효율성을 빠르게 높일 수 있다면, 잘못 정렬된 목표를 더 잘 추구하게 만드는 방식의 제도 개선은 위험해질 수 있음

효율성과 Goodhart의 법칙의 강한 버전

  • 효율성 증가는 직관과 달리 더 나쁜 결과를 만들 수 있으며, 이 현상을 Goodhart의 법칙의 강한 버전으로 부름
  • 표준화 시험을 통한 학생 진도 추적은 중앙집중적이고 효율적인 측정처럼 보이지만, 학교가 넓게 유용한 기술보다 시험을 잘 보는 법에 집중하도록 만들 수 있음
  • Goodhart의 법칙은 “측정값이 목표가 되면 좋은 측정값이 아니게 된다”는 법칙임
    • 원래는 통화정책 맥락에서 나왔지만 더 넓은 영역에 적용될 수 있음
    • 머신러닝에서는 최적화하는 대리 목적함수가 실제로 신경 쓰는 목적의 좋은 측정값이 아니게 되는 상황과 연결됨

머신러닝 과적합과의 연결

  • 머신러닝에서는 직접 원하는 목표를 최적화하지 못해 대리 데이터셋과 대리 목적함수를 사용함
    • 이미지 분류 예시에서 실제 목표는 테스트 데이터셋의 분류 정확도임
    • 모델은 테스트 데이터셋으로 훈련할 수 없으므로 훈련 데이터셋을 사용함
    • 정확도는 미분 가능하지 않아 순진한 경사하강법 훈련의 직접 목표로 삼기 어렵고, 보통 softmax-cross-entropy loss 같은 미분 가능한 대리값으로 대체됨
  • 초기에는 대리 지표가 좋아지면서 실제 목표도 함께 개선됨
  • 최적화가 계속되면 목표와 대리 지표 사이의 쓸 수 있는 유사성이 소진되고, 대리 지표는 계속 좋아져도 목표는 더 이상 나아지지 않음
  • 과도한 최적화는 실제 목표를 절대적으로 악화시킬 수 있으며, 목표가 무한대로 발산하는 경우도 많음

강한 버전이 일반 Goodhart 법칙과 다른 점

  • 일반 Goodhart 법칙은 대리 지표를 최적화하면 결국 실제 목표가 더 이상 개선되지 않는다고 봄
  • 강한 버전은 효과적으로 최적화된 측정값이 오히려 측정하려던 대상 자체를 악화시킨다고 봄
  • 한 문장으로는 다음과 같음
    • “측정값이 목표가 될 때, 그것이 효과적으로 최적화되면, 측정하려던 대상은 더 나빠진다”
  • 이 현상은 단순한 과적합과 같지 않음
    • 과적합은 대리 지표가 목표보다 더 좋아지는 상대적 현상을 가리킴
    • 여기서 강조하는 것은 목표가 절대적 의미에서 더 나빠지는 현상임
  • 관련 개념으로 perverse incentives, Campbell’s law, Streisand effect, unintended consequences, Jevons paradox, negative externalities, Goodhart’s curse가 함께 다뤄짐
    • Goodhart’s curse는 optimizer’s curse를 인과 메커니즘으로 포함하지만, 그것만으로는 실제 목표가 절대적으로 나빠지는 이유를 설명하지 못한다고 구분함

사회 시스템에서 반복되는 과적합

  • 효율성 증가는 사회 거의 모든 측면으로 퍼지고 있음
    • 더 효율화되는 대상이 실제로 유익하면 세계를 더 좋게 만들 수 있음
    • 사회적으로 해로운 대상을 더 효율화하면 대량 감시나 로봇 무기처럼 무섭거나 우울한 결과가 될 수 있음
    • 가장 흔한 경우는 유익한 결과와 관련은 있지만 동일하지 않은 대상을 더 효율화하는 상황임
  • 목표와 대리 지표가 어긋나면 사회 시스템도 머신러닝처럼 과적합될 수 있음
    • 목표: 아이들을 잘 교육함 대리 지표: 표준화 시험으로 학생과 학교 성과 측정 결과: 학교가 시험이 측정하려던 기초 역량보다 시험 문제 유형에 맞춘 교육에 집중함
    • 목표: 과학의 빠른 진보 대리 지표: 논문마다 현금 보너스 지급 결과: 부정확하거나 점진적인 결과 발표, 리뷰어와 저자의 공모, 논문 공장 발생
    • 목표: 잘 살아간 삶 대리 지표: 뇌의 보상 경로 극대화 결과: 약물 중독, 도박 중독, Twitter 둠스크롤링으로 잃는 시간
    • 목표: 건강한 인구 대리 지표: 영양이 풍부한 음식에 대한 접근 결과: 비만 유행
    • 목표: 인구의 이익에 따라 행동하는 지도자 대리 지표: 인구의 지지를 가장 많이 받는 지도자 결과: 사회적 결과보다 여론 조작에 전문성과 열정을 집중하는 지도자
    • 목표: 정보에 밝고 사려 깊으며 참여하는 시민 대리 지표: 사람들이 아이디어를 쉽게 공유하고 찾는 능력 결과: 필터 버블, 음모론, 기생적 밈, 강화된 부족주의
    • 목표: 사회의 필요에 기반한 노동과 자원 배분 대리 지표: 자본주의 결과: 연 수백 달러부터 초당 수백 달러까지 벌어지는 대규모 부의 격차와 10억 명 이상 빈곤
    • 목표: Paperclips Unlimited, LLC 소유자의 부 대리 지표: AI 운영 제조공장이 만든 클립 수 결과: 회사 소유자를 포함한 태양계 전체가 클립으로 전환되는 paperclip maximizer 시나리오

과도한 효율화가 위험해질 수 있는 영역

  • 다음 영역들은 초기 개선이 넓게 유익했을 수 있지만, 너무 잘하게 되면 큰 부정적 결과를 낳을 수 있는 예로 다뤄짐
    • telepresence와 가상현실
    • 개인화 의료
    • 유전자 치료
    • 개별 소비자나 유권자에게 맞춘 마케팅 메시지
    • 선거 결과 예측
    • 코드 작성
    • 인공지능
    • 공급망의 여유 제거
    • 아이디어의 빠른 확산
    • 엔터테인먼트 생성
    • 사람들이 살 신제품 식별
    • 가축 사육
    • 증권 거래
    • 바다에서 물고기 추출
    • 자동차 제조

완화책 1: 대리 목표 정렬과 정규화

  • 대리 목표를 원하는 결과에 더 잘 맞추는 것이 첫 번째 완화책임
    • 머신러닝에서는 테스트 시점 상황과 최대한 비슷한 훈련 예시를 신중하게 수집하는 방식이 자주 쓰임
    • 머신러닝 밖에서는 법, 인센티브, 사회 규범 같은 통제 가능한 대리 지표를 바꿔 목표와 더 잘 맞는 행동을 직접 장려함
  • 정규화 페널티도 과도한 최적화를 완화할 수 있음
    • 머신러닝에서는 파라미터 제곱 크기에 페널티를 줘 값이 작게 유지되도록 하는 방식이 흔함
    • 정규화는 바람직하지 않은 행동을 직접 겨냥할 필요가 없고, 모델이 전형성에서 벗어나는 것을 벌하는 거의 모든 방식이 잘 작동할 수 있음
  • 사회 시스템에서의 정규화는 복잡성, 마찰, 추가 비용을 부여하는 방식으로 비유됨
    • SMTP에 과금 메커니즘을 추가해 이메일마다 작은 비용을 부과함
    • 누진세로 이례적 성공이 불균형적으로 큰 비용과 연결되게 함
    • 조직이 제기한 소송 수의 제곱 또는 지수에 비례하는 법원 수수료를 부과함
    • 사용자에 대해 저장한 정보의 비트 수에 세금을 매김

완화책 2: 노이즈 주입과 조기 중단

  • 노이즈 주입은 입력, 파라미터, 모델 내부 상태에 무작위 흔들림을 추가해 과적합을 더 어렵게 만드는 방식임
  • 사회 시스템에서도 무작위성을 넣어 대리 지표에 지나치게 맞추는 행동을 줄일 수 있음
    • 경쟁이 심한 학교나 일자리 후보를 순위화한 뒤 상위 k명에게 확정 제안을 하는 대신, 순위에 비례한 확률로 제안함
      • 합격자 다양성이 커질 수 있음
      • 지원자가 애플리케이션을 미세 조정하거나 리뷰어가 미세한 순위 차이를 검토하는 데 쓰는 자원이 줄어들 수 있음
      • 실패 가능성이 더 큰 장기 후보가 뽑힐 수 있지만, 관습과 다른 방식으로 매우 가치 있게 성공할 가능성도 있음
    • 시험 날짜를 사전에 고지하지 않고 무작위로 잡아 벼락치기보다 이해 중심 학습을 유도함
    • 증권 거래소가 거래 처리 시점에 약 1초 표준편차의 무작위 지터를 추가하도록 요구함
    • 선거 당일 투표 방식의 세부 사항을 무작위화해 후보가 현행 선거 제도의 우연적 세부에 과적합하는 것을 막음
  • 조기 중단은 머신러닝에서 파국적 과적합을 막는 가장 효과적인 도구로 다뤄짐
    • 훈련 손실과 테스트 성능 외에 검증 손실을 모니터링함
    • 훈련 손실이 계속 좋아져도 검증 손실이 나빠지기 시작하면 훈련을 멈춤
  • 사회 시스템에서는 과도한 준비, 분석, 최적화를 멈추게 하는 장치로 대응할 수 있음
    • 제안 요청과 제출 마감 사이 시간을 급격히 제한해 기존 준비도를 더 잘 반영하게 함
    • 주식 변동성이 임계값을 넘으면 모든 시장 활동을 중단함
    • 경쟁을 막는 기업을 반독점법으로 분할함
    • 의사결정의 중요도를 금액으로 추정하고, 이미 분석에 쓴 시간의 가치가 그 금액에 가까워지면 즉시 결정함
    • 선거 전 48시간 언론 보도 제한처럼 에이전트가 목표 달성에 사용할 수 있는 정보를 동결함

모델 용량과 과적합의 관계

  • 극단적 과적합의 잘 이해된 원인 중 하나는 모델 표현력이 대리 과제의 복잡도와 너무 가깝게 맞아떨어지는 상황임
  • 모델이 매우 약하면 과제에서 조금만 진전할 수 있어 목표와 대리 지표의 유사성을 소진하지 않음
  • 모델이 매우 강하고 표현력이 크면 대리 목적을 독립적으로 최적화하면서 다른 목적에서 극단적 행동을 만들지 않을 수 있음
  • 표현력이 과제 복잡도와 대략 맞을 때, 예를 들어 파라미터 수가 훈련 예시 수보다 몇 자릿수 이상 많거나 적지 않을 때, 대리 과제를 잘 수행하려면 다른 곳에서 극단적 행동을 해야 할 수 있음
  • Figure 1의 장난감 실험은 1차원 입력 x를 1차원 출력 y로 매핑하는 모델을 같은 10개 데이터포인트에 훈련함
    • 4개 파라미터 모델은 데이터포인트를 정확히 맞추기에는 너무 약하지만 부드럽게 근사함
    • 10,000개 파라미터 모델은 모든 데이터포인트를 쉽게 맞추고 그 사이도 부드럽게 보간함
    • 10개 파라미터 모델은 데이터포인트를 맞출 만큼 정확히 강하지만, 훈련 데이터 밖에서는 극단적으로 휘어져 새 x 값 예측에서 매우 나쁠 수 있음
    • 세부 실험은 colab notebook에 있음

완화책 3: 역량 제한과 역량 확대

  • 역량 또는 용량 제한은 모델이 과적합할 수 없을 만큼 작게 만드는 머신러닝 기법에 해당함
    • 선거자금 제한
    • 특정 유형 회사에서 일할 수 있는 사람 수 상한 설정, 예를 들어 로비 단체는 10명만 허용
    • AI 시스템이 사용할 수 있는 파라미터 수나 훈련 컴퓨트 상한 설정
  • 역량 또는 용량 확대는 모델이 매우 커지면 훈련 데이터에 과적합해도 테스트 데이터 성능을 더 나쁘게 만들지 않을 수 있다는 관찰에 대응함
    • 목표와 대리 지표 사이에 성능 트레이드오프가 필요 없을 만큼 역량을 크게 키우는 방식임
    • 모든 데이터베이스를 공개 접근 가능하게 하고 모든 건물에 카메라를 설치해 모든 사람과 정부, 조직에 관한 정보를 항상 모두에게 공개하는 시나리오가 예시로 제시됨
      • 이 시나리오는 글쓴이의 가치 체계에서는 디스토피아로 명시됨
    • 청정에너지 기초연구 투자
    • 가능한 한 복잡하고 불투명하며 다양한 시장 거래 상품을 여러 만기 시간대에 걸쳐 개발함
    • 모든 시나리오에서 가장 크고 컴퓨트와 데이터가 많이 드는 AI 모델을 사용함
  • 역량을 계속 키우는 방식은 머신러닝에서 놀라울 정도로 잘 작동하며 저항이 적은 경로임
  • 잘못 정렬된 목표를 추구하는 기관을 맹목적으로 더 잘 만들면서 제도를 고치려는 방식은 끔찍한 아이디어로 평가됨

AI와 연구 과제

  • Goodhart의 법칙의 강한 버전은 AI에 대한 주요 개인적 두려움의 근간으로 제시됨
  • AI가 가능하게 할 핵심 변화는 거의 모든 작업에서 매우 짧은 기간에 효율성 증가를 만드는 것임
  • 다양한 원치 않는 부작용을 동시에 다뤄야 하며, 해결책을 위해 협력하는 능력도 함께 교란될 수 있음
  • 머신러닝 과적합 결과와 경제학, 정치학, 경영과학, 운영연구 등의 문제 사이에 형식적·수학적 다리를 놓는 연구 기회가 큼
    • PAC Bayes bound를 사용해 노동자 부를 극대화하기 위한 노조 권력의 최적량을 예측하는 예시가 제시됨
    • 정치 경쟁에서 후보자가 통제할 수 있는 변수와 통제할 수 없는 변수의 스펙트럼을 추정해 정치적 붕괴 지점을 예측하는 예시도 제시됨
  • 사회 시스템이 Goodhart의 법칙의 강한 버전 때문에 더 많이 망가질수록, 그것을 고치는 데 필요한 공동의 합리적 행동은 더 어려워짐

함께 보면 좋은 글 β

gguimoon   [-]

우리나라의 수능 시험은 수학 능력 측정이라는 초기 목적에서 벗어나, 등급 컷 분배만을 효율화하려는 시스템으로 변화했다고 들었습니다. 이는 굿하트 법칙을 벗어나지 못한 예로 보입니다.

답변달기
GN⁺   [-]
Hacker News 의견들

  • Jascha를 예전에 Google Brain에 있었고 지금은 Anthropic에 있는 매우 뛰어난 머신러닝 연구자로 알고 있음
    그는 공저자들과 함께 물리학·통계학 기법인 평균장 이론과 자유확률론을 이용해 깊은 신경망에서 신호가 전파되는 방식을 수학적으로 특성화했음. 지난 10년간 머신러닝에서 가장 깊이 있으면서도 과소평가된 이론·실험 결과 중 하나라고 봄. 예를 들면 dynamical isometry [1]와 그 아이디어의 발전은 매우 깊은 트랜스포머 모델의 수렴을 달성하는 데 중요한 역할을 했음 [2]
    이 글과 예시를 읽고 나니, 이 사람은 머신러닝을 넘어 현대 사회 전반에 걸친 최적화에 대해 비범한 직관을 가진 게 분명해 보임. 기술적 배경을 인정하고, 의미나 정의를 둘러싼 말싸움보다 논의를 더 높은 수준으로 올려야 함
    핵심은 빠른 기술 발전의 그늘 아래 놓인, 매우 인간적이고 공감적인 행동 요청임: “친사회적이고 완전히 새로운 분야를 만들 수 있는 연구 아이디어를 찾는 과학자라면, 머신러닝의 과적합 결과와 경제학·정치학·경영과학·운영연구 등 여러 분야의 문제 사이에 형식적·수학적 다리를 놓는 일을 고려해야 한다”
    [1] Dynamical Isometry and a Mean Field Theory of CNNs: How to Train 10,000-Layer Vanilla Convolutional Neural Networks
    http://proceedings.mlr.press/v80/xiao18a/xiao18a.pdf
    [2] ReZero is All You Need: Fast Convergence at Large Depth
    https://arxiv.org/pdf/2003.04887

    • 마침 시기가 흥미로움. 며칠 전 생물학자 Olivier Hamant의 작업을 알게 됐는데, 정확히 같은 문제를 제기하고 있었음
      그의 핵심 논지는 매우 높은 성능, 즉 알려진 목표에 대한 효과성과 효율성, 그리고 큰 시스템 변동을 견디는 높은 강건성은 물리적으로 양립할 수 없다는 것임. 자연에는 이런 예가 많고, 흔한 인식과 달리 진화는 높은 성능이 아니라 높은 강건성을 최적화함. 자원이 풍부한 세계에서는 성능 우선이 말이 됐을지 몰라도, 이제는 불안정성이 표준인 전혀 다른 시기로 들어섰음. 강건해지려면 성능을 일부 되돌릴 수밖에 없고, 결국 그렇게 강제될 것임. 오랜만에 본 복합 위기에 대한 가장 신선하고 흥미로운 해석임
      https://books.google.co.uk/books/about/Tracts_N_50_Antidote_...
    • 일반인을 위한 번역: 머신러닝을 사회의 개인·기관 사이 신호 전달의 수학적 구조와 유비하고 있음
      수학자가 한쪽을 괴롭히는 문제, 즉 과도한 학습으로 신경망의 일반화 능력이 떨어지고 모사할 수 있는 함수가 학습 데이터에 강하게 묶이는 머신러닝의 과적합이 다른 쪽도 괴롭힐 것이라고 보는 셈임
      요약하면 사회 시스템이나 그 사이의 신호 전달이 과도하게 발전하면 어느 지점부터는 단순히 더 나빠지는 붕괴점이 반드시 있을 거라는 뜻임. 개인적으로는 모든 시스템을 완벽히 준수하면 어떤 일이 벌어질지만 봐도, 여러 산업 분야에서는 이미 그 붕괴점을 훨씬 넘어섰을 수 있다고 봄
    • ReZero 아이디어를 좋아함. 기본적으로 잔차 층에 학습 가능한 매개변수 α를 넣는 방식임
      Deep Network | xi+1 = F(xi)
      Residual Network | xi+1 = xi + F(xi)
      Deep Network + Norm | xi+1 = Norm(F(xi))
      Residual Network + Pre-Norm | xi+1 = xi + F(Norm(xi))
      Residual Network + Post-Norm | xi+1 = Norm(xi + F(xi))
      ReZero | xi+1 = xi + αi F(xi)
      다만 실제로 쓰이는 건 본 적이 없음. Gemma와 Llama 논문들도 여전히 층 정규화를 쓰는 것 같음. 뭔가 놓치고 있는 걸까?
    • 이 아이디어가 흥미로운 이유는, 예컨대 경제학과 머신러닝의 작동 방식을 연결할 수 있다면 실행·수정·변형 가능한 컴퓨터 프로그램이 복잡한 시스템 상호작용에 대한 측정 가능한 데이터를 직접 줄 수 있기 때문임
      현실은 너무 미묘하고 다층적이라 개념을 형식적으로 검증하기 어려워서, 이런 상호작용은 대체로 플라톤적 아이디어처럼만 존재해 왔음. 경제학 아래에 증명 가능하고 정확한 논리의 부분집합이 있다는 생각은 추구할 가치가 큰 강력한 아이디어임
    • 이런 식으로 반론의 내용을 실제로 다루지 않고 범주째로 치워버리는 건 꽤 조작적인 방식임
      감정에 호소하거나 권위에 기대는 등 여러 논리적 오류도 있고, HN이 지향하는 지적 호기심의 정신과 맞지 않음

  • 이 주장은 잘 알려진 Goodhart의 법칙, 즉 측정치가 목표가 되면 더 이상 좋은 측정치가 아니게 된다는 법칙에 기대고 있음
    다만 문제를 측정의 문제로만, 우리가 진짜로 신경 쓰는 것을 측정할 수 없어서 대리 지표를 최적화한다는 식으로만 설명함. 내 보기엔 지나치게 환원적인 관점임. 문제는 측정만이 아니라 인간 행동에 있음. 입자와 달리 인간은 우리가 만든 어떤 통제 시스템이든 적극적으로 악용하려 함
    “평화, 사랑, 강아지” 같은 걸 잘 측정할 수 없다는 수준보다 훨씬 깊은 문제임. 고전적인 Goodhart의 법칙보다 Campbell의 법칙 [0]이 이를 더 잘 포착한다고 봄: “정량적 사회 지표가 사회적 의사결정에 더 많이 사용될수록, 그 지표는 부패 압력에 더 많이 노출되고, 감시하려던 사회적 과정을 왜곡하고 부패시키기 쉬워진다”
    제안된 완화책인 정규화와 조기 종료는 기껏해야 간접적으로만 다루고, 최악의 경우 원치 않는 행동으로 악용될 새로운 특이점을 만들 수 있음
    [0] https://en.wikipedia.org/wiki/Campbell%27s_law

    • “인간은 우리가 만든 어떤 통제 시스템이든 적극적으로 악용하려 한다”는 말은 맞지만, 그건 통제 시스템이 우리가 통제하고 싶은 것만 정확히 통제하지 못하기 때문에 가능함
      통제 시스템은 우리가 진짜 원하는 것의 불완전한 대리물일 뿐이고, 이는 Goodhart의 법칙에서 측정치가 갖는 역할과 매우 비슷함. 또 다른 변형으로 의도하지 않은 결과의 법칙 [0]도 있음. 아직 발견하지 못한 더 일반화된 계산적 또는 복잡계 버전이 있을지도 모름
      [0] https://www.sas.upenn.edu/~haroldfs/540/handouts/french/unin...
    • 인간만 그런 게 아니라 행위자라면 그렇게 함
      델리에서 죽은 코브라를 많이 가져올수록 보상을 주는 AI 행위자에 유전 알고리즘을 만들면, 금방 코브라를 사육하기 시작한 행위자가 최고 성능을 낼 것 같음. 인간의 경우와 AI의 경우 모두 보상 함수가 해킹된 것임. AI에서는 보상 함수 설계가 나빴다고 판단하지만, 인간의 경우에는 행위자들이 교활하고 도덕성이 낮아 시스템을 “악용”했다고 판단함
    • 인간은 자신을 숫자로만 평가받는 걸 싫어하고, 나사로 조이듯 압박하는 시스템에는 반항하고 조작하려 듦
      그래서 저 인용문은 아주 잘 맞고, 크게 틀릴 여지도 적어 보임
    • 이런 “법칙”들은 근사치이자 불완전한 환원임
      어느 것이 유용하거나 설명력이 있는지는 구체적 사례에 달려 있음. 머신러닝 최적화, 소셜 미디어 알고리즘 최적화, 표준화 시험으로 교육 시스템을 최적화하는 일은 서로 다름
      이 다양한 상황에 정확히 맞는 완벽한 추상화는 없고, 그런 정밀함도 필요하지 않음. 어디서 문제가 생길지에 대한 직관만 얻으면 충분함

  • 스웨덴에서는 지난 20년쯤 동안 이게 사회적 문제가 됐음
    1: 의료 효율을 1차 진료 의사의 “완료된 작업”으로 측정하면서, 장치는 간단한 사례를 많이 처리하도록 최적화됨. 그래서 의사들은 종종 겉핥기 확인만 하고 통계적으로 맞는 약, 예컨대 아스피린이나 항생제를 주고 집으로 보내거나, 복잡해 보이면 전문의에게 넘김
    문제는 효율화 때문에 1차 진료 의사가 줄어들면서 사실상 조립라인 노동자처럼 됐고, 환자와의 개인적인 접촉이 사라져 뭔가 잘못됐다는 신호를 잡기 어려워졌다는 점임. 그래서 암 같은 것이 너무 늦게 진단되는 일이 많고, 전문 암 치료가 좋아졌더라도 이미 손쓸 수 없는 경우가 흔함
    2: 철도 시스템은 민영화됐고, 운송되는 화물량을 보면 대성공이었을 가능성이 큼. 하지만 지연된 열차가 만회할 여유나 기본 정비 이상을 할 틈이 시스템에 거의 없어 지연이 잦고, 결국 더 큰 문제로 이어짐

    • Steve Jobs의 말처럼 어디에나 예가 있음
      “회사가 충분히 커지면 처음의 성공을 복제하고 싶어 한다. 모두가 첫 성공이 어떻게 만들어졌는지 그 과정을 생각한다. 그래서 그 과정을 회사 전반에 복제한다. 오래 지나지 않아 사람들은 과정이 곧 내용이라고 혼동한다”
      작은 회사부터 세계 최대 정부까지 그대로 들어맞음. 대부분은 자신의 내용을 잊어버렸음
    • 미국 철도와 의료 산업이 직면한 가장 큰 문제가 저 정도였으면 좋겠음

  • 대기행렬 이론에도 관련 법칙이 있음. 이용률이 100%에 가까워지면 대기 시간이 무한대로 발산함
    프로세스, 기계, 엔지니어에게 어느 정도 여유가 없으면 어떤 작업은 영원히 기다리게 됨

    • 예전에 도시가 교외나 농촌보다 자원을 매우 효율적으로 쓴다는 글을 읽은 기억이 있음
      대기 시간에 대한 이 말을 떠올리니, 도시가 왜 그렇게 불쾌한지 이제 이해됨. 끊임없는 자원 경합 때문임
    • 예전에 공장에서 일했는데, 계획 단계의 목표 이용률은 80% 였음
      이용률을 과대 예측하면 돈을 낭비하고, 과소 예측하면 “중요하지 않은” 일들이 거대한 대기열로 쌓이기 시작함
    • 최적화 기준에 강건성 척도를 넣을 수 있음
      예상치 못한 상황에 대응할 만큼 이용률에 여유를 두도록 명시적으로 최적화할 수 있음. 예를 들어 시스템 부하에 우선순위를 매기면, 한가할 때 시스템을 놀릴 필요 없이 비상 상황에서 낮은 우선순위 부하를 버려 여유를 만들 수 있음
      글이 말하려는 바는 이해하지만, 그렇다고 최적화를 그렇게 쉽게 포기해서는 안 됨
    • 100% 효율적인 시스템은 회복탄력성이 없다고 느낌
      하위 시스템의 작은 교란도 큰 붕괴로 이어짐. COVID-19로 인한 공급망 붕괴 때 극단적인 버전을 봤음. 자동차 제조사들은 거의 100% 적시 생산 체계를 구축해 칩 부족을 흡수하지 못했고, 회복하는 데 몇 년이 걸렸음
      실험할 여지도 사라짐. 어떤 실험이든 시스템 내부가 아니라 외부에서만 가능해짐
    • 맞는 말임. 여러 직장과 팀에서 일했는데, P0가 아닌 일은 사실상 영원히 처리되지 않았음

  • 운동생리학에도 이 근사 법칙의 예가 있음
    일반인에게는 체력의 좋은 대리 지표가 많음. 단거리 달리기, 제자리 점프, 스쿼트, 클린 앤 저크 등을 훈련할 수 있음. 더 빨리 달리고, 더 높이 뛰고, 더 무겁게 스쿼트하는 것은 모두 체력이 늘고 훈련이 성공했다는 지표임
    첫째, 훈련 방법이 더 일반적일수록 지표가 더 의미 있음. 예컨대 체력 척도가 “차를 언덕 위로 밀 수 있는가”이고 훈련 방법이 단거리 달리기와 수영이라면, 더 무거운 차를 미는 건 성공의 강한 지표임. 반대로 훈련 방법이 “차 밀기 연습”이라면 같은 향상이 같은 수준의 체력 향상을 뜻하지 않음
    둘째, 클린 앤 저크 선수처럼 운동선수가 더 특화될수록 성과 향상은 일반 체력을 덜 나타냄. 0에서 취미 역도 수준으로 가는 과정은 전반적인 근력과 근육량 증가를 포함하지만, 대학 선수에서 올림픽 수준으로 가는 과정은 보통 다른 활동으로 잘 전이되지 않는 고도로 특화된 체력 특성을 요구함
    스포츠에서 말하는 기초 체력과 최고점 체력도 비슷한 은유일 수 있음. 지속 불가능한 최고 성능을 우연히 훈련하는 것도 과최적화의 함정임. “선이 올라간다”는 것만 맹목적으로 따르면 생길 수 있고, 환상적 최적화는 사실 국소 최댓값에 가두는 것일 수 있음. 생물학뿐 아니라 머신러닝 최적화와 사회 현상에도 유비가 많다고 봄

    • 클린 앤 저크는 거의 “완전한” 동작 중 하나로 봐도 될 정도임
      특히 스쿼트 변형까지 섞는다면 더 그렇음. 그래서 최고의 예시는 아닐 수 있음. 자기 체중보다 무거운 무게로 클린 앤 저크를 여러 번 할 수 있는데 인간 체력의 의미 있는 대부분의 측면에서 괴물이 아닌 사람은 모름
      인간 몸은 하나의 기계이고, 호르몬 반응은 전신적임. 지구력과 근력은 스펙트럼이지만 몸 전체가 함께 따라감
    • 그건 “일반 체력”이 엄밀한 척도가 아니라는 신호에 더 가까움
      어느 정도까지는 “신체 능력”이라는 흐릿한 개념으로 괜찮지만, 그 이후에는 능력 향상이 과제별로 특화되고 다른 과제로 전이되지 않기 때문에 의미를 잃음

  • 그래서 GDP에 집중하는 걸 좋아하지 않음. 분기별 삶의 만족도와 낙관성 조사가 더 나은 척도라고 봄
    GDP가 궁금하다면, 내 차가 고장 나서 수리하면 GDP가 증가함. 부모가 집에 머물며 아이를 키우면 GDP는 낮아짐. 내가 집을 직접 청소해도 GDP는 낮아짐
    실업률도 조잡한 지표임. 그 일자리가 사람들이 원하는 일자리인지, 아니면 나쁜 일을 억지로 해야 한다고 느끼는지는 알 수 없음

    • GDP가 조잡한 척도라는 데 크게 반대하는 건 아니고, 생각을 정리해보는 중임
      개인의 삶의 만족도와 낙관성이 국민국가 경제에 의해, 그것도 정부가 그걸 최적화 대상으로 삼을 정도로 크게 좌우되어야 한다고는 생각하지 않음. 정부의 일은 세계 나머지를 억압하거나 지구를 파괴하지 않으면서 안보, 번영, 기회의 조건을 만드는 것임
      그 안에서 만족스러운 삶을 찾는 건 내 몫이고, 그런 삶은 매우 다른 경제·사회 구조 안에서도 가능함. 마찬가지로 모든 시민에게 보편적 만족을 주는 조건은 아마 없을 텐데, 그렇다면 삶의 만족도와 낙관성의 어떤 요약 통계를 최적화해야 할까?
    • 핵심은 무엇을 측정하든 상관없다는 데 있음
    • 머신러닝에서는 수천 개 수량의 벡터를 다루면서, 사회·경제를 측정할 때는 숫자 하나나 몇 개만 쓰는 게 아이러니함
      뉴스, 정치인, 포럼 등 일반 담론은 몇몇 척도만 두고 늘 크게 단순화됨. 수천 개 척도를 두고 하는 담론은 쉽게 전달하기엔 너무 복잡함
      언젠가는 대부분의 사람이 척도 수가 적을수록 무언가를 숨기는 단순화일 가능성이 높다는 점을 암묵적으로 인정하길 바람. 예를 들어 “X는 억만장자니까 똑똑하다”, “X 국가는 GDP가 높으니 GDP가 낮은 Y 국가보다 낫다” 같은 식임
    • 동의하고, 이는 자본주의 전반에도 적용됨
      과거의 실패한 중앙계획 대안과 자본주의를 대신할 한 제안의 대략적 개요는 여기 있음:
      https://jacobin.com/2019/03/sam-gindin-socialist-planning-mo...
      관련 부분을 보면, 사회주의의 초석은 계획과 노동자 통제지만 너무 야심 찬 계획은 소련식으로 실패했고, 지나치게 자율적인 작업장은 유고슬라비아식으로 실패했음. 포괄적 계획은 효과적이지도 바람직하지도 않고, 작업장 집단으로의 분권화는 사회적 이익을 식별하기엔 경제적으로 너무 분절되고 계획에 영향을 주기엔 정치적으로도 너무 분절됨. 그래서 국가, 계획, 작업장, 그 관계를 어떻게 바꿔야 이 난제를 풀 수 있는지가 핵심임
      자본주의와 사회주의 모두의 운영 단위는 작업장임. 자본주의에서는 경쟁하는 자본 단위의 일부가 되고, 사회주의에서는 자기 확장을 위한 사적 단위가 배제되므로 작업장 집단은 공통 기술, 산출물, 서비스, 과거 역사 등에 따라 실용적으로 구성된 “부문”에 들어감. 이 부문들이 경제 계획의 핵심 단위가 되고, 전통적으로 광업·기계·의료·교육·교통 같은 국가 부처 안에 있었음
      여기서 급진적 혁신은 부처의 계획 권한과 역량을 국가 밖의 시민사회로 이양하는 것임. 이전 부처는 헌법적으로 승인되지만 국가 밖에 서 있고, 각 부문의 작업장 대표가 선출해 운영하는 부문 평의회로 재편됨. 중앙 계획위원회는 여전히 국가 우선순위에 따라 각 부문에 자금을 배분하지만, 작업장 권력이 부문 수준에서 결집되면 국가와 노동자 사이의 권력 균형을 바꾸고, 시장 문제를 사회주의에 더 맞는 방식으로 다룰 수 있음
      핵심은 불평등을 키우는 인센티브와 평등주의적 투자 편향 사이의 균형임. 각 작업장 집단이 벌어들인 잉여는 공동 또는 개인 소비를 늘리는 데 쓸 수 있지만 재투자에는 쓸 수 없음. 전국 우선순위는 민주적 과정과 압력을 통해 중앙 계획 수준에서 정해지고, 부문별 투자 배분으로 번역됨. 부문 평의회는 맡은 작업장 집단에 투자 자금을 나누지만, 시장식 결정과 달리 가장 생산적인 작업장을 더 우대해 영구적 격차를 재생산하는 것이 아니라, 약한 집단의 생산성을 우수 집단에 가깝게 끌어올리는 것을 주요 기준으로 삼음
      Hayek의 주장과 달리, 정보를 체계적으로 공유하지 못하게 막는 것은 오히려 자본주의임. 사유재산과 이윤 극대화의 귀결은 정보가 경쟁 자산이므로 숨겨야 한다는 것임. 반면 사회주의에서는 정보의 적극적 공유가 작동의 필수 조건이고, 이를 부문 평의회의 책임으로 제도화함

  • 이 저자의 이름을 어디서 들었는지 떠올리려 하고 있었음
    2015년에 최초의 생성 확산 모델을 발명한 사람임
    https://arxiv.org/abs/1503.03585

    • 내게는 Stephan Hoyer, Sam Greydanus와 함께 쓴 2019년의 영리한 논문으로 기억남
      최적화하려는 구조를 설명하는 물리 모델의 저장소·수정기·조율기로 제약된 신경망을 사용해 구조 최적화를 수행하는 내용임: https://arxiv.org/abs/1909.04240
      매우 흥미로운 접근이고 논문도 아주 잘 쓰였음

  • 체인 레스토랑에 가는 일이 떠오름
    모든 것이 포커스 그룹을 거쳐 최적화되어 있고, 즐거운 식사를 위한 과적합된 대리 지표처럼 느껴짐. 내가 방문해서 이익을 뽑아내도록 최적화된 노골적인 기계 안에 있는 것 같고, 식당이라는 사실은 거의 부차적으로 느껴짐
    “안녕하세요! 제 이름은 Tracy예요! 오늘 저녁 손님을 담당할 서버입니다!”라고 말하며 종이 식탁보에 크레용으로 자기 이름을 거꾸로 완벽하게 쓰는 장면 같은 것임. 이곳은 직원의 개성을 좀 다시 보정해야 할 것 같음

  • 관리자가 업무 프로세스를 과최적화하려 할 때도 적용된다고 봄
    결국 창의적인 사람들은 흥미를 잃고 일이 견딜 수 없게 됨. 직장과 삶에는 약간의 혼돈이 필요하다고 생각함

    • 하기 싫을 부분을 과도하게 최적화하려다 많은 사이드 프로젝트를 하고 싶은 마음을 스스로 죽이곤 함
      그냥 불쾌한 부분을 해치우고 넘어가야 함. 그래도 적어도 누가 돈 주고 나를 소용돌이에 빠뜨리는 건 아님

  • 동네 대형 철물점에서 이 법칙의 예를 봤음
    10년쯤 전 그 매장은 도난 방지용 잠금 케이지를 설치했음. 처음에는 고가 물품만 넣어뒀고, 조금 불편했지만 심하지는 않았음. 200달러 넘는 고급 전동공구를 사는 고객이라면 5분 정도 기다리는 걸 대체로 감수할 수 있음
    그런데 몇 년 뒤 거의 확실히 데이터 기반으로 보이는 변화가 생김. 갑자기 어떤 물건을 잠그고 어떤 물건을 열어두는지 식별 가능한 논리가 사라졌음. 이제 500달러짜리 진단 도구가 선반에 그냥 놓여 있는 반면, 5달러짜리 전구가 자물쇠 뒤에 있을 수도 있음
    아마 도난으로 누적 손실이 큰 순서로 데이터베이스를 정렬한 결과일 것임. 즉 철물점에 가장 많은 돈을 잃게 하는 물건들을 잠가두는 것임
    결과적으로 매장 분위기는 “이쑤시개 한 상자도 훔치지 않을 거라고 고객을 믿지 못할 만큼 이익에 몰두한 곳”처럼 읽히고, 고객 입장에서는 직원을 기다려 케이지를 열게 할 가치가 없어지는 경우가 많음
    3달러짜리 비누 몇 개의 도난을 막았더라도, 그 최적화가 순이익에 도움이 됐을지는 의심스러움

    • 약국에서 유리 진열장을 열어줄 사람을 찾는 것보다 Amazon에서 사는 편이 훨씬 편함
      기본 물품까지 유리장에 넣어두는 약국은 대개 인력도 부족함
    • “도난 때문에 철물점에 누적 손실을 가장 많이 끼치는 물건을 잠근다”는 말과 “그 최적화가 순이익에 도움이 됐을지 의심스럽다”는 말은 직접 모순처럼 보임
      그 때문에 사람들이 그 매장에 가지 않게 됐고, 그 손실이 도난 감소분을 압도한다고 정말 생각하지 않는 한 그렇음. 게다가 사람들이 가지 않더라도 경쟁하는 지역 대형 철물점도 아마 똑같이 하고 있을 것임. 소매 마진은 보통 크지 않다는 점도 기억해야 함. 물건 하나가 도난당하면 손실을 만회하려고 몇 개를 더 팔아야 할까? 일부 고객이 Amazon으로 가더라도 도난을 피하는 게 여전히 이득일 수 있음
      실제로 도난 감소에 가장 큰 영향을 줬을 가능성이 훨씬 큼. “식별 가능한 논리”가 안 보이는 건 그런 일에 대한 경험이 없어서일 수 있음. 도난은 물건 가격보다 재판매 가능성에 좌우되는 경우가 많음. 비싼 틈새 전동공구 하나는 되팔기 오래 걸리지만, 세제와 면도날은 당일에 대량으로 처분할 수 있음. 사람들은 전구보다 세제와 면도날을 훨씬 자주 씀
      불편함이 싫다는 건 이해함. 하지만 비난은 매장이 아니라 도둑이나 도난을 낳는 요인에 향해야 한다고 봄
답변달기
GeekNews BeeBS 게시판 오픈! 자유로운 이야기와 소소한 일상을 함께 나눠보세요.