엔트로피란 무엇인가?

 (johncarlosbaez.wordpress.com)
2P by GN⁺ | ★ favorite | 댓글 1개
  • 엔트로피를 원칙적으로 알 수 있지만 아직 모르는 정보의 양으로 정량화하려는 짧은 책 초안임
  • 실온·상압의 수소 기체가 분자당 약 23비트의 알 수 없는 정보에 해당하는 엔트로피를 갖는 이유를 중심 퍼즐로 삼음
  • Shannon 엔트로피와 Gibbs 엔트로피에서 출발해 최대 엔트로피 원리, Boltzmann 분포, 온도, 분배 함수, 자유 에너지까지 연결함
  • 열역학 제2법칙, 생물학, 블랙홀 물리학은 의도적으로 깊게 다루지 않으며, 엔트로피를 무질서로 설명하지 않음
  • 고전적 시스템의 엔트로피를 계산하려 해도 위치-운동량 공간의 부피 단위 때문에 Planck 상수와 약간의 양자역학이 필요함

책의 형태와 출발점

  • What is Entropy?는 엔트로피를 다루는 짧은 책의 현재 초안임
  • 원래 대안 제목은 92 Tweets on Entropy였지만, 시간이 지나면 ‘tweets’가 무엇인지 기억하지 못할 수 있다는 이유로 적합하지 않다고 판단됨
  • Twitter에서 짧은 메시지 형식으로 진행한 엔트로피 강의를 약간 확장한 버전임

엔트로피를 정보로 보는 정의

  • 엔트로피는 상황에 대해 아직 알지 못하는 정보의 양을 뜻함
    • 그 정보는 원칙적으로 배울 수 있어야 함
    • 책은 이 생각을 정밀하고 정량적인 개념으로 만드는 데 초점을 둠
  • 중심 질문은 실온·상압의 수소 기체가 왜 분자당 약 23비트의 알 수 없는 정보에 해당하는 엔트로피를 갖는가임

퍼즐을 풀기 위해 연결하는 개념들

  • 정보와 엔트로피

    • 정보 개념에서 출발해 Shannon 엔트로피와 Gibbs 엔트로피를 다룸
    • 최대 엔트로피 원리와 Boltzmann 분포를 통해 확률적 상태를 다루는 방법을 설명함

  • 온도, 에너지, 분배 함수

    • 온도와 차가움(coolness), 엔트로피와 기대 에너지의 관계를 연결함
    • 등분배 정리, 분배 함수, 기대 에너지, 자유 에너지가 엔트로피 계산에 어떻게 얽히는지 다룸

  • 고전 시스템의 예

    • 고전적 조화 진동자의 엔트로피
    • 상자 속 고전적 입자의 엔트로피
    • 고전적 이상 기체의 엔트로피

일부러 다루지 않는 주제

  • 열역학 제2법칙은 거의 다루지 않음
    • 엔트로피가 항상 증가한다는 이야기는 흥미롭지만 문제가 많아, 제대로 설명하려면 별도 책이 필요하다고 봄
  • 생물학과 블랙홀 물리학에서 엔트로피가 맡는 역할도 제외함
  • 물리 대중서에서 자주 다루는 엔트로피의 측면은 이 책의 범위 밖에 있음
  • 엔트로피를 ‘무질서’라고 부르지 않음

고전 물리에도 필요한 Planck 상수

  • 물리 전제 지식을 낮게 유지하기 위해 양자역학 설명은 가능한 한 줄임
  • 그러나 세 가지 고전 시스템의 엔트로피 공식에는 Planck 상수가 등장함
    • Planck 상수는 위치-운동량 공간에서 부피 단위를 제공함
    • 이 부피 단위가 있어야 해당 시스템들의 엔트로피를 정의할 수 있음
  • 수소 기체를 가능한 한 고전적으로 다루더라도 좋은 근사 엔트로피 공식을 얻으려면 아주 약간의 양자역학이 필요함

수학적 성격과 읽는 방법

  • 책은 수학물리학자의 스타일로 개념을 정밀하게 만들고, 특이한 반례까지 살피는 데 많은 시간을 씀
  • 실제 현업 물리학자보다 기술적 세부에 더 오래 머무를 수 있음
  • 기술적 내용이 지나치게 느껴지면 다음 “tweet”으로 넘어가도 됨
  • 정말 중요한 내용은 상자 안에 들어 있음
  • 끝까지 읽은 뒤 세부를 다시 배우는 방식도 가능함

함께 보면 좋은 글 β

GN⁺   [-]
Hacker News 의견들

  • Shannon이 전한 유명한 일화가 있음: “가장 고민했던 건 이름이었다. ‘정보’라고 부를까 했지만 너무 많이 쓰이는 단어라서 ‘불확실성’이라고 부르기로 했다. John von Neumann과 이야기했더니 더 나은 생각을 냈다. Von Neumann은 ‘엔트로피라고 부르세요. 첫째, 당신의 불확실성 함수는 통계역학에서 이미 그 이름으로 쓰였으니 이미 이름이 있습니다. 둘째이자 더 중요한 이유로, 엔트로피가 정말 무엇인지 아는 사람은 아무도 없으니 토론에서 늘 유리할 겁니다’라고 했다”
    Shannon의 엔트로피가 열역학의 엔트로피와 같은지에 대한 논의와 참고문헌은 이 MathOverflow SE 답변들(https://mathoverflow.net/questions/403036/john-von-neumanns-...)에서 볼 수 있음

  • Shannon 엔트로피를 주관적 양, 즉 관측 대상이 아니라 관찰자의 속성으로 이해하고 나서야 제대로 알 것 같았음
    변수 X의 엔트로피는 관찰자가 X의 값에 대해 가진 불확실성을 0으로 만들기 위해 필요한 정보량임. 따라서 같은 변수 X에 대해 내 불확실성과 다른 사람의 불확실성은 다를 수 있음. 각자가 X에 대해 서로 다른 정보를 받았을 수 있으니 당연함. H(X)는 H_{observer}(X), 더 나아가 H_{observer, time}(X)여야 함. Shannon의 작업은 다른 면에서는 명확하지만 이 부분은 대충 넘어감

    • 엔트로피가 주관적인지 객관적인지 논할 때 자주 놓치는 점은, 조금만 더 파고들면 정보 이론이 객관과 주관을 연결하는 강력한 도구를 준다는 것임
      두 분포의 교차 엔트로피 H[p, q] = -Σ p_i log q_i를 보자. 예를 들어 p는 주사위를 실제로 굴렸을 때 결과의 실제 빈도 분포이고, q는 내가 믿는 분포일 수 있음. p_i는 객관적 확률, q_i는 주관적 확률로 볼 수 있음. 교차 엔트로피는 어떤 결과를 관측했을 때 평균적으로 얼마나 놀라는지를 재는 값에 가깝다
      흥미로운 점은 H[p, p] <= H[p, q]라는 것임. 믿음의 분포가 틀리면, 올바른 믿음 q=p를 가졌을 때보다 교차 엔트로피가 커진다는 뜻임. 이는 로그의 오목성 때문에 보장됨. 그래서 믿음을 비교할 수 있음: 어떤 q가 H[p,q]를 가장 낮추면 그 q가 진실에 더 가까움
      교차 엔트로피는 H[p, q] = H[p] + D[q||p]처럼 두 부분으로 나눌 수도 있음. 첫 항은 p의 엔트로피이며 모델링하려는 현상 자체의 내재적 무작위성인 우연적 불확실성이고, 둘째 항은 KL 발산으로 잘못된 믿음 때문에 추가로 생기는 불확실성, 즉 인식론적 불확실성을 나타냄
    • 이것이 엔트로피 자체를 관찰자 의존적으로 만들지는 않음. Shannon 엔트로피는 분포의 속성임
      서로 다른 관찰자의 믿음을 측정할 때는 서로 다른 분포를 보고 있는 것일 뿐이고, 그 분포들은 평균이나 분산이 다를 수 있는 것처럼 엔트로피도 다를 수 있음
    • 간단한 예로, 의사난수 생성기의 시드를 알고 있다면 그 생성기가 만든 수열의 엔트로피는 매우 낮음
      하지만 시드를 모르면 엔트로피는 매우 높음
    • 같은 이해를 짧게 말하면, “엔트로피는 그냥 내가 갖고 있지 않은 비트의 이름”임
      엔트로피 + 정보 = 완전한 서술에 들어가는 전체 비트 수
    • 객관적인 양이 맞지만, 그 양이 무엇을 서술하는지 매우 정확히 말해야 함
      깨지지 않은 달걀은 낮은 엔트로피임. 달걀이 깨지지 않은 상태로 존재하는 방식은 하나뿐이고, 달걀의 상태를 1비트로 표현할 수도 있음
      깨진 달걀은 높은 엔트로피임. 깨진 조각들이 놓일 수 있는 방식은 임의로 많음
      깨진 달걀 조각 각각의 위치와 방향을 위도, 경도, 나침반 방향순으로 정렬한 목록은 다시 낮은 엔트로피임. 특정한 깨진 달걀 한 사례에 대해 그 목록은 한 가지 방식으로만 쓸 수 있음
      그 목록을 zip으로 압축하면 다시 높은 엔트로피임. .zip 파일 안의 데이터는 사실상 무작위처럼 보이며 더 크게 압축할 수 없음. 다시 압축을 풀기 전까지는 그렇다
      마찬가지로 압축하지 않은 목록을 대역폭 제한이 있는 채널로 전송해야 한다면, 받는 사람은 내용에 대해 아무 가정도 할 수 없으므로 구조가 있더라도 무작위와 다를 바 없고, 엔트로피는 사실상 다시 높아짐

  • 통계역학 선생님이 쓰던 접근이 정말 좋았음. 거의 모든 상황에서 엔트로피는 결국 시스템을 배열할 수 있는 방식의 수에 로그를 취한 값(https://en.wikipedia.org/wiki/Boltzmann%27s_entropy_formula)이 됨
    개인적으로는 주사위 두 개의 결과 쌍으로 생각하는 게 가장 쉬웠음

    • 이 관점이 마음에 들지만, “배열할 수 있는 방식”이란 거시적 성질을 바꾸지 않고 배열할 수 있는 방식의 수라는 설명이 붙어야 함
      아쉽게도 Shannon의 사용법과는 아주 얕은 의미 말고는 잘 맞지 않아서, 이 해석은 물리학의 영역에 단단히 남아 있음
    • “배열할 수 있다”가 까다로운 부분임. 예를 들어 조합적으로는 존재하더라도, 맥락상 어떤 상태는 불가능하다는 것, 즉 확률분포가 0이라는 것을 알 수 있음. 그러면 나에게 해당하는 엔트로피가 달라짐
      그래서 정보와 엔트로피는 다름. 엔트로피는 내가 모른다는 사실을 알고 있는 것임. 미지의 크기에 대한 그 앎을 정량화하는 것임
      글에서 틀렸거나 충분히 간결하지 않다고 보는 지점도 여기에 있음. 아래 표현은 내가 보기엔 엔트로피가 아닌 ‘모르는지도 모르는 것’까지 포함:

      I claim it’s the amount of information we don’t know about a situation

    • 이 페이지의 그래프를 그냥 한참 바라보곤 함
      https://en.wikipedia.org/wiki/Thermodynamic_beta
    • “시스템을 서술하는 데 필요한 비트 수”라고도 할 수 있음. 예를 들어 2^N개의 동일 확률 상태가 있으면 각 상태를 설명하는 데 N비트가 필요함

  • 정보 이론에서 엔트로피는 늘 이렇게 생각해 왔음: “정말 똑똑한 압축 알고리즘이 있다면 이 파일을 정확히 표현하는 데 몇 비트가 필요할까?”
    즉 반복이 많은 입력은 비트당 엔트로피가 많지 않아서 잘 압축됨. 현대 압축 알고리즘은 대부분의 데이터에서 충분히 좋아서 실제 엔트로피의 합리적인 근사값으로 쓸 수 있음

  • 이산 확률분포의 엔트로피에 대해서는 이런 현실적인 설명을 좋아함. John Baez의 글을 좋아하지만, PDF를 훑어보니 이 관점을 다루지 않는 것 같아 의외였음
    분포를 여러 구간에 대한 히스토그램으로 생각하자. 그러면 엔트로피는 내가 아주 많은 공을 무작위로 그 구간들에 던졌을 때, 공들의 분포가 그 히스토그램처럼 보일 확률을 재는 값임. 보통 기대되는 것은 구간들에 대한 균등분포이므로, 엔트로피는 다른 드문 사건들, 확률론 용어로는 전형적 행동에서의 큰 편차가 얼마나 일어날지를 잰다
    더 구체적으로 P = (P1, ..., Pk)가 어떤 분포라면, N이 매우 클 때 N개의 공을 던져 P처럼 보이는 히스토그램이 나올 확률은 대략 2^(-N * [log(k) - H(P)])임. 여기서 H(P)가 엔트로피임. P가 균등분포이면 H(P)=log(k)라서 지수가 0이 되고 추정값은 1이며, 이는 압도적으로 가장 가능성 높은 히스토그램이 균등분포라는 뜻임
    이것이 가능한 최대 엔트로피이므로 다른 히스토그램은 어떤 c > 0에 대해 2^(-c*N)의 확률로 나타나며, 즉 매우 드물고 공을 더 많이 던질수록 지수적으로 더 드물어짐. 엔트로피는 그 정도를 재는 값임. “덜 균등한” 분포일수록 덜 가능성이 크므로, 엔트로피는 어떤 의미의 균등성도 측정함. 큰 편차 이론에서 이 구체적 명제는 Sanov의 정리라고 부르고, 엔트로피가 맡는 역할은 “율 함수”임
    사람들이 말하는 엔트로피의 세기 해석도 높은 수준에서는 관련이 있음. Sanov의 정리에서 확률은 “P처럼 보이는” 결과의 수를 전체 결과 수로 나눈 것이고, 그 분자는 특정 성질, 이 경우 공과 구간의 배치가 P처럼 보인다는 성질을 가진 구성의 수를 세는 것이 맞음
    동등한 정의는 많고 각각 장점과 일반화가 다르지만, 이 관점은 엔트로피 주변의 신비감을 걷어내는 데 특히 도움이 됨

    • 여기서는 상대 엔트로피 ~ 율 함수 ~ KL 발산이라고 말하려던 것일 수도 있음. 여기 있는 기계학습 쪽 사람들에게는 더 익숙할 수 있고, Sanov나 큰 편차에 호기심을 갖게 만들기 좋음

  • PBS Spacetime의 엔트로피 재생목록: https://youtube.com/playlist?list=PLsPUh22kYmNCzNFNDwxIug8q1...

  • 정보 엔트로피는 말 그대로, 이 정보를 생성하는 확률분포가 알려져 있을 때 정보를 얼마나 효율적으로 전달할 수 있는지, 즉 전송 비트 수의 기댓값에 대한 엄격한 하한임
    비트 문자열이나 영어의 정보 엔트로피를 계산하는 맥락에서도, 0과 1, 문자, n-그램 등의 상대 빈도를 이용해 데이터에서 경험적 확률분포를 만든 다음 그 분포의 엔트로피를 계산하는 것임. Baez의 정의가 아주 마음에 들지는 않지만, 그의 권위를 생각하면 함부로 따지기는 어렵다

  • “열역학 제2법칙, 즉 엔트로피가 항상 증가한다는 말은 대부분 피했다. 흥미롭지만 너무 까다로워서 제대로 설명하려면 또 다른 책이 필요하다!”
    관심 있다면 Arieh Ben-Naim의 Entropy Demystified를 읽는 중인데, 거의 같은 방향에서 이 측면을 다룸

  • 새 엔트로피/무작위성이 어디서 오는지 가끔 생각함. 우주의 가장 초기 상태를 팽창한 무한히 조밀한 점입자로 본다면, 균일하지 않게 팽창하게 만든 어떤 무작위성 또는 다양성이 있었어야 하고, 그것이 물질이 반물질보다 우세해지거나 은하와 성단 등이 생기게 했을 것임
    특정 정적 입자들이 있는 고립계를 생각하면, 그 입자들의 작은 부분집합이 움직이기 시작해 엔트로피를 도입하는 일이 생길 수 있을까? 엔트로피가 적어도 양자 수준에서 자동으로 유도될 수 있을까? 이것을 설명해 줄 수 있다면 우주의 기원을 더 잘 이해하는 데 도움이 될 듯함

    • 그 대부분의 밑바탕에는 대칭성 깨짐이라는 일반 현상이 있음
      고전적인 예는 이렇다. 완벽히 대칭인 솜브레로[1]가 있고, 모자 한가운데 꼭대기에 공이 균형을 잡고 있다고 상상해 보자. 공이 떨어져야 할 선호 방향은 없지만 그 상태는 불안정함. 어떤 섭동이든 공을 아래로 굴러가게 만들고, 공은 모자 챙의 안정적인 배치에 멈춤. 원래 배치의 대칭성은 이제 깨졌지만, 안정적임
      1: https://m.media-amazon.com/images/I/61M0LFKjI9L.__AC_SX300_S...
    • 이 영상이 나에게는 설명이 됐음. 독일어지만 자동 자막이 도움이 될 수도 있음:
      https://www.youtube.com/watch?v=hrJViSH6Klo
      여기서는 찾고 있는 무작위성이 양자 요동에서 오며, 이 무작위성이 없었다면 우주는 아마 “일어나지” 않았을 것이라고 설명함
답변달기