GN⁺: 엔트로피란 무엇인가?
(johncarlosbaez.wordpress.com)서문
- 한때 트위터라는 플랫폼이 있었고, 사람들이 짧은 메시지를 주고받았음. 이 플랫폼을 통해 엔트로피에 대한 짧은 강의를 진행했고, 이를 확장하여 작은 책으로 만들었음.
- 엔트로피는 우리가 어떤 상황에 대해 알지 못하는 정보의 양을 의미함. 이를 정량적으로 설명하기 위해 여러 주제를 다룸:
- 정보
- 섀넌 엔트로피와 깁스 엔트로피
- 최대 엔트로피 원리
- 볼츠만 분포
- 온도와 냉각
- 엔트로피, 기대 에너지, 온도의 관계
- 등분배 정리
- 분배 함수
- 기대 에너지, 자유 에너지, 엔트로피의 관계
- 고전적 조화 진동자의 엔트로피
- 상자 속 고전적 입자의 엔트로피
- 고전적 이상 기체의 엔트로피
- 열역학 제2법칙(엔트로피는 항상 증가함)을 다루지 않음. 이는 또 다른 책이 필요할 만큼 복잡함.
- 양자역학에 대해 최소한으로 언급하려 했으나, 플랑크 상수는 고전적 시스템의 엔트로피 공식을 정의하는 데 필요함.
- 수학적 물리학자로서 개념을 정확히 하고 이상한 반례를 찾는 데 많은 시간을 할애함. 중요한 내용은 상자 안에 있음.
GN⁺의 정리
- 이 책은 엔트로피에 대한 기본 개념을 쉽게 설명하려는 시도로, 정보 이론에서 시작하여 통계 역학과 열역학으로 이어짐.
- 엔트로피를 '무질서'로 정의하지 않고, 우리가 알지 못하는 정보의 양으로 설명함.
- 양자역학의 최소한의 개념을 사용하여 고전적 시스템의 엔트로피를 설명함.
- 물리학을 깊이 이해하고자 하는 사람들에게 유용하며, 특히 통계 역학과 정보 이론의 관계를 이해하는 데 도움이 됨.
- 비슷한 기능을 가진 다른 프로젝트로는 "Theoretical Minimum" 시리즈가 있음.
Hacker News 의견
-
Shannon이 정보 이론에서 '불확실성'을 '엔트로피'로 명명한 이유에 대한 일화가 있음
- John von Neumann이 '엔트로피'라는 용어를 제안했음
- 엔트로피는 통계역학에서 사용되었고, 논쟁에서 유리함
-
Shannon 엔트로피는 관찰자의 주관적인 양이라는 이해가 중요함
- 변수 X의 엔트로피는 관찰자의 불확실성을 0으로 만드는 데 필요한 정보의 양임
- 관찰자마다 다른 정보를 가질 수 있으므로 불확실성도 다를 수 있음
-
통계역학에서 엔트로피는 시스템이 배열될 수 있는 방법의 로그로 설명됨
- 주사위 굴리기의 쌍으로 생각하는 것이 쉬움
-
정보 이론에서 엔트로피는 압축 알고리즘이 파일을 정확히 표현하는 데 필요한 비트 수로 설명됨
- 반복적인 입력은 엔트로피가 낮아 잘 압축됨
-
PBS Spacetime의 엔트로피 재생 목록이 있음
-
이산 확률 분포의 엔트로피를 히스토그램으로 설명하는 접근법을 선호함
- 많은 공을 무작위로 던졌을 때 히스토그램과 같은 분포가 될 확률을 측정함
- P 분포에서 N개의 공을 던졌을 때 히스토그램이 P와 같을 확률은 2^(-N * [log(k) - H(P)])임
- 균일 분포일 때 가장 높은 엔트로피를 가짐
-
'Entropy Demystified' 책이 엔트로피의 두 번째 법칙을 설명함
-
John Baez의 글이 학부 교육에서 큰 즐거움을 주었음
-
시스템에 대해 이론적으로 알 수 있는 정보의 양으로 엔트로피를 설명하는 접근법을 좋아함
- 코펜하겐 해석과의 상호작용이 언급되지 않은 것에 놀람
-
정보 엔트로피는 정보가 얼마나 효율적으로 전달될 수 있는지에 대한 엄격한 하한임
- 확률 분포를 사용하여 엔트로피를 계산함