Hacker News 의견

• Shannon이 정보 이론에서 '불확실성'을 '엔트로피'로 명명한 이유에 대한 일화가 있음

  • John von Neumann이 '엔트로피'라는 용어를 제안했음
  • 엔트로피는 통계역학에서 사용되었고, 논쟁에서 유리함

• Shannon 엔트로피는 관찰자의 주관적인 양이라는 이해가 중요함

  • 변수 X의 엔트로피는 관찰자의 불확실성을 0으로 만드는 데 필요한 정보의 양임
  • 관찰자마다 다른 정보를 가질 수 있으므로 불확실성도 다를 수 있음

• 통계역학에서 엔트로피는 시스템이 배열될 수 있는 방법의 로그로 설명됨

  • 주사위 굴리기의 쌍으로 생각하는 것이 쉬움

• 정보 이론에서 엔트로피는 압축 알고리즘이 파일을 정확히 표현하는 데 필요한 비트 수로 설명됨

  • 반복적인 입력은 엔트로피가 낮아 잘 압축됨

• PBS Spacetime의 엔트로피 재생 목록이 있음

• 이산 확률 분포의 엔트로피를 히스토그램으로 설명하는 접근법을 선호함

  • 많은 공을 무작위로 던졌을 때 히스토그램과 같은 분포가 될 확률을 측정함
  • P 분포에서 N개의 공을 던졌을 때 히스토그램이 P와 같을 확률은 2^(-N * [log(k) - H(P)])임
  • 균일 분포일 때 가장 높은 엔트로피를 가짐

• 'Entropy Demystified' 책이 엔트로피의 두 번째 법칙을 설명함

• John Baez의 글이 학부 교육에서 큰 즐거움을 주었음

• 시스템에 대해 이론적으로 알 수 있는 정보의 양으로 엔트로피를 설명하는 접근법을 좋아함

  • 코펜하겐 해석과의 상호작용이 언급되지 않은 것에 놀람

• 정보 엔트로피는 정보가 얼마나 효율적으로 전달될 수 있는지에 대한 엄격한 하한임

  • 확률 분포를 사용하여 엔트로피를 계산함