Hacker News 의견

• 텍스트에는 훌륭한 설명 다이어그램이 있으며, 확률의 관점에서 머신러닝을 고품질로 개관한 것 같음

  • 최근에 Zhao의 "Mathematical Foundation of Reinforcement Learning"이라는 무료 교과서와 유튜브 강의에 깊은 인상을 받았음
  • 시간이 많지 않다면, Zhao의 개요 내용 다이어그램을 한 번 훑어보는 것이 좋음. 이는 전체 분야의 좋은 개념적 지도임
  • 그리고 소개 영상을 보는 것도 추천함

• 며칠 전에 이 자료를 발견했으며, Andreas Krause가 Gaussian Processes와 Bandits에 대해 깊고 흥미로운 연구를 했다는 이유로 진지하게 살펴볼 핑계를 찾았음

• 실존적 현실은 상태의 배열이 아닌 잠재적 분포임

  • 잠재력은 존재하며, 확률은 그 분포의 수학적 설명임. 모든 속성은 차원(벡터)임
  • 상태는 단지 해결의 순간적 측정임. 잠재력은 건설적 및 파괴적 간섭을 통해 상호작용함
  • 건설적 및 파괴적 간섭은 순간적 측정의 "지금"이라는 상태로 해결됨

• LLM(즉, 신경망)이 방금 내뱉은 답변의 확률을 말해줄 수 있는지에 대한 질문

  • 오래 전 대학에서 이러한 것들을 공부했으며, 각 용어에 대해 확률과 신뢰도 계수를 가진 Prolog 해석기를 만들었음

• 모델의 해석 가능성을 민주화하고 게이머들도 탐색할 수 있도록 GUI가 필요하다고 생각함

  • 기본적으로 LLM을 3D 형태로 변환하여 인간이 이해할 수 있는 3D 세계에 배치하는 또 다른 모델을 훈련시키는 것임
  • 간단한 예로, LLM을 녹색 들판과 객체로 표현하고, 인간이 유일한 에이전트로 설정함

• 적절한 커널을 가진 Gaussian Processes가 몇 개의 데이터 포인트와 작은 매개변수 세트만으로도 매우 강력하다고 생각함

  • 컴퓨터 비전 작업에서 입력을 조정하는 예측 가능한 비선형 프로세스로 사용했으며, 결과가 매우 좋았음

• 주제에 대한 최고의 참고 자료와 부분적으로 겹치는 것 같음. Gareth James 등의 "An Introduction to Statistical Learning"을 언급함

  • 이 자료가 더 접근하기 쉬울지 궁금하며, R/Python 예제가 도움이 될 것임

• Kevin Murphy가 그의 Probabilistic Machine Learning 시리즈를 이름 변경 중임

• Gemini 2.0 Experimental 02-05는 이를 "단지" 107K 토큰으로 봄

  • 이를 분해하는 데 도움이 필요하다면 유용함

• Laplace Approximation은 복잡한 확률 분포를 간단한 Gaussian(벨 곡선)으로 변환하는 "빠르고 간단한" 방법임

  • 최고점을 찾아 그 지점에서 곡률을 맞추는 방식으로 작동함
  • 빠르고 쉬우나, 실제 분포가 벨 곡선과 다르면 매우 부정확하고 과신할 수 있음

• ETH Zurich에서 이 수업을 들었으며, 가장 좋아하는 수업 중 하나임

  • 특히 불확실성을 정량화하는 방법과 강화 학습의 시작 블록을 구축하는 방법이 인상적임
  • 데이터 과학자와 ML 엔지니어에게 훌륭한 읽을거리임. 이 문서는 강의 노트임