- 확률 미적분학은 브라운 운동처럼 불규칙한 현실 시스템을 다루기 위해, 형식주의보다 물리적 직관과 유도 과정을 앞세워 접근함
- 이산적인 이항분포와 대칭 랜덤 워크는 시행 수를 늘리고 스케일링하면 중심극한정리를 통해 정규분포와 연속 확률 과정으로 이어짐
- 브라운 운동 (W(t))은 독립 증분과 (W(t)\sim N(0,t))를 가지며, 경로는 연속이지만 거의 확실하게 어디에서도 미분 가능하지 않음
- Itô 미적분은 (dW=\sqrt{dt}N(0,1)), ((dW)^2\approx dt)라는 규칙 때문에 일반 체인 룰에 2차 항이 추가됨
- 확률 미분방정식은 drift와 diffusion으로 추세와 무작위성을 함께 모델링하며, Stratonovich 방식은 중점 평가로 일반 체인 룰을 보존해 물리·제어·생물 확산·수치 시뮬레이션에서 쓰임
확률 미적분학이 다루는 문제
- 확률 미적분학은 브라운 운동과 Itô 미적분을 바탕으로, 불규칙한 현실 시스템을 계산 가능한 모델로 다루는 도구임
- 적용 분야는 물리, 금융, 생물학, 머신러닝까지 넓게 이어짐
- 물리: Einstein은 브라운 운동의 흔들림이 분자 충돌과 맞는다는 점을 이용해 원자의 존재를 보임
- 금융: Black-Scholes 방정식 같은 옵션 가격 모델은 (dS=\mu Sdt+\sigma SdW) 형태의 확률 미분방정식에 의존함
- 생물학: 랜덤 워크는 종의 확산이나 뉴런 발화를 모델링함
- 머신러닝: Song et al. (2021)은 Itô 미적분 기반 확률 미분방정식으로 시간에 따른 노이즈 진화를 모델링하고, 이를 역방향으로 사용해 새 샘플을 생성함
이항분포에서 연속 확률 과정으로
- Pascal의 삼각형은 각 단계에서 왼쪽 또는 오른쪽으로 가는 경로 수를 세며, (n)번째 행의 (k)번째 위치에 도달하는 방법 수는 (\binom{n}{k}=\frac{n!}{k!(n-k)!})임
- 독립 시행에서 (k)번 성공하고 (n-k)번 실패할 확률은 다음과 같음
[ P(k \text{ wins in } n \text{ trials})=\binom{n}{k}p^kq^{n-k} ]
- 독립성 가정은 강한 조건이라, 스포츠의 연승이나 주가처럼 심리·모멘텀이 개입하는 현실에서는 모델이 부정확해질 수 있음
- 낙하 운동, 기체 확산, 주가 변동, 액체 속 분자 충돌처럼 연속적으로 변하는 현상은 점과 합만으로 다루기 어렵고 구간과 적분이 필요함
랜덤 워크와 중심극한정리
- (p=0.5)인 대칭 랜덤 워크에서 한 단계의 변위는 다음처럼 둠
[ X(t)= \begin{cases} 1 & \text{with probability } \frac{1}{2}\ -1 & \text{with probability } \frac{1}{2} \end{cases} ]
- 각 (X(t))는 평균 0, 분산 1이고, 서로 다른 시간의 단계는 독립이라고 가정함
- 전체 변위는 독립 확률변수의 합으로 표현됨
[ S(n)=X(1)+X(2)+\dots+X(n)=\sum_{t=1}^{n}X(t) ]
- 중심극한정리에 따라 독립동일분포 확률변수 (X_1,\dots,X_n)의 합은 (n\to\infty)에서 정규분포에 가까워짐
[ X_1+\dots+X_n\sim N(n\mu,n\sigma^2) ]
- 이 랜덤 워크에서는 다음 관계가 성립함
[ S(n)\sim N(0,n) ]
[ \lim_{n\to\infty}\frac{1}{\sqrt{n}}S(n)=N(0,1) ]
- 따라서 “연속적인 이항분포”는 정규분포로 이어짐
브라운 운동의 정의
- 1820년대 Robert Brown이 관찰한 물 위 작은 입자나 꽃가루의 움직임은 매우 불규칙했으며, 작은 규모에서는 외부 힘에 의한 실제 움직임이 이전 움직임을 압도할 만큼 민감하게 나타남
- 단순화된 수학 모델에서는 서로 다른 시간의 사건을 독립으로 보고, 위치 대칭성 때문에 시간 (t)에서 입자의 평균 위치가 원점 근처에 있다고 봄
- 연속 랜덤 워크가 가져야 할 성질은 다음과 같음
- 시작점은 수학적 편의를 위해 0으로 둠
- 방향 편향이 없어 각 단계의 기대 변위와 전체 기대 변위가 0임
- 서로 다른 시간 구간의 변위는 독립임
- 경로는 점프나 간격 없이 연속임
- 특정 시점의 위치 분포는 정규분포여야 함
- 브라운 운동은 보통 (B_t), Wiener 과정은 (W_t)로 표기하며, 여기서는 시간 의존성을 강조해 (W(t))를 사용함
- 주요 성질은 다음과 같음
[ W(0)=0 \quad \text{almost surely} ]
[ W(t)\sim N(0,t) ]
[ \Delta W(s,t)\sim N(0,t-s) ]
- 서로 다른 구간의 증분 (\Delta W(t_1,t_2))와 (\Delta W(t_2,t_3))는 (t_1<t_2\le t_3)에서 독립임
- 여기서 (E[W(t)]=0), (Var(W(t))=t)가 따라옴
- 표본 경로 (t\mapsto W(t))는 거의 확실하게 (\gamma<\frac12)인 모든 지수에 대해 균일 Hölder 연속이지만, (\gamma\ge\frac12)에서는 어디에서도 Hölder 연속이 아니며 특히 어디에서도 미분 가능하지 않음
Itô 미적분의 핵심 규칙
- 브라운 운동은 연속이지만 너무 불규칙해서 일반적인 도함수를 가질 수 없음
- 작은 구간 (dt)에서 다음이 성립함
[ \Delta W(t,t+dt)\sim N(0,dt)=\sqrt{dt}N(0,1) ]
[ \frac{\Delta W(t,t+dt)}{dt}=\frac{1}{\sqrt{dt}}N(0,1) ]
- (dt\to0)에서 (\frac{1}{\sqrt{dt}})가 무한히 커지므로 유한한 도함수로 수렴하지 않음
- Kiyosi Itô는 1940년대 브라운 운동의 무작위성에 맞춘 Itô 미적분을 만들었고, 이것이 확률 미적분학의 기반이 됨
-
(dW)와 ((dW)^2)
- 브라운 운동의 작은 변화는 다음처럼 정의함
- [
- dW:=W(t+dt)-W(t)
- ]
- [
- dW=\sqrt{dt}N(0,1)
- ]
- (dW)는 일반 미적분의 결정론적 (dx)와 달리 무작위이며, 크기는 (\sqrt{dt})에 비례하고 부호는 표준정규분포에 의존함
- 기대값과 분산은 다음과 같음
- [
- E[dW]=0
- ]
- [
- Var(dW)=E[(dW)^2]=dt
- ]
- ((dW)^2)의 기대값은 (dt), 분산은 (2dt^2)이며, (dt\to0)에서 변동성이 무시 가능해져 Itô 미적분에서는 ((dW)^2\approx dt)로 다룸
- 일반 미적분에서는 ((dx)^2)가 너무 작아 사라지지만, 확률 미적분에서는 ((dW)^2) 가 (dt)와 같은 스케일이라 계산 규칙이 달라짐
-
Itô 적분
- 일반 적분 (\int_a^b f(x)dx)가 리만 합의 극한으로 정의되듯, 브라운 운동에 대해서는 (\int_0^t f(s)dW(s))를 생각함
- 분할 (s_0,\dots,s_n)에 대해 다음 합으로 근사함
- [
- \int_0^t f(s)dW(s)\approx \sum_{i=0}^{n-1}f(s_i)\Delta W(s_i,s_{i+1})
- ]
- 이 적분의 결과는 (W(t))의 무작위성을 반영하는 확률변수임
- (f(s_i))를 왼쪽 끝점에서 평가하면 시간 (s_i)까지의 정보만 사용하므로, 미래를 보지 않는 non-anticipating 성질을 가짐
-
Itô 보조정리
- 일반 미적분의 체인 룰은 (f(t,W(t)))에 대해 다음과 같음
- [
- df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW
- ]
- 브라운 운동의 거친 성질 때문에 Taylor 전개에서 2차 항이 사라지지 않음
- [
- df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW+\frac{1}{2}\frac{\partial^2 f}{\partial W^2}(dW)^2+\text{smaller terms}
- ]
- (dt^2)와 (dt,dW)는 사라지지만 ((dW)^2\approx dt)는 남음
- 따라서 Itô 보조정리는 다음 형태가 됨
- [
- df=\frac{\partial f}{\partial t}dt+\frac{\partial f}{\partial W}dW+\frac{1}{2}\frac{\partial^2 f}{\partial W^2}dt
- ]
- 추가 항 (\frac12\frac{\partial^2 f}{\partial W^2}dt)는 브라운 운동의 2차 효과 때문에 생김
- (f(W)=W^2)인 경우 다음처럼 계산됨
- [
- d(W^2)=2W,dW+dt
- ]
- [
- W(t)^2=\int_0^t2W(s)dW(s)+t
- ]
- (t) 항은 (E[W(t)^2]=t)와 맞고, 적분항은 평균 0인 무작위 성분임
확률 미분방정식으로 모델링하기
- Itô 미적분은 브라운 운동에 대한 적분과 체인 룰을 제공하므로, 무작위성과 추세가 함께 있는 시스템을 확률 미분방정식(SDE) 으로 모델링할 수 있음
- 일반적인 SDE는 다음과 같음
[ dX(t)=a(t,X(t))dt+b(t,X(t))dW(t) ]
- 각 항의 의미는 다음과 같음
- (X(t)): 시간에 따라 변하는 양
- (a(t,X(t))dt): drift, 체계적인 부분
- (b(t,X(t))dW(t)): diffusion, 브라운 운동에서 오는 무작위 교란
- SDE의 해는 고정된 곡선이 아니라 실행할 때마다 다른 무작위 경로이며, 통계적 패턴을 분석할 수 있음
-
일반형 Itô 보조정리
- (dX=b(t,X(t))dt+\sigma(t,X(t))dW)에 대해 (f(t,X(t)))의 Itô 보조정리는 다음과 같음
- [
- df=(f_t+bf_X+\frac{1}{2}\sigma^2f_{XX})dt+\sigma f_XdW
- ]
- (dX=O(dW))이고 (dX^2=O(dW^2))까지 고려하는 방식으로 도출됨
-
drift와 diffusion
- drift (a(t,X))는 평균적인 방향을 정하고, diffusion (b(t,X))는 무작위 흔들림의 강도를 정함
- (b=0)이면 일반 미분방정식이 되고, (a=0)이면 스케일된 브라운 운동이 됨
- 단순한 경우는 다음처럼 쓸 수 있음
- [
- dX(t)=\mu dt+\sigma dW(t)
- ]
- (X(0)=0)이면 다음 해를 가짐
- [
- X(t)=\mu t+\sigma W(t)
- ]
- (W(t)\sim N(0,t))이므로 다음 분포가 됨
- [
- X(t)\sim N(\mu t,\sigma^2t)
- ]
- 이는 시간에 따라 선형적으로 drift하고 노이즈가 퍼지는 과정이며, 꾸준한 성장과 변동성을 가진 주식 같은 모델의 기본형임
-
기하 브라운 운동
- 변화량이 크기에 비례하는 시스템에는 기하 브라운 운동(GBM) 을 사용함
- [
- dS(t)=\mu S(t)dt+\sigma S(t)dW(t)
- ]
- (\mu S(t))는 비례 drift, (\sigma S(t))는 비례 노이즈임
- (\frac{dS}{S}=\mu dt+\sigma dW)는 추세와 무작위성을 가진 비율 변화임
- (f=\ln S)로 두고 Itô 보조정리를 적용하면 다음이 됨
- [
- d(\ln S)=\left(\mu-\frac12\sigma^2\right)dt+\sigma dW
- ]
- 적분하면 다음 해를 얻음
- [
- S(t)=S(0)\exp\left(\left(\mu-\frac12\sigma^2\right)t+\sigma W(t)\right)
- ]
- drift가 (-\frac12\sigma^2)만큼 조정되는 이유는 노이즈의 2차 효과 때문이며, 이 형태는 금융의 Black-Scholes 모델 기반임
- GBM 같은 해석적 해는 예외이며, 대부분의 SDE는 수치 시뮬레이션이나 Fokker-Planck 같은 방정식을 통한 통계 분석이 필요함
Stratonovich 미적분
- Itô 보조정리에는 2차 미분 항이 포함되어 계산이 번거로울 수 있음
- Stratonovich 미적분은 확률 적분의 평가점을 바꿔 일반 미적분의 체인 룰을 보존함
- Itô 적분은 각 구간의 왼쪽 끝점을 사용하지만, Stratonovich 적분은 중점 평가 규칙을 사용함
- 일반화된 평가점은 다음과 같이 쓸 수 있음
[ \int_0^T f(X(t))\diamond dW
\lim_{n\to\infty}\sum_{i=0}^{n-1} f(X(t_i)+\lambda\Delta X(t_i,t_{i+1})) \Delta W(t_i,t_{i+1}) ]
- 결정론적 미적분에서는 (O(dX^2)\to0)라 평가점 선택이 중요하지 않지만, 확률 미적분에서는 (O(dW^2)\to O(dt))라 평가점이 중요함
- 체인 룰 (df=f_X\circ dX)를 보존하려면 Taylor 전개 비교에서 (\lambda=\frac12)가 필요함
- 따라서 Stratonovich 적분은 다음처럼 정의됨
[ \int_0^T f(X(t))\circ dW
\lim_{n\to\infty}\sum_{i=0}^{n-1} f\left(\frac{X(t_i)+X(t_{i+1})}{2}\right) \Delta W(t_i,t_{i+1}) ]
-
Itô와 Stratonovich 변환
- 같은 확률 과정이 다음 두 형태로 주어졌다고 두면
- [
- dX=adt+bdW=\tilde a dt+b\circ dW
- ]
- drift 항은 다음 관계를 가짐
- [
- a=\tilde a+\frac12 b_Xb
- ]
- 확산 계수 (b)는 같지만, Itô와 Stratonovich 표현 사이에서는 drift 함수가 달라짐
Stratonovich 방식을 쓰는 맥락
- Stratonovich 미적분은 중점 평가 규칙으로 Itô의 왼쪽 끝점 방식과 다른 확률 적분을 만들며, 특정 물리 시스템이나 계산 단순화에 맞음
- 물리의 곱셈 노이즈에서 상태 의존 노이즈가 있는 감쇠 진동자는 다음처럼 쓸 수 있음
[ dX=-kXdt+\sigma X\circ dW ]
- (f(X)=\ln X)에 Stratonovich 체인 룰을 적용하면 다음이 됨
[ d(\ln X)=-kdt+\sigma\circ dW ]
[ X(t)=X(0)e^{-kt+\sigma W(t)} ]
- Wong-Zakai 정리는 약간 매끄러운 현실 노이즈를 백색 노이즈 한계로 보낼 때 Stratonovich SDE가 나온다는 내용을 가짐
- 확률 제어에서는 (dX=(aX+u)dt+\sigma X\circ dW) 같은 시스템에서 Stratonovich 규칙이 고전적 제어 직관과 맞아 제어 입력 (u(t)) 설계를 단순화할 수 있음
- 생물 확산에서는 (\sigma(X)=\sqrt{2D(1+kX^2)}) 같은 위치 의존 노이즈가 있는 모델에서 Stratonovich가 물리적 보존 법칙을 반영함
- 수치 시뮬레이션에서는 Stratonovich가 중점법과 잘 맞아 화학 반응 속도론 같은 모델에서 수치적 인공물을 줄이는 데 쓰일 수 있음
- 선택 기준은 문맥에 따라 달라짐
- Stratonovich는 노이즈가 물리적 연속성이나 대칭성과 연결된 시스템에 적합함
- Itô는 미래 정보를 사용하지 않는 non-anticipating 성질 때문에 금융에서 지배적으로 쓰임
- 변환식 (a=\tilde a+\frac12bb_X)를 사용하면 두 표현 사이를 오갈 수 있음