N-Step TD Methods Prediction

MC 와 TD(0) 사이의 단계를 처리하는 방식 ( 1 < n < steps of episode )

추정치를 다음 단계만 보는 것이 아니라 n 단계까지 보고 정하는 방식

n-step return ( corrected n-step truncated return )

n 단계(step) 전까지 보상은 존재하나 이후는 추정치로 대체 되는 다음 식을

corrected n-step truncated return 이라고 한다.

$R_{t}^{(1)} = r_{t+1} + \gamma V_{t}(s_{t}+1)$

$R_{t}^{(2)} = r_{t+1} + \gamma r_{t+2} + \gamma^{2} V_{t}(s_{t}+2)$

$R_{t}^{(n)} = r_{t+1} + \gamma r_{t+2} + \gamma^{2} + ... + \gamma ^{n-1} r_{t+n} + \gamma^{n} V_{t}(s_{t}+n)$

위 식을 줄여서 간단히 $R_{t}^{(n)}$ 로 표시하고,

간단히 n-step return 이라고 한다.

n-step backup

백업시 변경되는 값은 아래 식과 같다.

$\bigtriangleup V_{t}(s_{t}) = \alpha [ R_{t}^{(n)} -V_{t}(s_{t} )]$

$\alpha$ 는 양수 step-size 이다.

on-line updating

episode 가 진행 되는 동안 $V_{t}$ 갱신 방법.

아래 식으로 계산 됨

$V_{t+1} (s) = V_{t}(s) + \bigtriangleup V_{t}(s)$

off-line updating

episode 가 완료 후 $V_{t}$ 갱신,

episode 진행 중에는 따로 저장됨.

아래식으로 계산됨

$V_{t+1} (s) = V_{t}(s) + \sum_{t=0}^{T-1} \bigtriangleup V_{t}(s)$

이하 내용 분석 필요