forward 관점과 backward 관점을 수식을 풀어 같음을 증명한다.

아래 수식을 증명하여 같음을 보인다.

식 7.8

$\sum_{t=0}^{T-1} \bigtriangleup V_{t}^{TD} (s) = \sum_{t=0}^{T-1} \bigtriangleup V_{t}^{\lambda} (s_{t}) I_{ss_{t}}$

여기서 ,

$V_{t}^{\lambda}$ 는

• $\lambda$-return alogrithm 의 TD-error 이다.
• 즉 forward 관점이다.

그리고,

$V_{t}^{TD}$ 는

• TD($\lambda$) 의 TD-error
• 즉 backward 관점이다.

그리고,

$I_{ss_{t}}$ 는

• $s = s_{t}$ 이면 1, 아니면 0 을 리턴하는 함수
• identity indicator function