TD LearningAfter making a transitio

TD Learning
After making a transition from s to s’ and receiving reward r, we nudge V(s) to be closer to the estimated return based on the observed successor, as follows:
V (s ) ← α (r + γ V (s ′ )) + (1 − α )V (s )
α is called a “learning rate” parameter.
For α < 1 this represents a partial backup.
Furthermore, if the rewards and/or transitions are stochastic, as in a general MDP, this is a sample backup.
The reward and next-state values are only noisy estimates of the corresponding expectations, which is what offline DP would use in the appropriate computations (full backup).
Nevertheless, this converges to the return for a fixed policy (under the right technical assumptions, including decreasing learning rate)

結果 (繁體中文) 2:

TD學習
從S到正使過渡“，並接受獎勵R，我們微調V（S）更接近根據觀察到的繼任者預計收益，具體如下之後
：V（S）←α（R +γV（ S'））+（1 -
α）V（S）α 被稱為“學習率”的參數。
對於α<1，這代表一個局部備份。
另外，如果獎勵和/或轉換是隨機的，因為在一般的MDP，這是一個示例備份。
獎勵和下一個狀態值是對應的期望，這是離線的DP將在適當的計算使用什麼（完全備份）只有噪聲的估計。
然而，這種收斂為換取固定政策（下正確的技術假設，包括降低學習率）

結果 (繁體中文) 3:

後的S和R接收獎勵使過渡學習
TD，我們用V（S）是接近的估計回報基於觀察到的繼任者，如下：
V（S）←α（RγV（S′））（1−α）V（S）
α叫做“學習率”參數。
為α＜1這代表了部分備份。
此外，如果回報和/或轉換是隨機的，在一般的MDP，這是一個樣本的備份。
獎勵和下一個狀態值只有嘈雜的估計相應的期望，這就是離線DP會使用適當的計算（完全備份）。
然而，這種收斂到一個固定的返還政策（正確的科技假設，包括降低學習率）