Note that for all final states Ｓ, Ｑ

Note that for all final states Ｓ, Ｑ is never updated and thus retains its initial value. In most cases, Ｗ can be taken to be equal to zero.


Q:S imes A o mathbb {R}
Before learning has started, Q returns an (arbitrary) fixed value, chosen by the designer. Then, each time the agent selects an action, and observes a reward and a new state that may depend on both the previous state and the selected action, "Q" is updated. The core of the algorithm is a simple value iteration update. It assumes the old value and makes a correction based on the new information.


Q-learning
• Assume no knowledge of R or T.
• Maintain a table-lookup data structure Q (estimates of Q*) for all state-action pairs
• When a transition s r s’ occurs, do
Q(s,a)←α(r+γ maxQ(s′,a′))+(1−α)Q(s,a) a′
• Essentially implements a kind of asynchronous Monte Carlo value iteration, using sample backups
• Guaranteed to eventually converge to Q* as long as every state-action pair sampled infinitely often

Q-learning
• This approach is even cleverer than it looks: the Q values are not biased by any particular exploration policy. It avoids the credit assignment problem.
• The convergence proof extends to any variant in which every Q(s,a) is updated infinitely often, whether on-line or not.

結果 (繁體中文) 2:

注意，對於所有最終狀態S，Q從不更新，因此保留其初始值。在大多數情況下，W可被視為等於零。問：小號次甲為 mathbb {R} 之前學習已經開始，Q返回一個（任意的）的固定值，由設計者選擇。然後，每當代理選擇一個動作，並且觀察獎勵和一個新的狀態，可能同時取決於先前的狀態和所選擇的動作，“Q”被更新。該算法的核心是一個簡單的值迭代更新。它假定原來的值，並基於新的信息的修正。Q 學習•假設不知道R或T的•保持查表數據結構Q值的所有狀態-動作對（Q *的估計）• 當過渡SR s“的出現，執行Q（S，A）←α（R +γMAXQ（s”的，一個'））+（1-α）Q（S，a）一種'• 基本上實現了一種異步的蒙特卡洛值迭代，利用樣品備份•保證最終收斂於Q *，只要每一個國家的行動對採樣的無限頻繁Q學習•這種方法甚至聰明比它看起來：Q值的不受任何特定的勘探偏置政策。它避免了信用分配問題。• 收斂證明延伸到在其中每Q（S，a）的無限經常更新，是否上線或不任何變體。

結果 (繁體中文) 3:

請注意，對於所有的最終狀態，未進行更新，從而保留其初始值。在大多數情况下，W可以等於零。


問：時間 mathbb {紅}
學習之前已經開始，Q返回一個（任意）固定值，由設計者選擇。然後，每次代理選擇一個動作，並觀察一個獎勵和一個新的狀態，可能取決於以前的狀態和選定的行動，“問”是更新。該算灋的覈心是一個簡單的值反覆運算更新。它假定舊值進行修正的基礎上的新的資訊。


Q-學習
•假定沒有知識的R或T
•維持一個查找錶的資料結構的Q（Q *估計）所有的國家行動對
•過渡時的R S”時，做
Q（s，a）←α（RγMAXQ（S′，一′））（1−α）Q（s，a）一′
•基本上實現了一種非同步蒙特卡羅反覆運算值，採用樣品備份
•保證最終收斂到Q *只要每個國家的行動對採樣的無窮

Q-學習
•這種方法更是比它看起來：問題的價值不受任何特定的勘探政策的偏見。它避免了信用分配問題，即收斂證明延伸到任何一個變數中，每一個問題，一個是更新的，無論是在網上還是沒有。