Q-learning• This approach is even c

Q-learning
• This approach is even cleverer than it looks: the Q values are not biased by any particular exploration policy. It avoids the credit assignment problem.
• The convergence proof extends to any variant in which every Q(s,a) is updated infinitely often, whether on-line or not.

Q:S imes A o mathbb {R}
Before learning has started, Q returns an (arbitrary) fixed value, chosen by the designer. Then, each time the agent selects an action, and observes a reward and a new state that may depend on both the previous state and the selected action, "Q" is updated. The core of the algorithm is a simple value iteration update. It assumes the old value and makes a correction based on the new information.


Q-learning
• Assume no knowledge of R or T.
• Maintain a table-lookup data structure Q (estimates of Q*) for all state-action pairs
• When a transition s r s’ occurs, do
Q(s,a)←α(r+γ maxQ(s′,a′))+(1−α)Q(s,a) a′
• Essentially implements a kind of asynchronous Monte Carlo value iteration, using sample backups
• Guaranteed to eventually converge to Q* as long as every state-action pair sampled infinitely often

Q-learning
• This approach is even cleverer than it looks: the Q values are not biased by any particular exploration policy. It avoids the credit assignment problem.
• The convergence proof extends to any variant in which every Q(s,a) is updated infinitely often, whether on-line or not.

結果 (繁體中文) 2:

Q學習
•這種方法甚至聰明比它看起來：Q值的不受任何特定的探索政策偏向。它避免了信用分配問題
。• 收斂證明延伸到在其中每Q（S，a）的無限經常更新，是否上線或不任何變體。問：小號次甲為 mathbb {R} 之前學習已經開始，Q返回（任意）固定值，由設計者選擇。然後，每當代理選擇一個動作，並且觀察獎勵和一個新的狀態，可能同時取決於先前的狀態和所選擇的動作，“Q”被更新。該算法的核心是一個簡單的值迭代更新。它假定原來的值，並基於新的信息的修正。Q 學習•假設不知道R或T的•保持查表數據結構Q值的所有狀態-動作對（Q *的估計）• 當過渡SR s“的出現，執行Q（S，A）←α（R +γMAXQ（s”的，一個'））+（1-α）Q（S，a）一種'•基本上實現了一種異步的蒙特卡洛值迭代，利用樣品備份 •保證最終收斂於Q *，只要每一個國家的行動對採樣的無限頻繁Q學習•這種方法甚至聰明比它看起來：Q值的不受任何特定的勘探偏置政策。它避免了信用分配問題。• 收斂證明延伸到在其中每Q（S，a）的無限經常更新，是否上線或不任何變體。

結果 (繁體中文) 3:

學習
•這種方法比看起來更聰明：Q值不與任何特定的探索政策偏向。它避免了信貸分配的問題。
•的收斂性證明延伸到任何變數中的每一個Q（s，a）更新無限的時候，是否線上。

問：時間 mathbb {紅}
學習之前已經開始，Q返回一個固定值（任意），由設計師選擇。然後，每一次的代理選擇一個動作，並觀察一個獎勵和一個新的狀態，可能取決於以前的狀態和選定的行動，“問”是更新。該算灋的覈心是一個簡單的值反覆運算更新。它假定舊值進行修正的基礎上的新的資訊。


Q-學習
•不承擔任何知識的
R或T。•維持一個查找錶的資料結構的Q（Q *估計）所有的國家行動對
•過渡時的R S”時，做
Q（s，a）←α（RγMAXQ（S′，一′））（1−α）Q（s，a）一′
•基本上實現了一種非同步蒙特卡羅反覆運算值，采用樣品備份
•保證最終收斂於Q *只要每個國家的行動對採樣的無窮

Q-學習
•這種方法比看起來更聰明：Q值不與任何特定的探索政策偏向。它避免了信用分配問題，即收斂證明延伸到任何一個變數中，每一個問題，一個是更新的，無論是在網上還是沒有。