Q-learning• Assume no knowledge of

Q-learning
• Assume no knowledge of R or T.
• Maintain a table-lookup data structure Q (estimates of Q*) for all state-action pairs
• When a transition s r s’ occurs, do
Q(s,a)←α(r+γ maxQ(s′,a′))+(1−α)Q(s,a) a′
• Essentially implements a kind of asynchronous Monte Carlo value iteration, using sample backups
• Guaranteed to eventually converge to Q* as long as every state-action pair sampled infinitely often
© 2004, Ronald J. Williams Reinforcement Learning: Slide 85
(Watkins, 1988)

Q-learning
• This approach is even cleverer than it looks: the Q values are not biased by any particular exploration policy. It avoids the credit assignment problem.
• The convergence proof extends to any variant in which every Q(s,a) is updated infinitely often, whether on-line or not.

結果 (繁體中文) 1:

Q-學習• 假設沒有知識的 R 或 t。• 保持一種所有國家行動對表查找資料結構 Q (估計數 Q *)• 當過渡 s r s' 發生時，做Q(s,a) ←α (r + γ maxQ(s′,a′))+(1−α)Q(s,a) a ′• 基本上實現了一種非同步蒙特 Carlo 值反覆運算，使用示例備份• 保證最終收斂到 Q *，只要每一國家行動對無限經常取樣© 2004 年，羅奈爾得 · 威廉斯強化學習: 幻燈片 85(沃特金斯，1988年) Q-學習• 這種做法是比它看起來更聰明: Q 值不會被任何特定勘探策略偏差。它避免了信貸分配問題。• 收斂性的證明延伸到任何備選案文中的每個 Q(s,a) 是無限常更新，無論是網上還是不。

結果 (繁體中文) 3:

學習
•假定沒有知識的R或T
•維持一個查找錶的資料結構的Q（Q *估計）所有的國家行動對
•過渡時的R S”時，做
Q（s，a）←α（RγMAXQ（S′，一′））（1−α）Q（s，a）一′
•基本上實現了一種非同步蒙特卡羅反覆運算值，採用樣品備份
•保證最終只要每個國家的行動對採樣的無窮
©2004收斂到Q *，羅奈爾得J.威廉姆斯强化學習：幻燈片85
（沃特金斯，1988）

Q-學習
•這種方法更是比它看起來：Q值不與任何特定的探索政策偏向。它避免了信貸分配的問題。（一個收斂性證明）延伸到任何一個變數中，每一個問題，一個（一）是最新的，無論是在網上還是沒有。