may be the same for all pairsQ:Sime

may be the same for all pairs



Q:S imes A o mathbb {R}
Before learning has started, Q returns an (arbitrary) fixed value, chosen by the designer. Then, each time the agent selects an action, and observes a reward and a new state that may depend on both the previous state and the selected action, "Q" is updated. The core of the algorithm is a simple value iteration update. It assumes the old value and makes a correction based on the new information.


Q-learning
• Assume no knowledge of R or T.
• Maintain a table-lookup data structure Q (estimates of Q*) for all state-action pairs
• When a transition s r s’ occurs, do
Q(s,a)←α(r+γ maxQ(s′,a′))+(1−α)Q(s,a) a′
• Essentially implements a kind of asynchronous Monte Carlo value iteration, using sample backups
• Guaranteed to eventually converge to Q* as long as every state-action pair sampled infinitely often

Q-learning
• This approach is even cleverer than it looks: the Q values are not biased by any particular exploration policy. It avoids the credit assignment problem.
• The convergence proof extends to any variant in which every Q(s,a) is updated infinitely often, whether on-line or not.

結果 (繁體中文) 1:

可能是相同的所有對Q:S imes A o mathbb {R}在開始學習之前，Q 返回 (任意) 固定值，選擇設計器。然後，每次代理選擇的動作，並觀察獎勵並更新新的狀態，可能取決於以前的狀態和選定的操作，"Q"。該演算法的核心是一個簡單的值反覆運算更新。它假定舊值，使校正基於新的資訊。Q-學習• 假設沒有知識的 R 或 t。• 保持一種所有國家行動對表查找資料結構 Q (估計數 Q *)• 當過渡 s r s' 發生時，做Q(s,a) ←α (r + γ maxQ(s′,a′))+(1−α)Q(s,a) a ′• 基本上實現了一種非同步蒙特 Carlo 值反覆運算，使用示例備份• 保證最終收斂到 Q *，只要每一國家行動對無限經常取樣 Q-學習• 這種做法是比它看起來更聰明: Q 值不會被任何特定勘探策略偏差。它避免了信貸分配問題。• 收斂性的證明延伸到任何備選案文中的每個 Q(s,a) 是無限常更新，無論是網上還是不。

結果 (繁體中文) 2:

可能是相同的所有對Q：•次A 為 mathbb {R} 之前的學習已經開始，Q返回（任意）固定值，由設計者選擇。然後，每當代理選擇一個動作，並且觀察獎勵和一個新的狀態，可能同時取決於先前的狀態和所選擇的動作，“Q”被更新。該算法的核心是一個簡單的值迭代更新。它假定原來的值，並基於新的信息的修正。Q 學習•假設不知道R或T的•保持查表數據結構Q值的所有狀態-動作對（Q *的估計）• 當過渡SR s“的出現，執行Q（S，A）←α（R +γMAXQ（s”的，一個'））+（1-α）Q（S，a）一種'• 基本上實現了一種異步的蒙特卡洛值迭代，利用樣品備份•保證最終收斂於Q *，只要每一個國家的行動對採樣的無限頻繁Q學習•這種方法甚至聰明比它看起來：Q值的不受任何特定的勘探偏置政策。它避免了信用分配問題。• 收斂證明延伸到在其中每Q（S，a）的無限經常更新，是否上線或不任何變體。

結果 (繁體中文) 3:

可能是相同的所有對



問：時間 mathbb {紅}
學習之前已經開始，Q返回一個（任意）固定值，由設計者選擇。然後，每一次的代理選擇一個動作，並觀察一個獎勵和一個新的狀態，可能取決於以前的狀態和選定的行動，“問”是更新。該算灋的覈心是一個簡單的值反覆運算更新。它假定舊值進行修正的基礎上的新的資訊。


Q-學習
•假定沒有知識的R或T
•維持一個查找錶的資料結構的Q（Q *估計）所有的國家行動對
•過渡時的R S”時，做
Q（S一），←α（RγMAXQ（S′，一′））（1−α）Q（s，a）一′
•基本上實現了一種非同步Monte Carlo數值反覆運算，採用樣品備份
•保證最終收斂於Q *只要每個國家的行動對採樣的無窮

Q-學習
•這種方法更是比它看起來：Q值不與任何特定的探索政策偏向。它避免了信用分配問題，即收斂性證明延伸到每一個問題的任何一個變數（即一個）是更新的，無論是線上還是不。