where R is the reward observed afte

where R is the reward observed after performing Ｑ in Ｚ, and where Ｐ is the learning rate (may be the same for all pairs).
where R_{t+1} is the reward observed after performing a_{t} in s_{t},


Q:S imes A o mathbb {R}
Before learning has started, Q returns an (arbitrary) fixed value, chosen by the designer. Then, each time the agent selects an action, and observes a reward and a new state that may depend on both the previous state and the selected action, "Q" is updated. The core of the algorithm is a simple value iteration update. It assumes the old value and makes a correction based on the new information.


Q-learning
• Assume no knowledge of R or T.
• Maintain a table-lookup data structure Q (estimates of Q*) for all state-action pairs
• When a transition s r s’ occurs, do
Q(s,a)←α(r+γ maxQ(s′,a′))+(1−α)Q(s,a) a′
• Essentially implements a kind of asynchronous Monte Carlo value iteration, using sample backups
• Guaranteed to eventually converge to Q* as long as every state-action pair sampled infinitely often

Q-learning
• This approach is even cleverer than it looks: the Q values are not biased by any particular exploration policy. It avoids the credit assignment problem.
• The convergence proof extends to any variant in which every Q(s,a) is updated infinitely often, whether on-line or not.

結果 (繁體中文) 1:

其中 R 為 z，執行 Q 後觀察到的獎勵和 P 在哪裡學習速率 (可能是所有對相同)。在哪裡 R_ {t + 1} 是觀察後進行 s_ {t}，{t} 衣衫的獎賞Q:S imes A o mathbb {R}在開始學習之前，Q 返回 (任意) 固定值，選擇設計器。然後，每次代理選擇的動作，並觀察獎勵並更新新的狀態，可能取決於以前的狀態和選定的操作，"Q"。該演算法的核心是一個簡單的值反覆運算更新。它假定舊值，使校正基於新的資訊。Q-學習• 假設沒有知識的 R 或 t。• 保持一種所有國家行動對表查找資料結構 Q (估計數 Q *)• 當過渡 s r s' 發生時，做Q(s,a) ←α (r + γ maxQ(s′,a′))+(1−α)Q(s,a) a ′• 基本上實現了一種非同步蒙特 Carlo 值反覆運算，使用示例備份• 保證最終收斂到 Q *，只要每一國家行動對無限經常取樣 Q-學習• 這種做法是比它看起來更聰明: Q 值不會被任何特定勘探策略偏差。它避免了信貸分配問題。• 收斂性的證明延伸到任何備選案文中的每個 Q(s,a) 是無限常更新，無論是網上還是不。

結果 (繁體中文) 2:

其中R是Z中執行Q後觀察到的獎勵，並且其中P為學習速率（可以是相同的所有對）。
其中R_ {T + 1}是在S_執行A_ {噸} {噸後觀察到的獎勵}，問：小號次A 為 mathbb {R} 之前的學習已經開始，Q返回（任意）固定值，由設計者選擇。然後，每當代理選擇一個動作，並且觀察獎勵和一個新的狀態，可能同時取決於先前的狀態和所選擇的動作，“Q”被更新。該算法的核心是一個簡單的值迭代更新。它假定原來的值，並基於新的信息的修正。Q 學習•假設不知道R或T的•保持查表數據結構Q值的所有狀態-動作對（Q *的估計）• 當過渡SR s“的出現，執行Q（S，A）←α（R +γMAXQ（s”的，一個'））+（1-α）Q（S，a）一種'• 基本上實現了一種異步的蒙特卡洛值迭代，利用樣品備份•保證最終收斂於Q *，只要每一個國家的行動對採樣的無限頻繁Q學習•這種方法甚至聰明比它看起來：Q值的不受任何特定的勘探偏置政策。它避免了信用分配問題。• 收斂證明延伸到在其中每Q（S，a）的無限經常更新，是否上線或不任何變體。

結果 (繁體中文) 3:

其中R是執行Q Z後觀察到的獎勵，和P是學習率（可能是相同的所有對）。
r_ { 1 }是在表演a_ {T}在s_ {T}後觀察到的獎勵，


問：次 mathbb {紅}
學習之前已經開始，Q返回一個（任意）固定值，由設計者選擇。然後，每次代理選擇一個動作，並觀察一個獎勵和一個新的狀態，可能取決於以前的狀態和選定的行動，“問”是更新。該算灋的覈心是一個簡單的值反覆運算更新。它假定舊值進行修正的基礎上的新的資訊。


Q-學習
•假定沒有知識的R或T
•維持一個查找錶的資料結構的Q（Q *估計）所有的國家行動對
•過渡時的R S”時，做
Q（s，a）←α（RγMAXQ（S′，一′））（1−α）Q（s，a）一′
•基本上實現了一種非同步蒙特卡羅反覆運算值，採用樣品備份
•保證最終收斂到Q *只要每個國家的行動對採樣的無窮

Q-學習
•這種方法更是比它看起來：問題的價值不受任何特定的勘探政策的偏見。它避免了信用分配問題，即收斂證明延伸到任何一個變數中，每一個問題，一個是更新的，無論是在網上還是沒有。