底下使用迷宮的走法，走到 (1,2) 或 (2, 1) 為地獄，得 -1分，走到 (2,2) 為天堂，得 1 分。本例使用 tkinter 繪製方格。

Q-Learning 應用在此例，計算每一格往[上，下，左，右] 四個方向的分數，公式與上一篇相同

$(Q(s,a)=Q(s,a)+lr[r+\gamma*maxQ(s’)-Q(s,a)])$

Q 表一樣是二維表格，但每列有四行資料

           上   下   左   右
(0, 0)    0.0  0.0  0.0  0.0
(0, 1)    0.0  0.0  0.0  0.0
(1, 1)    0.0  0.0  0.0  0.0
terminal  0.0  0.0  0.0  0.0

主程式

主程式如下