gridworld.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import random"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "class GridWorld():\n",
    "    def __init__(self,rows,cols, default_reward=-1, offgrid_reward=-10, win_states = {} , lose_states = {} , magic_states = {} ):\n",
    "        self.cols = cols\n",
    "        self.rows = rows\n",
    "        self.default_reward = default_reward\n",
    "        self.offgrid_reward = offgrid_reward\n",
    "        self.magic_states = magic_states\n",
    "        self.win_states = win_states\n",
    "        self.lose_states = lose_states\n",
    "        self.statesplus = [i for i in range(rows*cols)]\n",
    "        self.states = list(set(self.statesplus)-(set(win_states.keys())|set(lose_states.keys())))\n",
    "        self.state = 0\n",
    "        self.actions = {'U':self.up,'D':self.down,'L':self.left,'R':self.right}\n",
    "        self.action_labels = ['U','D','L','R']\n",
    "        \n",
    "        # Policy \n",
    "        self.pi = None\n",
    "\n",
    "        \n",
    "        # Setting the Dynamics\n",
    "        self.pr = {}\n",
    "        for s in self.states:\n",
    "            for a in self.action_labels:\n",
    "                new_s = self.actions[a](s)\n",
    "                reward = self.default_reward\n",
    "                \n",
    "                \n",
    "                if s in self.magic_states :\n",
    "                    new_s,reward = self.magic_states[s]\n",
    "                \n",
    "                # reward for off-grid actions\n",
    "                if new_s == s :\n",
    "                    reward = self.offgrid_reward\n",
    "                    \n",
    "                \n",
    "                if new_s in self.win_states:\n",
    "                    reward = self.win_states[new_s]\n",
    "                    \n",
    "                if new_s in self.lose_states:\n",
    "                    reward = self.lose_states[new_s]\n",
    "                \n",
    "                self.pr[(s,a,new_s,reward)]= 1\n",
    "                \n",
    "                \n",
    "    \n",
    "    def left(self, state):\n",
    "        assert state in self.states ,ValueError(f'There is no state {state}')\n",
    "        if state%self.cols !=0:\n",
    "            new_state = state - 1\n",
    "        else:\n",
    "            new_state = state # off-grid move\n",
    "        return new_state\n",
    "        \n",
    "    \n",
    "    def right(self,state):\n",
    "        assert state in self.states ,ValueError(f'There is no state {state}')\n",
    "        if state%self.cols != (self.cols-1):\n",
    "            new_state = state +1\n",
    "        else:\n",
    "            new_state = state # off-grid move\n",
    "        return new_state\n",
    "    \n",
    "    def up(self,state):\n",
    "        assert state in self.states ,ValueError(f'There is no state {state}')\n",
    "        if state >= self.cols:\n",
    "            new_state  = state -  self.cols\n",
    "        else:\n",
    "            new_state = state # off-grid move\n",
    "        return new_state\n",
    "    \n",
    "    def down(self,state):\n",
    "        assert state in self.states ,ValueError(f'There is no state {state}')\n",
    "        if state < self.cols*(self.rows-1):\n",
    "            new_state  = state + self.cols\n",
    "        else:\n",
    "            new_state = state # off-grid move\n",
    "        return new_state\n",
    "            \n",
    "            \n",
    "    def generate_random_experiment(self,l,show = 'list+grid'):\n",
    "        assert self.pi , AttributeError('GridWorld has no policy yet, use set_policy method first')\n",
    "        state_action_list =f'{self.state }'\n",
    "        if 'grid' in show:\n",
    "                self.show_grid(mode= 'cs')\n",
    "        for i in range(l):\n",
    "            action = random.choices(list(self.pi[self.state].keys()),weights=list(self.pi[self.state].values()))[0] \n",
    "            self.last_action = action\n",
    "            new_state = self.actions[action](self.state)\n",
    "            state_action_list += f'-> {action} -> {new_state} '\n",
    "            self.state = new_state\n",
    "            if 'grid' in show:\n",
    "                self.show_grid(mode= 'cs')\n",
    "        if 'list' in show:\n",
    "            print(state_action_list)\n",
    "            \n",
    "            \n",
    "    \n",
    "                \n",
    "                \n",
    "    \n",
    "    def set_policy(self, gamma = 1, pi= None):\n",
    "        if pi:\n",
    "            self.pi = {state : pi for state in self.states}\n",
    "        else:\n",
    "            self.pi = {state : {a:1/len(self.actions) for a in self.action_labels} for state in self.states}\n",
    "        self.gamma = gamma\n",
    "        \n",
    "        # initialization\n",
    "        self.v = [0 for state in self.statesplus]\n",
    "        \n",
    "    \n",
    "    def select_action(self,state):\n",
    "        pass\n",
    "    \n",
    "    def evaluate_policy(self,theta):\n",
    "        '''\n",
    "        This function gets a delta (tolerance) and runs policy evaluation algorithm\n",
    "        until it converges. \n",
    "        \n",
    "        Arguments:\n",
    "        ----------\n",
    "        delta (int) : the tolernce for convergence. if the difference between old value\n",
    "        and new value for all states is less than delta, then the algorithm stops.\n",
    "        \n",
    "        Returns:\n",
    "        --------\n",
    "        None.\n",
    "        '''\n",
    "         \n",
    "        converged = False\n",
    "        while not converged:\n",
    "            diff = []\n",
    "            # Calculate new value for each state\n",
    "            for state in self.states:         \n",
    "                new_v = 0\n",
    "                for action in self.action_labels:\n",
    "                    for pair,prob in self.pr.items():\n",
    "                        old_s,a,new_s,reward =pair\n",
    "                        if action== a and state == old_s:\n",
    "                            new_v += self.pi[state][action] * prob *(reward+ self.gamma*self.v[new_s])\n",
    "                \n",
    "                old_v = self.v[state]\n",
    "                self.v[state] = new_v\n",
    "                \n",
    "                diff.append(abs(new_v-old_v))                \n",
    "            \n",
    "            if max(diff) <= theta:\n",
    "                converged = True\n",
    "                \n",
    "                \n",
    "    def improve_policy(self):\n",
    "        \n",
    "        # create new policy\n",
    "        new_policy = {state : {action:0 for action in self.action_labels}  for state in self.states}\n",
    "        \n",
    "        # For each state we have to update our policy for that state\n",
    "        for state in self.states:\n",
    "            old_v = self.v[state]\n",
    "            old_policy = self.pi[state]\n",
    "            \n",
    "            q = {action:0 for action in self.action_labels}\n",
    "            for action in self.action_labels:\n",
    "                for pair,prob in self.pr.items():\n",
    "                    old_s,a,new_s,reward =pair\n",
    "                    if a==action and old_s == state:\n",
    "                        q[action] += prob * (reward + self.gamma * self.v[new_s])\n",
    "                    \n",
    "            \n",
    "            greedy_actions = [action for action,value in q.items() if value == max(q.values())]\n",
    "            \n",
    "            for greedy_action in greedy_actions:\n",
    "                new_policy[state][greedy_action] = 1/len(greedy_actions)\n",
    "                \n",
    "        converged = True if self.pi == new_policy else False\n",
    "        \n",
    "        self.pi = new_policy\n",
    "        return converged\n",
    "                    \n",
    "    \n",
    "    def policy_iteration(self, isshow = False , theta = 0):\n",
    "        converged = False\n",
    "        v_history = []\n",
    "        policy_history = []\n",
    "        \n",
    "        while not converged:\n",
    "            if isshow==True:\n",
    "                self.show_grid('values')\n",
    "                self.show_grid('policy')\n",
    "                \n",
    "            self.evaluate_policy(theta=theta)\n",
    "            converged = self.improve_policy()\n",
    "    \n",
    "    \n",
    "    def value_iteration(self,theta,isshow=False):\n",
    "        \n",
    "        while True:\n",
    "            if isshow==True:\n",
    "                self.show_grid('values')\n",
    "                self.show_grid('policy')\n",
    "                \n",
    "            delta = 0\n",
    "            for state in self.states:\n",
    "                old_v = self.v[state]\n",
    "                \n",
    "                actions_v = []\n",
    "                for action in self.action_labels:\n",
    "                    total = 0 \n",
    "                    for pair,prob in self.pr.items():\n",
    "                        old_s,a,new_s,reward =pair\n",
    "                        if a==action and old_s == state:\n",
    "                            total += prob * (reward + self.gamma * self.v[new_s])\n",
    "                    actions_v.append(total)\n",
    "\n",
    "                new_v = max(actions_v)\n",
    "                self.v[state] = new_v              \n",
    "                delta = max(abs(new_v-old_v),delta)\n",
    "                best_action = [a for v,a in  zip(actions_v,self.action_labels) if v == max(actions_v)]\n",
    "                self.pi[state] = {a:1/len(best_action) if a in best_action else 0 for a in self.action_labels}  \n",
    "            \n",
    "            \n",
    "            \n",
    "                \n",
    "            if delta <= theta:\n",
    "                break\n",
    "        \n",
    "#         for state in self.states: \n",
    "        \n",
    "        \n",
    "    \n",
    "    def show_grid(self, mode = 'states'):\n",
    "        \n",
    "        up = [f'{6*\" \"}' for v in self.v]\n",
    "        down = [f'{6*\" \"}' for v in self.v]\n",
    "        left = [f'{\"   \"}' for v in self.v]\n",
    "        right = [f'{\"   \"}' for v in self.v]\n",
    "        \n",
    "        if mode == 'states':\n",
    "\n",
    "            center = [f'{s:^5d}' for s in self.states]\n",
    "            left = [f'{\" \"}' for v in self.v]\n",
    "            right = [f'{\" \"}' for v in self.v]\n",
    "            \n",
    "        elif mode == 'cs':\n",
    "            center = [' ' if self.state!=i else '●' for i in self.states  ]\n",
    "        \n",
    "        elif mode == 'values':\n",
    "            center = [f'{v:^5.1f}' for v in self.v]\n",
    "            left = [f'{\" \"}' for v in self.v]\n",
    "            right = [f'{\" \"}' for v in self.v]\n",
    "            \n",
    "        elif mode == 'policy':        \n",
    "            center = [f' ' for v in self.v]\n",
    "            up = [f'{\"↑\"}' if p['U']>0 else ' ' for state,p in self.pi.items() ]\n",
    "            down = [f'{\"↓\"}'  if p['D']>0 else ' ' for state,p in self.pi.items() ]\n",
    "            right = [f'{\"  →\"}'  if p['R']>0 else '   ' for state,p in self.pi.items() ]\n",
    "            left = [f'{\"←  \"}'  if p['L']>0 else '   ' for state,p in self.pi.items() ]\n",
    "        \n",
    "        else:\n",
    "            raise ValueError('mode should be either states|cs|values')\n",
    "            # ↑ ← ↓ →\n",
    "            \n",
    "            \n",
    "        print('┌' + '┬'.join([9*'─' for i in range(self.cols)])+ '┐')\n",
    "        for r in range(self.rows):\n",
    "            # Print Up position\n",
    "            print('│ ' + ' │ '.join([f'{up[s]:^7}' for s in range(self.cols*r,self.cols*(r+1))]) + ' │')\n",
    "            \n",
    "            #print Left, Center , Right position\n",
    "            print('│ ' + ' │ '.join([f'{left[s]}{center[s]}{right[s]}' for s in range(self.cols*r,self.cols*(r+1))]) + ' │')\n",
    "            \n",
    "            # print Down position\n",
    "            print('│ ' + ' │ '.join([f'{down[s]:^7}' for s in range(self.cols*r,self.cols*(r+1))]) + ' │')\n",
    "            if r<self.rows-1:\n",
    "                print('├' + '┼'.join([9*'─' for i in range(self.cols)])+ '┤')\n",
    "            else:\n",
    "                print('└' + '┴'.join([9*'─' for i in range(self.cols)])+ '┘')\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [],
   "source": [
    "gw = GridWorld(5,5,default_reward=0 , offgrid_reward=-1, magic_states={1:(21,10),3:(13,5)})\n",
    "gw.set_policy(gamma =0.9)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│   3.3   │   8.8   │   4.4   │   5.3   │   1.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   1.5   │   3.0   │   2.3   │   1.9   │   0.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.1   │   0.7   │   0.7   │   0.4   │  -0.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  -1.0   │  -0.4   │  -0.4   │  -0.6   │  -1.2   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  -1.9   │  -1.3   │  -1.2   │  -1.4   │  -2.0   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │         │\n",
      "│         │         │         │         │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│         │         │         │         │         │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│         │         │         │         │         │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│         │         │         │         │         │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  18.5   │  16.6   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  16.6   │  14.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  14.9   │  13.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  13.5   │  12.1   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  12.1   │  10.9   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  15.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  12.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n"
     ]
    }
   ],
   "source": [
    "gw.policy_iteration(isshow=True,theta = 0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [],
   "source": [
    "gw = GridWorld(5,5,default_reward=0 , offgrid_reward=-1, magic_states={1:(21,10),3:(13,5)})\n",
    "gw.set_policy(gamma =0.9)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   0.0   │   0.0   │   0.0   │   0.0   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│ ←     → │ ←     → │ ←     → │ ←     → │ ←     → │\n",
      "│    ↓    │    ↓    │    ↓    │    ↓    │    ↓    │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │  10.0   │   9.0   │   5.0   │   4.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   9.0   │   8.1   │   7.3   │   6.6   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   8.1   │   7.3   │   6.6   │   5.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   7.3   │   6.6   │   5.9   │   5.3   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   0.0   │   6.6   │   5.9   │   5.3   │   4.8   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│    ↓    │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│    ↓    │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│    ↓    │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│    ↓    │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│   9.0   │  15.9   │  14.3   │  10.9   │   9.8   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   8.1   │  14.3   │  12.9   │  11.6   │  10.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   7.3   │  12.9   │  11.6   │  10.4   │   9.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   6.6   │  11.6   │  10.4   │   9.4   │   8.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   5.9   │  10.4   │   9.4   │   8.5   │   7.6   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  14.3   │  19.4   │  17.5   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  12.9   │  17.5   │  15.7   │  14.1   │  12.7   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  11.6   │  15.7   │  14.1   │  12.7   │  11.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  10.4   │  14.1   │  12.7   │  11.5   │  10.3   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│   9.4   │  12.7   │  11.5   │  10.3   │   9.3   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  17.5   │  21.5   │  19.3   │  16.5   │  14.8   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.7   │  19.3   │  17.4   │  15.6   │  14.1   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.1   │  17.4   │  15.6   │  14.1   │  12.7   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  12.7   │  15.6   │  14.1   │  12.7   │  11.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  11.5   │  14.1   │  12.7   │  11.4   │  10.3   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  19.3   │  22.7   │  20.4   │  17.7   │  15.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.4   │  20.4   │  18.4   │  16.5   │  14.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.6   │  18.4   │  16.5   │  14.9   │  13.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.1   │  16.5   │  14.9   │  13.4   │  12.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  12.7   │  14.9   │  13.4   │  12.0   │  10.8   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  20.4   │  23.4   │  21.0   │  18.4   │  16.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  18.4   │  21.0   │  18.9   │  17.0   │  15.3   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.5   │  18.9   │  17.0   │  15.3   │  13.8   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.9   │  17.0   │  15.3   │  13.8   │  12.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  13.4   │  15.3   │  13.8   │  12.4   │  11.2   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.0   │  23.8   │  21.4   │  18.8   │  16.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  18.9   │  21.4   │  19.3   │  17.4   │  15.6   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.0   │  19.3   │  17.4   │  15.6   │  14.1   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.3   │  17.4   │  15.6   │  14.1   │  12.7   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  13.8   │  15.6   │  14.1   │  12.7   │  11.4   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.4   │  24.1   │  21.7   │  19.1   │  17.2   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.3   │  21.7   │  19.5   │  17.5   │  15.8   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.4   │  19.5   │  17.5   │  15.8   │  14.2   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.6   │  17.5   │  15.8   │  14.2   │  12.8   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.1   │  15.8   │  14.2   │  12.8   │  11.5   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.7   │  24.2   │  21.8   │  19.2   │  17.3   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.5   │  21.8   │  19.6   │  17.6   │  15.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.5   │  19.6   │  17.6   │  15.9   │  14.3   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.8   │  17.6   │  15.9   │  14.3   │  12.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.2   │  15.9   │  14.3   │  12.9   │  11.6   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.8   │  24.3   │  21.9   │  19.3   │  17.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.6   │  21.9   │  19.7   │  17.7   │  15.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.6   │  19.7   │  17.7   │  15.9   │  14.3   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.9   │  17.7   │  15.9   │  14.3   │  12.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.3   │  15.9   │  14.3   │  12.9   │  11.6   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.9   │  24.3   │  21.9   │  19.3   │  17.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.7   │  21.9   │  19.7   │  17.7   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.7   │  19.7   │  17.7   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  15.9   │  17.7   │  16.0   │  14.4   │  12.9   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.3   │  16.0   │  14.4   │  12.9   │  11.6   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.9   │  24.4   │  21.9   │  19.4   │  17.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.7   │  21.9   │  19.7   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.7   │  19.7   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  21.9   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.7   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │         │         │         │         │\n",
      "│  22.0   │  24.4   │  22.0   │  19.4   │  17.5   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  19.8   │  22.0   │  19.8   │  17.8   │  16.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  17.8   │  19.8   │  17.8   │  16.0   │  14.4   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  16.0   │  17.8   │  16.0   │  14.4   │  13.0   │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│         │         │         │         │         │\n",
      "│  14.4   │  16.0   │  14.4   │  13.0   │  11.7   │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n",
      "┌─────────┬─────────┬─────────┬─────────┬─────────┐\n",
      "│         │    ↑    │         │    ↑    │         │\n",
      "│       → │ ←     → │ ←       │ ←     → │ ←       │\n",
      "│         │    ↓    │         │    ↓    │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │         │         │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "├─────────┼─────────┼─────────┼─────────┼─────────┤\n",
      "│    ↑    │    ↑    │    ↑    │    ↑    │    ↑    │\n",
      "│       → │         │ ←       │ ←       │ ←       │\n",
      "│         │         │         │         │         │\n",
      "└─────────┴─────────┴─────────┴─────────┴─────────┘\n"
     ]
    }
   ],
   "source": [
    "gw.value_iteration(theta = 0.001,isshow=True)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}