{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "6e96be0a",
   "metadata": {},
   "source": [
    "# Frozenlake Visualisation"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "c098cabe",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2025-03-04T15:50:26.471323Z",
     "start_time": "2025-03-04T15:50:26.468687Z"
    }
   },
   "outputs": [],
   "source": [
    "import gymnasium as gym"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "3a72f63f",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2025-03-04T15:50:26.475966Z",
     "start_time": "2025-03-04T15:50:26.473410Z"
    }
   },
   "outputs": [],
   "source": [
    "from gymcts.gymcts_agent import GymctsAgent\n",
    "from gymcts.gymcts_deepcopy_wrapper import DeepCopyMCTSGymEnvWrapper"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "150ef4dc",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2025-03-04T15:50:26.479336Z",
     "start_time": "2025-03-04T15:50:26.476982Z"
    }
   },
   "outputs": [],
   "source": [
    "from gymcts.logger import log"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "a4c44b1f",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2025-03-04T15:50:26.482781Z",
     "start_time": "2025-03-04T15:50:26.480794Z"
    },
    "lines_to_next_cell": 2
   },
   "outputs": [],
   "source": [
    "log.setLevel(20)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "ff4be516",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2025-03-04T15:50:27.378267Z",
     "start_time": "2025-03-04T15:50:26.483491Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(\u001B[33mN\u001B[0m=200, \u001B[33mQ_v\u001B[0m=0.02, \u001B[33mbest\u001B[0m=1.00)\n",
      "├── (\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.25\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "│   \u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "├── (\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.25\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "│   \u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "├── (\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m67\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;246;104;129m0.04\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.24\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m18\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;244;105;129m0.06\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.40\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.54\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.60\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.60\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.60\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m13\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.40\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m22\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;237;108;130m0.09\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.40\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m9\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;212;121;135m0.22\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.64\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m13\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.40\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.65\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.65\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.65\u001B[0m)\n",
      "│   \u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.65\u001B[0m)\n",
      "└── (\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.25\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.41\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "    \u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">[16:50:26] </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> selected action <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span> after <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">200</span> simulations.                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m[16:50:26]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m200\u001B[0m simulations.                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> current action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span><span style=\"font-weight: bold\">]</span>                                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m                                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m267\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;184;135;140m0.36\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.47\u001B[0m)\n",
      "\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m41\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;250;102;128m0.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.29\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.43\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.62\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.76\u001B[0m)\n",
      "\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m34\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.29\u001B[0m)\n",
      "\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m157\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;137;159;148m0.61\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.48\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m123\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;105;175;153m0.78\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.92\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.78\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m110\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m0.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.78\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.78\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.48\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.48\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m34\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.29\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m9\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.44\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.47\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.47\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.72\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.72\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.72\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.47\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.72\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.72\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.72\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> selected action <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span> after <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">200</span> simulations.                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m200\u001B[0m simulations.                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> current action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span><span style=\"font-weight: bold\">]</span>                                                                    \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m                                                                    \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m357\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;100;177;154m0.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.52\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.59\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.59\u001B[0m)\n",
      "\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m323\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m0.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.98\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.85\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m310\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;76;190;158m0.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;216;119;134m0.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.96\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m296\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m0.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.06\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.98\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;216;119;134m0.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.96\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.85\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.85\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.83\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.83\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.83\u001B[0m)\n",
      "\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.52\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.59\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m│   \u001B[0m\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.59\u001B[0m)\n",
      "\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.52\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.63\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m│   \u001B[0m\u001B[38;2;128;254;179m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.59\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.77\u001B[0m)\n",
      "\u001B[38;2;128;254;179m    \u001B[0m\u001B[38;2;255;178;96m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.59\u001B[0m)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">[16:50:27] </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> selected action <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span> after <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">200</span> simulations.                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m[16:50:27]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m200\u001B[0m simulations.                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> current action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span><span style=\"font-weight: bold\">]</span>                                                                 \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m                                                                 \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m523\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;76;190;158m0.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.01\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.88\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m510\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m0.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.03\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;216;119;134m0.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.99\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m496\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;67;194;160m0.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.05\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m164\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m0.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.09\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m325\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.10\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.02\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;216;119;134m0.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.99\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.88\u001B[0m)\n",
      "\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.88\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.83\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.83\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.83\u001B[0m)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> selected action <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span> after <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">200</span> simulations.                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m200\u001B[0m simulations.                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> current action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span><span style=\"font-weight: bold\">]</span>                                                              \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m                                                              \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m710\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m0.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.03\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;216;119;134m0.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.01\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m696\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m0.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.05\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.04\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m206\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m0.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.08\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.94\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.94\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m196\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.12\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.94\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m483\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.08\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.04\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.05\u001B[0m)\n",
      "\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;216;119;134m0.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.01\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.90\u001B[0m)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> selected action <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span> after <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">200</span> simulations.                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m200\u001B[0m simulations.                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> current action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span><span style=\"font-weight: bold\">]</span>                                                           \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m                                                           \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m896\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m0.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.04\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.06\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m303\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m0.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.08\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.98\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.98\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m293\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.10\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.98\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m│   \u001B[0m\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;0;180;235m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;128;254;179m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m586\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;197;161m1.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.08\u001B[0m)\n",
      "\u001B[38;2;0;180;235m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.06\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n",
      "\u001B[38;2;0;180;235m    \u001B[0m\u001B[38;2;255;178;96m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;178;96m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;255;100;128m0.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[31m0.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m0.74\u001B[0m)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> selected action <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span> after <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">200</span> simulations.                                                       \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m200\u001B[0m simulations.                                                       \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> current action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span><span style=\"font-weight: bold\">]</span>                                                        \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m                                                        \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<pre style=\"white-space:pre;overflow-x:auto;line-height:normal;font-family:Menlo,'DejaVu Sans Mono',consolas,'Courier New',monospace\"><span style=\"color: #7fbfbf; text-decoration-color: #7fbfbf\">           </span><span style=\"color: #000080; text-decoration-color: #000080\">INFO    </span> Final action list: <span style=\"font-weight: bold\">[</span><span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">1</span>, <span style=\"color: #008080; text-decoration-color: #008080; font-weight: bold\">2</span><span style=\"font-weight: bold\">]</span>                                                          \n",
       "</pre>\n"
      ],
      "text/plain": [
       "\u001B[2;36m          \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO    \u001B[0m Final action list: \u001B[1m[\u001B[0m\u001B[1;36m2\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m                                                          \n"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Environment solved in 6 steps.\n"
     ]
    }
   ],
   "source": [
    "if __name__ == '__main__':\n",
    "    log.debug(\"Starting example\")\n",
    "\n",
    "    # 0. create the environment\n",
    "    env = gym.make('FrozenLake-v1', desc=None, map_name=\"4x4\", is_slippery=False, render_mode=\"rgb_array\")\n",
    "    env.reset()\n",
    "\n",
    "    # 1. wrap the environment with the naive wrapper or a custom gymcts wrapper\n",
    "    env = DeepCopyMCTSGymEnvWrapper(env)\n",
    "\n",
    "    # 2. create the agent\n",
    "    agent = GymctsAgent(\n",
    "        env=env,\n",
    "        clear_mcts_tree_after_step=False,\n",
    "        render_tree_after_step=True,\n",
    "        number_of_simulations_per_step=200,\n",
    "        exclude_unvisited_nodes_from_render=True\n",
    "    )\n",
    "\n",
    "    # 3. solve the environment\n",
    "    actions = agent.solve()\n",
    "\n",
    "    # 4. render the environment solution\n",
    "    env = gym.wrappers.RecordVideo(\n",
    "        env,\n",
    "        video_folder=\"./videos\",\n",
    "        episode_trigger=lambda episode_id: True,\n",
    "        name_prefix=\"frozenlake_4x4\"\n",
    "    )\n",
    "    env.reset()\n",
    "\n",
    "    for a in actions:\n",
    "        obs, rew, term, trun, info = env.step(a)\n",
    "    env.close()\n",
    "\n",
    "    # 5. print the solution\n",
    "    # read the solution from the info provided by the RecordEpisodeStatistics wrapper (that NaiveSoloMCTSGymEnvWrapper wraps internally)\n",
    "    episode_length = info[\"episode\"][\"l\"]\n",
    "    episode_return = info[\"episode\"][\"r\"]\n",
    "\n",
    "    if episode_return == 1.0:\n",
    "        print(f\"Environment solved in {episode_length} steps.\")\n",
    "    else:\n",
    "        print(f\"Environment not solved in {episode_length} steps.\")"
   ]
  }
 ],
 "metadata": {
  "jupytext": {
   "cell_metadata_filter": "-all",
   "main_language": "python",
   "notebook_metadata_filter": "-all"
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}