{
"cells": [
{
"cell_type": "markdown",
"id": "963b385f",
"metadata": {},
"source": [
"# JSSEnv (Deepcopy Wrapper)"
]
},
{
"cell_type": "code",
"execution_count": 1,
"id": "730b0f20",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.182338Z",
"start_time": "2025-03-04T16:00:09.874642Z"
}
},
"outputs": [],
"source": [
"from jsp_vis.console import gantt_chart_console"
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "1af90d3b",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.228541Z",
"start_time": "2025-03-04T16:00:10.183299Z"
}
},
"outputs": [],
"source": [
"from gymcts.gymcts_agent import GymctsAgent\n",
"from gymcts.gymcts_deepcopy_wrapper import DeepCopyMCTSGymEnvWrapper\n",
"from gymnasium.wrappers import TransformReward, NormalizeReward\n",
"from gymcts.logger import log"
]
},
{
"cell_type": "code",
"execution_count": 3,
"id": "fe29622d",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.231082Z",
"start_time": "2025-03-04T16:00:10.229521Z"
}
},
"outputs": [],
"source": [
"import gymnasium as gym\n",
"from typing import Any"
]
},
{
"cell_type": "code",
"execution_count": 4,
"id": "909b75f3",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.234288Z",
"start_time": "2025-03-04T16:00:10.231888Z"
}
},
"outputs": [],
"source": [
"import bisect\n",
"import datetime\n",
"import random"
]
},
{
"cell_type": "code",
"execution_count": 5,
"id": "68866686",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.319699Z",
"start_time": "2025-03-04T16:00:10.235121Z"
}
},
"outputs": [],
"source": [
"import pandas as pd\n",
"import numpy as np\n",
"import plotly.figure_factory as ff\n",
"from pathlib import Path"
]
},
{
"cell_type": "code",
"execution_count": 6,
"id": "7f722ac2",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.345192Z",
"start_time": "2025-03-04T16:00:10.320528Z"
}
},
"outputs": [],
"source": [
"class JssEnv(gym.Env):\n",
" def __init__(self, env_config=None):\n",
" \"\"\"\n",
" This environment model the job shop scheduling problem as a single agent problem:\n",
"\n",
" -The actions correspond to a job allocation + one action for no allocation at this time step (NOPE action)\n",
"\n",
" -We keep a time with next possible time steps\n",
"\n",
" -Each time we allocate a job, the end of the job is added to the stack of time steps\n",
"\n",
" -If we don't have a legal action (i.e. we can't allocate a job),\n",
" we automatically go to the next time step until we have a legal action\n",
"\n",
" -\n",
" :param env_config: Ray dictionary of config parameter\n",
" \"\"\"\n",
" if env_config is None:\n",
" env_config = {\n",
" \"instance_path\": Path(__file__).parent.absolute() / \"instances\" / \"ta80\"\n",
" }\n",
" instance_path = env_config[\"instance_path\"]\n",
"\n",
" # initial values for variables used for instance\n",
" self.jobs = 0\n",
" self.machines = 0\n",
" self.instance_matrix = None\n",
" self.jobs_length = None\n",
" self.max_time_op = 0\n",
" self.max_time_jobs = 0\n",
" self.nb_legal_actions = 0\n",
" self.nb_machine_legal = 0\n",
" # initial values for variables used for solving (to reinitialize when reset() is called)\n",
" self.solution = None\n",
" self.last_solution = None\n",
" self.last_time_step = float(\"inf\")\n",
" self.current_time_step = float(\"inf\")\n",
" self.next_time_step = list()\n",
" self.next_jobs = list()\n",
" self.legal_actions = None\n",
" self.time_until_available_machine = None\n",
" self.time_until_finish_current_op_jobs = None\n",
" self.todo_time_step_job = None\n",
" self.total_perform_op_time_jobs = None\n",
" self.needed_machine_jobs = None\n",
" self.total_idle_time_jobs = None\n",
" self.idle_time_jobs_last_op = None\n",
" self.state = None\n",
" self.illegal_actions = None\n",
" self.action_illegal_no_op = None\n",
" self.machine_legal = None\n",
" # initial values for variables used for representation\n",
" self.start_timestamp = datetime.datetime.now().timestamp()\n",
" self.sum_op = 0\n",
" with open(instance_path, \"r\") as instance_file:\n",
" for line_cnt, line_str in enumerate(instance_file, start=1):\n",
" split_data = list(map(int, line_str.split()))\n",
"\n",
" if line_cnt == 1:\n",
" self.jobs, self.machines = split_data\n",
" self.instance_matrix = np.zeros((self.jobs, self.machines), dtype=(int, 2))\n",
" self.jobs_length = np.zeros(self.jobs, dtype=int)\n",
" else:\n",
" assert len(split_data) % 2 == 0 and len(split_data) // 2 == self.machines\n",
" job_nb = line_cnt - 2\n",
" for i in range(0, len(split_data), 2):\n",
" machine, time = split_data[i], split_data[i + 1]\n",
" self.instance_matrix[job_nb][i // 2] = (machine, time)\n",
" self.max_time_op = max(self.max_time_op, time)\n",
" self.jobs_length[job_nb] += time\n",
" self.sum_op += time\n",
" self.max_time_jobs = max(self.jobs_length)\n",
" # check the parsed data are correct\n",
" assert self.max_time_op > 0\n",
" assert self.max_time_jobs > 0\n",
" assert self.jobs > 0\n",
" assert self.machines > 1, \"We need at least 2 machines\"\n",
" assert self.instance_matrix is not None\n",
" # allocate a job + one to wait\n",
" self.action_space = gym.spaces.Discrete(self.jobs + 1)\n",
" # used for plotting\n",
" self.colors = [\n",
" tuple([random.random() for _ in range(3)]) for _ in range(self.machines)\n",
" ]\n",
" \"\"\"\n",
" matrix with the following attributes for each job:\n",
" -Legal job\n",
" -Left over time on the current op\n",
" -Current operation %\n",
" -Total left over time\n",
" -When next machine available\n",
" -Time since IDLE: 0 if not available, time otherwise\n",
" -Total IDLE time in the schedule\n",
" \"\"\"\n",
" self.observation_space = gym.spaces.Dict(\n",
" {\n",
" \"action_mask\": gym.spaces.Box(0, 1, shape=(self.jobs + 1,)),\n",
" \"real_obs\": gym.spaces.Box(\n",
" low=0.0, high=1.0, shape=(self.jobs, 7), dtype=float\n",
" ),\n",
" }\n",
" )\n",
"\n",
" def _get_current_state_representation(self):\n",
" self.state[:, 0] = self.legal_actions[:-1]\n",
" return {\n",
" \"real_obs\": self.state,\n",
" \"action_mask\": self.legal_actions,\n",
" }\n",
"\n",
" def get_legal_actions(self):\n",
" return self.legal_actions\n",
"\n",
" def reset(self, seed=None, options=None):\n",
" self.current_time_step = 0\n",
" self.next_time_step = list()\n",
" self.next_jobs = list()\n",
" self.nb_legal_actions = self.jobs\n",
" self.nb_machine_legal = 0\n",
" # represent all the legal actions\n",
" self.legal_actions = np.ones(self.jobs + 1, dtype=bool)\n",
" self.legal_actions[self.jobs] = False\n",
" # used to represent the solution\n",
" self.solution = np.full((self.jobs, self.machines), -1, dtype=int)\n",
" self.time_until_available_machine = np.zeros(self.machines, dtype=int)\n",
" self.time_until_finish_current_op_jobs = np.zeros(self.jobs, dtype=int)\n",
" self.todo_time_step_job = np.zeros(self.jobs, dtype=int)\n",
" self.total_perform_op_time_jobs = np.zeros(self.jobs, dtype=int)\n",
" self.needed_machine_jobs = np.zeros(self.jobs, dtype=int)\n",
" self.total_idle_time_jobs = np.zeros(self.jobs, dtype=int)\n",
" self.idle_time_jobs_last_op = np.zeros(self.jobs, dtype=int)\n",
" self.illegal_actions = np.zeros((self.machines, self.jobs), dtype=bool)\n",
" self.action_illegal_no_op = np.zeros(self.jobs, dtype=bool)\n",
" self.machine_legal = np.zeros(self.machines, dtype=bool)\n",
" for job in range(self.jobs):\n",
" needed_machine = self.instance_matrix[job][0][0]\n",
" self.needed_machine_jobs[job] = needed_machine\n",
" if not self.machine_legal[needed_machine]:\n",
" self.machine_legal[needed_machine] = True\n",
" self.nb_machine_legal += 1\n",
" self.state = np.zeros((self.jobs, 7), dtype=float)\n",
" return self._get_current_state_representation(), {}\n",
"\n",
" def _prioritization_non_final(self):\n",
" if self.nb_machine_legal >= 1:\n",
" for machine in range(self.machines):\n",
" if self.machine_legal[machine]:\n",
" final_job = list()\n",
" non_final_job = list()\n",
" min_non_final = float(\"inf\")\n",
" for job in range(self.jobs):\n",
" if (\n",
" self.needed_machine_jobs[job] == machine\n",
" and self.legal_actions[job]\n",
" ):\n",
" if self.todo_time_step_job[job] == (self.machines - 1):\n",
" final_job.append(job)\n",
" else:\n",
" current_time_step_non_final = self.todo_time_step_job[\n",
" job\n",
" ]\n",
" time_needed_legal = self.instance_matrix[job][\n",
" current_time_step_non_final\n",
" ][1]\n",
" machine_needed_nextstep = self.instance_matrix[job][\n",
" current_time_step_non_final + 1\n",
" ][0]\n",
" if (\n",
" self.time_until_available_machine[\n",
" machine_needed_nextstep\n",
" ]\n",
" == 0\n",
" ):\n",
" min_non_final = min(\n",
" min_non_final, time_needed_legal\n",
" )\n",
" non_final_job.append(job)\n",
" if len(non_final_job) > 0:\n",
" for job in final_job:\n",
" current_time_step_final = self.todo_time_step_job[job]\n",
" time_needed_legal = self.instance_matrix[job][\n",
" current_time_step_final\n",
" ][1]\n",
" if time_needed_legal > min_non_final:\n",
" self.legal_actions[job] = False\n",
" self.nb_legal_actions -= 1\n",
"\n",
" def _check_no_op(self):\n",
" self.legal_actions[self.jobs] = False\n",
" if (\n",
" len(self.next_time_step) > 0\n",
" and self.nb_machine_legal <= 3\n",
" and self.nb_legal_actions <= 4\n",
" ):\n",
" machine_next = set()\n",
" next_time_step = self.next_time_step[0]\n",
" max_horizon = self.current_time_step\n",
" max_horizon_machine = [\n",
" self.current_time_step + self.max_time_op for _ in range(self.machines)\n",
" ]\n",
" for job in range(self.jobs):\n",
" if self.legal_actions[job]:\n",
" time_step = self.todo_time_step_job[job]\n",
" machine_needed = self.instance_matrix[job][time_step][0]\n",
" time_needed = self.instance_matrix[job][time_step][1]\n",
" end_job = self.current_time_step + time_needed\n",
" if end_job < next_time_step:\n",
" return\n",
" max_horizon_machine[machine_needed] = min(\n",
" max_horizon_machine[machine_needed], end_job\n",
" )\n",
" max_horizon = max(max_horizon, max_horizon_machine[machine_needed])\n",
" for job in range(self.jobs):\n",
" if not self.legal_actions[job]:\n",
" if (\n",
" self.time_until_finish_current_op_jobs[job] > 0\n",
" and self.todo_time_step_job[job] + 1 < self.machines\n",
" ):\n",
" time_step = self.todo_time_step_job[job] + 1\n",
" time_needed = (\n",
" self.current_time_step\n",
" + self.time_until_finish_current_op_jobs[job]\n",
" )\n",
" while (\n",
" time_step < self.machines - 1 and max_horizon > time_needed\n",
" ):\n",
" machine_needed = self.instance_matrix[job][time_step][0]\n",
" if (\n",
" max_horizon_machine[machine_needed] > time_needed\n",
" and self.machine_legal[machine_needed]\n",
" ):\n",
" machine_next.add(machine_needed)\n",
" if len(machine_next) == self.nb_machine_legal:\n",
" self.legal_actions[self.jobs] = True\n",
" return\n",
" time_needed += self.instance_matrix[job][time_step][1]\n",
" time_step += 1\n",
" elif (\n",
" not self.action_illegal_no_op[job]\n",
" and self.todo_time_step_job[job] < self.machines\n",
" ):\n",
" time_step = self.todo_time_step_job[job]\n",
" machine_needed = self.instance_matrix[job][time_step][0]\n",
" time_needed = (\n",
" self.current_time_step\n",
" + self.time_until_available_machine[machine_needed]\n",
" )\n",
" while (\n",
" time_step < self.machines - 1 and max_horizon > time_needed\n",
" ):\n",
" machine_needed = self.instance_matrix[job][time_step][0]\n",
" if (\n",
" max_horizon_machine[machine_needed] > time_needed\n",
" and self.machine_legal[machine_needed]\n",
" ):\n",
" machine_next.add(machine_needed)\n",
" if len(machine_next) == self.nb_machine_legal:\n",
" self.legal_actions[self.jobs] = True\n",
" return\n",
" time_needed += self.instance_matrix[job][time_step][1]\n",
" time_step += 1\n",
"\n",
" def step(self, action: int):\n",
" reward = 0.0\n",
" if action == self.jobs:\n",
" self.nb_machine_legal = 0\n",
" self.nb_legal_actions = 0\n",
" for job in range(self.jobs):\n",
" if self.legal_actions[job]:\n",
" self.legal_actions[job] = False\n",
" needed_machine = self.needed_machine_jobs[job]\n",
" self.machine_legal[needed_machine] = False\n",
" self.illegal_actions[needed_machine][job] = True\n",
" self.action_illegal_no_op[job] = True\n",
" while self.nb_machine_legal == 0:\n",
" reward -= self.increase_time_step()\n",
" scaled_reward = self._reward_scaler(reward)\n",
" self._prioritization_non_final()\n",
" self._check_no_op()\n",
" return (\n",
" self._get_current_state_representation(),\n",
" scaled_reward,\n",
" self._is_done(),\n",
" False,\n",
" {},\n",
" )\n",
" else:\n",
" current_time_step_job = self.todo_time_step_job[action]\n",
" machine_needed = self.needed_machine_jobs[action]\n",
" time_needed = self.instance_matrix[action][current_time_step_job][1]\n",
" reward += time_needed\n",
" self.time_until_available_machine[machine_needed] = time_needed\n",
" self.time_until_finish_current_op_jobs[action] = time_needed\n",
" self.state[action][1] = time_needed / self.max_time_op\n",
" to_add_time_step = self.current_time_step + time_needed\n",
" if to_add_time_step not in self.next_time_step:\n",
" index = bisect.bisect_left(self.next_time_step, to_add_time_step)\n",
" self.next_time_step.insert(index, to_add_time_step)\n",
" self.next_jobs.insert(index, action)\n",
" self.solution[action][current_time_step_job] = self.current_time_step\n",
" for job in range(self.jobs):\n",
" if (\n",
" self.needed_machine_jobs[job] == machine_needed\n",
" and self.legal_actions[job]\n",
" ):\n",
" self.legal_actions[job] = False\n",
" self.nb_legal_actions -= 1\n",
" self.nb_machine_legal -= 1\n",
" self.machine_legal[machine_needed] = False\n",
" for job in range(self.jobs):\n",
" if self.illegal_actions[machine_needed][job]:\n",
" self.action_illegal_no_op[job] = False\n",
" self.illegal_actions[machine_needed][job] = False\n",
" # if we can't allocate new job in the current timestep, we pass to the next one\n",
" while self.nb_machine_legal == 0 and len(self.next_time_step) > 0:\n",
" reward -= self.increase_time_step()\n",
" self._prioritization_non_final()\n",
" self._check_no_op()\n",
" # we then need to scale the reward\n",
" scaled_reward = self._reward_scaler(reward)\n",
" return (\n",
" self._get_current_state_representation(),\n",
" scaled_reward,\n",
" self._is_done(),\n",
" False,\n",
" {},\n",
" )\n",
"\n",
" def _reward_scaler(self, reward):\n",
" return reward / self.max_time_op\n",
"\n",
" def increase_time_step(self):\n",
" \"\"\"\n",
" The heart of the logic his here, we need to increase every counter when we have a nope action called\n",
" and return the time elapsed\n",
" :return: time elapsed\n",
" \"\"\"\n",
" hole_planning = 0\n",
" next_time_step_to_pick = self.next_time_step.pop(0)\n",
" self.next_jobs.pop(0)\n",
" difference = next_time_step_to_pick - self.current_time_step\n",
" self.current_time_step = next_time_step_to_pick\n",
" for job in range(self.jobs):\n",
" was_left_time = self.time_until_finish_current_op_jobs[job]\n",
" if was_left_time > 0:\n",
" performed_op_job = min(difference, was_left_time)\n",
" self.time_until_finish_current_op_jobs[job] = max(\n",
" 0, self.time_until_finish_current_op_jobs[job] - difference\n",
" )\n",
" self.state[job][1] = (\n",
" self.time_until_finish_current_op_jobs[job] / self.max_time_op\n",
" )\n",
" self.total_perform_op_time_jobs[job] += performed_op_job\n",
" self.state[job][3] = (\n",
" self.total_perform_op_time_jobs[job] / self.max_time_jobs\n",
" )\n",
" if self.time_until_finish_current_op_jobs[job] == 0:\n",
" self.total_idle_time_jobs[job] += difference - was_left_time\n",
" self.state[job][6] = self.total_idle_time_jobs[job] / self.sum_op\n",
" self.idle_time_jobs_last_op[job] = difference - was_left_time\n",
" self.state[job][5] = self.idle_time_jobs_last_op[job] / self.sum_op\n",
" self.todo_time_step_job[job] += 1\n",
" self.state[job][2] = self.todo_time_step_job[job] / self.machines\n",
" if self.todo_time_step_job[job] < self.machines:\n",
" self.needed_machine_jobs[job] = self.instance_matrix[job][\n",
" self.todo_time_step_job[job]\n",
" ][0]\n",
" self.state[job][4] = (\n",
" max(\n",
" 0,\n",
" self.time_until_available_machine[\n",
" self.needed_machine_jobs[job]\n",
" ]\n",
" - difference,\n",
" )\n",
" / self.max_time_op\n",
" )\n",
" else:\n",
" self.needed_machine_jobs[job] = -1\n",
" # this allow to have 1 is job is over (not 0 because, 0 strongly indicate that the job is a\n",
" # good candidate)\n",
" self.state[job][4] = 1.0\n",
" if self.legal_actions[job]:\n",
" self.legal_actions[job] = False\n",
" self.nb_legal_actions -= 1\n",
" elif self.todo_time_step_job[job] < self.machines:\n",
" self.total_idle_time_jobs[job] += difference\n",
" self.idle_time_jobs_last_op[job] += difference\n",
" self.state[job][5] = self.idle_time_jobs_last_op[job] / self.sum_op\n",
" self.state[job][6] = self.total_idle_time_jobs[job] / self.sum_op\n",
" for machine in range(self.machines):\n",
" if self.time_until_available_machine[machine] < difference:\n",
" empty = difference - self.time_until_available_machine[machine]\n",
" hole_planning += empty\n",
" self.time_until_available_machine[machine] = max(\n",
" 0, self.time_until_available_machine[machine] - difference\n",
" )\n",
" if self.time_until_available_machine[machine] == 0:\n",
" for job in range(self.jobs):\n",
" if (\n",
" self.needed_machine_jobs[job] == machine\n",
" and not self.legal_actions[job]\n",
" and not self.illegal_actions[machine][job]\n",
" ):\n",
" self.legal_actions[job] = True\n",
" self.nb_legal_actions += 1\n",
" if not self.machine_legal[machine]:\n",
" self.machine_legal[machine] = True\n",
" self.nb_machine_legal += 1\n",
" return hole_planning\n",
"\n",
" def _is_done(self):\n",
" if self.nb_legal_actions == 0:\n",
" self.last_time_step = self.current_time_step\n",
" self.last_solution = self.solution\n",
" return True\n",
" return False\n",
"\n",
" def render(self, mode=\"human\"):\n",
" df = []\n",
" for job in range(self.jobs):\n",
" i = 0\n",
" while i < self.machines and self.solution[job][i] != -1:\n",
" dict_op = dict()\n",
" dict_op[\"Task\"] = \"Job {}\".format(job)\n",
" start_sec = self.solution[job][i]\n",
" finish_sec = start_sec + self.instance_matrix[job][i][1]\n",
" dict_op[\"Start\"] = start_sec\n",
" dict_op[\"Finish\"] = finish_sec\n",
" dict_op[\"Resource\"] = \"Machine {}\".format(\n",
" self.instance_matrix[job][i][0]\n",
" )\n",
" df.append(dict_op)\n",
" i += 1\n",
" fig = None\n",
" if len(df) > 0:\n",
" df = pd.DataFrame(df)\n",
" fig = ff.create_gantt(\n",
" df,\n",
" index_col=\"Resource\",\n",
" colors=self.colors,\n",
" show_colorbar=True,\n",
" group_tasks=True,\n",
" )\n",
" fig.update_yaxes(\n",
" autorange=\"reversed\"\n",
" ) # otherwise tasks are listed from the bottom up\n",
" gantt_chart_console(df, n_machines=self.machines)\n",
" return fig"
]
},
{
"cell_type": "code",
"execution_count": 7,
"id": "23f604f6",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:10.349192Z",
"start_time": "2025-03-04T16:00:10.346156Z"
}
},
"outputs": [],
"source": [
"class JSSEnvRewardWrapper(gym.Wrapper):\n",
" def __init__(self, env: gym.Env, lower_bound):\n",
" super().__init__(env)\n",
" self.lower_bound = lower_bound\n",
"\n",
" def step(self, action: Any) -> tuple[Any, float, bool, bool, dict]:\n",
" observation, reward, done, truncated, info = self.env.step(action)\n",
" # Add custom step logic here\n",
" reward = -env.unwrapped.last_time_step / self.lower_bound + 2 if self.env.unwrapped._is_done() else 0.0\n",
" return observation, reward, done, truncated, info"
]
},
{
"cell_type": "code",
"execution_count": 8,
"id": "fa2c7334",
"metadata": {
"ExecuteTime": {
"end_time": "2025-03-04T16:00:16.357742Z",
"start_time": "2025-03-04T16:00:10.349805Z"
}
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33mN\u001B[0m=125, \u001B[33mQ_v\u001B[0m=1.65, \u001B[33mbest\u001B[0m=2.00)\n",
"├── (\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;252;101;128m0.44\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m0.46\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.54\u001B[0m)\n",
"│ \u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;250;102;128m0.46\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m0.46\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.05\u001B[0m)\n",
"├── (\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m31\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;105;175;153m1.65\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.83\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.93\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;105;175;153m1.66\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.79\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;106;174;153m1.64\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.74\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.26\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.75\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.79\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.36\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;108;173;153m1.63\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.66\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;102;176;154m1.67\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.83\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;100;177;154m1.69\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.83\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;100;177;154m1.69\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.81\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;107;174;153m1.64\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.71\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.26\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;107;174;153m1.64\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.78\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;114;170;152m1.58\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.72\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;99;178;154m1.70\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.78\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.32\u001B[0m)\n",
"│ \u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;101;177;154m1.69\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.77\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n",
"├── (\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m6\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;152;151;145m1.27\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.36\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.90\u001B[0m)\n",
"│ \u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;157;149;144m1.23\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.36\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.90\u001B[0m)\n",
"│ \u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;172;141;142m1.10\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.10\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.69\u001B[0m)\n",
"│ \u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;162;146;143m1.19\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.19\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"│ \u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;144;155;147m1.33\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.33\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.00\u001B[0m)\n",
"│ \u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;144;155;147m1.33\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.33\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.92\u001B[0m)\n",
"├── (\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;158;148;144m1.21\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.29\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.91\u001B[0m)\n",
"│ \u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;166;144;143m1.16\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.16\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"│ \u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;149;153;146m1.29\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.29\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"│ \u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;154;150;145m1.25\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.29\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.88\u001B[0m)\n",
"│ \u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;160;147;144m1.20\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.20\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.79\u001B[0m)\n",
"├── (\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m78\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;91;182;156m1.77\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.94\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m24\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.75\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.92\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m7\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.75\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.92\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.79\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.90\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m6\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;97;179;155m1.72\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.81\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m21\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;95;180;155m1.74\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;103;176;154m1.67\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.72\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;90;182;156m1.77\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m7\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;92;182;155m1.76\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.87\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;97;179;155m1.72\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.91\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"│ \u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m13\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"└── (\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m2\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;220;117;133m0.71\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m0.73\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.81\u001B[0m)\n",
" \u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m1\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;218;118;134m0.73\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m0.73\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.32\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:10] INFO selected action 4 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:10]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m4\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m203\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.92\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;90;182;156m1.77\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.99\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m17\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.75\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.92\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;99;178;154m1.70\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.83\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;106;174;153m1.65\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.70\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m7\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.92\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.32\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m23\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;185;157m1.82\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m6\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.76\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.86\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.30\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m8\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.94\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.28\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m14\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;95;180;155m1.73\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.88\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.76\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.83\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.42\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m4\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;96;179;155m1.72\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.85\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.30\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;98;179;154m1.71\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.88\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.37\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m3\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;96;179;155m1.72\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.81\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.39\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;92;182;155m1.76\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.00\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;99;178;154m1.70\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.84\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;99;178;154m1.70\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.84\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m17\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;90;182;156m1.77\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m5\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;103;176;154m1.67\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.86\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m11\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.92\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m19\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.92\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.08\u001B[0m)\n",
"\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m98\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.00\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m28\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;86;185;156m1.81\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m27\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;85;185;157m1.82\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m33\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m36\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m15\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;85;185;157m1.81\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:11] INFO selected action 5 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:11]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m5\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m223\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.96\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m64\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.03\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m63\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m62\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.02\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.03\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.02\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m74\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.02\u001B[0m)\n",
"\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m82\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.03\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m46\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;79;188;158m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m45\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.08\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m35\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m34\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.83\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 5 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m5\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m207\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.97\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m115\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m114\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.00\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m37\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m91\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m90\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.00\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m31\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m27\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;85;185;157m1.82\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m31\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 1 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m240\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.98\u001B[0m)\n",
"\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m239\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.98\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m166\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.02\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m70\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m95\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m72\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.82\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.02\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;90;183;156m1.79\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:12] INFO selected action 5 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:12]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m5\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m364\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.96\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m265\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.00\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m111\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m57\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.08\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m53\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m153\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m152\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.03\u001B[0m)\n",
"\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m98\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.82\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.99\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m38\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;90;183;156m1.80\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m12\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;93;181;155m1.77\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.89\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m13\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.81\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m12\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;88;184;156m1.81\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;185;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.81\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.26\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m15\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.81\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.93\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m10\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;87;184;156m1.82\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m13\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.26\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 0 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m0\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m390\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.98\u001B[0m)\n",
"\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m171\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;79;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m95\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m41\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m24\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;185;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m26\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.98\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m28\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m218\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m217\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m68\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m99\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 2 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m343\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.99\u001B[0m)\n",
"\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m342\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.99\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m98\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;79;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;79;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m37\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m28\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m174\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m61\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m60\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m52\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m69\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m68\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;83;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.03\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 0 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m0\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m467\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m1.98\u001B[0m)\n",
"\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m133\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m43\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;79;188;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m18\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m24\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;77;189;158m1.90\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m23\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m25\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;76;190;158m1.91\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.00\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m40\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m18\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m21\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.99\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m249\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m86\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m85\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m83\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m82\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m79\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m34\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;76;190;158m1.91\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m84\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.04\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m83\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.01\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m27\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;186;157m1.85\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m26\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;84;185;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;82;187;157m1.86\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:13] INFO selected action 4 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:13]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m4\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m374\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.02\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m138\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m137\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m41\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m53\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m119\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m118\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m40\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m35\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;76;190;158m1.91\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m116\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m66\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m24\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m21\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;76;190;158m1.91\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m14\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;78;189;158m1.89\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.26\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m17\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.91\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m17\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.26\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 0 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m0\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m263\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m262\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m80\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;73;191;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m33\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.91\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m46\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m85\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m38\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m46\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m96\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m48\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m47\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 4 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m4\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m387\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.03\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m120\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m33\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m15\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;85;185;157m1.84\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.94\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m70\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m69\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.03\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m119\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m53\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;74;191;159m1.93\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;80;188;158m1.88\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.95\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m65\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m64\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m147\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m74\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m73\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m72\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m71\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 5 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m5\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m272\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m141\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m140\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m64\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m130\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m129\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m69\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:14] INFO selected action 1 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:14]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m266\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m265\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m128\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m43\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m40\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m136\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m48\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m43\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 2 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m390\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.05\u001B[0m)\n",
"\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m184\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.08\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m58\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m30\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m27\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m66\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m33\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m26\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m205\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.08\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m67\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m37\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.94\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m71\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m35\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m35\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m66\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m30\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m35\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 4 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m4\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m330\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.06\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m106\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m58\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m46\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m26\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m19\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m121\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m60\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m60\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m102\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;70;193;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m46\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m26\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m19\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;75;190;158m1.92\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.96\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m54\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 1 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m246\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m124\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m123\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m47\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m121\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m120\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m72\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m47\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 0 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m0\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m249\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m248\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.08\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m158\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m92\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m65\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;69;193;159m1.97\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m89\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m44\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:15] INFO selected action 3 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:15]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m3\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m373\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.07\u001B[0m)\n",
"\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m250\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m148\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m49\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m101\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m60\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m40\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m122\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m61\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m60\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m60\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;72;192;159m1.95\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.97\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 2 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m375\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m224\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m36\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m38\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m74\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m37\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m36\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m74\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m37\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m36\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m150\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m90\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m89\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;71;192;159m1.96\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m41\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m17\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;81;187;157m1.87\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m1.91\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 3 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m3\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m349\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m116\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m57\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m56\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m58\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m28\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m115\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m57\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m56\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m57\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m56\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m117\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m57\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m56\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 5 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m5\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m242\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m122\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m59\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m31\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m27\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m62\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m21\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.33\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.33\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.33\u001B[0m)\n",
"\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m119\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m118\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m65\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m52\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m1.99\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 3 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m3\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m247\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m120\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m65\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m32\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m54\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;66;195;160m2.00\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m29\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m24\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;68;194;160m1.98\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.27\u001B[0m)\n",
"\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m126\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m43\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m40\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m39\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m21\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 6 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m6\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m251\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m87\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m86\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m43\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m80\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m79\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m39\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;255;109;56m│ \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m39\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m83\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m21\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n",
"\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.32\u001B[0m)\n",
"\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m40\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m20\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.31\u001B[0m)\n",
"\u001B[38;2;255;109;56m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m19\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.32\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 0 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m0\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m212\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m211\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m108\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m107\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m102\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.17\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m53\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m48\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.23\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 2 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m336\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m173\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m172\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m86\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m85\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m162\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;64;196;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m85\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m42\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;255;109;56m6\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;255;109;56m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m38\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.24\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;255;109;56m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m37\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;65;195;160m2.01\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.01\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.25\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
"[17:00:16] INFO selected action 0 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m[17:00:16]\u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m0\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;127;0;255m0\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m298\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;127;0;255m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m297\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m148\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m147\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m148\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;127;0;255m \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m147\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 1 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m422\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m211\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m210\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m69\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m70\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m70\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m210\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m209\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m69\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m70\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m69\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.21\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 3 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m3\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m336\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m335\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m111\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m112\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m56\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m111\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m55\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.22\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 5 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m5\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;236;199;110m5\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m460\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m152\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;18;199;229m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;18;199;229m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m74\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;236;199;110m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m154\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m77\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;236;199;110m│ \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.18\u001B[0m)\n",
"\u001B[38;2;236;199;110m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m153\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m76\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.20\u001B[0m)\n",
"\u001B[38;2;236;199;110m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m75\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.19\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 3 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m3\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m279\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;90;248;199m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m139\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m138\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;90;248;199m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m137\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m139\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.16\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m138\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m137\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.15\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 4 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m4\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m264\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m263\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m262\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m261\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 2 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4, 2] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m388\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m387\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m386\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m192\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n",
"\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m193\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.14\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 4 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m4\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4, 2, 4] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;164;248;158m4\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m512\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;164;248;158m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m511\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m255\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m254\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m255\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.13\u001B[0m)\n",
"\u001B[38;2;164;248;158m \u001B[0m\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m254\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 1 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4, 2, 4, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m636\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;55;109;248m├── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m317\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m316\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;55;109;248m│ \u001B[0m\u001B[38;2;18;199;229m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m315\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;55;109;248m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m318\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.12\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m317\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n",
"\u001B[38;2;55;109;248m \u001B[0m\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m316\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.11\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 3 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m3\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4, 2, 4, 1, 3] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;90;248;199m3\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m443\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;90;248;199m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m442\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n",
"\u001B[38;2;90;248;199m \u001B[0m\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m441\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.10\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 2 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m2\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4, 2, 4, 1, 3, 2] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
"(\u001B[33ma\u001B[0m=\u001B[38;2;18;199;229m2\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m567\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n",
"\u001B[38;2;18;199;229m└── \u001B[0m(\u001B[33ma\u001B[0m=\u001B[38;2;55;109;248m1\u001B[0m, \u001B[33mN\u001B[0m=\u001B[96m566\u001B[0m, \u001B[33mQ_v\u001B[0m=\u001B[38;2;63;196;160m2.02\u001B[0m, \u001B[33mbest\u001B[0m=\u001B[96m2.02\u001B[0m, \u001B[33mubc\u001B[0m=\u001B[96m2.09\u001B[0m)\n"
]
},
{
"data": {
"text/html": [
" INFO selected action 1 after 125 simulations. \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m selected action \u001B[1;36m1\u001B[0m after \u001B[1;36m125\u001B[0m simulations. \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO current action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, \n",
" 2, 0, 1, 3, 5, 3, 4, 2, 4, 1, 3, 2, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m current action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
" INFO Final action list: [4, 5, 5, 1, 5, 0, 2, 0, 4, 0, 4, 5, 1, 2, 4, 1, 0, 3, 2, 3, 5, 3, 6, 0, 2, \n",
" 0, 1, 3, 5, 3, 4, 2, 4, 1, 3, 2, 1] \n",
"\n"
],
"text/plain": [
"\u001B[2;36m \u001B[0m\u001B[2;36m \u001B[0m\u001B[34mINFO \u001B[0m Final action list: \u001B[1m[\u001B[0m\u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m6\u001B[0m, \u001B[1;36m0\u001B[0m, \u001B[1;36m2\u001B[0m, \n",
"\u001B[2;36m \u001B[0m \u001B[1;36m0\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m5\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m4\u001B[0m, \u001B[1;36m1\u001B[0m, \u001B[1;36m3\u001B[0m, \u001B[1;36m2\u001B[0m, \u001B[1;36m1\u001B[0m\u001B[1m]\u001B[0m \n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"name": "stdout",
"output_type": "stream",
"text": [
" ╔═══════════════════════════════════════════════════════╗\n",
"Job 0 ║ \u001B[38;2;76;242;206m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█ \u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█ \u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█ \u001B[0m║ Machine 0 \u001B[38;2;127;0;255m█\u001B[0m\n",
"Job 1 ║ \u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█ \u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█ \u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[0m║ Machine 1 \u001B[38;2;25;149;242m█\u001B[0m\n",
"Job 2 ║ \u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█ \u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;25;149;242m█ \u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█ \u001B[0m║ Machine 2 \u001B[38;2;76;242;206m█\u001B[0m\n",
"Job 3 ║ \u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█ \u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█ \u001B[0m║ Machine 3 \u001B[38;2;178;242;149m█\u001B[0m\n",
"Job 4 ║\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█\u001B[38;2;76;242;206m█ \u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█ \u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;178;242;149m█ \u001B[0m║ Machine 4 \u001B[38;2;255;149;78m█\u001B[0m\n",
"Job 5 ║\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;25;149;242m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;178;242;149m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;255;0;0m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█\u001B[38;2;127;0;255m█ \u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█\u001B[38;2;255;149;78m█ \u001B[38;2;76;242;206m█ \u001B[0m║ Machine 5 \u001B[38;2;255;0;0m█\u001B[0m\n",
" ╚╦════╤════╤════╤════╤════╦════╤════╤════╤════╤════╦════╝\n",
" 0.0 26.8 53.6 \n",
"makespan: 58\n"
]
}
],
"source": [
"if __name__ == '__main__':\n",
" log.setLevel(20)\n",
"\n",
" jsp_std_path = \"ft06.txt\"\n",
"\n",
" gym.envs.registration.register(\n",
" id=\"jss-v1\",\n",
" entry_point=\"JSSEnv.envs:JssEnv\",\n",
" )\n",
"\n",
" env = JssEnv(env_config={'instance_path': jsp_std_path})\n",
" env.reset()\n",
" env = NormalizeReward(env, gamma=0.99, epsilon=1e-8)\n",
" env = TransformReward(env, lambda r: r / 36)\n",
"\n",
"\n",
" # env = JSSEnvRewardWrapper(env, lower_bound=55.0)\n",
"\n",
" def mask_fn(env: gym.Env) -> np.ndarray:\n",
" # Do whatever you'd like in this function to return the action mask\n",
" # for the current env. In this example, we assume the env has a\n",
" # helpful method we can rely on.\n",
" return env.unwrapped.legal_actions\n",
"\n",
"\n",
" env = DeepCopyMCTSGymEnvWrapper(\n",
" env,\n",
" action_mask_fn=mask_fn\n",
" )\n",
"\n",
" agent = GymctsAgent(\n",
" env=env,\n",
" clear_mcts_tree_after_step=False,\n",
" render_tree_after_step=True,\n",
" exclude_unvisited_nodes_from_render=True,\n",
" number_of_simulations_per_step=125,\n",
" )\n",
"\n",
" root = agent.search_root_node.get_root()\n",
"\n",
" actions = agent.solve(render_tree_after_step=True)\n",
"\n",
" env.reset()\n",
" for a in actions:\n",
" obs, rew, term, trun, info = env.step(a)\n",
"\n",
" env.unwrapped.render(mode=\"human\")\n",
" print(f\"makespan: {env.unwrapped.last_time_step}\")"
]
}
],
"metadata": {
"jupytext": {
"cell_metadata_filter": "-all",
"main_language": "python",
"notebook_metadata_filter": "-all"
},
"kernelspec": {
"display_name": "Python 3 (ipykernel)",
"language": "python",
"name": "python3"
}
},
"nbformat": 4,
"nbformat_minor": 5
}