За последние годы искусственный интеллект сделал значительный шаг вперед. Люди потерпели поражение в борьбе с компьютером в таких играх, как шахматы, шашки и Го. Покеристы всего мира с ужасом ждали, когда ИИ доберется до покера. Однако все не так просто.
Безлимитный холдем – самый популярный формат покера. Несмотря на развитие ИИ и его успехи в играх с полной информацией, победить лучших игроков в Холдем не по силам компьютерному разуму ввиду неполной информации и огромного древа решений. Это было правдой до января 2017, когда покерный бот Libratus официально разгромил в хедзап-покер лучших игроков мира в безлимитный холдем и сделал это с огромным винрейтом в 14.72 bb/100. Подробнее об этом вы можете прочитать в нашем прошлом материале, посвященном этому ХА-матчу.
Создателями HU-бота выступили профессоры Томас Сандхольм и Ноам Браун из университета Карнеги-Меллон. На прошлой неделе в статье для Американской ассоциации содействия развитию науки они раскрыли некоторые детали своего подхода к созданию покерного ИИ.
Решение игры
Ученые отмечают, что все действия Libratus’a управляются тремя игровыми модулями. Первый модуль рассчитывает общую концепцию игры, которая годится для ранних этапов – рейзы и фолды префлоп, ответы на ререйз и т.д. Они рассматривали данную часть, как фундамент общего стратегического плана на игру.
Когда игра переходит в более поздний этап, второй модуль на основании общего фундамента начинает решать игру в реальном времени и подстраиваться под ситуацию. В отличие от игр с полной информацией, Libratus не пытался найти идеальное решение в каждой конкретной ситуации, а старался сделать ход исходя из общей стратегии игры и с учетом индивидуальных особенностей ситуации.
Третий модуль относился к самосовершенствованию бота в процессе игры. Он должен был анализировать происходящее за покерным столом, соотносить карты соперника на шоудауне с картами на столе и на основании этого стараться заполнить пустующие ветви решений. Создатели бота считают, что можно было произвести ГТО-вычисления заранее, но игровое древо слишком велико для текущих мощностей.
Несмотря на сложное устройство бота, ученые опасались, что он начнет чрезмерно упрощать игру, принимая одни и те же решения с похожими картами.
«Существует небольшая разница между комбинациями карт, как между флаш K-high или Q-high, например. Если соотнести эти руки вместе, то снизится сложность игры и она станет проще для решения. Однако эти различия существенны, когда против тебя играет соперник высокого уровня игры. Люди могли воспользоваться подобными упрощениями, и разница между подобными комбинациями была бы как между победой и поражением».
Особенности бота
Если говорить об индивидуальных особенностях ситуаций, которые учитывал бот, то ученые заявляют, что к ним относились такие факторы, как структура доски, позиция, действия на предыдущих улицах и т.д.
Многие зрители отмечали, что стратегия игры на ривере у бота изобилует огромными овербетами, как с блефом, так и с сильной рукой. Ученые объяснили это попыткой научить бота использовать «блокеры».
«К примеру, если Libratus имел А4
на доске K
J
Будущее разработки
Говоря о перспективах перехода к 6-макс играм, ученые с сожалением отмечают, что для полноценного просчета требуются существенные мощности.
«Алгоритм, который позволял создать что-то близкое к просчету оптимальной стратегии в лимитном холдеме, самой простой версии покера, имел 10 в 13 уникальных решений. Для сравнения, чтобы просчитать HUNL уже потребовался просчет приблизительно 10^161, что делало невозможным построение полноценного древа решений для каждой ситуации. Если говорить о 6-макс NL-холдеме, где возможных ситуаций становится намного больше, то полноценный его просчет еще далек от реальности» заявляют разработчики.
Остается только надеяться, что покерные боты не смогут полностью одолеть 6-макс. А насколько хорошо с ними могут бороться современные покер-румы – читайте в нашей статье.