В The New York Times появилась статья, посвященная игровым автоматам, способным разорвать практически любого покериста в лимитный холдем в хедз-ап. Эти машины уже были установлены в Лас-Вегасе, да и, возможно, других местах. Ниже вы можете ознакомиться с пepевoдом этого материала, а чуть позже на сайте появится пepевoд дискуссии на TwoPlusTwo, в которой засветился автор самой статьи...


Чуть позже в этом месяце пройдёт Global Gaming Expo в Лас-Вегасе, где Фил Хельмут, обладающий наибольшим количеством браслетов WSOP во всём мире, представит новую версию упомянутого игрового автомата. После этого машины разойдутся по всему свету.

Однако покер – игра навыка и интуиции, блефов и ловушек. Недаром же говорят, что в покере вы играете против оппонента, а не карт. Этот игровой автомат реагирует на действия оппонентов и пытается подобрать оптимальную стратегию, но чтобы соревноваться с лучшими из лучших необходимо было создать совершенный механизм.

Грег Джуфриа, чья компания G2 Game Design, разработавшая машину, тестировала прототип в офисе организации, когда ему показалось, что он заметил недостаток. Когда он играл пассивно до самой последней улицы, а потом внезапно ставил, машина постоянно склонялась к фолду, нежели чем рисковала терять дeньги. 


«Я позвал сотрудников и рассказал, что, похоже, нашёл проблему. Казалось, что продукт можно было легко эксплоатить, однако, сыграв ещё двести рук, я не заметил ничего подобного. В этот момент мы назвали прототип «мелким ублюдком».

Истоки создания машины уходят в Норвегию в исследовательский институт, связанный с национальной защитой. Фредрик Дахл работал над искусственным интеллектом для секретных программ, симулирующих боевые действия. В его исследованиях использовались нейронные сети. Они работают как одномерный человеческий мозг; сложнейшие компьютерные алгоритмы разрабатывают стратегии, которые появляются с помощью повторяющихся математических расчетов. Дахл работал над двухсторонними играми с нулевой суммой, где у игроков нет взаимных интересов. Его разработки оказались полезны не только для военных действий, но и для покера. Начинал норвежец, правда, с нард.

Фредрик использовал нейронные сети для того, чтобы просчитать возможность выигрыша в нарды с каждой позиции на доске и в каждой стадии игры. Ученый считает, что любая уникальная ситуация легко решается. Сложность заключалась в том, что нужно было определить все возможные ситуации, определить значимость каждого события и впоследствии выбрать нужный вариант.

В конце концов, получившуюся программу для нардов он стал продавать, и ей даже пользовался Малкольм Дэвис, кого сам норвежец считает одним из лучших в мире в своё время. Чуть позже учёный сдвинул фокус своего интереса на покер. Его заинтересовало то, что покер, в отличие от нардов, игра с неполной информацией, что добавляло сложностей.

Дахл вспоминает, что как-то раз смотрел на экран своего компьютера, наблюдая за битвой нейронных сетей, когда однажды он увидел нечто нетипичное – компьютер научился флоатить!

«Тогда я даже не знал о такой стратегии. Чуть позже мне показалось чудесным, что нейронные сети смогли самостоятельно прийти к тактике, успешно используемой многими игроками».


Изначально норвежец не планировал создавать коммерческую версию своей разработки, поскольку считал, что это будет сделать слишком тяжело. Однако в 2003 году он всё-таки согласился начать работу над версией, которая сможет занять место в казино.

Разработка Дахла училась подстраиваться под оппонента, например, если он слишком много фолдил, то машина играла агрессивно; если же оппонент был агрессивен, то автомат строил ловушки. Однако здесь и скрыта небольшая трудность, поскольку комиссии казино требуют, чтобы игровые автоматы не подстраивались под определенных оппонентов. Таким образом, машины Дахла не смогут учиться на опыте своей игры в казино.

Нейронные сети, отвечающие за обучение и улучшение модели, должны были быть заморожены. В то же время им необходимо быть очень сильными, чтобы постоянно побеждать оппонентов, иначе какой смысл ставить их в казино? Норвежец поначалу посчитал, что не сможет обойти такую сложность.

Тогда ему пришло иное решение: выстроить безупречную защитную игру. Вместо обучения на оппоненте и использовании его слабости (эксплоитная стратегия), мощность сети была направлена на то, чтобы сделать саму машину необыгрываемой (отсутствие путей эксплоита самой машины). 

Разработка Дахла становилась всё более непредсказуемой с течением времени. Через тысячи рук машины стали проводить оптимальное количество блефов. К тому же, вторая нейронная сеть, играющая в несколько ином стиле, была направлена на улучшение непредсказуемости действий машины. А когда у оппонента оставалось мало фишек в стеке, третья сеть вступала в бой и играла в подходящем стиле. Таким образом, получалась команда из трёх бойцов, умеющих действовать оптимально и непредсказуемо в разных ситуациях.

К 2006 году нейронные сети наиграли миллиарды рук, Дахл попросил своих друзей-покеристов опробовать разработку. Она побеждала достаточно часто, чтобы её можно было бы поставить в казино. Малкольм Дэвис, которого мы уже упомянули выше, представил автомат Бобу Хэмману, игроку в нарды и партнёру Билла Гейтса в бридж. Боб высоко оценил машину, дав её опробовать нескольким сильным покеристам, подтвердившим серьёзность происходящего. 

В октябре 2006 года Хэмман связался с Грегом Джуфриа, который к этому времени обладал компанией, занимающейся игровыми автоматами. Грегу предложение понравилось. Более того, в 1998 Джуфриа получил незабываемый урок: у него была возможность вложиться в Трипл-дро покер, автомат с видео-покером, который впоследствии стал самым популярным в своей нише. Тогда он, правда, от вложения отказался, а ведь мог стать миллиардером. Они все встретились в Лас-Вегасе.

Triple Draw Play Poker


«Мне показали серый экран компьютера. Потом сдали карты, ты играл на очки, вёлся подсчет, кто сколько выиграл. Как только эта машина начал в меня блефовать, я понял, что это самая невероятная вещь, которую я только видел в своей жизни. Я бы ни за что не смог упустить такую возможность», - говорит Джуфриа.

Тогда-то он и решил сделать из обычной программы самый настоящий игровой автомат, держа в уме, что всё это обойдётся минимум в пять миллионов долларов. Для начала ему было необходимо протестировать каждую нейронную сеть. Но всё появлялось благодаря само-тренировке, а не было заложено человеком, поэтому не было и исходников, которые можно было бы проанализировать. Было невозможно отследить логику в действиях машины.

Им пришлось наблюдать за результатами без возможности понять, как они создавались. Ханикатт, главный инженер проекта, использовал математические программы, отслеживающие вероятности, для игры против нейронных сетей Дахла. Однако программы Ханикатта проиграли, а нейронные сети доказали свою силу, не показав аномалий или определенных шаблонов.

Позже были приглашены профессионалы, чтобы протестировать умения машины. Майк Матусов обращался с машиной как со своим другом, начиная вслух рассуждать о том, что она делает. Приходили и другие покеристы, которые, к своему удивлению, проигрывали. Это расстраивало многих.

Уверенный в том, что рынок у него в кармане, и что игроки не будут особо напрягаться по поводу честности сдаваемых машиной карт, Джуфриа отправился покорять Лас-Вегас. Его команда создала стильные карты, фишки и добавила реалистичные звуковые эффекты.

Прежде чем отправить автомат в I.G.T (организация, которая может первой отказать создателям), он был доставлен в игровую лабораторию, расположенную в Нью-Джерси. Обычно проверка занимает не больше месяца, однако игровая лаборатория потратила целых девять месяцев на разработку Дахла. В конце концов, когда тесты были завершены, Джуфриа поинтересовался у работников лаборатории, как машина будет справляться. На что получил ответ, что у настоящих людей шансов нет.


Поскольку абсолютно непобедимая игра особого успеха в казино не получит, машину запрограммировали на то, чтобы она "отупела" и иногда играла в пассивном стиле, дабы уменьшить её преимущество и заинтересовать казуальных игроков. В результате, все стали считать, что у машины множество недостатков. В онлайне начали говорить о её слабостях, подразумевая, что с легкостью будут выигрывать против неё. Откуда же им было знать, что автомат слабеет намеренно. 

Джуфриа принимает все эти высказывания близко к сердцу, однако не стремится их откорректировать:

«У нас есть не только машина, которую невозможно победить, но мы ещё и два года потратили на то, чтобы она слегка отупела и не побеждала буквально всегда. Об этом мы молчали».

Наташа Доу Шулл, профессор в M.I.T., сравнивает свой опыт игры на разработке с «по-настоящему хорошим средневековым автоматом», где «за пологом скрывается небольшой человек». Джуфрия старается не разрывать устоявшееся положение. Пусть все сравнивают машину именно с человеком, чтобы те игроки, кто иногда выигрывает, не считали бы её непобедимой. 

Майк Диксон, профессор психологии в университете Ватерлоо, считает, что игроки постоянно переоценивают свои способности и, достигая чего-то случайно, начинают считать себя величайшими игроками современности.

Машина завоевала небольшую фан-базу после того, как её стали ставить два года назад в залы Лас-Вегаса, Миссисипи и Калифорнии. Всего таких аппаратов около двухсот. Как только автомат появился в Беллажио и Ариа, где обитают самые богатые профессионалы Америки, им сразу же заинтересовались любители больших ставок.

Несколько профессионалов, в особенности специализирующихся на хедз-ап лимитном покере, имеют шанс выигрывать регулярно. Майкл Рид заявляет, что неплохо побеждает. Он говорит, что сыграв около пятисот часов, зарабатывает в среднем 135 долларов в час, играя на уровне блайндов 20$/40$. 

Впрочем, сам игрок заявляет, что не замечал, чтобы кто-то ещё уходил с заработком, а не пустыми руками. «Эти машины просто сокрушают людей. Автомат чрезвычайно агрессивен и стилит слишком много банков».

Но как Риду удается превзойти машину, которая так сложна? Майкл считает, что «машина получает преимущество из-за того, что играет агрессивно. Она практически никогда не играет чек-кол и не делает колл на ставки игроков (а часто рейзит). Бот считается с твоей рукой, когда ты рейзишь и ререйзишь». Рид обнаружил, что коннекторы в такой игре получают дополнительное вэлью. «Если на флопе приходит высокая карта, машина часто сбрасывает на ставку, считая, что ты получил высокую пару. Таким образом, у вас есть средний диапазон карт на флопе, с которым вы можете собрать хорошую руку, и высокий диапазон, с которым вы можете блефовать. Если вы не поставите, машина сделает это сама». Подсчитывалось, что Рид находится в сотне игроков со всего мира, кто может обыгрывать автомат.

Всего распространено 200 автоматов в хедз-ап лимитный холдем. В некоторых казино машин с трипл-дро покером может быть около сотни. Именно поэтому новые разработки Хельмута и Джонни Чана будут иметь что-то кроме поддержки и имиджа продвигающих их лиц. Автоматы получат свой уникальный стиль и, можно сказать, личность.

Оригинал: The Steely, Headless King of Texas Hold 'em

Пepевoд: Aektann