Может быть, ОпенАИ врут, и обучали на данных поведения игроков, а может и правду говорили. По их словах, данные игроков они подключили ближе к концу обучения.
Я читал, что они именно на базе наигранного игроками обучались. Впрочем, на первом этапе, наверное, они и не могли иначе, кроме как друг против друга.
В том-то и дело, что нет жесткого алгоритма, есть гибкая нейросеть. Она учитывает всё, но по своему.
Всё, что работает на архитектуре современных компьютеров, работает по алгоритму. Любая программа - это и есть алгоритм, какой бы она ни была. Потому что в основе всё равно банальный калькулятор. Просто раньше правили ручками, а теперь нашли отличный способ автоматической правки, когда сама же программа себя и исправляет, на основе полученных данных. Это на порядки быстрее и совершенно бесплатно, человечество плату не потребует. Очень удобно.
В ту же сеги, очень сложную игру, где многообразия тактических ходов на порядок выше, чем во всех современных игрушках, сделали, и ии обыграл чемпиона. при этом, что важно: не тупым перебором, потому что это выходила слишком сложная задача даже для современных компов, а именно что мысля как околочеловек.
И как это определили - каким именно образом? Я уже говорил, что сама по себе виртуальная среда даёт управляющей программе неограниченные возможности. Но, даже если не было читерства, то как проверить способ? Они что - всем код открывали? Они предоставили бота как есть, а как и что именно он делает, и как взаимодействует с управляющей программой - тайна сия велика есть. Это не шахматные дуэли с живым человеком, когда нет виртуальной среды.
Другой момент, что большая часть современных игр мерисьюшна, и там достойный противник нафиг не нужен. Нужен кажущийся опасным болванчик для битья, чтобы игроки чувствовали себя нагибаторами.
Во-первых, все люди разные. И все садятся играть по разным причинам. Соответственно, возможности и способности у всех разные. Из этого далеко не следует, что все хотят лёгких побед. Потому что критерии сложности для всех разные. Для многих и нынешние виртуальные противники вполне себе труднопроходимые. Не по причине самообмана, а именно по причине ограниченных способностей, времени, желания и пр.
Во-вторых, игры всё-таки должны хотя бы окупаться. Да, очень плохо спекулировать на чувстве успеха у игроков, но жить-то игроделам тоже на что-то надо. Везде капитализм, ноги протянешь, если будешь делать только то, что тебе нравится. Так что тут по-любому будет золотая середина. Лучшие игры как раз в неё и попадают.