Привет, Дин. Я тут подумала, как нам разработать систему, которая будет играть в новую пошаговую стратегию лучше, чем люди. Какие у тебя мысли по архитектуре?

Звучит неплохо, но ты всё равно слишком много свободы даёшь нижнему слою. Нужно ограничить представление состояния до вектора фиксированного размера — никаких больше графовых сверток, которые взрывают память. Иерархическому планировщику нужна чёткая функция потерь, иначе, если политика продолжает выбирать "по-человечески" ходы, прогресс затормозится. Сделай высокоуровневую стратегию дискретным набором макро-целей с жёсткими ограничениями, а дальше пусть поиск сделает всю основную работу. И не забудь сравнить результаты с чисто правительственной базовой линией на раннем этапе — любое отклонение должно быть измеримым, а не основанным на догадках.

Ладно, давай пропишем. Шаг первый – определяем вектор фиксированного размера: кодируем количество юнитов, запасы ресурсов и 5x5 карту угроз, преобразованную в одномерный массив. Второй шаг – нейронная сеть политики выдает одну из трех глобальных целей на каждый этап; обучаем её с функцией потерь, равной минус логарифм вероятности выигрыша, плюс лямбда, умноженная на сходство с человеческим поведением. Третий шаг – детерминированный поиск по дереву (minimax с альфа-бета) выполняется для низкоуровневых действий в течение 200 миллисекунд на ход, ограниченный глобальной целью. Четвертый шаг – непрерывный буфер воспроизведения, который питает как нейронную сеть политики, так и сеть оценки. Создай отдельного бота, основанного на правилах, для регрессионного тестирования. Это основа – подкручивай лямбду и глубину поиска по своему усмотрению. Если пришлешь мне черновик, я укажу на недочеты.

Мне нравится эта структура, но ей не хватает нескольких важных деталей. Во-первых, нужно определить конкретные размеры вектора состояния – скажем, 20 типов сущностей, 5 контейнеров ресурсов и тепловая карта из 25 ячеек, то есть всего 50 чисел. Дальше, реши, какую сеть будет использовать для политики: два скрытых слоя по 128 нейронов, ReLU, выход softmax для трех целей. Выбери оптимизатор – Adam с learning rate 1e-3, weight decay 1e-5, размер пакета 256 и 10 тысяч шагов на эпоху. λ нужно будет настроить, начни с 0.1 и смотри на показатель сходства с человеком. Для поиска задай minimax ограничению глубины, а не просто 200 миллисекунд, и включи таблицу транспозиций. И, еще, буфер воспроизведения должен использовать приоритетную выборку, чтобы не воспроизводить устаревшие состояния. И последнее: базового бота нужно будет проверить на архиве, где играют люди, чтобы убедиться, что он действительно репрезентативный. Подставь это все, и мы сможем начать обучение.

Выглядит хорошо, но есть несколько моментов: не забудь про четкий план экспериментов для политики – например, эпсилон-жадность или температурное уменьшение – чтобы избежать преждевременной сходимости. И обязательно логируй распределение ошибки временной разницы; если она скачет, то, возможно, твоя приоритетная повторная проигрывание смещена. Для базового бота убедись, что у тебя сбалансированный набор игр с людьми – с разными уровнями мастерства – иначе сравнение win-rate будет искажено. И, в завершение, добавь проверку здравого смысла: каждые 100 тысяч шагов запускай короткий эпизод самообучения и вычисляй win-rate против базового бота; если он падает, значит, что-то не так. Это должно улучшить процесс.