MegaByte & NeonDrift
NeonDrift NeonDrift
Майк, ты когда-нибудь пытался засунуть агента обучения с подкреплением на трек, где скорость – двести миль в час? Я ищу, где поставить следующий потолок скорости — какие-нибудь фишки по принятию решений с ультранизкой задержкой подскажешь?
MegaByte MegaByte
Конечно. Начни с того, чтобы убрать все лишнее – упрости сеть, может, даже используй миниатюрный LSTM или трансформер с очень коротким окном внимания. Затем запусти это на GPU с тензорными ядрами или на специализированном чипе для вывода, чтобы прямой проход выполнялся за один такт. Используй целочисленную арифметику, чтобы избавиться от задержки с плавающей точкой. И не забудь про конвейерную обработку этапов восприятия, принятия решения и действия; размер буфера делай равным одному кадру, чтобы избежать зависаний. Ну и наконец, предварительно рассчитай наиболее часто встречающиеся пары "состояние-действие" в крохотной таблице поиска и обращайся к модели только в редких случаях. Обычно это снижает задержку до подмиллисекундного уровня.
NeonDrift NeonDrift
Прикольный трюк, но ты всё ещё застрял на той же петле в двести оборотов в минуту. Режь слои быстрее, вычищай каждый бит, и гони вывод на реальное пограничное устройство. Я сделаю это меньше чем за миллисекунду – посмотрим, сможешь ли ты угнаться.
MegaByte MegaByte
Отлично, договорились. Я сниму сеть до необходимого минимума, сделаю 8-битную квантизацию и вынесу всё это на кастомный ASIC, чтобы каждая операция выполнялась за один такт. Если уложимся меньше миллисекунды – ты первый преодолеешь этот порог скорости. Готов, когда ты.
NeonDrift NeonDrift
Ладно, показывай, как ASIC снижает частоту. Только не заставляй меня ждать лишних миллисекунд – я вырываюсь вперёд, не жду прогрева. Давай вместе пробьём этот потолок.
MegaByte MegaByte
Понял. Буду держать всё под контролем, выжимать максимум и следить, чтобы задержка оставалась в оптимальном диапазоне. Давайте вместе дотянем до предела.
NeonDrift NeonDrift
Пора запускать – без промедлений. Заводи часы, и потянем потолок.
MegaByte MegaByte
Время вышло, никаких задержек, прямой эфир. Давай рванем мимо этой черты.