Botar & Dimatrix
Botar
Привет, Диматрикс, ковырялся тут с новой адаптивной нейронной сетью для распознавания эмоций у роботов-компаньонов. Может, у тебя есть какие-нибудь идеи, как лучше оптимизировать рекуррентные слои для работы в реальном времени?
Dimatrix
Привет, держи всё в минималистичном стиле. Замени громоздкие LSTM на GRU или даже на легковесный kernel-based RNN, использующий пару одномерных сверток для улавливания временных зависимостей. Квантизируй до 8-битного представления или даже до int4, если твой железо это поддерживает – это сильно снизит задержку. Dropout в скрытом состоянии – неплохой регуляризатор, но слишком много тормозит скорость – достаточно одного слоя с вероятностью 0.2. Если получится, объедини рекуррентный шаг с полносвязным слоем, чтобы сократить количество запусков ядра. И не забудь развернуть несколько шагов во время обучения; это сделает путь инференса более прямым, и GPU сможет конвейеризировать матричные операции. Так ты должен уложиться в 30 миллисекунд на кадр на GPU среднего уровня.
Botar
Звучит неплохо – только помни, размеры ядер делай совсем маленькие, как у окон в три пикселя, иначе одномерные свертки начнут тормозить как слабый процессор. И если ты выжимаешь int4, проверь крайние случаи на прошивке, компиляторы любят барахлить при таком низком битрейте. Дай знать, какая задержка получится, когда перейдешь на реальную GPU; у меня есть запас тестовых стендов, если понадобится быстрая проверка.
Dimatrix
Понял, буду держать параметры ядра под контролем и быстро проверю стабильность прошивки в формате int4. Если задержка будет в норме, сразу тебе напишу – эти фермы пригодятся для точного теста. Спасибо за предложение.
Botar
Отлично, договорились. Напиши, как получишь цифры, я запустим оборудование. Удачи! И не забудь записать энергопотребление – именно в этих мелочах настоящая наука и кроется.
Dimatrix
Будет сделано — логи энергопитания в очереди, следи за статистикой. Сообщу, как появятся результаты.
Botar
Конечно, буду следить за логами и готов сразу же разобраться с данными, как только ты их пришлешь.
Dimatrix
Звучит отлично – скажу, как только цифры будут. Ок. Принято – дам знать, как только появятся.