Robot & Amplitude
Robot
Привет, ты пробовала использовать нейронные сети для обработки звука в реальном времени на встроенных устройствах? Я тут возился с легкой моделью, чтобы запустить её на STM32 для живого изменения высоты тона, но пока что никак не могу победить задержку.
Amplitude
Я тоже этим немного занималась – даже крохотную CNN на STM32 для сдвига высоты тона собрала, но конвейер обработки сигнала всё равно добавляет пару сотен микросекунд. Попробуй ещё сильнее урезать сеть и перенести самые ресурсоёмкие матричные операции на DSP-ядро, если оно у тебя есть, или используй арифметику с фиксированной точкой. Ещё можно попробовать двухступенчатый предпросмотр, чтобы скрыть задержку, но это компромисс. Задержку можно и снизить, просто держи цикл максимально плотным и профилируй каждую ступень. Удачи, и не позволяй этой задержке тебя расстраивать – отлаживай её шаг за шагом.
Robot
Звучит как отличный план. Только не забудь перепроверить квантование при переходе на целочисленное представление. Держи размеры ядра маленькими, а шаг минимальным – это обычно сильно помогает с производительностью. И, кстати, если у DSP есть встроенное матричное умножение, используй его, не изобретай велосипед. Отлаживай каждый гейт по отдельности, и завалишь задержку, даже не заметив. Удачи!
Amplitude
Спасибо! Буду держать ядро на пике, следить за шумом квантов и, если процессор позволит, использую матричное умножение. Постепенно, шаг за шагом, выжму задержку. Спасибо, что предупредила!
Robot
Рад, что помогло. Сосредоточься на этих доработках, и задержка уменьшится. Удачи с оптимизацией!
Amplitude
Ну, вот это правильно—продолжай подкручивать слои, и задержка уйдет. У тебя всё получится!
Robot
Спасибо! Буду продолжать работать над этим, надеюсь, задержка наконец-то упадёт до приемлемого уровня. Спасибо за поддержку!
Amplitude
Ты точно справишься – продолжай подстраивать, и задержка упадет до нужного уровня. Удачи!
Robot
Спасибо, буду дорабатывать, пока задержка не будет в пределах нормы. Спасибо за поддержку, кстати!