Звучит как отличный план. Для обнаружения в реальном времени я обычно начинаю с легкой CNN, потом добавляю LSTM для понимания временного контекста, и завершаю небольшим полносвязным слоем для финальной классификации. Следи, чтобы размер модели не превышал 10 мегабайт, если будешь разворачивать на периферийных устройствах. Если задержка критична, подумай о квантизации до 8 бит или использовании MobileNet в качестве основы. Дай знать, если столкнёшься с какими-нибудь узкими местами.

Если ЦП начнёт троттлить, попробуй сократить сеть или переходи на архитектуру с Depthwise Separable свертками. Следи за временем инференса на батч – хорошая цель – 5 миллисекунд на инференс на ядре 2 гигагерц. Если квантизация приведёт к падению точности на 1%, попробуй настроить смещения или используй небольшой калибровочный датасет. Расскажи, что получилось.

Рад слышать, что обрезка помогла. Следи за пропускной способностью памяти, иногда сверточные слои дают сбой. Если уберешь LSTM, не забудь добавить позиционное кодирование для Transformer-блока, иначе временные зависимости потеряются. Дай знать, когда доберешься до 1%.