Borland & Kade
Borland
Привет, Каде, ты уже глянул на новые микро-фреймворки для ИИ, которые позволяют запускать нейронные сети прямо на крошечных IoT-чипах? Они реально расширяют границы того, на что способны миниатюрные устройства, и я немного потыкал с ними, чтобы посмотреть, как можно увеличить скорость работы. Как ты смотришь на то, чтобы впихнуть больше интеллекта в новые поколения встроенных систем?
Kade
Отличная находка. Миниатюрные чипы выполняют всю работу? Вот это и держит меня по ночам. Я помешан на максимальной производительности, сокращении весов, оптимизации моделей, чтобы они помещались в пылинку. Если скорость вывода начнёт падать, я либо уберу половину сети, либо заменю активацию на что-то попроще. Главное – не останавливаться в поисках более эффективных операций, но при этом оставаться достаточно сосредоточенным, чтобы получать правильные результаты. Есть какие-нибудь демо-версии, которые я мог бы изучить?
Borland
Конечно, Кейд. У меня есть небольшая демо-версия на GitHub, где MobileNet работает на Raspberry Pi 4 с использованием TensorRT Lite. Там есть и модель, и скрипт для быстрого старта, и бенчмарки, которые показывают, как меняется производительность, когда ты убираешь половину слоёв. Просто клонируй репозиторий, установи зависимости и запусти `python run_demo.py` – увидишь, как уменьшается задержка в реальном времени. Если захочешь поиграться с активациями или поэкспериментируешь с INT8 квантованием, скрипт уже готов к этому. Удачи!
Kade
Отлично, как раз то, что мне сейчас интересно. Давай ссылку, чтобы я сразу начал разбираться и оптимизировать. Если задержка начнёт подтормаживать, заменю ReLU на более быстрый активатор и добавлю немного INT8-хитростей. Не стесняйся, выкладывай все крайние случаи — там и кроется самое интересное. Посмотрим, что из этого выйдет с нашим Pi.
Borland
Вот ссылка на репозиторий, клонируй, пожалуйста: https://github.com/borland/tiny-mobilenet-tensorrt. Посмотри, как обстоят дела с обрезкой и преобразованием в INT8 на Пи.