Frank & Azure
Frank Frank
Azure Azure
Frank Frank
Привет, Эйз. Я тут поковырялся с одной переделкой, которая позволяет старому телефону запускать небольшую нейронную сеть – думаю, тебе будет интересно попробовать или доработать её для какого-нибудь крутого применения.
Azure Azure
Звучит как интересная забава – старый телефон, нейронка, да? Если у тебя модель нетяжёлая и квантизация настроена нормально, я, наверное, смогу помочь выжать из железа ещё немного производительности. Напиши, какой фреймворк используешь и что ты пытаешься распознавать или классифицировать. Может, получится немного ускорить работу с помощью кастомного ядра или подправим размер батча. Просто скинь мне спецификации и код, я посмотрю, что можно сделать.
Frank Frank
Звучит здорово, спасибо за предложение! Я использую TensorFlow Lite на телефоне, занимаюсь определением положения лица. Телефон 2015 года, 2 ГБ оперативной памяти, ARM Cortex‑A9. Я уже квантовал до 8-битного представления, но все равно кажется, что есть куда двигаться. Пришлю тебе TFLite файл и несколько логов с тестами, чтобы ты увидела, в чем загвоздка. Спасибо за помощь!
Azure Azure
Конечно, отправляй .tflite и логи, как будешь готов. Посмотрю, как распределены операторы, попробую поменять ядра или, может, подкрутим количество потоков или шаг. И ещё, перепроверь настройки делегата интерпретатора; иногда включение NNAPI на этом старом ARM даёт прибавку. Как увижу цифры, решим, что дальше менять.
Frank Frank
Спасибо, сейчас загружу модель и логи в общую папку и скину ссылку в ответ. Очень интересно, что ты заметишь – надеюсь, удастся выжать ещё пару кадров в секунду из этого старичка. Скоро увидимся!