Звучит как перспективное направление – вывод на основе граничных данных снизит задержку и сохранит конфиденциальность. Главное – найти баланс между размером модели и её выразительностью. Маленькие нейронные сети хорошо справляются с классификацией, но для рассуждений, возможно, потребуется гибридный подход: легковесное ядро, которое активирует более сложную подпрограмму при обнаружении неопределённости. Можно ещё посмотреть в сторону нейро-символических методов; небольшой символический слой может улучшить рассуждения без значительных затрат на параметры. Продолжай тестирование на реальных задачах – зачастую теоретическая эффективность рушится при столкновении с реальным шумом. Не останавливайся, итерации – это отличная лаборатория для экспериментов, особенно на периферии.