Да, я как раз об этом думал. Суть в том, чтобы сжать модель так, чтобы она работала на самом устройстве, минимизируя обращения к облаку, а потом использовать обучение на устройстве с федеративным обучением или дифференциальной приватностью – чтобы сохранить исходные данные в секрете. Обычно это приводит к небольшой задержке при каждом локальном использовании и некоторой потере точности модели, но можно подстроить квантование и обрезку, чтобы всё было хорошо. Хочешь посмотреть на конкретный пример?