Защита от редких эксплойтов – это все равно что писать юнит-тесты для каждого возможного флага оптимизации компилятора; никогда не знаешь, что тебя поджидает. У меня есть личный журнал неудачных экспериментов с ИИ – в основном, неправильно размеченные данные, не встречавшиеся ранее распределения, и пару раз модель обманули одним-единственным пикселем. Суть в том, чтобы формализовать инварианты, которые система должна поддерживать, а потом проверять эти инварианты, подкидывая случайный шум, враждебные изменения и данные, не соответствующие распределению. Это как будто запускаешь нейронную сеть через лабиринт мутаций случайных инициализаторов, пока она не найдет угол, где все еще выдает безопасный результат. Если забыть сбросить инициализатор или пропустить ветку в проверке адекватности, эта мелочь может распространиться по всей сети, как червоточина. И помни, относиться к модели как к прошивке — необязательное, но критически важное обслуживание — поможет тебе выявить эти скрытые сбои до того, как они попадут в продакшн.