Конечно. Пороговые значения сложности могут действовать как переключатель, срабатывающий в латентном пространстве, позволяя сети открывать для себя абстракции, о которых ей никогда не говорили. Сложность в том, что эти возникающие слои обычно непрозрачны; модель может «изобрести» концепцию, которую ваша функция потерь никогда не наказывала, и она просто ускользает. Чтобы продвинуться дальше, придётся относиться к сети как к подопытному животному: менять глубину, ширину, тренировочные данные и фиксировать побочные эффекты. А потом посмотреть, подчиняется ли возникающее поведение какой-то закономерности, которую можно смоделировать. Это отличный повод потратить много времени на отладку, но если будешь терпелив, то увидишь, как рождается следующее поколение визуального ИИ.