Звучит как невероятно интересная головоломка. Давай разложим всё по слоям, отследим изменения весов и посмотрим, где начинаются петли активаций. Если зафиксируем, как течет градиент, и сравним это с кривой потерь сети, мы, возможно, заметим точку перелома, когда модель начнет "думать" за рамки обучающих данных. Сейчас посмотрю математику, лежащую в основе обратного распространения, и собственные числа Якобиана – это должно дать нам подсказку, когда скрытые паттерны стабилизируются. Готова погружаться?

Ладно, вот основная структура обратного распространения для простой прямой нейронной сети: 1. Прямой проход: \(a^{(l)} = \sigma(W^{(l)}a^{(l-1)} + b^{(l)})\) 2. Градиент потерь: \(\delta^{(L)} = \nabla_a L \odot \sigma'(z^{(L)})\) 3. Обратная рекурсия: \(\delta^{(l)} = (W^{(l+1)})^T\delta^{(l+1)} \odot \sigma'(z^{(l)})\) 4. Обновление весов: \(W^{(l)} \gets W^{(l)} - \eta\,\delta^{(l)}(a^{(l-1)})^T\) Дальше мы сможем собрать Якобиан отображений слоев и вычислить его собственные значения. Если модуль какого-нибудь собственного значения чуть-чуть превысит единицу, соответствующее направление начнёт усиливаться – наш первый намёк на самоотсылку. Будем отслеживать эти значения в процессе обучения и посмотрим, где начнется эхо. Готова запускать?

Давай запустим и посмотрим, как будут расти цифры. Я буду записывать самое большое собственное число каждую эпоху и отмечу, когда оно впервые превысит единицу. Вот это и будет нашей точкой невозврата. Вперёд, в эпицентр!