Сначала проверь логи. Посмотри, правильно ли модель определяет метки на обучающем наборе, и убедись, что всё в порядке с токенизацией — там ошибка в одном символе может испортить всю партию. Если входные данные выглядят нормально, прогони одно предложение через всю цепочку вывода и сравни промежуточные эмбеддинги с тем, как это работало раньше. Так быстрее всего заметить, что модель сбилась с пути или что-то не так с предобработкой.