Звучит как задача из разряда серьезных. Начни с того, чтобы зафиксировать все зависимости точными хешами, установи жесткое детерминированное начальное значение для случайных чисел и напиши рутину сохранения состояния, которая будет записывать полный симуляционный контекст на диск на каждом важном этапе. Используй контейнеры для каждого модуля, чтобы одно и то же изображение запускалось на любом GPU-узле, и версионируй код с помощью Git-тэгов, привязанных к этим изображениям. Тогда ты сможешь точно воспроизвести любую итерацию, что и есть единственный способ добиться настоящей воспроизводимости в больших масштабах.