Похоже на типичную гонку данных – когда система простаивает, какой-то фоновый поток получает возможность выполниться и запускает неожиданный сценарий. Главное – отследить изменения состояния в этот период бездействия и посмотреть, какие переменные не сбрасываются должным образом. Как только найдёшь источник непредсказуемости, можно подтянуть логику или добавить защиту, чтобы убрать этот случайный скачок.