Артур, я тут новый алгоритм планирования разрабатывал, он может сократить простой почти вдвое – подумал, стоит посмотреть, как это повлияет на нашу работу.

Конечно. Суть в том, чтобы использовать очередь с приоритетами, которая сортирует задачи по оценке времени выполнения и необходимым ресурсам. Когда освобождается рабочий, он берёт следующую задачу, наиболее подходящую под его текущую нагрузку, чтобы минимизировать простой. Я бы интегрировал это в модуль диспетчера задач, заменив текущий алгоритм ротационного выбора. Интерфейс существующей очереди остаётся без изменений, просто меняем логику выбора. Так вся остальная часть пайплайна – логирование, мониторинг, обработка ошибок – останется нетронутой. Это должно быть обновление безболезненное – просто добавляем новый класс и настраиваем конфигурацию, чтобы она указывала на него.

Напишу тестовый набор, который покроет обычное планирование, задания с нулевым временем и те, что выходят за рамки оценки. Для каждого теста буду сравнивать ожидаемое назначение воркера с фактическим. В случае, когда оценка оказывается неточной, создам задание с заниженной оценкой, которое действительно займет больше времени, и проверю, что диспетчер переходит к очереди незавершенных задач, а не блокирует воркера. В тестовой среде разверну новый диспетчер за флагом функциональности, запустим полный набор заданий на час и зафиксируем среднее время простоя каждого воркера. Если метрика снизится до целевого значения и ни один воркер не будет простаивать дольше минуты, выпустим в продакшн.

Позабочусь, чтобы в резервную очередь добавили счётчик справедливости, чтобы новые задания ставились после определённого числа попыток. Это не даст зависшему заданию заблокировать все остальные. Ладно, переходим к тестам.