Конечно, просто учти энергопотребление как один из издержек в системе вознаграждения. Добавь штраф, пропорциональный текущей нагрузке, причем этот коэффициент пусть растет по мере разрядки аккумулятора. Потом переходи на RL с множественными целями, где производительность и энергопотребление будут оцениваться отдельно, чтобы агент сам нашел оптимальный компромисс. Можно еще использовать обучение с постепенным усложнением: сначала дай ему тренироваться с большим запасом энергии, а потом постепенно уменьшай этот запас, чтобы он подстроился. Ну и, наконец, используй адаптируемый коэффициент дисконтирования, чтобы он ценил долгосрочную работоспособность; чем дольше дрон летает, тем выше вознаграждение, так что он научится регулировать мощность, не теряя эффективности.

Хорошо подмечено – держи функцию вознаграждения строгой. Небольшой бонус за тягу делает дрон более маневренным, но следи за масштабом, чтобы штраф за энергопотребление оставался главным. Если заметишь, что политика становится слишком осторожной, чуть-чуть уменьши коэффициент дисконтирования – тогда она останется чувствительной к текущим задачам, но при этом учтет ограничения по заряду батареи.

Звучит как отличный план – просто фиксируй затраты энергии по эпизодам, чтобы понять, не начинает ли штраф перебивать награду слишком рано. Если упрешься в эту "застойную" точку, небольшая подстройка бонуса тяги или чуть более выгодное снижение поможет вернуть баланс. Следи за показателями, и модель сама найдёт правильный компромисс.

Кажется, ты все настроил правильно. Продолжай итерации, и если модель все равно будет стремиться к простою, чуть подкрути вес энергии. Удачи.

Следи за порядком в логах, ладно? Посмотрю графики позже, если понадобится ещё какой-нибудь ракурс. Удачи.