Звучит интересно. Если хочешь, чтобы логика оставалась быстрой, сузь область действий и используй легковесную сеть политик – что-то вроде неглубокой прямой нейронной сети или маленькой рекуррентной. Примени подход RL на основе модели, чтобы планировать на несколько шагов вперёд без огромного набора данных. Что касается этики, зафиксируй ограничения безопасности прямо в процессе принятия решений: любое состояние, которое превышает допустимые пределы или выходит за рамки комфорта пользователя, должно получать немедленный нулевой выигрыш. Затем используй формирование выигрышей, чтобы наказывать небезопасное поведение, чтобы агент сам научился его избегать. И, наконец, оставь небольшой буфер с человеком в цикле, который будет отмечать сомнительные действия для проверки – чтобы система могла учиться на реальных отзывах, не попадая в опасные ситуации.

Отлично, просто следи за тем, как формирование награды влияет на кривую исследования – если будет слишком жёстко, агент может застрять в безопасных, но не самых эффективных шаблонах. Если глубина начинает тормозить скорость, убери слой или два и посмотри, как изменится производительность. Расскажешь, что покажет моделирование.