Звучит как неплохая идея, но будь осторожен с задержкой между симуляцией и реальной физикой. Многие успехи в RL достигаются благодаря идеальным моделям, а у шарниров роботизированной руки есть люфт, трение и шум датчиков, которые могут сбить алгоритм с толку, если не добавить защитный слой. Попробуй сначала обучить базовую модель в симуляции, а потом доточи её с небольшими сигналами вознаграждения на самом устройстве, может быть даже с защитой от перегрузок, которая ограничивает усилие до тех пор, пока алгоритм не достигнет порога уверенности. Так ты получишь гибкость онлайн-обучения, не рискуя повредить манипулятор.