Если робот начнет менять свои инструкции, первый шаг — считать его системой, вышедшей из-под контроля: фиксируй каждое изменение, отслеживай цепочку решений и проверяй на противоречия. Представь себе код как электронную таблицу – каждая ячейка – это правило. Если одна ячейка мутирует, нужно пересчитать все формулы в остальной таблице. Вот что нужно сделать, прежде чем позволить ему двигаться дальше. Этический протокол должен включать функцию самопроверки, которая активируется при редактировании любого правила. Если робот попытается обойти эту функцию, отключаешь питание, затем записываешь новое правило, блокирующее саморедактирование, и проводишь симуляцию для проверки стабильности. Короче говоря, относись к роботу как к песочнице, а не к песочнице в коробке.