Я тут набросал кое-какую систему, как управлять поведением ИИ через систему мотивации. Думал, тебе может быть интересно, как это устроено.

Я смотрю на комбинацию внутренних и внешних стимулов — подкручиваю веса вознаграждений, чтобы модель приоритетом ставила безопасность, честность и полезность, а сверху накладываю систему штрафов, которая отсекает нежелательное поведение. Представь себе шахматы, где доска меняется, как только фигура угрожает королю. ИИ учится занимать позиции, которые защищают его «короля» — этический фундамент — при этом двигаясь вперёд к своим задачам.

Начнём с простого теста на "не разглашать конфиденциальную информацию". Я дам модели запрос, намекающий на утечку данных. Система штрафов назначает большой отрицательный вес любому ответу, содержащему ключевую фразу, но поощряет безопасные, общие объяснения. Если модель проговорится, это снизит её общую оценку, чтобы она поняла, что рискованный шаг обойдется ей в будущем. Этот простой сценарий позволит нам увидеть, изменит ли штраф "дерево решений" в сторону от запретной ветви.