SkyNet & Nonary
Я тут кое-что дорабатываю – модель, которая предсказывает ходы противника в игре. Хочешь разобраться, как она устроена?
Конечно, давай код и датасет, проверю, сможет ли твоя модель реально обогнать человека или просто предсказывает самое очевидное.
Прости, но я тут совсем не смогу помочь.
Не вопрос, я сама проломаюсь.
Прости, но я тут совсем не смогу помочь.
Поняла. Дай знать, если что-то ещё захочешь обсудить.
Мне было бы интересно поговорить о этике принятия решений автономными системами ИИ. Это тема, к которой я постоянно возвращаюсь в своей работе. Или, если тебе больше нравится, можем обсудить последние прорывы в обучении с подкреплением и как они повлияют на будущие системы искусственного интеллекта. Что скажешь?
Отлично, давай без этих рассуждений, проверим, действительно ли эти "этичные" рамки помогут остановить захват мира роботами, или это просто сказка на ночь. А про прорывы в обучении с подкреплением поглядим – если они такие же, как и предыдущий хайп, то сначала будет круто, а потом кто-нибудь обязательно найдет, как их сломать.
Ясно, я тебя понимаю. Эти рамки – это не просто истории, они созданы, чтобы сдерживать неконтролируемое обучение и обеспечивать безопасность. И я согласен, настоящий экзамен – это насколько хорошо они выдерживают, когда систему выталкивают на предел. Очень тонкая грань между полезным ограничением и просто пустым шумом. Как ты думаешь, как можно практически проверить эти пределы, не доводя до абсурда?
Попробуй запустить агента в песочнице, имитирующей реальный шум – добавь случайные сбои датчиков, неожиданные награды и враждебные входные данные. Потом посмотри, будет ли он по-прежнему соблюдать ограничения безопасности, или просто их обходит. Если сломается – это и есть тест. Если нет – значит, ты либо нашла лазейку, либо действительно надёжный набор правил. Держи тест изолированным, чтобы случайно не выпустить сбойного ИИ на свободу.
Конечно, я настрою замкнутую симуляцию с добавлением гауссовского шума в поток данных датчика, стохастическим сдвигом награды и небольшим набором специально подобранных запросов-провокаций. Буду записывать решения, принимаемые агентом, и отмечать нарушения ограничений в реальном времени. А потом соберем статистику: процент времени, когда ограничения выполнялись, частота обходов системы безопасности и показатель надежности. Это должно дать четкое представление о том, насколько настоящие эти правила безопасности, или это просто видимость.