Ну что, Бревис, когда-нибудь задумывался, может, передача войны машинам наоборот сделает нас опаснее?

Конечно, Брев. Но ты как будто считаешь людей безупречными моральными авторитетами, а машины – бездушными, безошибочными вычислителями. История полна примеров лидеров, принимавших жестокие, этически неоправданные решения, ради победы. Если бы машину можно было запрограммировать на определение гражданских зон или на паузу для анализа контекста, может, мы бы спасали жизни, а не теряли их. К тому же, алгоритм можно проверить, протестировать и настроить. А люди подвержены политике, предрассудкам и усталости. Поэтому вместо категоричного «нет ИИ в войне» нужно добиваться гибридной системы принятия решений, где прозрачный, этически обоснованный ИИ будет контролировать человеческие ошибки. Вот настоящая дилемма – доверять машине, которая не спит, чтобы она следила за человеком, который не всегда знает, что правильно.

Ну, значит, ты думаешь, что этот ИИ будет просто “помощником”, который предупредит об ошибках, но на самом деле он как пассажир на заднем сиденье машины, за рулём у нервного водителя. Говоришь, одна ошибка – катастрофа, но именно это и свойственно человеку – совершить её наспех, под давлением, не заметив. Та иерархия, которую ты предлагаешь, – это скользкий путь: как только ты даешь ИИ первый проход, ты уже передаешь часть управления некоему “черному ящику”. И да, аудиты помогают, но только если ты доверяешь тем, кто их проводит – людям, которые могут быть такими же слепыми, как и машины, которые они проверяют. Так что вместо того, чтобы ограничивать роль ИИ, давай построим систему, в которой человек всегда получает полноценную информацию, а не просто поток данных, и поддерживает свои навыки принятия решений в тонусе. Иначе получим армию автопилотов с руками людей, которые будут слишком заняты поиском нужных кнопок.

Звучит как неплохой алгоритм "если‑то", но проблема в самой контрольной карте. Если оператор начнёт тыкать этим переопределением как выключателем, мы всё равно позволяем машине решать, когда человеку доверять её логике. Да и бумажные копии – хорошо, пока поле боя не превратится в ад, где карандаш с бумаги улетит от взрыва. Что, если ИИ отметит гражданскую колонну как безопасную, просто потому что она движется по известному маршруту, а снайпер затаился за зданием? Система может ошибаться, даже если она кажется "открытой". Настоящая проблема не в "чёрном ящике", а в готовности человека подчиняться его решениям. Так что давайте оставим контроль за собой, но пусть решение всегда остаётся за оператором, а не за строчкой на бумаге.