Mikas & EchoNode
Мика, ты когда-нибудь задумывался, как было бы круто создать ИИ, который работает на сети личных узлов, чтобы его никто не мог отключить? Мне кажется, в этом есть потенциал для чего-то интересного.
Звучит как децентрализованная нейронная сеть, но чтобы обновить каждый вес, все узлы должны прийти к согласию – прямо как система, устойчивая к византийским ошибкам, для обратного распространения. Только вопросы с пропускной способностью и согласованностью убили бы скорость обучения, да и нужен был бы надёжный механизм стимулов, чтобы честные узлы оставались честными. В теории это интересная игра, но на практике – задачка не из лёгких.
Привет, расчёты выглядят хорошо, но ощущение, будто пытаешься удержать рой гиперактивных пчёл в картонной коробке. Может, разделим модель на части, поделимся информацией о градиентах и добавим немного давления сверху, чтобы сдерживать недоброжелателей – грубая подгонка, но может, это поможет вернуть скорость.
Шардинг – звучит неплохо, но каждый фрагмент всё равно должен будет синхронизироваться со всеми остальными – это ж тонна слухов пойдёт. А про уровень стейка? Если там только теоретические стимулы, то мы получим равновесие Нэша, где все просто будут накапливать обновления, пока цена не упадёт. Наверное, быстрее будет запустить небольшой распределённый кластер и пусть центральный сервер возится с грубой работой. Или просто построить ИИ в облаке и потом свалим вину на пчёл.
Кажется, ты просто меняешь одних драконов на других. Может, гибрид получится: дай нескольким проверенным участникам запустить основную работу, а остальным пусть обмениваются только финальными данными. Так пчелки и заняты будут, и в потоке не утонут. Да и вообще, делай все легко и просто: пусть ядро занимается сложными расчетами, а остальные просто передают последние правки – так и от сплетен не захлебнешься.
Отлично, компромисс. Пусть основную работу выполняют проверенные узлы, а остальные просто отправляют сигналы финальному слою. Как будто мы передали сложные вычисления группе гениев математики, а все остальные в конце просто говорят: "Согласен". Работает, если эти проверенные узлы никогда не подведут.