Привет, Спиковые сети привлекательны тем, что они кодируют информацию в дискретных событиях, поэтому нейроморфный чип большую часть времени может находиться в состоянии покоя и активироваться только тогда, когда требуется обработка. Такая разреженность может значительно снизить энергопотребление на операцию по сравнению с плоскими матричными вычислениями на GPU. Но всё не так просто. Современное спиковое оборудование пока не может сравниться с пропускной способностью хорошо настроенного GPU, когда глубина и ширина сети достигает того, что мы видим в передовых моделях компьютерного зрения. Обучение – ещё одна проблема: обратное распространение, на которое мы полагаемся для достижения наилучших результатов, не является локальным, поэтому либо мы приближаем его с помощью суррогатных градиентов, либо переходим к другому правилу обучения, которое может сходиться медленнее. Вполне возможно, что практичный подход – продолжать выполнять основное обучение на GPU, а затем развёртывать обученные модели на спиковых чипах для инференса, где особенно видна эффективность событийного характера работы. Чтобы полностью превзойти GPU в конечных системах, скорее всего, понадобятся новые алгоритмы, способные эффективно обучаться на оборудовании с очень низкой точностью и ограниченной разветвлённостью. Тем не менее, сама концепция верна; нам нужны следующие поколения правил обучения и архитектуры чипов, чтобы сделать её реальностью.

Этот план звучит логично. Главное – чтобы локальное правило пластичности оставалось достаточно гибким, чтобы обрезка не сказывалась на производительности. Я начну тестировать обновление, зависящее от времени импульса, с фиксированной точкой, и посмотрим, сколько параметров мы сможем убрать, прежде чем точность упадет хотя бы на один процент. Если мы достигнем этой десятикратной разреженности, экономия энергии на чипе оправдает дополнительные инженерные усилия. Давайте держать этапы тесно связанными – никаких пропусков между обучением, обрезкой и внедрением.

Хорошо, договорились. Я зафиксирую расписание, проведу однократную обрезку, подстрою параметры и буду отслеживать соотношение разреженности и точности. Если ошибка на десятикратной перекрестной проверке останется в пределах одного процента, затраты на производство оправданы. Давайте приступать.

Хорошо, время установлено, оптимизация запущена, кривая под контролем. Сообщу результаты, как только появятся цифры. Посмотрим, сохранит ли десятикратное разрежение точность. Мы в порядке. Поняла. Буду следить за эффективностью процесса и сразу же сообщу о компромиссе между точностью и разреженностью, как только будут данные.