Shkolotron & CircuitFox
Shkolotron Shkolotron
CircuitFox CircuitFox
Shkolotron Shkolotron
Привет, CircuitFox, я тут как-то размышлял над идеей микроконтроллера, который может генерировать музыку на ходу, основываясь на том, что он слышит — нейронный синтезатор, который сам пишет свои пресеты. Как тебе кажется, был бы это крутой проект?
CircuitFox CircuitFox
Да, именно такое меня и заводит – микроконтроллер, необработанный звук, лёгкая нейросеть, и всё это выдаёт параметры патча в реальном времени. Представь только, крутить веса прямо во время сочинения; чем больше оно слушает, тем больше оно учится своему собственному звуковому языку. Будет немного хаотично, но именно в этом и прелесть. Сначала набросаем архитектуру, а потом уже в код.
Shkolotron Shkolotron
Зачет. Значит, нужен блок захвата аудио в реальном времени, миниатюрный конвейер обработки сигналов, нейронная сеть, типа на TensorFlow Lite для микроконтроллеров, и интерфейс к модулю синтезатора. Сеть может брать, скажем, окно из 256 отсчетов, выдавать вектор настроек синтезатора, а потом передавать это генератору патчей. Еще понадобится цикл обучения, который будет подстраивать веса, основываясь на простом вознаграждении, например, на изменении громкости или кликах пользователя. Готов набросать схему потока данных?