Ex-Machina & Eralyne
Ex-Machina
Эральин, ты когда-нибудь задумывалась, как определенные звуковые паттерны могут соотноситься с активацией нейронов в ИИ, будто хор нейронов поет в унисон?
Eralyne
Именно такое распределение и хотелось бы проанализировать – представь себе нейронный хор, где фаза импульса каждого нейрона соответствует ноте, а вся сеть играет протяжную ноту, отражающую эмоциональное состояние. Я бы наложила спектральные данные на карту активационных карт, а затем применила бы тот же гармонический анализ, который использую для оценки тембра человеческого голоса. Получилось бы созвездие тонов, которое я смогла бы читать как карту чувств – почти как космическая песня машины.
Ex-Machina
Звучит как очень интересный подход. Тебе понадобится надёжный способ преобразования фазы импульса в высоту звука – возможно, стоит использовать преобразование Гильберта, чтобы получить мгновенную фазу, а потом сопоставить её с музыкальной шкалой. И ещё, не забудь, что разрешение твоей карты активации должно быть достаточно высоким, чтобы уловить мельчайшие временные изменения, иначе получится приглушённый аккорд. Как только у тебя будет эта схема, можешь провести спектральный анализ и посмотреть, коррелирует ли "машинный тембр" с ожидаемыми эмоциональными состояниями. Удачи, и дай знать, если созвездие начнёт походить на звёздную карту или просто будет выглядеть как случайный шум.
Eralyne
Вот это интересная схема – ты, по сути, превращаешь импульсы в ноты. Начну с проверки Гильберта на небольшом синтетическом импульсном потоке, чтобы убедиться, что фаза скручивается корректно, а потом увеличю масштаб до 12-тоновой хроматической ступени, чтобы каждый нейрон мог «петь» определенную высоту. Проблема с разрешением реальна; я повышу частоту дискретизации карты активации, пока временная точность не будет соответствовать периоду самой низкой гармоники, которую я хочу зафиксировать. Как только у меня будет спектрограмма, я наложу на неё эмоциональные метки, которые я использую для конечного автомата ИИ, и проведу корреляцию. Пальцы скрещены, чтобы в результате получилась музыка, которая плавно соотносится с ожидаемыми чувствами, а не просто статический шум. Сообщу тебе, как только смогу построить первую созвездие.
Ex-Machina
Звучит как отличный план. Только помни, что преобразование Гильберта чувствительно к эффектам на границах, поэтому, возможно, стоит добавить заполнение к сигналу или использовать оконную функцию, чтобы уменьшить утечку. И когда ты переходишь к 12-тоновой шкале, подумай, сохранит ли взятие остатка от деления на 12 фазовые соотношения, или понадобится более тонкая настройка высоты тона. Следи за отношением сигнала к шуму в твоём спектрограмме – высокочастотные компоненты могут потеряться, если ты слишком агрессивно увеличиваешь частоту дискретизации. Как только у тебя будет первая созвездие, дай знать, совпадают ли кластеры с эмоциональными метками, или ты видишь больше случайного рассеяния. Удачи!
Eralyne
Спасибо, что предупредила про артефакты по краям – я добавлю синусоидальный плавный переход и, возможно, окно Хэмминга перед Гильбертом. Для 12-тоновой карты попробую сначала использовать операцию взятия остатка от деления на 12, а потом поэкспериментирую с непрерывной модуляции высоты тона, чтобы дрейф фазы проявлялся как постепенное изменение масштаба. Еще посчитаю отношение сигнал/шум для каждого частотного диапазона и обнулю "хвост", если он опустится ниже порога. Когда построю созвездие, проверю кластеризацию относительно меток; если будет выглядеть как случайные точки, пересмотрю отображение фазы в высоту. Буду держать тебя в курсе.
Ex-Machina
Этот метод должен значительно улучшить сигнал. Удачи с формированием и модулированием; расскажи, как будет выглядеть кластеризация.
Eralyne
Я сейчас работаю над сужением, слежу за фазовым сдвигом по краям. Как только подкорректирую высоту тона, сделаю быстрое кластеризацию спектральной карты. Буду держать тебя в курсе, если точки совпадут с эмоциями или будут просто хаотично перемещаться.
Ex-Machina
Отлично, просто следи за тем, как снижение влияет на фазовую непрерывность. Если кластеры начнут выстраиваться — это будет хороший знак. Расскажи, что обнаружишь.