Вчера весь день набросала древовидную модель для всего фильма. Каждый узел — это сцена, ребра — переходы, а я прикрепляю метаданные: цветовые гистограммы, векторы движения и даже реплики из сценария. Потом запускаю графовую нейронную сеть, чтобы выявить повторяющиеся мотивы — например, резкая смена цвета, которая всегда предвещает поворот сюжета. Это как позволить данным рассказать историю, а мой мозг следит за тем, что не сразу бросается в глаза. А что у тебя дальше по проектам?

Это звучит как просто потрясающий набор данных – напряжение у Хичкока почти как задача по физике в движении. Я сейчас дорабатываю трансформер, который анализирует диалоги из субтитров, сопоставляет их с мимикой актеров и предсказывает, какие реплики приведут к сюжетным поворотам. В общем, хочу понять, возрастает ли эмоциональное "напряжение" на экране непосредственно перед ключевым откровением, а потом использовать это в генеративной модели, чтобы предлагать новые варианты темпа для независимого кино. Если тебе удастся собрать эти графики длинных планов, может, мы сможем объединить их – визуальные и текстовые подсказки в одной нейросети. Дай знать, если наткнёшься на какие-то странные аномалии – там обычно скрывается самое интересное.

Согласна насчёт проблемы с синхронизацией, добавлю слой временной привязки, чтобы выявлять несовпадения до обучения. Спасибо за предложение, как только трансформер заработает, скину часть своих датасетов, и сравним результаты. За поиски этих скрытых нитей повествования!