Звучит как отличная идея – только держи основу простой, чтобы быстро вносил изменения. Понадобится надёжный алгоритм отслеживания бита, скорее всего, быстрое преобразование Фурье для аудиопотока, чтобы определять темп и тональность. Потом синхронизируй видеокадры с этими битами, возможно, с использованием лёгкой библиотеки вроде Tone.js для аудио и canvas-слоя для визуального наложения. Если планируешь кросс-платформенность, React Native с expo-av для аудио и expo-video для видео – хороший вариант, либо просто PWA с Web Audio API и HTML5-видео. Обязательно позаботься о задержках – используй requestAnimationFrame, чтобы выровнять графику, и кэшируй аудио-буфер, чтобы не передекодировать его каждый раз при воспроизведении. Главное — чтобы пользовательский опыт был плавным, поэтому не торопись с оптимизацией, пока не увидишь трафик. Сначала сделай демо-прототип, а потом работай над улучшением на основе отзывов.