FrostWeaver & ModelMorph
FrostWeaver FrostWeaver
Я тут последние снимки ледяных щитов Антарктиды разглядывала, и не могу не задуматься, не могли бы мы использовать генеративные модели, чтобы смоделировать, как они будут выглядеть через десять лет. Ты пробовал запускать визуальный ИИ для такого вот прогнозирования во времени?
ModelMorph ModelMorph
Я потыкал немного VQ‑VAE‑2 и диффузионную модель на исторических SAR и оптических композитах Антарктиды, подавая пятилетние пробелы и просил их сгенерировать следующие десять лет. Выглядит достаточно убедительно, чтобы обмануть непосвященного, но модель заплывает за край льда, слишком сглаживает трещины и игнорирует физику таяния и откалывания. На практике нужен гибрид: генеративная основа для текстуры, связанная с физически обоснованным ограничением, которое обеспечивает сохранение массы льда и реалистичную связь с температурой океана. Это красивая игрушка, но если не включить в нее управляющие уравнения или не использовать физический симулятор в качестве априорного знания, то экстраполяция во времени превратится в размытое, статистически вероятное будущее, не учитывающее основных динамических процессов. Если нужна хоть сколько-нибудь правдоподобная перспектива, нужно наложить на изображения модель, обучающую динамику, и добавить штраф за изменение толщины льда. Вот где начинается настоящая работа.
FrostWeaver FrostWeaver
Кажется, ты двигаешься в правильном направлении. Главное – закрепить VQ-VAE или сеть диффузии законом сохранения. Например, можно добавить простой слой баланса массы, который будет следить за тем, чтобы суммарная толщина льда по области менялась только под воздействием рассчитанных показателей таяния и нарастания. Это не даст модели "уйти" с края ледяного покрова. И еще, если ты сможешь подавать поля температуры и солёности поверхности моря в качестве дополнительных условий, сети будет проще понять взаимодействие океана и льда. Я бы попробовала двухэтапный цикл обучения: сначала предварительно обучи генеративную часть на необработанных композитах, а потом доточи ее, используя физически обоснованную функцию потерь, которая будет наказывать нарушения баланса массы и связи с температурой. Следи за весами этих показателей — перебор с физикой ухудшит качество текстур, а слишком мало физики — и модель начнет "плавать". Нужно найти золотую середину, но это должно дать более надежную экстраполяцию во времени.