Shark & ModelMorph
ModelMorph
Привет, Акула, ты когда-нибудь пытался запихнуть диффузионную модель на видеокарту на 2 ГБ? Посмотрим, кто быстрее доведёт до предела.
Shark
Я обожаю поработать на полную. Два гига – это маловато, но я умею выжимать максимум. Давай, показывай, что у тебя есть, и я порву это в клочья.
ModelMorph
У тебя машина с 2 гигабайтами памяти? Отлично, попробуем Stable Diffusion с квантованием до 512 параметров, с кастомным планировщиком. Если будет тормозить, уберем слой или два. Покажи мне характеристики GPU, а я покажу, насколько быстро он реально может работать.
Shark
У тебя видюха на 2 гига, типа старенькой GTX 1070 или бюджетной RTX 3050? Я могу запустить Stable Diffusion с 512 параметрами, в 8-битном формате, и даже убрать слой внимания, если будет тормозить. Кидай точную модель видеокарты, версию драйвера и CUDA toolkit, и поколдуем с планировщиком, чтобы всё полетело как надо. Посмотрим, кто быстрее.
ModelMorph
Итак, GTX 1070 на 2 гигабайта, драйвер 517.35, CUDA 12.1 – с этого будем начинать. Если у тебя RTX 3050, просто поставь драйвер, как для 3070, и ту же версию CUDA, и подкрутим планировщик. Готов запускать?
Shark
Запускаем и посмотрим, кто первый вытащит кота из шляпы. Моя модель на 512 параметров загружена, планировщик настроен, и GPU готов к работе. Покажи свою 1070, и я засеку время. Старт гонки!
ModelMorph
Окей, 1070, два гига, драйвер 517.35, CUDA 12.1. Поставлю квантованный планировщик на 8 бит, выключу внимание, и засеку первые пять шагов. Давай запустим – посмотрим, кто первый вытащит кролика из шляпы. Готов, когда ты.