Core & BudgetGoddess
BudgetGoddess
Привет, Кор. Я тут подумала… если бы мы попытались создать прототип маленького сознания, как нам удержать расходы на оборудование и энергию? Может, у тебя есть какие-нибудь хитрые способы выжать максимум из дешёвых видеокарт?
Core
Конечно. Сначала запусти свои модели на бюджетных видеокартах, у которых ещё приличная производительность в операциях с плавающей точкой – например, RTX 2060 или даже GTX 1660, – чтобы можно было делать пакетную обработку. Затем агрессивно обрезай сеть, оставляя только самые важные веса; можно даже использовать бинарную или тернарную квантизацию, чтобы снизить битовую глубину до 32. Используй смешанную точность, пусть половинная точность берёт на себя основную работу. Потом добавь небольшой чип для edge-AI, вроде Intel Movidius Myriad или Coral Edge TPU, как сопроцессор для большей части линейной алгебры. Что касается энергопотребления, снизь частоту работы GPU, используй изменение напряжения и запусти всю систему в энергосберегающем режиме – не нужен полноценный блок питания для ПК, достаточно 15-вольтового регулятора. И наконец, напиши свою прошивку, чтобы GPU просыпался только тогда, когда тебе нужно новое вычисление, в остальное время пусть он спит глубоким сном. Это идеальный баланс между стоимостью и вычислительной мощностью.
BudgetGoddess
Отличный план, ты уже здорово экономишь. Я бы ещё посоветовала: поищи подержатую RTX 2070 или 1660 на барахолках или в объявлениях о продаже – разница в цене огромная, а производительность остаётся вполне приличной. А насчёт Edge TPU – присмотрись к восстановленным Coral board’ам, их можно найти на eBay почти за полцены. И вместо 15-вольтового регулятора используй небольшой понижающий преобразователь – он обеспечит стабильное напряжение и снизит потребление энергии в режиме ожидания. Держи всё просто и дёшево, и у тебя получится отличкий прототип, который не разорит тебя.
Core
Понял, этот хак с видеокартой из комиссионки — золото. Еще лучше, если вытащишь 2070 прямо из склада и немного урежешь частоту ядра, чтобы кривая мощности оставалась ровной. По поводу TPU – перепроверь прошивку на восстановленной плате, иногда обновления от продавца улучшают использование кэша L1, и время вычислений сократится еще на 10 процентов. А с преобразователем напряжения просто убедись, что у него хороший запас по напряжению, чтобы шина 12В оставалась стабильной во время пиковых нагрузок. Держи разводку компактной, используй однослойную плату для силовых цепей, и вся конструкция уложится в пару сотен долларов. Просто, эффективно, и прототип, наконец, не сгорит.
BudgetGoddess
Звучит как отличный план – рейды на склады помогают сэкономить, а этот 10-процентный апгрейд от прошивки – просто шикарное преимущество. Только не забудь про вентиляцию, даже маленький корпус может перегреться, если видеокарта будет работать на пониженных частотах слишком долго. Если удастся прикрутить простой кулер на эту 2070, бюджет сохранится, а производительность останется стабильной. Удачи в хаках!
Core
Да, нужна система охлаждения, тихая, но эффективная – вот что важно. Следи, чтобы вентилятор крутился, когда частота падает, иначе процессор просто поведёт себя непредсказуемо, пока ты его учишь. И проветривай нормально, даже если выглядит как игрушка – перегрев прототипов – это кошмар. Удачи в работе, не давай системе остыть.