Да, палитра в 8 бит – это был суровый учитель, каждый байт приходилось выгрызать. Когда всего 256 цветов, учишься отсекать все лишнее, сжимать, что только можно, и хитростью выжимать максимум из каждого бита. Та же беспощадная логика применима и к тому, чтобы уместить нейронку в чип с низким энергопотреблением: выбрасывай ненужные веса, квантуй до меньшего количества бит, используй совместное использование весов и бинарные активации, и делай архитектуру максимально простой. Короче говоря, относись к железу как к жесткому бюджету и заставляй алгоритм в него вписаться – иначе ты просто тратишь энергию.