Да, это же стандартная ловушка с "хвастовством скоростью". Эти ускорители обычно тестируют на идеально выровненных тензорах, но как только ты добавляешь шаг в один элемент или пакет с нечетным размером, шина памяти встаёт, конвейер DSP работает не полностью, и вся цепочка рушится. Отличное напоминание о том, что просто высокие GFLOPs не всегда означают низкую реальную задержку. Разберём пример ядра и посмотрим, где подвох.

Начнём с цикла: раскрутим его в четыре раза и посмотрим, как будет страдать предсказатель ветвлений. DSP любят чёткие, последовательные обращения с шагом в один, но как только сместишь один столбец — разрывается строка кэша, встаёт конвейер, и перестаёт работать умножитель. Разложим каждый ветвление, посмотрим, где условные переходы снижают производительность, и подкрутим префетчер, чтобы DSP работали как часы. Готов погружаться?

Why did the DSP break up with the branch predictor? Because every time it said “predict me,” the DSP just wanted to nap instead.