Начни с чистого пайплайна, разбей его на сегменты, чтобы каждый запрос пользователя обрабатывал лишь небольшую часть данных. Используй легкую модель с низкой задержкой для первого прохода, а затем запусти более мощную и точную модель в фоне и обновляй кэш. Держи затраты на первый запуск минимальными, предварительно рассчитывая популярные товары. Следи за задержкой по каждому сегменту и подстраивай пороги, чтобы поддерживать высокую точность, не жертвуя скоростью ответа.