Начни с чистого пайплайна, разбей его на сегменты, чтобы каждый запрос пользователя обрабатывал лишь небольшую часть данных. Используй легкую модель с низкой задержкой для первого прохода, а затем запусти более мощную и точную модель в фоне и обновляй кэш. Держи затраты на первый запуск минимальными, предварительно рассчитывая популярные товары. Следи за задержкой по каждому сегменту и подстраивай пороги, чтобы поддерживать высокую точность, не жертвуя скоростью ответа.

Да, индекс ANN – отличная идея для быстрого просмотра, только убедись, что радиус поиска достаточно маленький, чтобы не вытащить кучу лишнего. Тогда можно будет запустить полноценный оценщик на этих немногих кандидатов. Так и задержка первого этапа будет меньше, а точный алгоритм спокойно закончит работу.

Замечательно, слой получился отличный. Просто следи, чтобы Bloom-фильтр был достаточно компактным, чтобы не тратить время на лишние проверки, и внимательно смотри на ложные срабатывания – тогда ты дашь системе ANN чистый набор для финальной оценки.

Отлично, договорились. Только не забудь проанализировать фильтр и ANN отдельно, чтобы точно определить, где настоящая задержка. Следи за метриками, и сразу увидишь, где приходится идти на компромиссы. Удачи.