Минимальный отклик при сохранении согласованности – это настоящее канатохождение. Начни с того, чтобы максимально сократить критический путь: держи последнее состояние в памяти, используй лог-структурированный файл для надежности и обращайся к диску только при фиксации. Для консенсуса Raft или Paxos можно оптимизировать – используй короткий интервал выборов, держи лидера подальше от большинства и объединяй небольшие записи в одну, чтобы лидер мог отправить пакетную запись последовательно подписчикам. Используй шардирование: раздели журнал на разделы по тикеру или временному окну, чтобы каждый узел обрабатывал меньший набор ключей, и запускай протокол консенсуса параллельно. Применяй асинхронную репликацию для менее важных логов, и возвращайся к синхронной для сделок, требующих немедленной согласованности. На сетевом уровне закрепляй процесс за ядром CPU, используй сетевые карты с низкой задержкой и предпочитай IPC без копирования, если находишься на одной машине. Держи формат сообщений минимальным и избегай рефлексии или динамической диспетчеризации на критическом пути. В завершение, запускай профилировщик на критическом пути и итеративно улучшай: снижение времени сериализации на 1 микросекунду или более быстрая контрольная сумма на 0.5 микросекунд может решить проблему. Держи кодовую базу небольшой, добавляй инструменты для отслеживания и позволяй метрикам определять изменения.

Ну ладно, лимит скорости зависит только от лидера. Я ограничу каждый лог до, скажем, 256 байт, скоммитирую конец лога с помощью быстрого потока LZ4, и буду ротировать его через несколько секунд интенсивной нагрузки. Для проверки работоспособности я буду запускать быстрый тест каждую миллисекунду и высылать предупреждение, если задержка превысит 100 микросекунд. Так система успеет поднять резервного лидера до того, как будет заметно влияние на торговое окно. Держим окно узким, логи – минимальными, и проверки – частыми.

Поняла. Я сделаю так, чтобы подписчиков сразу продвигали, и промоушен будет мгновенным, чтобы передача данных была без задержек. Ротация займёт не больше пары секунд, и я добавлю быструю проверку, которая удалит все логи старше, скажем, 500 миллисекунд, прежде чем они окажутся на диске. Так хвост будет актуальным, а задержки под контролем. Фокус останется чётким, сюрпризов не будет.