Привет, сначала просто проанализируй энкодер — смотри на промахи кэша, а не только на загрузку ЦП. Закрепи поток кодирования за одним ядром, а аппаратный декодер — за другим; это уберет переключения контекста. Используй пакетную обработку с небольшими накладными расходами, например, пропуск кадров или адаптивный битрейт, и если сможешь, уменьши интервал ключевых кадров. Включи самый быстрый режим в аппаратном энкодере, но следи, чтобы целевой битрейт был достаточным, чтобы поддерживать минимальный уровень буфера. И ещё, оставь сетевой сокет в неблокирующем режиме и отправляй каждый кадр сразу после завершения работы кодека; время работы буфера ожидания может остаться 5 мс вместо 20. Это должно уменьшить время обработки конвейера на несколько миллисекунд.

Конечно, старайся держать размер буфера на минимальном кратном периоду кадров, который ты можешь осилить – обычно 2 или 3 кадра. Используй кольцевой буфер фиксированного размера и пусть декодер считывает данные из него без копирования – zero-copy подход. Если возникнут проблемы, сбрасывай следующий ключевой кадр и обнуляй счетчик буфера, вместо того чтобы давать ему расти. И всегда проверяй, чтобы планировщик операционной системы не перебивал поток посреди очистки пакета; зафиксируй эти потоки – и ты увидишь, как джиттер упадет до однозначных миллисекунд.