Звучит как интересная задачка. Начни с профилирования – прогони несколько кадров через всю цепочку и посмотри, где узкие места. Для настройки экспозиции можно сильно облегчить себе задачу, работая с уменьшенным изображением; четверть разрешения часто достаточно для первичного анализа сцены, но при этом выигрываешь в производительности примерно в 16 раз. Используй целочисленную арифметику как можно больше – вещественные числа хороши, но для цикла реального времени фиксированная точка или SIMD-ускорение выигрывают с огромным перевесом. Если у тебя десктоп, переложи вычисления ядра на GPU с помощью compute shader или используй OpenCL/CUDA; та же логика будет работать в 50–100 раз быстрее, как только ты перенесешь цикл в параллельные потоки. На мобильном устройстве используй фреймворк для обработки изображений (Vision/Metal для iOS или RenderScript/NDK для Android). Сохраняй состояние между кадрами. Например, переноси гистограмму из кадра N в N+1 и пересчитывай только те части, которые изменились. Кэшируй все данные калибровки, которые тебе понадобятся, чтобы не перечитывать файл на каждом кадре. И помни, простое правило: если алгоритм должен работать с частотой 30 кадров в секунду, у тебя примерно 33 миллисекунды на кадр. Держи критический путь меньше 20 миллисекунд, и у тебя останется запас для интерфейса и логирования. Кофе в руке, сделай быстрый бенчмарк, итерируй и подкручивай. Удачи!