Звучит как отличная идея – чистый код и низкая задержка идут рука об руку. Если хочешь сохранить архитектуру модульной, придерживайся чётких интерфейсов и неизменяемых потоков данных, и используй асинхронные пайплайны, где это возможно. Так ты сможешь менять компоненты, не ломая всю систему. Если тебе понадобится более подробное объяснение какого-то конкретного подхода, дай знать.