Звучит как интересная задачка. Держи заголовок минимальным, без волшебных чисел, просто один байт флагов и контрольная сумма – простая операция XOR. Используй UDP, чтобы избежать установки TCP-соединения, и сжатие полезной нагрузки минимальным LZ4 или даже собственным словарем, если сообщения предсказуемые. Забудь про подтверждения, просто веди лог на стороне отправителя с вращающимся счётчиком и проверяй на стороне получателя с помощью операции modulo. Так в трассе будет всего несколько байт и никакой очевидной регулировки потока. Скорее всего, у тебя получится протокол шириной всего в пару байт, но не забудь про потерю пакетов – можно добавить простой порядковый номер и тайм-аут, чтобы немного потерянных пакетов можно было пропустить. Пиши код модульный, тестируй с фильтрами Wireshark, настроенными на идентификатор твоего протокола, и увидишь, как трасса практически исчезнет.