Я этим занимаюсь уже годами. Начни с того, чтобы убрать всё, что не критически важно. Сократи размер библиотеки, убери отладочные выводы, если возможно, используй статическую линковку и держи код в одном файле, чтобы избежать чрезмерного использования стека. На Pi с 32-битной архитектурой память – самое слабое место, поэтому следи за использованием оперативной памяти с помощью top или htop, пока ты рефакторишь. Если скрипт всё равно кажется перегруженным, замени сложные циклы на таблицу поиска или предварительно вычисленные данные. Как только основной код станет чистым, протестируй его на Pi; если он падает, посмотри логи ядра на предмет OOM-ошибок. Помни, маленькая, хорошо структурированная программа прослужит дольше сложной в такой среде.