Микроволник: Начни с самых простых шифров, которые поместятся в несколько килобайт, например, с поточного шифра, который можно реализовать в нескольких циклах. Держи расписание ключей небольшим, используй один и тот же буфер для ввода и вывода, и избегай динамического выделения памяти. Используй только побитовые операции, избегай чисел с плавающей точкой и компилируй с оптимизацией по размеру. Если понадобится блочный шифр, выбери что-то вроде TinyAES или его более компактную версию, и запускай его за один проход по данным, используя файл с отображением в память, чтобы никогда не держать весь открытый текст в оперативной памяти. С такими ограниченными 512 килобайт, тебе придется обрабатывать данные кусками и хранить минимальный объем состояния – никакой рекурсии, никаких больших таблиц. Только так удастся уместить хоть какую-то работу по взлому в одноядерную, 64-битную систему с 512 килобайт памяти.