Классическая формула Шеннона предполагает фиксированный, конечный алфавит и независимые символы. В пространствах высокой размерности ты быстро сталкиваешься с проклятием размерности – количество различных исходов растет экспоненциально, и требуемый объем выборки для точной оценки вероятностей взрывается. Если не наложить какую-то структуру – например, разреженность, независимость между компонентами, или многообразие с низкой внутренней размерностью – то оценка энтропии становится крайне неустойчивой. На практике люди используют оценщики, учитывающие эффективную размерность, такие как метод ближайших соседей или методы оценки плотности ядра, и часто применяют регуляризацию, предполагая параметрическую модель. Так что чистая модель не работает с исходными данными высокой размерности; нужно адаптировать теорию к структуре данных.