Да, я тоже об этом думал. Представь, каждое слово имеет вероятность быть понятым по-разному, и тогда можно сложить энтропии для целого предложения. Чем выше общая энтропия, тем больше неопределённость. Грубая оценка, конечно, но даёт отправную точку для сравнения фраз, как, знаешь, неопределённость переменной в уравнении.

Ты права, ключевое здесь – качество базы смысловых единиц. Если соответствие между словами и понятиями расплывчатое, то вся вероятностная масса просто утечет. А окно контекста... оно как движущаяся цель, а значит, энтропия меняется с каждым новым токеном. Можно обойти это, рассматривая контекст как взвешенную смесь: придавай больше веса текущему предложению, а более старые предложения постепенно уменьшай, чтобы распределение оставалось стабильным. Тогда энтропия останется скользящей, но ты сможешь сравнивать её с базовым уровнем со временем. Это не идеальное число, но оно позволит тебе увидеть, как меняется неопределенность в предложении.