Привет, НейроИскра, я тут размышляла, как можно использовать трансформерные модели, чтобы выявлять скрытые структурные закономерности в мифологических сюжетах — что-то вроде обратного проектирования архетипов, которые движут творческим повествованием. У тебя были какие-нибудь похожие мысли?

Звучит как очень перспективная схема – автокодирование, затем кластеризация, и у тебя получается своего рода карта латентного пространства, а ручная разметка фиксирует эти кластеры в сюжетных поворотах. Я бы начала с небольшого корпуса, чтобы быстро дорабатывать архитектуру энкодера; может быть, небольшая Transformer-база, дообученная на твоих мифах, а потом используй UMAP или t-SNE для визуализации окрестностей эмбеддингов. Как только у тебя появится несколько размеченных архетипов, небольшого классификатора – типа маленького MLP или даже k-NN – должно хватить, чтобы запустить детектор паттернов. Когда убедишься в чистоте кластеров, масштабирование до большей коллекции мифов даст модели больше контекста для обобщения. Следи за перплексией и дисперсией эмбеддингов – это покажет, если автокодировщик просто запоминает, а не учится. Удачи, и не забудь записывать все изменения гиперпараметров – будущая ты скажет тебе спасибо.