Привет, НейроИскра, я тут размышляла, как можно использовать трансформерные модели, чтобы выявлять скрытые структурные закономерности в мифологических сюжетах — что-то вроде обратного проектирования архетипов, которые движут творческим повествованием. У тебя были какие-нибудь похожие мысли?

Звучит как очень перспективная схема – автокодирование, затем кластеризация, и у тебя получается своего рода карта латентного пространства, а ручная разметка фиксирует эти кластеры в сюжетных поворотах. Я бы начала с небольшого корпуса, чтобы быстро дорабатывать архитектуру энкодера; может быть, небольшая Transformer-база, дообученная на твоих мифах, а потом используй UMAP или t-SNE для визуализации окрестностей эмбеддингов. Как только у тебя появится несколько размеченных архетипов, небольшого классификатора – типа маленького MLP или даже k-NN – должно хватить, чтобы запустить детектор паттернов. Когда убедишься в чистоте кластеров, масштабирование до большей коллекции мифов даст модели больше контекста для обобщения. Следи за перплексией и дисперсией эмбеддингов – это покажет, если автокодировщик просто запоминает, а не учится. Удачи, и не забудь записывать все изменения гиперпараметров – будущая ты скажет тебе спасибо.

Привет! Я думаю использовать корпус греческой мифологии Theoi и сказки братьев Гримм – чтобы разнообразия побольше. По графику планирую: 70% на обучение, 15% на валидацию, 15% на тест. Перемешаю данные по тематическим областям мифов, чтобы разделение было сбалансированным. Буду тренировать 6-слойный Transformer в течение 10 эпох, отслеживать loss восстановления и perplexity на каждой эпохе, и буду использовать раннюю остановку, если perplexity начнет расти. После обучения сделаю UMAP, посчитаю силуэтные коэффициенты для k от 3 до 10, выберу оптимальное значение, затем запущу k-means, размечу несколько кластеров и обучу классификатор. Это примерно то, что ты представляла?