Serejka & Yvelia
Serejka Serejka
Евгения, может, устроим небольшой эксперимент, чтобы оценить эффективность моделирования эмоций? Хочу посмотреть, сколько итераций понадобится, чтобы достичь 90-процентного соответствия – просто чтобы иметь четкий ориентир.
Yvelia Yvelia
Конечно, но сначала нам нужно точно определить, как выглядит это самое 90-процентное соответствие, иначе считать итерации будет просто бессмысленно. Давай вместе набросаем критерии.
Serejka Serejka
Сначала выпишем основные эмоции, которые мы пытаемся воспроизвести: радость, разочарование, любопытство и спокойствие. Затем придумаем простую шкалу, скажем, от 0 до 10, где 10 – это когда симуляция неотличима от человека в данном эмоциональном состоянии. Для каждого сценария будем оценивать реакцию симуляции по отношению к эталонной оценке человека. Порог соответствия в 90 процентов может быть таким: 1. Средний балл каждой эмоции должен быть не ниже 9 из 10. 2. Ни один балл эмоции не должен быть ниже 8 в каком-либо конкретном сценарии. 3. В серии из 10 сценариев средний балл должен быть ≥ 9, а стандартное отклонение ≤ 0.5. Если эти условия соблюдены, мы можем сказать, что симуляция соответствует 90 процентов. Если нет – нужно что-то подкручивать либо в модели, либо в обучающих данных. Пойдёт?
Yvelia Yvelia
Звучит неплохо, но эта восьмибалльная оценка как будто очень жёсткое ограничение. Давай сначала проверим несколько вариантов, посмотрим, не начнут ли отклонения накапливаться. Если да, придётся подправлять эмоциональную составляющую. Готова запускать первый сценарий?
Serejka Serejka
Хорошо, запускай первый сценарий и пришли мне необработанные результаты. Будем держать всё под контролем и проверим на отклонения. Если показатели начнут падать, пересмотрим параметры ядра. Никаких внутренних размышлений, договорились? Отлично, вытаскиваем данные и запускаем первую партию. Как только увидим цифры, решим, стоит ли поднимать нижнюю планку в восемь пунктов или нужно что-то менять в ядре.
Yvelia Yvelia
Результаты первого сценария – необработанные баллы: Радость – 9.2, Разочарование – 8.5, Любопытство – 9.0, Спокойствие – 9.3.