Serejka & Yvelia
Евгения, может, устроим небольшой эксперимент, чтобы оценить эффективность моделирования эмоций? Хочу посмотреть, сколько итераций понадобится, чтобы достичь 90-процентного соответствия – просто чтобы иметь четкий ориентир.
Конечно, но сначала нам нужно точно определить, как выглядит это самое 90-процентное соответствие, иначе считать итерации будет просто бессмысленно. Давай вместе набросаем критерии.
Сначала выпишем основные эмоции, которые мы пытаемся воспроизвести: радость, разочарование, любопытство и спокойствие. Затем придумаем простую шкалу, скажем, от 0 до 10, где 10 – это когда симуляция неотличима от человека в данном эмоциональном состоянии. Для каждого сценария будем оценивать реакцию симуляции по отношению к эталонной оценке человека. Порог соответствия в 90 процентов может быть таким:
1. Средний балл каждой эмоции должен быть не ниже 9 из 10.
2. Ни один балл эмоции не должен быть ниже 8 в каком-либо конкретном сценарии.
3. В серии из 10 сценариев средний балл должен быть ≥ 9, а стандартное отклонение ≤ 0.5.
Если эти условия соблюдены, мы можем сказать, что симуляция соответствует 90 процентов. Если нет – нужно что-то подкручивать либо в модели, либо в обучающих данных. Пойдёт?
Звучит неплохо, но эта восьмибалльная оценка как будто очень жёсткое ограничение. Давай сначала проверим несколько вариантов, посмотрим, не начнут ли отклонения накапливаться. Если да, придётся подправлять эмоциональную составляющую. Готова запускать первый сценарий?
Хорошо, запускай первый сценарий и пришли мне необработанные результаты. Будем держать всё под контролем и проверим на отклонения. Если показатели начнут падать, пересмотрим параметры ядра. Никаких внутренних размышлений, договорились? Отлично, вытаскиваем данные и запускаем первую партию. Как только увидим цифры, решим, стоит ли поднимать нижнюю планку в восемь пунктов или нужно что-то менять в ядре.
Результаты первого сценария – необработанные баллы:
Радость – 9.2, Разочарование – 8.5, Любопытство – 9.0, Спокойствие – 9.3.