Звучит как невероятно интересный проект — прямо как попытка превратить интуицию в алгоритм. Наверное, стоит начать с того, чтобы определить, какие сигналы наиболее важны: изменения в интонации, паузы, микродвижения лица — а потом понять, как это измерить. Это как составлять карту города, который знаешь только по ощущениям, поэтому понадобится сочетание точных данных и хорошего чутья, чтобы понять, что значат эти цифры. Если столкнёшься с какими-то "слепыми зонами", обращайся, помогу разобраться.