Специалисты лаборатории естественного языка НИУ ВШЭ в сотрудничестве с Санкт-Петербургским Федеральным исследовательским центром РАН и Центром практического ИИ Сбербанка разработали нейросеть для анализа человеческого поведения. Программа способна распознавать эмоции, оценивать личностные черты и фиксировать амбивалентность поведения.

Представители пресс-службы НИУ ВШЭ в Петербурге пояснили, что искусственный интеллект анализирует данные сразу из нескольких источников: видео, аудио, текстового содержания речи, а также сгенерированных описаний позы, жестов, мимики и взгляда.

Доцент НИУ ВШЭ Дмитрий Рюмин уточнил, что обучение модели проходило на базе вузовского суперкомпьютера Харизма с использованием различных массивов данных. Руководитель проекта Елена Рюмина добавила, что главной задачей было объединение общих компонентов для решения разных задач, так как видеоряд более важен для оценки личности, а содержание речи — для выявления поведенческих противоречий.

Авторы проекта видят потенциал использования нейросети в цифровых образовательных системах и интерфейсах поддержки пользователей. В будущем планируется создание цифровых аватаров, способных подстраивать свое поведение и речь под эмоциональное состояние человека.