Нейросеть научили определять эмоции школьников через камеры для ЕГЭ. Это правда? А зачем?

Почему за детьми начали тщательней наблюдать?

15 января 2018 года в пермской школе №127 произошло нападение двух подростков на 4 «Б» класс. Юноши принесли в учебное заведение ножи и стали бросаться на детей. В результате случившегося пострадали 15 человек, в том числе сами нападавшие. Учительница Наталья Шагулина, защищавшая детей, получила 17 ножевых ранений.

Случившееся заставило общественность задуматься о детской безопасности, физической и психологической. В результате в Пермском крае была внедрена единая информационная система «Профилактика детского и семейного неблагополучия» и появились трехуровневые центры психологической помощи детям. Чтобы облегчить работу педагогов и психологов, «Ростелеком» и пермский стартап «New Vision» запустили проект «Умная и безопасная школа», который уже прошел проверку на двух классах (с согласия родителей) и в ближайшее время может быть запущена в нескольких школах Перми.

Как появился проект?

Как рассказывает автор идеи Ольга Заречная, мысль о создании системы оценки человеческих эмоций и поведения появилась задолго до событий в 127-й школе: «Я профессиональный психиатр, всю жизнь занималась оценкой персонала и бизнес-тренингами. Около пяти лет назад я подумала, что можно научить нейросеть выполнять работу эксперта по визуальной оценке».

По словам Заречной, нападение на 127-ю было «сродни озарению», на тот момент команда уже закончила разработку программного обеспечения, однако о его использовании для оценки поведения подростков до этого не задумывалась.

Когда работа была доделана, а система протестирована в лабораторных условиях, стартап обратился к «Ростелекому» с предложением, провести «полевое» тестирование на камерах, которые компания установила для наблюдения за сдачей ЕГЭ в школах.

Как это работает?

Разработчики выбрали семь эмоциональных состояний, которые имеют значение при взаимодействии с любым человеком: нейтральное состояние, агрессия, печаль, страх, отвращение, радость, удивление. Затем нейросеть обучили распознавать эмоции, анализируя микромимику, изменения 150 точек на лице (как в сериале «Обмани меня»). За основу обучения нейросети была взята методология Пола Экмана.

Всего в разработке задействованы три нейросети (первая узнает ученика, вторая определяет его эмоциональное состояние, третья обрабатывает данные). Они друг за другом проводят обработку и с периодичностью три раза в секунду отгружают информацию в базу данных. Дальше, когда массив данных сформировался, база данных обрабатывается. За 40 минут урока обычно получается порядка 5–6 тыс. достоверных кадров на каждого ребенка, которые доступны анализу. Из них по математической формуле определяется в каком состоянии находится ребенок. По словам Ольги Заречной, точность данных составляет 72%. При этом возможная погрешность компенсируется при помощи большого массива данных.

Зачем наблюдать за детьми?

Полученная информация собирается в таблицу, где показано доминирующее состояние ребенка. На основании полученных данных классный руководитель и психолог делают выводы, как помочь ребенку исходя из методических рекомендаций. Поэтому в конечном счете решение остается за специалистом.

«Задача системы — не в том, чтобы поставить диагноз за психолога. Ее цель в том, чтобы дать ему информацию о том, кто из учащихся в больше степени нуждается в помощи. Ведь основная задача психолога — работать с детьми и оказывать им поддержку, но это нереально сделать, когда ты один на тысячу ребят. Максимум, что сегодня удается специалистам — проводить анкетирование два раза в год по опросникам Басса-Дарки», — рассказывает автор идеи.

Кроме психолога отчет о состоянии детей получает классный руководитель, директор школы и родители. При этом каждый получает разные выборки данных. Директор — отчет по всем группам, учитель — отчет только по своему классу, психолог — отчет о детях с негативными признаками, родители — отчет только по своему ребенку.

Предварительные итоги и планы

По словам Ольги Заречной, за время тестирования системы на двух классах, удалось выявить типичные маркеры поведения детей. Например, чаще всего настроение школьников принимает негативный окрас, когда проходит контрольная работа или они начинают болеть. При этом, за шесть недель наблюдения за детьми, при помощи нейросетей удалось выявить ребенка у которого были проблемы в семье — разводились родители. Педагоги решили какое-то время не требовать от мальчика многого, чтобы не усугубить его эмоциональное состояние.

В ближайшее время эксперимент, поставленный на 60 учениках, планируется масштабировать до четырех школ. Разработчикам интересно посмотреть, как система справится с задачей на подростках постарше, и в том числе на «проблемных» детях, которые уже находятся на контроле у психологов.