Распознавание эмоций на изображении

Эмоции — неотъемлемая часть межличностной коммуникации, которая выражает отношение человека к самому себе, окружающим и ситуации.

Эмоции можно выразить разными способами, однако наибольший практический интерес представляет распознавание эмоционального состояния по выражению лица, поскольку изображения лиц легко получать и анализировать.

Подготовка изображения

Системы распознавания работают по следующему алгоритму:

• получение изображения;
• обнаружение и локализация лица;
• предварительная обработка области лица;
• нормализация данных;
• извлечение визуальных признаков;
• распознавание эмоций.

Предобработка изображений проводится для устранения недостатка сведений выражений лица, межклассовых сходств и внутриклассовых различий, небольших внешних изменений и освещенности. Стандартно предобработка состоит из четырех этапов: нахождение области лица, ее обрезка и масштабирование, выравнивание лица и коррекция контраста.

После предобработки из изображения извлекаются визуальные признаки путем обнаружения элементов, которые содержат наибольшее количество информации для дальнейшей обработки. По выполняемым функциям выделяют методы:

1. На основе геометрических объектов. С их помощью можно извлекать сведения о частях лица и определять их расположение. В эту группу входят методы LEM, ASM, AAM, HOG, нечеткие функции принадлежности, SIFT и курвлет-преобразование.
2. На основе моделей внешнего вида. Дают возможность извлекать сведения о текстуре лица. К ним относятся фильтр Габора, LBP, LPQ, локальный дескриптор Вебера и DWT.
3. На основе глобальных и локальных объектов. Основаны на поиске векторов, позволяющих классифицировать изображения. Группа включает методы PCA, LDA и OF.

Распознавание эмоций

Последняя стадия распознавания эмоций — классификация выделенных признаков. Методы машинной классификации подразделяются на:

1. Традиционные методы:

• метод опорных векторов (SVM);
• скрытая марковская модель (HMM);
• классификатор минимального расстояния (MDC);
• расстояние Хаусдорфа;
• алгоритм k-ближайших соседей (KNN);
• дерево решений;
• линейный дискриминантный анализ (LDA).

1. Нейросетевые методы:

1. многослойный перцептрон (MLP);
2. глубокие нейронные сети (DNN):

• многослойная прямая нейросеть (MLFFNN);
• сверточная нейросеть (CNN);
• рекуррентная нейросеть (RNN);
• нейросетевые комбинации.

Наиболее перспективны для решения задачи распознавания эмоций CNN и RNN. В основе CNN лежит операция свертки, а в основе RNN – рекуррентный LSTM-нейрон. RNN содержат обратные связи внутри и между слоями, что позволяет учитывать результаты предыдущих итераций при анализе текущего набора данных. Эта особенность делает их оптимальным инструментом для обработки видеопотока.

Для обработки статичных изображений больше подходят CNN, обладающие сверточными слоями, каждый нейрон в которых соединен с ограниченным числом нейронов предыдущего слоя. В результате слой превращается в совокупность фильтров с несколькими параметрами, что позволяет обеспечить высокую точность распознавания эмоций на изображении даже при его значительных искажениях. Научиться обучать нейронные сети для распознавания эмоций можно на курсах профессиональной переподготовки.