1. Классификация людей по лицу
для измерения аудитории
и поиска в архиве
Вадим Конушин
генеральный директор
ООО «Технологии видеоанализа»
1
2. О себе
• ООО «Технологии видеоанализа»
– Основана в 2010 году выпускниками Лаборатории компьютерной
графики и мультимедиа ВМК МГУ
– В настоящее время – 7 человек в штате
– Область деятельности: видеоаналитика, биометрия
• Идентификация людей по лицу
• Классификация людей по лицу
• Выделение и сопровождение объектов в видео
• Поиск в видеоархивах
– Гранты СТАРТ от фонда Бортника по теме
«Система анализа аудитории»
– Совместные НИР и разработки модулей видеоаналитики с
компанией Синезис
2
3. План
• Что можно сказать по лицу?
• Как работают алгоритмы классификации по лицу
• Проблемы классификации
• Области использования
• Ожидаемая точность
3
4. Что можно сказать по лицу?
• Постоянные характеристики:
– Пол, возраст, этническая
принадлежность
• Временные характеристики:
– Наличие волос, цвет волос, усы,
борода
• Характеристики вида:
– Наличие очков, головного убора
• Мимика лица (не эмоции)
– Улыбка
Изображение взято из базы Color FERET: http://www.nist.gov/itl/iad/ig/colorferet.cfm 4
5. Принцип работы алгоритмов
• Стандартная схема:
– Выделение лица
– Поиск антропометрических точек (глаза)
– Нормализация изображения
– Вычисление дескриптора
– Классификация
Изображение взято из базы Labeled Faces in the Wild: http://vis-www.cs.umass.edu/lfw/ 5
6. Принцип работы алгоритмов
• В видео:
– Сопровождение лица
– Выбор наилучшего кадра (или нескольких)
– Классификация
6
8. Области использования
• Бизнес аналитика
– Системы Digital Signage
• «Мягкая биометрия»
– Поиск в архиве или идентификация человека
• Прочие применения
– Фильтрация поиска изображений
– Интерактивная реклама
– Умные интерфейсы
8
9. Бизнес аналитика
• Подсчет количества и состава аудитории,
динамика изменения
160
140
120
100
80
60
40 Мужчины
20 Женщины
0
9
10. Системы Digital Signage
• Фронтальные,
неподвижные лица
• Близкое
расстояние
• Анализ внимания
аудитории
Изображение: https://aimsuite.intel.com/get-started/how-does-it-work 10
11. Бизнес аналитика, компании
• Panasonic
• 3VR
• Cognitec
• Digital Signage
– CognoVision (куплен Intel в 2010 г. за $25 млн.)
– TruMedia
– AiTech
– Rhonda software
11
12. Мягкая биометрия
• Soft Biometrics
– Физические характеристики
• пол, возраст, цвет кожи, глаз, волос, наличие бороды или усов,
рост, вес
– Поведенческие характеристики
• походка, нажатие клавиш
– Характеристики внешнего вида
• тип и цвет одежды, наличие очков, аксессуары
12
13. Мягкая биометрия
• Помощь в идентификации:
– Пол
– Раса
– Цвет волос
– Наличие очков
– Форма и размер носа
– Двойной подбородок
– … (всего 65 признаков)
Kumar N. et. al. Attribute and simile classifiers for face verification // ICCV, 2009 13
14. Поиск в архивах
• IBM
– Обычная и
инфракрасная камера
Запрос: лысый человек Запрос: красная рубашка
Vaquero D.A. et. al. Attribute-based people search in surveillance environments // WACV, 2009 14
15. Поиск в архивах
• IntuVision
– Разные признаки в зависимости от
размера объекта
– Сопровождение людей между
разными камерами
Demirkus M. et. al. Automated person categorization for video surveillance using soft biometrics // SPIE
Defense and Security Conference, 2010 15
16. Прочие применения
• Фильтрация поиска изображений
– Google, Microsoft, Yandex
– Face.com (куплен Facebook в 2012 г. за $55-$60 млн.)
• Интерактивная реклама
• Умные интерфейсы
16
17. Точность классификации
• Нет общепризнанных баз и протоколов сравнения
• Только цифры мало что значат
– На каких данных тестировали и обучали?
17
18. Точность классификации
• Классификация пола
– База LFW
• 13233 изображений
• 5749 человека
• 40-50 пикселей между
центрами глаз
– Точность (в статьях): 94%
Изображения взяты из базы Labeled Faces in the Wild: http://vis-www.cs.umass.edu/lfw/ 18
19. Точность классификации
• Классификация возраста
– База FG-NET
• 1002 изображения
– База MORPH
• 5492 изображения
Изображения взяты из баз FG-NET Aging Database (http://www.fgnet.rsunit.com/) и MORPH
(http://faceaginggroup.com/projects.html#morph) 19
20. Точность классификации
• Классификация возраста
100
Средняя Ошибка не
ошибка, лет более 5 лет 80
FG-NET 4,48 74% 60
40
MORPH 6,07 56% 20
0
0 1 2 3 4 5 6 7 8 9 10
Ошибка не более n лет, %
20
21. Точность классификации
• Информация по компаниям
– 3VR
• Оценка возраста: ошибка 7 лет
– TruMedia
• Классификация пола: 90%
• Классификация возраста: 85%
– (деление на 3 группы – молодой, взрослый, пожилой)
– IntuVision
• Классификация пола (лица 60х60 пикселей) – 90%
• Классификация пола (лица 30х30 пикселей) – 70-75%
21
22. Точность классификации
• Наша точность
– Классификация пола, LFW: 90,18%
• Лучший результат 92.96%
– Классификация возраста, MORPH: ошибка в 5 лет
• Пока плохо обобщается на другие данные
22
23. Резюме
• Классификация по лицу
– Схожие алгоритмы и проблемы по сравнению с
идентификацией по лицу
– Обширные применения:
• Самостоятельные – бизнес аналитика
• «Мягкая биометрия» – помощь в поиске/идентификации
– Нет общепризнанных протоколов сравнения
– Оценка точности:
• Классификация пола – 90% на хороших данных
• Классификация возраста – 85% для 3 возрастных групп
23
