Раздел: ВЗГЛЯД Тема: Автор: Владимир ИВАНОВ, д.т.н., профессор, эксперт Станислав ЗВЕЖИНСКИЙ, д.т.н., профессор МТУСИ Алексей СМИРНОВ, аспирант Дмитрий НИКОЛАЕВ, аспирант
Оценка функциональной эффективности искусственных нейронных сетей при идентификации лиц по фотографиям
Введение Искусственные нейронные сети (ИНС) получили широкое распространение в IT-среде и стали одним из наиболее капиталоемких научных направлений, на которое возлагают надежды пользователи систем физической и компьютерной безопасности (охрана объектов, контроль и управление доступом, поиск аномалий трафика и др.). Для сравнения эффективности функционирования различных видов (типов) систем безопасности (СБ) применяются метрики, которые, по сути, основаны на известных положениях классической статистической радиотехники. Под функциональной эффективностью системы с ИНС будем понимать совокупность двух ее важнейших выходных параметров – вероятности пропуска реальной угрозы (или ошибки 2-го рода) и вероятности ложной тревоги на помеху (или ошибки 1-го рода), которые определяют ее сигнализационную надежность, без учета стоимостных, временных и других показателей. Интеллектуальная видеоаналитика как часть комплексной СБ, безусловно, является одним из важных и интенсивно развивающихся сегментов спецтехники, как в приложении к системам контроля и управления доступом (СКУД), так и для решения антитеррористических и антикриминальных задач. Выделяются несколько направлений развития видеоаналитики, в том числе идентификация (аутентификация) лиц по их известным фотографиям. Применение ИНС в этом сегменте СБ, как показано в известных публикациях, дает несомненный положительный эффект, особенно в нормальных условиях освещения, ракурса, отсутствия масок у людей и пр. Однако в нестандартных случаях результаты работы СБ, как показано в той же литературе, ухудшаются, и встает вопрос оценки относительной эффективности видеоаналитики с ИНС по сравнению с классическими методами. Например, это ухудшение может быть связано со старением долго разыскиваемых людей, известных по ранним фотографиям. Классификация ИНС и принципы применения ИНС – это математическая модель, а также её программное или аппаратное воплощение, построенная по принципу подобия (организации и функционирования) биологических нейронных сетей нервных клеток живого организма [1]. Зачастую ИНС ассоциируют с т.н. «искусственным интеллектом» (ИИ), хотя это не так, – понятие ИИ более широкое, и включает в себя и другие сущности – экспертные системы, базы знаний и пр. Разработанные за последние 20 лет многочисленные ИНС уже реально работают в сфере систем безопасности (СБ) и во многом уже заменили человека-оператора или классические методы обработки видеоданных, в то время как ИИ остается недостижимой, возможно даже потенциально, сущностью, – сейчас невозможно спрогнозировать, наступит ли когда-нибудь время «Терминатора» из одноименного фильма или «Страж-птицы» из одноименного рассказа Р. Шекли. Традиционно ИНС классифицируются по архитектуре (слои, связи), принципам обучения (настройка весов, задание функции активации и др.) и назначению, возможная классификация сетей показана на рис.1.
На практике различают около 14-ти типов элементарных клеток (ячеек) в структуре ИНС, образующих разные слои, и 29 типов структур самих сетей с различными типами связей [2]. В табл.1 показаны результаты анализа возможного применения ИНС в системах безопасности. В системах безопасности преимущественно применяются ИНС, использующие образные данные – видео, аудио, фото, сканы, одномерные и многомерные потоки данных. Для реализации ИНС разработчики применяют различные математические библиотеки в среде С++, С# и др., для среды Python они приведены в табл.2. Зачастую встречаются «универсальные» библиотеки, успешно применяемые в разных языках (средах) программирования. Кроме того, одни и те же задачи можно решать с помощью разных библиотек, при этом некоторые частные библиотеки для реализации ИНС не работают без установленных общематематических библиотек. Основные проблемы в практической реализации ИНС в СБ заключаются в сложности преобразования (кодирования) признаков сигналов в стандартную (единую) форму входных данных. Проблемным вопросом остается и дообучение сети на объекте в связи с непрогнозируемым изменением параметров окружающей среды.
Качество функционирования ИНС в системах биометрической идентификации людей по их изображениям Типично в коммерческих предложениях по реализации СБ на основе «искусственного интеллекта» постулируются преимущественно высокие или даже «чудодейственные» качества функционирования видеоаналитики на основе ИНС. С другой стороны, радиотехнические системы обнаружения / распознавания вне зависимости от их применения характеризуются показателями помехоустойчивости и имитостойкости, которые зачастую замалчиваются производителями. Не зная этих показателей, утверждать о превосходстве одной системы над другой невозможно. Помехоустойчивость – это свойство системы функционировать в условиях естественных помех природного и техногенного происхождения. Помехоустойчивость оценивается вероятностью ложной тревоги (ЛТ) Рл или ошибки 1-го рода Рош1, а также средним временем Тл наработки на ЛТ. Эти параметры в условиях квазистационарности потока ЛТ связаны между собой и с временем наблюдения T известной экспоненциальной зависимостью:
Вероятность пропуска Рп системой «нужной» цели есть вероятность ошибки 2-го рода, которая связана с вероятностью обнаружения тривиальной зависимостью: Рош2=Рпр =1 – Ро.
Для видеоаналитики в СКУД под ошибкой 1-го рода понимается параметр FRR (false rejection rate) – ложный отказ в обслуживании; под ошибкой 2-го рода – параметр FAR (false acceptance rate) – ложное обслуживание клиента без прав, ложный пропуск [3,4]. Свойство радиотехнической системы функционировать в условиях внешней умышленной дестабилизации называется помехозащищенностью. Аналогом этому понятию является имитостойкость – свойство системы сохранять заданные показатели качества в условиях преднамеренной дестабилизации путем навязывания ложного решения о распознавании при измененных (ложных) входных данных. Недостаток имитостойкости видеоаналитики в СКУД проявляется в ложных допусках к защищаемому ресурсу при предъявлении «похожих» фотографий различными людьми; оценку этого параметра можно связать с ошибкой 2-го рода. Ниже не рассматриваются варианты нанесения грима (макияжа), бумажных или силиконовых масок и др. с целью компрометации интеллектуальной видеосистемы – получения доступа от имени другого человека. Вероятность ложного доступа FAR оценивается при предъявлении фото другого человека без «злого умысла». Известно, что в общем случае качество ИНС-видеоаналитики по идентификации людей по фотографии зависит от сцены, освещенности, ракурса съемки, угла поворота головы относительно видеокамер, а также возрастных изменений, пола и даже национальности людей [5]. К примеру, известны ИНС, обученные только на лицах китайцев, – они существенно хуже работают на европейцах, индусах или африканцах, и разработчики этого факта не скрывают [6]. Тестирование известных систем видеоаналитики с ИНС При проведении математического моделирования и оценке современных возможностей «интеллектуальных» видеоаналитических систем, в качестве тестовых были взяты 2 имеющиеся в открытом доступе типовые ИНС (предварительно обученные), условно названные ИНС-1 и ИНС-2, от известных зарубежных производителей [7, 8]. Им на вход «предъявлялись» наборы фотографий, а они «являли» долю совпавших признаков (контрольных точек или фигур геометрии лица), выраженную в %. Эта доля совпадающих признаков при сравнении фотографий и соответствует вы- ставляемому значению u порога «срабатывания» ИНС. Для оценки качества функционирования ИНС была подготовлена репрезентативная выборка из 2-х частей входных данных:
• подборка фотографий 25-ти лиц, сделанных с интервалом времени около одного года в течение более 10 лет (статистически зависимая выборка); • подборка парных фотографий 150 человек, сделанных со случайным интервалом времени от 1 года до 10 лет (статистически независимая выборка). При этом объем данных позволил обеспечить доверительную вероятность не хуже 0,9. Эксперименты по тестированию ИНС проводились в два этапа: • оценка правильности распознавания, вычисление доли совпавших признаков людей по своим же фотографиям с учетом возрастных изменений; • оценка ложного распознавания одного лица вместо другого (ошибка 2-го рода). Некоторые результаты экспериментов приведены на рис. 2; хотя ИНС-1, 2 тестировались на одних и тех же данных, их результаты сильно различаются (левый и правый рисунки).
Видно, что ИНС-1 обучена лучше (ошибок 2-го рода нет), поскольку имеется значимый интервал Δ1 между «облаком» нижних красных точек (сравнение чужих фото) и остальными; красные точки означают долю совпавших признаков на фотографиях у разных людей. Для ИНС-2 результат сравнения фотографий разных людей на выборке более 1000 дает одну ошибку 2-го рода, при этом интервал Δ2 существенно меньше. Например, если бы банковский терминал управлялся только биометрической системой с ИНС-2, то он выдавал в среднем одному из 1000 разных посетителей деньги конкретного клиента. Если бы на графиках рис.2 вообще не было красных точек, то более надежной видилась ИНС-2, поскольку все точки статистически зависимых («серые») и независимых («черные») данных «поджаты» к верхней границе 1,0 и находятся выше порога обнаружения (совпадений % признаков), равного 0,75. На основании результатов экспериментов можно сделать некоторые выводы: 1). Доля совпавших признаков уменьшается примерно с 0,98 до 0,9 с увеличением времени между фотографиями через 10 лет (резко уменьшаясь через 4 первых года), дисперсия оценок растет к 10-ти годам, становясь неприемлемой. 2). Выборки статистически зависимых и независимых данных являются однородными для каждой ИНС, – равенство было проверено на выборочных средних (критерий Лапласа) и выборочных дисперсий (критерий Фишера); это позволяет объединить выборки в одну (для дальнейших исследований). 3). Выборки оценок для двух ИНС неоднородны, и хотя критерий равенства средних выполнен, равенства дисперсий нет. 4). Доли «правильного» совпадения признаков (черные и серые точки) не подчиняются нормальному закону распределения и изменяются со временем, – резкое ухудшение распознавания начинается после 4 лет, прошедших с момента первой (эталонной) фотографии. 5). Для ИНС-1 и ИНС-2 распределение долей «неправильных» совпадений со временем не изменяется, но вид законов абсолютно разный. При этом для обоих ИНС изменяются значения доли совпавших признаков при замене фотографий метами, т.е. ИНС осуществляют вычисления обратно нетождественные. Полученные выборки экспериментальных данных позволяют подобрать законы распределения случайных величин и оценить их параметры. Отметим, что в качестве результата тестирования ИНС использовалась доля совпавших признаков на фотографиях, что не тождественно вероятности распознавания. Для вычисления последней необходимо подобрать закон распределения доли совпадения признаков. Поскольку нормальный закон здесь не подходит, было принято целесообразным «подогнать» 3-параметрическое экспоненциальное семейство распределений с помощью метода максимума правдоподобия [9]:
где: x – значение абсциссы (доля совпадения признаков на фотографиях лиц); a –параметр формы распределения; μ – параметр сдвига; σ – параметр масштаба. Тогда вероятность обнаружения в зависимости от заданного порога обнаружения u можно вычислить по формуле:
Для численного расчета значений PО и P л необходимо задать порог u, который может выставляться в соответствии с одним из известных статистических критериев – идеального или последовательного наблюдателя – Байеса, Неймана-Пирсона [10]. При реализации СБ типа СКУД приемлемым видится критерий Неймана-Пирсона, когда P л фиксируется на допустимо низком уровне, а PО максимизируется. Возможным представляется и т.н. обратный критерий Неймана-Пирсона, когда PО фиксируется на допустимом высоком уровне, а P л минимизируется. Выбор того или иного критерия зависит от предназначения системы обнаружения / распознавания. Например, в некоторых системах задается P л ≤ 10 -9 (т.е. ошибка 1-го рода не должна превышать 1 случай на 109 событий), а вероятность PО максимизируется на уровне 0,9 - 0,99. Возможные аналогичные показатели должны задаваться и в будущих автоматических ИНС-биометрических системах идентификации на важных объектах. Пока же результаты тестирования известных ИНС-1,2 остаются достаточно скромными. Расчет по (2) и (3) показывает, что PО ≥ 0,9 обеспечивается для ИНС-1 при совпадении более 96,5% признаков (контрольных точек лица), а для ИНС-2 – при совпадении 98,2% признаков. Для увеличения вероятности достоверного распознавания надо уменьшать порог, но это однозначно приводит к росту ошибок 1-го рода. При смещении порога в сторону 1,0 ошибки уменьшаются, но уменьшается и вероятность правильной идентификации. Получено, что для выбранных ИНС-1 и ИНС-2 диапазон рациональных значений порога (компромисс между обнаружительной способностью и помехоустойчивостью) составляет 0,6 – 0,9. При этом вероятность ошибки 1-го рода составляет 10-3– 10 -4, что нельзя признать удовлетворительным для видеоаналитики СКУД важных объектов охраны. Выводы Эффективность функционирования систем видеоаналитики с ИНС при идентификации / распознавании лиц по фотографиям должна оцениваться не качественно, а с помощью известных количественных параметров – ошибок 1-го и 2-го рода. Выбор значения порога (доли совпадающих геометрических признаков лиц) в диапазоне 0,6 – 0,9 является альтернативным в зависимости от назначения. При этом для известных ИНС получаются результаты, которые пока не удовлетворяют требованиям сигнализационной надежности, предъявляемым, например, к системам военного назначения. Это заставляет пользователей вводить дополнительный канал биометрического распознавания, основанный на другом физическом принципе работы. Литература 1). Звежинский С., Иванов В. Интеллектуальные методы поиска следов мошенничества в больших данных // Технологии защиты. – 2021. – № 3. 2). http://datascientist.one/class-type-nn. 3). Магауенов Р.Г. Системы охранной сигнализации: Основы теории и принципы построения: Уч. пособие для вузов. – М.: Горячая линия- Телеком, 2017. – 494 с. 4). Руководство по составлению спецификаций на СКУД. – М.: Security Focus, 2017. – 170 с. 5). Иванов В., Звежинский С. Проблемы фальсификации фото- и видеоматериалов на современном этапе развития цифровизации // Технологии защиты. – 2021.- № 1. 6). https://www.zaoapp.net. 7). https://azure.microsoft.com/ru-ru/products/video-analyzer. 8). https://evergreens.com.ua/ru/box-products/face-id.html. 9). Гмурман В.Е. Теория вероятностей и математическая статистика: Уч. пособие для вузов. – М.: Высшая школа, 2003. – 479 с. 10). Двойрис Л., Иванов В., Крюков И. Реализация критериев обнаружения и различения сигналов в среде MathCAD // Радиотехника. – 2021. – № 2.
Внимание! Копирование материалов, размещенных на данном сайте допускается только со ссылкой на ресурс http://www.tzmagazine.ru Рады сообщить нашим читателям, что теперь нашем сайте работает модуль обратной связи. Нам важна ваша оценка наших публикаций! Также вы можете задавать свои вопросы.Наши авторы обязательно ответят на них. Ждем ваших оценок, вопросов и комментариев!

Добавить комментарий или задать вопрос

Правила комментирования статей

Версия для печати

Средняя оценка этой статьи: 0  (голосов: 0)
Ваша оценка: