Фотография лица: D0 bb d0 b8 d1 86 d0 be картинки, стоковые фото D0 bb d0 b8 d1 86 d0 be
Как работает распознавание лиц и можно ли обмануть эту систему
В основе технологии — две нейросети:
Первая — сеть-«выравниватель» (англ. aligner). Она берет картинку, которая поступает с камеры наблюдения, детектирует на ней все лица, которые сможет найти, «вырезает» и «выравнивает» их.
Вот как это выглядит:
Этап №1. Программа вырезает лица (Фото: wikipedia.org)
Программа вырезает обнаруженные лица (те, что плотно расположены друг к другу, повернуты в профиль или просто очень маленькие и нечеткие, система может не распознать).
Затем она их выравнивает: детектирует на лице точки глаз, носа и рта.
Этап №2. Программа распознает ключевые точки на лице (Фото: wikipedia.org)
Наконец, поворачивает и подгоняет размер фото так, чтобы точки глаз, носа и рта находились в определенных местах.
Этап №3.
Некоторые алгоритмы используют больше семи точек — то есть, обводят контуры лица. Это может понадобиться, к примеру, для создания дипфейков.
Вторая — сеть-«распознаватель». Она принимает на входе выровненное изображение, которое передала первая нейросеть, а на выходе выдает вектор лица — то есть, набор чисел фиксированной длины. У разных сетей эти векторы могут отличаться, но чаще всего это некая степень двойки. Например, 512:
Как работает вторая нейросеть, которая распознает лица (Фото: KDnuggets)
На похожие лица сеть выдает похожие векторы и наоборот.
Возьмем одно фото Анджелины Джоли и два изображения Брэда Питта и прогоним их через сеть. На выходе получим три вектора. Измерим расстояние между вектором Анджелины Джоли и вектором первого Брэда Питта, а также между векторами двух Брэдов Питтов. В первом случае расстояние будет большим — это разные люди, а во втором — маленьким: это один человек.
Как нейросеть отличает одного человека от другого (Фото: KDnuggets)
Чтобы обучить нейросети, используют огромные базы данных с лицами людей. Нейросети на входе сообщают, кому принадлежит это лицо, а затем, в ходе обучения, добиваются, чтобы она выдавала максимально точные результаты. Обучившись на миллионах разных людей, нейросеть начинает распознавать и новые лица — те, которых не было в базе.
Технология Face ID в смартфонах устроена немного иначе. Алгоритм распознает вас не по фото, а с помощью инфракрасных точек, которые проецируются на ваше лицо через камеру. После этого создается трехмерная модель и сравнивается с той, что вы уже внесли ранее.
Как работает технология FaceID
Является ли фотография персональными данными
Многочисленные споры так и не смогли однозначно установить, является ли фотография персональными данными и относится ли они к биометрической информации. Позиции регуляторов и судов часто меняются, в разных регионах складывается разная практика. Единой логики принятия решения нет – в каждом конкретном случае оно опирается на установленные законом исключения.
Когда фотография заведомо относится к ПД
Часто встречается ситуация, когда фото на пропусках на работу или на закрытую территорию многоэтажных жилых комплексов признаются ПД и за их использование без получения специально оформленного согласия организации привлекаются к ответственности. Роскомнадзор в ответ на многочисленные запросы операторов персональных данных разъяснил, что в целях применения закона «О персональных данных» к биометрическим персональным данным относятся сведения, которые характеризуют физиологические и биологические особенности человека, и на их основании непосредственно или с использованием технических решений можно установить его личность.
Позиция основывается на том, что:
- не всякое изображение относится к персональным данным;
- для принятия решения о его отнесении к этой категории оператор обязательно должен использовать фото для установления личности.
Изображение человека при его использовании должно быть основой его опознания – при пропуске на работу, в школу.
Согласие на использование персональных данных обязательно оформляется, если приведенное толкование закона дает возможность отнести конкретное фото к биометрическим персональным данным. Форма письменного согласия законом не устанавливается, но она типовая для большинства случаев обработки ПД. Есть и исключения, предусмотренные федеральными законами.
Так, согласие на обработку персональных данных не требуется, если:
- ситуация связана с исполнением страной международного договора;
- изображение обрабатывается в целях отправления правосудия;
- обработка биометрических данных происходит в связи с реализацией целей обороны, борьбой с терроризмом, оперативно-розыскной деятельностью.
Помимо фото, к биометрическим персональным данным закон относит отпечатки пальцев, радужную оболочку глаз, анализы ДНК, рост, вес, метрические сведения, например, данные измерения лица, а также иные физиологические или биологические характеристики человека, отображенные, в том числе, в видео. Всегда к биометрическим персональным данным будет относиться снимок для заграничного паспорта, сделанный с использованием технических средств получения биометрического изображения. Об этом напоминает Постановление Правительства № 125, посвященное вопросам оформления заграничных паспортов.
Часто вопросы вызывает требование организации предоставить фото, особенно на фоне объекта недвижимости или с паспортом в руке для идентификации, без предварительного оформления согласия. Чаще всего так поступают банки, наниматели поденных рабочих, операторы электронных кошельков. Гражданин в каждом случае использования таких фото сам оценивает степень риска. Если она кажется ему высокой, следует обратиться за защитой – направить жалобу в Роскомнадзор с просьбой привлечь к ответственности за неправомерное требование ПД без оформления согласия. Организация обязана разъяснить особенности обработки и использования изображения, порядок и сроки его хранения.
Когда фото не относится к ПД
Основным условием отнесения фотоснимка к биометрическим данным становится использование ее оператором в целях идентификации личности.
- изображение необходимо для реализации политических, государственных, общественных интересов. Равно не является незаконным использованием персональных данных размещение в газете фотокарточки политика. При этом публикация фото чужого ребенка будет отнесена к нарушениям;
- фото или видеоизображение получено в публичном, общественном месте, открытом для общего посещения: в театре, на митинге, на спортивном мероприятии. Оно может свободно размещаться в СМИ без согласия гражданина. Исключением является ситуация, когда оно получено с целью коммерческого использования, в этом случае требуется согласие частного лица;
- фотография получена, когда гражданин позировал за денежное вознаграждение, заведомо понимая, что изображение будет использовано в рекламе или иным способом.
Эти ситуации исключают какое-либо преследование за неправомерное использование фотоизображения человека.
04.03.2020
Покажем всё! Подтяжка лица и шеи – фото и видео До и После, репортаж из операционной, исчерпывающий откровенный рассказ пациентки
Покажем всё! Подтяжка лица и шеи – фото и видео До и После, репортаж из операционной, исчерпывающий откровенный рассказ пациентки.
О пластической омолаживающей операции мечтают многие, но делиться её результатами и, тем более, процессом на просторах интернета готовы далеко не все. Зато абсолютно всем хотелось бы знать всё из первых уст и видеть своими глазами на фото и видео:
- как выглядит пациентка до пластики,
- как проходит операция,
- что она чувствует во время и после операции,
- как проходит восстановление,
- лично оценить достигнутый результат на видео, где ничего не скрыто.
О своих ожиданиях от пластической операции Екатерина рассказывает в видеосюжете.
СМАС-лифтинг и пластика платизмы — подтяжка лица и шеи
Операция подтяжки лица и шеи проведена пластическим хирургом Клинического госпиталя на Яузе, кандидатом медицинских наук Анисимовым Алексеем Юрьевичем.
Пациентке Екатерине проведена омолаживающая пластическая операция — высокий SMAS-лифтинг при общем лифтинге лица и шеи.
Об операции рассказывает пластический хирург, к.м.н. Анисимов Алексей Юрьевич.
В течение месяца после операции рекомендуется ограничение физических нагрузок (тренировок, тяжелого физического труда), тепловых процедур, воздействия ультрафиолета.
Эффект. В результате операции:
- достигнут стойкий длительный лифтинг лица и шеи,
- устранены формирующиеся брыли,
- подтянута линия угла подбородка, нижней челюсти и шеи,
- восстановлен молодой контур лица и шеи,
- сглажены носогубные складки,
- слегка приподняты уголки губ.
Дальнейшие этапы реабилитации после проведенной пластической операции Екатерины мы покажем позже. Но Вы можете не ждать так долго, а просто прийти на консультацию к пластическому хирургу Анисимову А.Ю., где поговорить с Катей – его помощницей — лично и увидеть результат своими глазами.
записаться к врачу
Глубокое обучение с полууправлением для оценки качества изображения лица
[Отправлено 3 января 2022 г.]
Скачать PDFАннотация: В этой статье мы разрабатываем FaceQgen, подход к оценке качества без ссылок.для изображений лица на основе генеративно-состязательной сети, которая генерирует скалярная мера качества, связанная с точностью распознавания лиц. FaceQgen не требует маркированных мер качества для обучения.Он обучается из поцарапать с помощью базы данных SCface. FaceQgen применяет восстановление изображения к лицу изображение неизвестного качества, преобразовав его в каноническое изображение высокого качества, т. е. фронтальная поза, однородный фон и т. д. Оценка качества строится как сходство между исходным и восстановленным изображениями, так как низкая качественные изображения претерпевают большие изменения из-за реставрации. Мы сравниваем три различные числовые показатели качества: а) MSE между исходным и восстановленные изображения, б) их SSIM и в) выходной балл Дискриминатора ГАН.Результаты показывают, что показатели качества FaceQgen хорошие. оценщики точности распознавания лиц. Наши эксперименты включают сравнение с другими методами оценки качества, предназначенными для лиц и для общего изображения, чтобы позиционировать FaceQgen на современном уровне.
Это сравнение показывает, что, хотя FaceQgen не превосходит лучшее из существующих методы оценки качества с точки зрения прогнозирования точности распознавания лиц, это достигает достаточно хороших результатов, чтобы продемонстрировать потенциал полуконтролируемого подходы к обучению для оценки качества (в частности, обучение на основе данных на основе одного изображения высокого качества для каждого объекта), способного улучшить свои показатели в будущем при адекватной доработке модели и значительное преимущество перед конкурирующими методами, заключающееся в том, что не нужны знаки качества для его развития.Это делает FaceQgen гибким и масштабируемым без дорогая обработка данных.
История отправки
От: Хавьер Эрнандес-Ортега [просмотреть письмо][v1] Пн, 3 января 2022 г. 17:22:38 UTC (1867 КБ)
Полууправляемое глубокое обучение для оценки качества изображения лица
[Отправлено 3 января 2022 г. ]
Аннотация: В этой статье мы разрабатываем FaceQgen, подход к оценке качества без ссылок. для изображений лица на основе генеративно-состязательной сети, которая генерирует скалярная мера качества, связанная с точностью распознавания лиц.FaceQgen не требует маркированных мер качества для обучения. Он обучается из поцарапать с помощью базы данных SCface. FaceQgen применяет восстановление изображения к лицу изображение неизвестного качества, преобразовав его в каноническое изображение высокого качества, т. е. фронтальная поза, однородный фон и т. д. Оценка качества строится как сходство между исходным и восстановленным изображениями, так как низкая качественные изображения претерпевают большие изменения из-за реставрации. Мы сравниваем три различные числовые показатели качества: а) MSE между исходным и восстановленные изображения, б) их SSIM и в) выходной балл Дискриминатора ГАН.Результаты показывают, что показатели качества FaceQgen хорошие.оценщики точности распознавания лиц. Наши эксперименты включают сравнение с другими методами оценки качества, предназначенными для лиц и для общего изображения, чтобы позиционировать FaceQgen на современном уровне. Это сравнение показывает, что, хотя FaceQgen не превосходит лучшее из существующих методы оценки качества с точки зрения прогнозирования точности распознавания лиц, это достигает достаточно хороших результатов, чтобы продемонстрировать потенциал полуконтролируемого подходы к обучению для оценки качества (в частности, обучение на основе данных на основе одного изображения высокого качества для каждого объекта), способного улучшить свои показатели в будущем при адекватной доработке модели и значительное преимущество перед конкурирующими методами, заключающееся в том, что не нужны знаки качества для его развития.Это делает FaceQgen гибким и масштабируемым без дорогая обработка данных.
История отправки
От: Хавьер Эрнандес-Ортега [просмотреть письмо][v1] Пн, 3 января 2022 г.

Оценка качества резкости и яркости изображений лиц для распознавания
Качество изображения лица оказывает важное влияние на эффективность распознавания. Оценка качества изображения лица, ориентированная на распознавание, особенно необходима для скрининга или применения изображений лица с различным качеством.В этой работе резкость и яркость в основном оценивались с помощью классификационной модели. Мы выбрали очень качественные изображения каждого субъекта и установили девять видов меток качества, которые связаны с эффективностью распознавания, используя комбинацию алгоритмов распознавания лиц, системы человеческого зрения и традиционного метода расчета яркости. Эксперименты проводились с пользовательским набором данных и базой данных лиц CMU с несколькими PIE для обучения и тестирования, а также с Labeled Faces in the Wild для перекрестной проверки.Экспериментальные результаты показывают, что предложенный метод может эффективно снизить частоту ложных несоответствий за счет удаления некачественных изображений лиц, идентифицированных моделью классификации, и наоборот. Этот метод эффективен даже для алгоритмов распознавания лиц, которые не участвуют в создании меток и обучающие данные которых негомологичны обучающей выборке нашей модели оценки качества. Результаты показывают, что предложенный метод может различать изображения разного качества с достаточной точностью и согласуется с субъективной оценкой человека.Метки качества, установленные в этой статье, тесно связаны с эффективностью распознавания и демонстрируют хорошее обобщение на другие алгоритмы распознавания. Наш метод можно использовать для отбраковки некачественных изображений для повышения скорости распознавания и отбора качественных изображений для последующей обработки.
1. Введение
Обширные исследования качества изображения лица (FIQ) показали, что образцы, предоставленные в качестве входных данных для автоматизированной системы распознавания, влияют на эффективность распознавания.Распознавание лиц все чаще применяется в неконтролируемых средах (например, на автоматизированных контрольно-пропускных пунктах), где полученные изображения могут включать размытие, неравномерное освещение и нефронтальные позы. Такие неидеальные факторы могут существенно снизить точность распознавания. Наиболее прямым проявлением этого снижения точности является то, что производительность распознавания лиц одного и того же алгоритма распознавания на наборах данных с разным качеством имеет очевидные различия. Например, Агдам и др. [1] использовали несколько моделей, чтобы доказать, что эффективность распознавания одной и той же модели распознавания может отличаться на 70% и более для данных разного качества, захваченных в одной и той же сцене.Некоторые исследователи предложили эффективные методы решения проблем, вызванных неидеальными факторами распознавания. Например, Цао и др. [2] предложил алгоритм распознавания устойчивости позы, а Фекри-Эршад [3] классифицировал пол лица, чтобы повысить скорость распознавания. Эти методы достигли некоторых результатов. Однако фильтрация изображений низкого качества с помощью оценки качества изображения лица (FIQA) также является важным способом повышения производительности систем распознавания.
Качество изображений лиц как биометрических образцов тесно связано с результатом распознавания.В стандарте ISO/IEC 29794 [4] описаны три характеристики FIQ: (1) символ, который указывает атрибуты, связанные с неотъемлемыми характеристиками; (2) достоверность, отражающая степень сходства с исходной биометрической характеристикой; и (3) полезность, которая указывает на пригодность для распознавания и зависит от характера и верности. FIQ определяется как мера полезности изображения лица для систем распознавания лиц [5–7]. Это определение согласуется с полезностью, описанной выше.Меру FIQ можно по существу считать предиктором точности распознавания лиц. Другими словами, изображение лица, признанное качественным, должно способствовать успешной работе систем распознавания (или наоборот). Конечной целью FIQA является использование взаимосвязи между качеством изображения и выходными данными алгоритмов распознавания.
FIQA имеет большое практическое значение, поскольку он может отображать изображения лиц различного качества, независимо от того, применяется ли он к системам распознавания в реальном времени онлайн или оффлайн приложениям изображения лица. Ограничение изображений лиц, качество которых определено как низкое для распознавания, может повысить эффективность распознавания и одновременно снизить расход ресурсов системы распознавания лиц. Некоторые инструкции по настройке могут быть предоставлены идентифицируемым лицам или персоналу в зависимости от качества изображения, что имеет важное значение для эффективной динамической настройки среды получения изображения лица. FIQA для изображений, которые не удалось идентифицировать, может предоставить обратную связь исследователям алгоритмов распознавания, которые целенаправленно улучшают эффективность распознавания.Разработке систем алгоритмов множественного распознавания можно способствовать путем выбора соответствующих конфигураций алгоритмов распознавания на основе качества изображения, чтобы система распознавания могла использовать изображения различного качества. Улучшению изображения можно способствовать путем выборочного улучшения изображения или выбора различных конфигураций улучшения для изображений разного качества.
Кроме того, FIQA может применяться для слияния на основе качества, обслуживания базы данных [7] и подходов к динамическому распознаванию [8, 9].
Одна из проблем оценки качества изображения лица заключается в том, что результат FIQA должен быть тесно связан с распознаванием. В последнее время в некоторых исследованиях оценивались определенные факторы, такие как ясность, и объединялись результаты оценки каждого фактора для получения OQ [10, 11]; однако эти методы не имеют тесного отношения к эффективности распознавания. Исследователи предложили методы глубокого обучения для прогнозирования качества с использованием оценки сходства двух изображений данного человека в качестве меток [5].Хотя эти методы были использованы для достижения некоторых прорывов, по-прежнему не хватает методов, ориентированных на идентификацию, которые не сильно зависят от алгоритмов распознавания.
В данной работе проводятся эксперименты с базой данных (обозначаемой как база данных SC) изображений, собранных в идентификационных каналах. Поскольку люди готовы к распознаванию в этой сцене, снятые изображения в основном представляют собой фронтальные портреты без окклюзии, но включают световые искажения из-за неравномерного освещения и размытия из-за переходов между идентифицированными людьми.В основном мы проводим комплексную оценку яркости и резкости изображения лица с помощью контролируемых методов глубокого обучения на этих изображениях. Мы также используем тот же метод для проведения экспериментов с данными базы данных лиц CMU multi-PIE [12] (M-PIE) и перекрестной проверки на Labeled Faces in the Wild (LFW) [13]. Основной вклад этой статьи заключается в следующем: (i) влияние яркости и резкости на распознавание просто проверяется на M-PIE, и подходящие изображения очень высокого качества (VHQI) для каждого субъекта для идентификации выбираются с помощью международного стандарта [ 4, 14] и человеческого консенсуса [7] до маркировки изображений.(ii) Мы устанавливаем метки яркости и резкости, связанные с идентификацией.
В результате изображения делятся на девять категорий, представляющих разную степень яркости и резкости. (iii) Классификационная модель обучается прогнозировать качество на основе самостоятельно созданной базы данных SC и установленных меток качества, а также проверяется качество классифицированных данных. В частности, структура сети взята из литературы [15] и улучшена. Метод установления меток отличается от метода, использующего только показатель подобия, который серьезно зависит от алгоритма распознавания и использует только субъективную оценку, отклоняющуюся от распознавания в этой статье.Обученная модель может предсказать, к какому классу принадлежит изображение, где классы представляют разные уровни яркости и резкости.
Этот документ организован следующим образом: В разделе 2 рассматриваются методы оценки качества изображений лиц. Раздел 3 описывает материалы и методы, включая базы данных лиц и предварительную обработку, метод выбора VHQI и установления меток качества, а также структуру сети. Экспериментальные настройки и результаты представлены в разделе 4. В разделе 5 представлены заключительные итоги этой работы и направления будущей работы.
2. Сопутствующая работа
FIQA является частью оценки качества изображения (IQA), но также является расширением понятия качества изображения. IQA можно разделить на (i) полный стандарт (FR) [16, 17], (ii) сокращенный стандарт (RR) [18, 19] и (iii) отсутствие стандарта (NR) [20–23]. категории в соответствии с объемом информации, предоставляемой эталонным изображением. FIQA также включают подходы на основе FR; например, существует соответствующая литература [24–26], в которой сообщается об использовании вычисления искажения яркости, структурного сходства (SSIM) и вероятностного сходства с эталонными изображениями лица.Однако методы FR и RR применять непросто из-за сложности получения неискаженных эталонных изображений. Необходимы исследования NR-IQA. Описанные ниже FIQA основаны на NR. FIQA можно разделить на неглубокое обучение (non-DL FIQA) и глубокое обучение (DL FIQA).
FIQA, не относящиеся к DL, в основном оценивают определенные факторы, такие как резкость, окклюзия, поза, симметрия, выражение, освещение и разрешение, с помощью определенных методов. Одно из ранних исследований, предложенных Gao et al.[27] продемонстрировали оценку симметрии по свету и позе, расстоянию между глазами, освещенности, контрасту и размытию. Другой метод оценки симметрии, предложенный Zhang и Wang [10], основан на функциях локального масштабно-инвариантного преобразования признаков (SIFT). Санг и др. [28] также оценили симметрию через освещение и позу на основе фильтра Габора и измерили размытие с помощью дискретного косинусного преобразования (ДКП) и обратного ДКП. В литературе [29] исследователи использовали DCT для оценки резкости. Насроллахи и др.[30] использовали метод наименьшего вращения лиц вне плоскости (LOPR) для оценки осанки. Кроме того, общее качество (OQ) всегда получается путем объединения результатов оценки каждого фактора. Nasrollahi и Moeslund [30] также измерили освещенность, размытость и разрешение, а также выполнили слияние весов для получения OQ. Подобный метод существует в литературе [31]. Чен и др. [32] разделили изображения на три категории: изображения без лица, изображения лица без ограничений и изображения лица идентификационной (удостоверяющей) карты, и предположили, что эти ранги постепенно увеличиваются.OQ на основе ранга, нормализованное до [0, 100], получено слиянием пяти признаков и применяется для изучения ранговых весов.
DL FIQA появились в последние годы и находятся почти под надзором. Чжан и др. [33] создали базу данных качества освещения изображения лица на основе оценок человека и обучили модель на основе ResNet-50 [34]. Экспериментальные результаты показывают, что прогнозируемое качество освещения тесно связано с метками, определенными людьми, но отсутствует связь между прогнозируемым качеством и эффективностью распознавания.Роуден и Джейн [5] установили метки качества для обучающей базы данных LFW с помощью двух методов оценки человека и зависимости от сопоставления. Учитывая установленные целевые значения качества лица, модель опорного вектора была обучена на чертах лица, извлеченных сверточной нейронной сетью (CNN), для прогнозирования качества изображений лица. Ю и др. [11] синтезировали 5 деградаций (масштабирование ближайших соседей, размытие по Гауссу, аддитивный белый гауссов шум, шум соли и перца и шум Пуассона) с 3 конфигурациями на CASIA WebFace [11] и обучили модель классификации на 16 классах изображений, включая исходное немодифицированное изображение и 15 изображений с синтетической деградацией.Оценки OQ были получены путем объединения 16 продуктов достоверности классификации ухудшения изображения и точности распознавания изображения лица при соответствующем ухудшении. В литературе [35] была предложена двухпоточная CNN под названием «глубокая оценка качества лица (DFQA)». Ян и др. [35] разделили показатели качества на 5 сегментов, которые были классифицированы по углу, четкости, освещенности, видимости, выражению и т. д., и установили ручные метки для 3000 изображений из ImageNet для обучения предварительно обученной модели SqueezeNet.DFQA был обучен прогнозировать баллы OQ в наборе данных MS-Celeb-1M [36] с метками качества, созданными предварительно обученной моделью.
Эрнандес-Ортега и др. [37] предложил FaceQnet на основе ResNet-50 для качественного обучения на подмножестве из 300 предметов VGGFace2 [38]. Метки качества в этом эксперименте представляют собой сравнительные оценки, полученные с помощью нескольких экстракторов признаков между зондовыми изображениями и высококачественными изображениями, выбранными структурой BioLab-Международной организации гражданской авиации (ИКАО). Чжан и др.[39] и Zhuang et al. [40] использовали многозадачную структуру с несколькими факторами и метками OQ, которые были установлены людьми, и связанный с ними алгоритм для 3000 изображений из набора данных Janus Benchmark-A [41] (IJB-A) для исследований в области перспективных исследований (IARPA). Функции, извлеченные из передних общих слоев, устанавливаются в качестве входных данных слоя подзадачи для прогнозирования различных факторов качества, таких как поза. Выходы подзадачи объединяются для получения оценки OQ через полностью связанные слои.В последние два года появились неконтролируемые методы, включая SER-FIQ [42] и MagFace [43].
SER-FIQ использует надежность стохастического встраивания для оценки качества изображения лица. MagFace получает оценки качества, изучая универсальное представление распознавания лиц и оценки качества.
В этой работе мы объединяем оценку сходства алгоритмов распознавания лиц, метод классификации степени четкости зрительной системы человека и традиционный метод классификации яркости, чтобы установить метки яркости и резкости, связанные с идентификацией.Кроме того, учитывая, что мы установили метки FIQ для самостоятельно созданной базы данных, мы обучаем модель классификации на основе MobileNetV3 [15], которая может предсказывать OQ лица, который одновременно представляет ранг яркости и резкости. Насколько нам известно, это первая попытка объединить эффективность распознавания с человеческими оценками для меток FIQ.
3. Материалы и методы
3.1. Базы данных лиц и предварительная обработка
В этой работе использовались три базы данных лиц: M-PIE, собственная база данных SC и LFW. M-PIE был собран в условиях строгого освещения, позы и контроля выражения лица за четыре сеанса в течение пяти месяцев; эти данные состоят из 337 субъектов и более 750 000 изображений лиц с высоким разрешением. База данных SC состоит примерно из 5000 изображений лиц 945 субъектов, выбранных из каналов идентификации Wisesoft Co., Ltd. Субъекты были сотрудниками компании и согласились на использование своих изображений в исследовании. Конкретные методы скрининга будут описаны позже.Изображения в LFW были получены из естественных сцен из жизни, и в общей сложности было включено 13 233 изображения 5 749 субъектов, из которых более 70% субъектов имели только одно изображение. M-PIE содержит изображения лиц, полученные при условии изменения только одного фактора, в то время как другие факторы остаются оптимальными. Например, при съемке изображений в разных условиях освещения лицо оставалось во фронтальной позе с нейтральным выражением. Мы расширили M-PIE до 9 классов данных, аналогичных базе данных SC.
Эксперименты обучались с использованием базы данных SC и M-PIE, а затем оценивались на LFW и подмножествах базы данных SC и M-PIE, отличных от обучающего набора. Результаты прогнозирования в наборе данных LFW использовались, чтобы увидеть, как результаты оценки коррелируют со зрительной системой человека и эффективностью распознавания.
В данной работе были обнаружены все изображения и отмечены пять ключевых точек (зрачки двух глаз, кончик носа и два угла рта) с помощью модели на основе многозадачной сверточной нейронной сети (MTCNN) [44], которая включил только сверточный слой на первом этапе; таким образом, ввод модели не ограничивался определенным размером.MTCNN в основном использует три каскадные сети: сеть предложений (P-NET) для быстрого создания окон-кандидатов, сеть уточнения (R-NET) для высокоточной фильтрации и выбора окон-кандидатов и сеть вывода (O-NET) для генерации окон-кандидатов. окончательные ограничивающие прямоугольники и ключевые точки лица. O-NET представляла собой регрессионную задачу, которая минимизировала евклидову потерю координат лицевых ориентиров (), полученных из сети, и наземных координат () для выборки. Евклидовы потери выглядят следующим образом:
В литературе [45] Бест-Роуден разделил FIQ на три сценария: (i) содержит ли изображение лицо, (ii) оценка точности выравнивания лица и (iii) качество совмещенного изображения лица.Мы обсудим третий сценарий. Изображения лиц должны быть предварительно обработаны, чтобы максимально выровнять лица в процессе распознавания лиц. Оценка входного изображения систем распознавания лиц имеет более практическое значение; следовательно, необходимо провести ту же предварительную обработку изображения, что и при распознавании в FIQA. Основываясь на обнаруженных ключевых точках, процесс предварительной обработки был следующим: сначала была найдена средняя точка, обозначенная P1, между двумя зрачками и средняя точка, обозначенная P2, между двумя углами рта.Затем мы соединили P1 и P2, чтобы получить отрезок L , вычислили угол между L и вертикальной линией как угол поворота, обозначенный θ , и повернули грань по часовой стрелке или против часовой стрелки на θ так, чтобы все лица имели одинаковую позу в самолете. Наконец, изображение лица увеличивалось или уменьшалось до заданного размера. В частности, мы масштабировали каждое изображение до 150 × 150 пикселей.
3.2. Проверка факторов яркости и резкости
В этом документе основное внимание уделяется яркости и резкости изображения, и мы используем конкретные данные, чтобы проиллюстрировать степень влияния на распознавание этих двух факторов, прежде чем представить метод установления меток качества.M-PIE содержит изображения, сделанные при 19 условиях освещения, при которых другие факторы качества являются оптимальными (см. рис. 1). Эта база данных подходит для проверки влияния отдельных факторов на идентификацию и поэтому выбрана для проверки влияния резкости и яркости на распознавание. Мы протестировали распознавание изображений в различных условиях освещения с помощью классического алгоритма распознавания лиц (FRA-A), основанного на Light CNN-9 [46] с модулями max-feature-map (MFM). Мы знаем, что зрительная система человека очень точно распознает людей, поскольку она даже лучше, чем современные современные системы распознавания [47, 48]. Точно так же некоторые исследования [5, 31, 49] подтвердили возможность использования зрительной системы человека в FIQA. В следующей работе мы использовали систему распознавания человека, чтобы помочь в выборе изображений и установлении меток. M-PIE не содержит изображений вне света. Поэтому мы сделали некоторые изображения ярче с помощью экспоненциальной операции мощности посредством преобразования изображения, чтобы проверить качество изображений вне света. Гамма ( G ) параметры 0,14 и 0,28 были выбраны для увеличения изображений Bri0 ∗ и Bri1 ∗ соответственно (см. Рисунок 2).Обычно, чтобы свести к минимуму ошибку, вызванную маркировкой отдельных изображений на основе показателей сходства (SS), определенных для пары изображений, необходимо выбрать подходящий VHQI для каждого субъекта для идентификации или проверки. Также необходимо выбрать изображения с наиболее подходящей яркостью в качестве VHQI, а затем проверить точность верификации (VA) изображений с разной яркостью.
По заданному показателю яркости (последние две цифры имени файла изображения) M-PIE и зрительному восприятию человека были отобраны изображения яркости (имя файла с «06~08», названное Bri2) с высокими ВА .Образцы более темных изображений постепенно добавлялись к ранее выбранным образцам. После добавления некоторых темных изображений VA изменилась очень мало, поэтому мы добавили больше темных образцов для одновременного проведения теста FRA-A и получили результаты в таблице 1. Идентификация каждого типа тестового изображения приведена ниже: Bri2 (06–08), Bri3 (05–09), Bri4 (05–09 и 15–17), Bri5 (04–11 и 14–18), Bri6 (02–18) и Bri7 (0–19) . В таблице 1 показаны VA для этих типов изображений, где Bri1 представляет два типа изображений Bri2 и Bri1 ∗ , а Bri0 представляет три типа изображений Bri2, Bri1 ∗ и Bri0 ∗ .VA Bri2 была пиковой и была явно выше, чем VA Bri1. VA Bri3 была очень близка к результату Bri2 и показала значительное снижение по сравнению с VA Bri4. Таким образом, Bri3 был выбран в качестве VHQI. Изображения одинаковой яркости, отмеченные как Bri4 ∗ (15~17), Bri5 ∗ (04, 10~11, 14 и 18), Bri6 ∗ (02 и 03) и Bri7 ∗ (00, 01 и 19) были соединены с одним и тем же человеком в VHQI перед тестированием. При сравнении производительности модели, чем больше площадь под кривой рабочей характеристики приемника (ROC) (AUC), тем лучше будет эффект модели.При неизменном алгоритме распознавания AUC была пропорциональна качеству изображения. На рис. 3 показаны ROC-кривые для разных яркостей при FRA-A. Поскольку яркость была единственным искажением, было несколько типов данных с хорошими и очень близкими показателями распознавания. Чтобы более четко показать эффект классификации каждого типа данных, были скорректированы вертикальные и горизонтальные координаты. На рис. 3 видно, что скорость распознавания изображений Bri3 ∗ является самой высокой, а скорость распознавания постепенно снижается с повышением яркости и затемнением.
|