Как работает идентификация лиц в телефонах

Зачем мы выбираем разблокировку по лицевому распознаванию

В прошлые времена определение физиономий является одной из наиболее востребованных опций для открытия мобильных телефонов. Еще несколько годов тому назад большинство использующих обходились пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, например admiral x, нам вполне просто взглянуть на экран — и устройство тут же узнает своего владельца.

Что делает эту конкретную возможность такой востребованной? Для начала, это практично: не нужно удерживать в памяти сложные пароли или искать правильный палец в мраке. Во-вторых, это быстро: современные системы узнают лицо практически за мгновение. В-третьем пункте, это ощущение футуризма — словно в фильмах про admiral x агентов.

Тем не менее за данной кажущейся простотой скрывается весь мир сложных техник и инженерных разработок. Попробуем понять, как точно действует фейсканирование в актуальных мобильных телефонах, какие применяются технологии, насколько они безопасны и что нас ждёт впереди.

Короткая история эволюции технологии

Распознавание лиц как методика существует уже более пятидесяти годов. Первые пробы автоматического исследования облика были осуществлены еще в 1960-х годы в лабораториях США. Тогда компьютеры способны были лишь выделять контуры черепа и вычислять расстояния между глазами и устами на монохромных снимках.

Изначальные бизнес установки возникли в 1990-х годах, но они были далеки от совершенства: действовали неспешно и нередко ошибались. Только с развитием синтетических сетей и таких систем, как адмирал х, мощных мобильных микросхем определение лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным сканированием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять личные разработки.

Ключевые стадии действия системы распознавания

Процесс определения лица можно примерно поделить на несколько ключевых этапов:

Распознавание лиц — камера распознает присутствие человеческого образа в снимке.
Извлечение признаков — алгоритм изучает контуры физиономии: конфигурацию зрительных органов, обонятельного органа, губ, позицию надбровных дуг.
Построение шаблона — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение со образцом — сформированный шаблон сравнивается с записанной при внесении биометрической данными владельца.
Принятие решения — если совпадение достаточно значительное, смартфон разблокируется.

Всякий из данных этапов нуждается в особых методов и улучшений для скорой работы непосредственно на девайсе.

Технические элементы: что находится внутри

Стандартная фронтальная камера.

Простейший легкий метод распознавания облика использует только переднюю камеру смартфона смартфона. Такой метод осуществлён во различных недорогих версиях Android-девайсов.

Достоинства:

Необходимо нуждается в дополнительных сенсоров.
Шустро функционирует при достаточном свете.

Недостатки:

Несложно обмануть изображением или видеозаписью.
Плохо действует при плохом освещении или непривычных точках зрения.

Инфракрасная фотокамера и точечный проектор

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Как это функционирует:

Точечный проектор отображает на физиономию использующего невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
Инфракрасная камера фиксирует изменение формы этой сетки по поверхности физиономии.
Формируется трехмерная глубинная карта глубины, которая практически неподвластна для фальсификации обычной снимком или маскировкой.

Преимущества

Надёжная деятельность даже в полной темноте.
Высокая защита к фальсификациям.
Точность идентификации более 99%.

Дополнительные сенсоры

В отдельных аппаратах задействуются также экстра сенсоры: ToF (Time-of-Flight), которые определяют период распространения света до объекта и обратно; RGB-датчики дальности; специальные световые дальномеры для формирования более аккуратной 3D-модели физиономии.

Эти инновации применяются наиболее часто во передовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный ум на исполнении

Нынешние системы опознания физиономий неосуществимы при отсутствии применения искусственного интеллекта и машинного обучения. Именно вследствие таким разработкам, как адмирал х, аппарат способно идентифицировать владельца даже при трансформациях облика: новая стрижка, борода, очки или грим не становятся препятствием для деблокировки.

Распознавание лиц

На начальном этапе алгоритм должна оперативно обнаружить ликовое изображение среди целого кадра камеры. Для данной цели используются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: метод MTCNN может обнаруживать облик даже с неполном перекрытии (например, платком или рукой).

Идентификация ключевых точек

После распознавания лица устройство, такая как адмирал х, вычисляет расположение главных точек: кончики глаз, кончик носа, края губ и так далее. Как правило задействуется от 68 до 128 основных точек на лице.

Данное нужно для нормализации изображения: если человек удерживает мобильник под наклоненным, или склонил головку, программа исправляет изображение до нормального состояния для дальнейшего анализа.

Создание биометрического идентификатора модели

Далее нейросеть строит сжатое цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ лица длиной от 128 до 512 вещественных чисел.

Такой образец очень трудно подделать: он не удерживает само картинку юзера, а лишь уникальные черты его облика, что делает его оптимальным для таких площадок, как admiral-x.

Сравнительный анализ и принятие выбора

В случае, когда юзер желает открыть смартфон взором, программа воспроизводит все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый границу (обычно превышает 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ блокируется.

Приспособление к трансформациям облика

Интересная особенность современных систем — способность самообучения. Если вы регулярно доступаете к телефон с обновленной стрижкой или очками, алгоритм постепенно обновляет основной шаблон вашего лица для повышения точности работы без снижения уровня безопасности.

Защита биометрических данных данных.

Многие юзеры беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за риска потери данных или хакерской атаки. Иные организации, такие как admiral-x, предлагают методы для повышения сохранности информации пользователей.

Локальное сохранение: Большинство устройств записывает био-идентификационные образцы исключительно в пределах защищенного процессора Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают гаджет и не доступны включая создателю.
Шифрование: Все данные сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих разработчиков не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать факт подтверждения личности через системный API.

Необходимо упомянуть важную деталь: если какой-то человек достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество производители осуществляют систему защиты от “слепого” разблокирования — в частности, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют категории идентификации лиц на изображениях?

На сегодняшний день можно различить три главных подхода к выполнению этой функции:

Софтверное 2D распознавание

Применяется только лицевая камера без экстра датчиков глубины. Подобный метод встречается чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность воплощения; умеренная стоимость; быстрая функционирование при качественном свете.
Минусы: просто ввести в заблуждение снимком; неустойчивая функционирование ночью; низкая безопасность.

Оборудование для трёхмерное оцифровка

Применяет инфракрасную видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: высокая надёжность; нельзя исказить фото/видео; стабильная работа при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с интеграцией ИИ

Используют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, такие товары, как адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Образцы применения разнообразных методов

iPhone линейки X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз представил аналог Face ID в ряду Android.
Samsung Galaxy S10 модель/S20 имеют как программное двухмерное идентификацию по изображению фронталкой, так и сенсор радужки глаза.
Huawei Mate20 Pro задействует систему из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и неверные сигналы

Несмотря на впечатляющий успехи технологий за недавние лет, идеальных системы пока не наблюдается:

Вероятность обмана: Недорогие мобильники без труда открываются высококачественной фотографией пользователя или роликом с экрана другого устройства.
Идентичные близняшки: Даже самые совершенные устройства могут ошибиться между монозиготными близнецами либо родственниками с очень похожей внешностью.
Метаморфозы внешности: Стремительное утрата веса/набор веса, пластические операции либо травмы порой необходимы для перерегистрации биометрии.
Условия фотографирования: Интенсивная подсветка солнцем либо плотная темнота могут понизить точность распознавания признаков.

Ниже некоторые рекомендаций для защищённому использованию:

Для значимых операций всегда внедряйте двухфакторную аутентификацию;
Не включайте функцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Постоянно обновляйте программное обеспечение смартфона для обеспечения безопасности от новых видов атак;
Включайте функцию “Требовать распахнутых глаз” там, где она есть.

В каких местах дополнительно используется технология помимо мобильных телефонов?

Пускай тема этой работы касается именно портативным гаджетам, необходимо сказать о прочих направлениях внедрения технологии:

Мониторинг прохода в деловых центрах и многоквартирных зданиях;
Платёжные аппараты финансовых учреждений (“Face Pay”);
Электронные удостоверения личности последнего типа;
Системы видеоконтроля муниципальных подразделений;
Автоматизирование регистрации явки школ/вузов;
Авторизация пользователей компьютеров/ноутбуков.

Например: В городском метро уже тестируется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Похожие инициативы осуществляются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Каким способом меняется технический процесс в наше время?

Всякий годочек проявляются новые концепции для улучшения качества функционирования систем распознавания лиц:

Увеличивается детализация сенсоров — чем больше элементов фиксируется видеокамерой/датчиками глубины, тем меньше риск неточности;
Улучшаются искусственные интеллекты — передовые архитектуры типа MobileNetV3 позволяют скоростно обучаться свежим особенностям облика обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
Совершенствуются методы антиспуфинга — теперь смартфоны могут отличать подлинные движущиеся лица от статичных фото/маскировок по мельчайшим движениям кожи.
Взаимодействие со умными устройствами — интеллектуальные часы могут самостоятельно блокировать смартфон, если владелец удалился на значительное расстояние.
Возникают смешанные системы — к примеру совмещающие аудио аутентификацию + облик + дактилоскопический след.

Вот, те направления очень востребованы на сегодняшний день:

1) Сокращение элементов

Изготовители пытаются уменьшить размер прорези (“чёлки”) под датчики на дисплее за счёт встраивания компактных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения личной безопасности всё больше вычислений осуществляется на месте без пересылки данных во сторонний облачный сервис.

3) Стандартизация регламентов

Гугл интенсивно пропагандирует норму BiometricPrompt API, чтобы такие платформы, например как admiral x, и все Android-программы были совместимы с различными типами биометрии стандартизированно.

Что подобрать на сегодня?

Когда вам всем важна предельная сохранность данных, остановите выбор на флагманские устройства с интегрированным ИК-излучателем или же ToF-сенсором глубины.

iPhone каждого последних версий
Huawei Companion/Series P серии
Mi Pro
Vivo X модели
Oppo Найти Икс серии.

Если финансы скромен – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, использовать только как второстепенную опцию удобства.

Каким образом повысить практичность функционирования функции?

Есть некоторые хитростей для пользователей, кто уже пользуется функцию распознавания лица:

Регулярно меняйте свою фотографию-шаблон, если значительно меняется внешний вид.
Не забывайте очищать объектив фронтальной камеры – разводы могут понизить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам включает камеру если вы поднимаете его.
При регистрационного процесса пытайтесь сохранять лицо ровно напротив объектива без резкого наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от экрана.

Возможности развития инноваций

В ближайшие годы можно ожидать развития полностью безконтактных способов опознания индивидуума сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + голос + походка + движения рук!

Также предполагается возникновение современных подходов охраны личной информации – например, изменяющееся модификация цифрового образца после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных инноваций нашего периода! Она делает общение со смартфоном проще чем когда-либо прежде, и такие приложения, как admiral-x, могут существенно улучшить ваш опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как работает эта методика внутри, – сможете осознаннее подбирать свой будущий устройство!