Каким образом действует распознавание лиц в смартфонах

Для чего мы останавливаемся на разблокировку по лицу

В последние годы идентификация физиономий превратилось в одной из наиболее востребованных функций для деблокировки умных телефонов. Лишь некоторые лет ранее основная часть юзеров обходились PIN-кодами, паролями или сканерами отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какой аспект делает эту конкретную возможность очень нужной? Во-первых, это комфортно: не нужно запоминать замысловатые пароли или искать верный палец в тьме. Также, это быстро: современные программы идентифицируют лицо практически за доли секунды. В-третьем пункте, это чувство будущего — словно в фильмах про vulkan casino разведчиков.

Впрочем за такой видимой несложностью прячется весь универсум трудных технологий и инженерных концепций. Попробуем разобраться, как конкретно действует идентификация по лицу в новейших гаджетах, какие применяются методы, насколько они защищены и что нас ожидает в будущем.

Короткая история эволюции инноваций

Идентификация лиц как техника присутствует уже более пятидесяти годов. Изначальные эксперименты машинного изучения лиц были сделаны еще в 1960-х годы в научных учреждениях США. Тогда компьютеры могли лишь выделять силуэты лица и определять дистанции между очами и ртом на ахроматических снимках.

Начальные бизнес установки возникли в девяностых годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с развитием искусственных сетей и таких площадок, как вулкан россии, сильных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать собственные решения.

Ключевые этапы функционирования механизма распознавания

Процесс идентификации лица можно условно поделить на несколько основных этапов:

Обнаружение лиц — камера определяет существование людского образа в изображении.
Определение признаков — система изучает черты лица: конфигурацию зрительных органов, обонятельного органа, уст, расположение бровей.
Построение структуры — создаётся особенный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение со образцом — сформированный образец сопоставляется с сохранённой при внесении биометрической информацией владельца.
Принятие решения — если соответствие достаточно значительное, смартфон разблокируется.

Любой из этих шагов требует специальных процедур и улучшений для быстрой работы непосредственно на девайсе.

Аппаратные составляющие: что прячется в их недрах

Типичная фронтальная камера.

Самый несложный вариант идентификации лица применяет лишь фронтальную камеру смартфона. Такой способ внедрён во многочисленных недорогих вариантах Android-девайсов.

Преимущества:

Не нуждается в дополнительных сенсоров.
Быстро работает при хорошем освещении.

Отрицательные стороны:

Просто обмануть снимком или видеозаписью.
Неудачно функционирует при низком свете или необычных точках зрения.

ИК фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология лежит в основе Face ID от Apple.

Каким образом это действует:

Точечный проекционный прибор показывает на лицо использующего невидимую структуру из тысяч инфракрасных пятен (например, Face ID задействует около 30 000 точек).
ИК устройство фиксирует искривление данной решетки по поверхности физиономии.
Формируется трехмерная глубинная карта глубины, которая почти невозможна для фальсификации стандартной снимком или маскировкой.

Преимущества

Надёжная деятельность даже в полной тьме.
Высокая защита к имитациям.
Точность определения выше 99%.

Дополнительные датчики

В отдельных устройствах используются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения луча до цели и обратно; Трехцветные-датчики дальности; специальные оптические дальномеры для создания более детализированной 3D-модели лица.

Эти технологии применяются чаще всего во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искусственный разум в работе

Современные устройства распознавания лиц немыслимы без применения искусственного интеллекта и machine learning. Именно благодаря таким разработкам, как вулкан россии, устройство способно распознавать пользователя даже при метаморфозах облика: новая укладка, щетина, линзы или макияж не становятся барьером для открытия.

Детектирование лиц

При начальном шаге алгоритм необходимо мгновенно обнаружить ликовое изображение внутри полного кадра с камеры. Для данной цели задействуются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые “обучены” идентифицировать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN в состоянии находить облик даже в случае неполном перекрытии (например, шарфом или ладонью).

Идентификация важных моментов

После распознавания лица устройство, такая как вулкан россии, определяет положение главных точек: уголки глаз, конец носа, контуры губ и так далее. Как правило используется от 68 до 128 ключевых точек на лицевой поверхности.

Это необходимо для стабилизации картинки: если юзер находится с мобильник под углом, или склонил голову, программа корректирует изображение до нормального состояния для последующего изучения.

Формирование биометрии образца

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 флоатов.

Данный формат весьма трудно сфальсифицировать: он не удерживает непосредственно изображение юзера, а лишь особенные характеристики его облика, что делает его идеальным для таких систем, как vulkan russia.

Сравнительный анализ и принятие заключения

В случае, когда юзер желает разлочить мобильник взором, программа воспроизводит все указанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает заданный уровень (обычно превышает 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ не предоставляется.

Приспособление к метаморфозам внешности

Увлекательная особенность современных систем — возможность самообучения. Если вы часто разблокируете смартфон с новой прической или оптикой, алгоритм постепенно обновляет базовый модель вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических данных информации.

Многие клиенты опасаются сохранять свои биометрические идентификационные данные на смартфоне из-за риска утечки информации или взлома гаджета. Некоторые организации, такие как vulkan russia, предлагают методы для повышения защиты данных пользователей.

Локальное сбережение: Большинство аппаратов хранит био-идентификационные шаблоны лишь внутри защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не выходят из устройство и недоступны даже создателю.
Шифрование: Все сведения хранятся только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция приложений: Программы внешних разработчиков не имеют прямого доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Необходимо подчеркнуть значимую подробность: в случае, если кто-либо сможет получить доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании реализуют защиту от “слепого” разблокирования — к примеру, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют бывают категории идентификации лиц на изображениях?

В настоящее время можно выделить различить три основных способа к осуществлению этой функции:

Программируемое 2D распознавание

Эксплуатируется только фронтальная видеокамера без экстра детекторов дистанции. Подобный подход используется чаще всего в бюджетных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: легкость реализации; минимальная стоимость; быстрая работа при хорошем освещении.
Минусы: несложно обмануть фотографией; нестабильная функционирование ночью; низкая защищенность.

Техническое объёмное оцифровка

Применяет ИК видеокамеру + проектор точек + сенсоры дистанции (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: большая достоверность; нельзя обмануть изображение/видеозапись; устойчивая работа в любых условиях освещения.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с дополнением ИИ

Применяют комбинацию софтверных методов + аппаратно-техническую обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные изделия, как вулкан россии и Google Pixel Face Unlock новейших поколений, сочетают фронталку c инфракрасным датчиком движения Soli Radar для защиты от подделок руками/масками/видеодисплеями посторонних устройств.

Иллюстрации использования разнообразных методов

iPhone линейки X/11/12/13/14 задействуют только физическое трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition первый раз внедрил подобие Face ID в ряду Android.
Samsung Galaxy S10 версия/S20 поддерживают как программное обеспечение двухмерное идентификацию по изображению фронтальной камерой, так и сенсор ириса глаза.
Huawei Mate20 Pro применяет комплекс из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Проблемы безопасности и ложные сигналы

Несмотря на замечательный прогресс техники за прошедшие годы, совершенных систем пока не имеется:

Шанс подвоха: Бюджетные телефоны просто доступны четкой изображением хозяина или видео с дисплея иного гаджета.
Идентичные близнецы: Даже самые совершенные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень аналогичной внешностью.
Изменения внешности: Резкое похудение/увеличение массы тела, хирургические вмешательства или повреждения иногда необходимы для перерегистрации биометрии.
Условия фотографирования: Интенсивная освещённость солнечным светом или же интенсивная темнота могут понизить аккуратность распознавания признаков.

Ниже некоторые рекомендаций для защищённому применению:

Для критически важных операций всегда применяйте двухэтапную аутентификацию;
Не запускайте опцию “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Систематически обновляйте прошивку ПО смартфона для защиты от современных угроз;
Включайте функцию “Требовать распахнутых глаз” везде, где она доступна.

Где также используется технология помимо смартфонов?

Пускай тема этой работы посвящена именно смартфонам и планшетам, следует отметить прочих направлениях внедрения технологии:

Мониторинг прохода в офисах и жилых домах;
Платёжные устройства банков (“Face Pay”);
Цифровые идентификационные документы современного поколения;
Комплексы видеоконтроля муниципальных сервисов;
Автоматизирование учёта посещаемости образовательных учреждений/университетов;
Вход участников ПК/ноутбуков.

Например: В московском метро уже испытывается система оплаты проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Схожие инициативы реализуются в Поднебесной (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом меняется технология в наше время?

Всякий годик возникают свежие идеи для улучшения стандарта функционирования систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше риск ошибки;
Развиваются нейронные сети — современные структуры типа MobileNetV3 позволяют быстро осваивать дополнительным характеристикам облика обладателя напрямую на гаджете без пересылки информации в облачное хранилище.
Улучшаются методы антиспуфинга — теперь телефоны способны отличать реальные движущиеся лица от статичных снимков/масок по мельчайшим движениям кожи.
Синхронизация со интеллектуальными приборами — смарт-часы могут самостоятельно блокировать смартфон, если владелец удалился на значительное расстояние.
Возникают смешанные системы — например комбинирующие голосовую опознание + физиономию + дактилоскопический след.

Вот, которые тренды очень актуальны сейчас:

1) Миниатюризация компонентов

Компании стараются уменьшить размер прорези (“чёлки”) под датчики на дисплее за счёт внедрения компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения личной безопасности всё больше расчётов происходит локально без отправки информации во дополнительный облачный сервис.

3) Упорядочивание регламентов

Гугл энергично продвигает норму BiometricPrompt API, с целью чтобы подобные системы, как вулкан россия, и любые Android-приложения могли взаимодействовать с различными типами биометрии единообразно.

Что выбрать сегодня?

Когда вам необходима предельная сохранность информации, подбирайте передовые модели с вмонтированным ИК-проектором или ToF-сенсором глубины.

iPhone всех последних поколений
Huawei Partner/P Series серии
Xiaomi Professional
Vivo X модели
Oppo Find Х серий.

Если бюджет невелик – лучше отдавать предпочтение обычным способам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в вулкан россия, задействовать только как второстепенную возможность удобства.

Каким образом повысить удобство работы возможности?

Есть несколько лайфхаков для людей, кто уже применяет функцию распознавания лица:

Регулярно меняйте свою фотографию-шаблон, если сильно меняется облик.
Не забывайте очищать объектив фронтальной камеры – пятна могут снизить точность!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам активирует фотоаппарат как только вы берёте его в руки.
В процессе регистрационного процесса пытайтесь держать голову неподвижно впереди камеры не допуская значительного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвернулись от дисплея.

Будущее прогресса технологии

В ближайшие периоды можно предвкушать появления полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + звучание + шаги + движения рук!

Также вероятно развитие новых подходов обеспечения конфиденциальности – скажем, переменное корректировка цифрового образца после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее увлекательных техник нашего времени! Она предоставляет интеракцию со телефоном комфортнее чем когда-либо прежде, и такие аппы, как vulkan russia, могут существенно оптимизировать ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как работает эта система в деталях, – сумеете более осмысленно выбирать свой будущий устройство!