Как работает определение лиц в телефонах

Почему мы останавливаемся на разблокировку по лицевому распознаванию

В последние времена распознавание физиономий стало одной из наиболее востребованных возможностей для разблокировки умных телефонов. Лишь некоторые лет ранее большинство пользователей довольствовались PIN-кодами, ключами доступа или датчиками отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект делает эту конкретную возможность очень нужной? Прежде всего, это комфортно: не нужно запоминать замысловатые пароли или отыскивать верный палец в темноте. Также, это оперативно: современные программы распознают лицо фактически за мгновения ока. В-третьих, это ощущение футуризма — как будто в кинолентах про адмирал x разведчиков.

Тем не менее за такой кажущейся простотой скрывается весь вселенная трудных методов и инженерных концепций. Попробуем разобраться, как именно функционирует распознавание лиц в современных мобильных телефонах, какие бывают технологии, насколько они защищены и что нас ожидает в будущем.

Короткая история развития технологии

Распознавание лиц как методика имеется уже более 50 лет. Начальные попытки автоматизированного анализа облика были осуществлены еще в 1960-х годах в лабораториях США. Тогда ЭВМ способны были лишь определять контуры лица и вычислять промежутки между очами и устами на черно-белых изображениях.

Начальные торговые установки появились в девяностых годах, но они были несовершенны: действовали неспешно и нередко ошибались. Только с эволюцией искусственных сетей и таких платформ, как адмирал х, мощных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple выпустила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным сканированием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали интегрировать личные решения.

Основные этапы действия системы определения

Процесс определения лица можно примерно разделить на несколько ключевых этапов:

1. Идентификация лица — камера выявляет существование гуманного лица в изображении.
2. Определение характеристик — алгоритм изучает особенности лица: очертания зрительных органов, носа, губ, позицию бровей.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — полученный шаблон сверяется со записанной при внесении биометрической сведениями владельца.
5. Принятие решения — если сходство достаточно существенное, смартфон открывается.

Всякий из данных этапов нуждается в индивидуальных процедур и улучшений для оперативной работы непосредственно на девайсе.

Железные компоненты: что находится внутри них

Обычная селфи камера.

Наиболее простой способ определения лица задействует лишь лицевую видеокамеру мобильного устройства. Подобный подход внедрён во многих недорогих моделях Android-устройств.

Положительные стороны:

• Необходимо требует дополнительные сенсоров.
• Быстро функционирует при качественном освещённости.

Слабые стороны:

• Несложно ввести в заблуждение изображением или видеозаписью.
• Плохо действует при плохом освещённости или необычных ракурсах.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Каким способом это действует:

• Точечный устройство проекции показывает на облик пользователя невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
• Инфракрасная камера фиксирует изменение формы этой сетки по плоскости лица.
• Получается трёхмерная глубинная карта глубины, которая почти неподвластна для подделки стандартной снимком или маской.

Преимущества

• Надёжная работа даже в полной неосвещённости.
• Высокая устойчивость к подделкам.
• Точность распознавания свыше 99%.

Дополнительные сенсорные устройства

В определённых аппаратах задействуются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период движения луча до цели и обратно; RGB-датчики дальности; специальные световые дальномеры для построения более аккуратной 3D-модели физиономии.

Эти разработки встречаются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный разум на работе

Нынешние механизмы распознавания лиц немыслимы без применения искусственного интеллекта и machine learning. Именно из-за таким инновациям, как адмирал х, устройство способно узнавать юзера даже при метаморфозах внешнего вида: новая укладка, растительность на лице, очки или косметика не становятся помехой для разблокировки.

Обнаружение лиц

На начальном этапе программа необходимо быстро обнаружить лицо внутри целого кадра с камеры. Для этого используются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые подготовлены распознавать лица людей среди множества других объектов.

Пример: процесс MTCNN может распознавать физиономию даже в случае частичном перекрытии (например, платком или ладонью).

Идентификация ключевых аспектов

После идентификации лица система, такая как адмирал х, вычисляет положение основных точек: кончики глаз, кончик носа, границы губ и так далее. Как правило применяется от 68 до 128 основных точек на лицевой поверхности.

Данное необходимо для стабилизации визуала: если пользователь держит смартфон под наклоном, или склонил головку, программа «выпрямляет» картинку до обычного угла для последующего изучения.

Формирование биометрического идентификатора образца

Далее нейронная сеть строит сжатое математическое представление («эмбеддинг») лица пользователя — своеобразный цифровой след внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот образец очень сложно сфальсифицировать: он не сохраняет само фото пользователя, а лишь особенные особенности его внешности, что делает его оптимальным для таких площадок, как admiral-x.

Сравнение и вынесение выбора

В случае, когда человек намеревается разблокировать мобильник взглядом, программа повторяет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный уровень (обычно больше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Адаптация к метаморфозам внешнего вида

Занимательная особенность нынешних системы — способность самообучения. Если вы постоянно разблокируете телефон с новой стрижкой или очками, программа постепенно модернизирует основной образец вашего облика для повышения точности работы без снижения уровня безопасности.

Охрана биометрии информации.

Множество пользователи боятся хранить свои биометрические данные на мобильном устройстве из-за вероятности потери данных или взлома устройства. Иные организации, вроде admiral-x, предоставляют методы для увеличения защиты сведений юзеров.

• Локальное хранение: Преимущественно устройств сохраняет биометрические образцы только в пределах защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и закрыты даже создателю.

• Шифрование: Все данные сберегаются только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Следует упомянуть значимую деталь: если кто-то сможет получить физический доступ к вашему телефону (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители реализуют защиту от неосознанного разблокирования — например, требуют разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие имеются виды распознавания лиц?

На сегодняшний день можно выделить выделить 3 основных способа к осуществлению этой задачи:

Софтверное 2D идентификация

Используется только фронтальная камера без вспомогательных датчиков глубины. Подобный способ используется чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота реализации; умеренная цена; оперативная функционирование при качественном свете.
Минусы: просто обмануть снимком; неустойчивая деятельность ночью; недостаточная безопасность.

Аппаратное трёхмерное сканирование

Задействует инфракрасную видеокамеру + проектор пикселей + сенсоры глубины (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: большая достоверность; нельзя обмануть изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана («чёлка»)

Смешанные методы с ИИ-дополнением

Применяют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам («anti-spoofing»). Например, такие изделия, как адмирал х и Google Pixel Face Unlock последних поколений, сочетают фронтальную камеру c ИК датчиком мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями чужих устройств.

Примеры использования разных способов

• iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые предложил аналог Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как программное обеспечение 2D определение по фото фронтальной камерой, так и сенсор радужки глаза.
• Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Трудности защиты и неверные сигналы

Несмотря на замечательный прогресс инноваций за последние лет, идеальных систем пока не имеется:

1. Вероятность подвоха: Бюджетные смартфоны без труда открываются четкой снимком пользователя либо видео с экрана другого устройства.
2. Идентичные близняшки: Даже самые идеальные механизмы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
3. Трансформации внешности: Резкое похудение/увеличение массы тела, хирургические вмешательства или травмы порой необходимы для перерегистрации биометрических данных.
4. Условия съёмки: Яркая освещённость солнцем либо плотная темнота могут уменьшить аккуратность определения признаков.

Здесь пара рекомендаций для безопасному использованию:

• Для важных операций всегда внедряйте дополнительную аутентификацию;
• Не активируйте опцию «Разблокировка по лицу» на дешёвых устройствах без ИК-сенсоров;
• Регулярно апгрейдите программное обеспечение телефона для обеспечения безопасности от современных угроз;
• Включайте опцию «Требовать открытых глаз» везде, где она доступна.

Где ещё используется технологии помимо мобильных телефонов?

Хотя тема нашей работы сосредоточена на именно смартфонам и планшетам, следует отметить других сферах применения технологии:

• Управление входа в офисах и жилых домах;
• Платёжные устройства банков («Face Pay»);
• Электронные паспорта современного поколения;
• Комплексы видеомониторинга городских подразделений;
• Механизация учёта явки школ/университетов;
• Вход пользователей компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система платежа проезда по фейсу («Face Pay») — достаточно пройти через барьер без карты или мобильника! Похожие инициативы реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технический процесс в наше время?

Любой год возникают свежие идеи для повышения качества функционирования систем лицевого распознавания:

1. Увеличивается разрешение сенсоров — чем больше элементов фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность погрешности;
2. Совершенствуются нейросети — новейшие конструкции модели MobileNetV3 обеспечивают возможность скоростно осваивать свежим особенностям облика обладателя непосредственно на девайсе без отправки данных в облако.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства умеют различать подлинные движущиеся лица от статичных снимков/масок по мельчайшим движениям кожи.
4. Синхронизация со умными устройствами — умные часы могут самостоятельно блокировать телефон, если пользователь удалился на значительное расстояние.
5. Появляются смешанные устройства — в частности объединяющие речевую аутентификацию + лицо + пальцевой отпечаток.

Итак, какие тренды в особенности актуальны в данный момент:

1) Сокращение компонентов

Производители пытаются сократить габариты прорези («чёлки») для сенсоры на дисплее за счёт внедрения маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для увеличения приватности всё более вычислений выполняется на месте без отправки данных во дополнительный облачный сервис.

3) Стандартизация норм

Google энергично продвигает норму BiometricPrompt API, чтобы аналогичные площадки, как admiral x, и любые Android-программы могли работать с различными типами биометрии единообразно.

Что выбрать на сегодня?

Когда тебе необходима наивысшая сохранность данных, остановите выбор на флагманские устройства с вмонтированным ИК-излучателем или же ToF-датчиком глубины.

• iPhone всех существующих последних версий
• Huawei Companion/P Series серии
• Mi Pro
• Vivo X серии
• Oppo Обнаружить Икс серии.

Если средства невелик – лучше выбирать классическим способам безопасности (PIN-код/сканер отпечатка), а опцию «разблокировка по лицу», такую как в admiral x, задействовать только как дополнительную опцию удобства.

Каким образом улучшить удобство использования опции?

Есть некоторые хитростей для тех, кто уже использует функцию распознавания лица:

1. Регулярно меняйте свою изображение-шаблон, если сильно меняется облик.
2. Не упускайте из виду чистить линзу передней камеры – разводы могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам активирует фотоаппарат как только вы берёте его в руки.
4. Во время регистрации пытайтесь сохранять лицо ровно напротив камеры не допуская резкого наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от экрана.

Перспективы эволюции технологии

В предстоящие периоды можно предвкушать возникновения полностью безконтактных способов идентификации индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + звучание + походка + манипуляции руками!

Также возможно возникновение свежих способов защиты конфиденциальности – например, изменяющееся корректировка цифрового паттерна после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень увлекательных инноваций нашего эпохи! Она делает взаимодействие со смартфоном удобнее чем раньше, и такие приложения, как admiral-x, могут существенно повысить ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как устроена эта технология изнутри, – сможете осознаннее определять свой следующий гаджет!