Как работает определение лиц в смартфонах

Зачем мы выбираем разблокировку по лицевому распознаванию

В последние времена идентификация лиц превратилось в одной из самых распространённых функций для открытия мобильных телефонов. Еще некоторые лет тому назад большинство использующих удовлетворялись пин-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект обуславливает эту возможность такой востребованной? Прежде всего, это комфортно: не нужно запоминать замысловатые пароли или находить правильный палец в темноте. Кроме того, это оперативно: современные алгоритмы узнают лицо буквально за доли секунды. В-третью очередь, это впечатление футуризма — словно в кинолентах про адмирал x агентов.

Впрочем за данной видимой простотой таится весь вселенная комплексных техник и инженерных концепций. Давайте понять, как конкретно действует идентификация по лицу в актуальных гаджетах, какие бывают способы, насколько они защищены и что нас предстоит.

Короткая история эволюции технологии

Идентификация лиц как техника присутствует уже более пятидесяти годов. Первые попытки машинного анализа лиц были предприняты еще в 1960-х годах в исследовательских центрах США. Тогда вычислительные машины умели лишь определять силуэты лица и измерять расстояния между глазами и губами на ахроматических снимках.

Первые торговые системы появились в 90-х, но они были несовершенны: действовали неспешно и часто ошибались. Только с прогрессом синтетических сетей и таких площадок, как адмирал х, сильных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали интегрировать личные решения.

Основные шаги функционирования механизма распознавания

Процесс распознавания лица можно ориентировочно сегментировать на несколько важных этапов:

1. Идентификация лица — аппарат определяет присутствие человеческого лица в кадре.
2. Определение особенностей — алгоритм анализирует особенности облика: очертания зрительных органов, обонятельного органа, уст, расположение бровей.
3. Построение шаблона — создаётся неповторимый виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — полученный модель сверяется с записанной при регистрации биометрической данными владельца.
5. Принятие решения — если соответствие достаточно высокое, смартфон открывается.

Любой из этих стадий нуждается в специальных процедур и усовершенствований для скорой работы непосредственно на девайсе.

Технические элементы: что прячется в их недрах

Типичная передняя камера.

Простейший несложный вариант определения лица использует только фронтальную камеру смартфона мобильного устройства. Данный метод реализован во различных недорогих моделях Android-девайсов.

Сильные стороны:

• Необходимо потребляет внешних сенсоров.
• Шустро действует при хорошем освещении.

Слабые стороны:

• Легко ввести в заблуждение фотографией или роликом.
• Неправильно функционирует при слабом освещённости или непривычных ракурсах.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Как это функционирует:

• Точечный проекционный прибор показывает на лицо использующего невидимую сетку из тысяч инфракрасных точек (например, Face ID задействует около 30 000 пятен).
• Инфракрасная устройство регистрирует деформацию данной решетки по плоскости физиономии.
• Формируется 3D карта глубины глубины, что практически невозможна для фальсификации типичной фото или маскировкой.

Выигрыши

• Надёжная работа даже в полной темноте.
• Высокая сопротивляемость к имитациям.
• Точность определения выше 99%.

Добавочные датчики

В определённых девайсах применяются также дополнительные сенсоры: ToF (Time-of-Flight), которые измеряют период движения света до цели и обратно; Цветные-датчики дальности; специальные оптические измерители расстояния для формирования более аккуратной 3D-модели физиономии.

Эти разработки используются чаще всего во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: синтетический интеллект в работе

Нынешние системы распознавания лиц неосуществимы при отсутствии использования artificial intelligence и машинного обучения. Именно вследствие таким технологиям, как адмирал х, аппарат способно идентифицировать владельца даже при трансформациях облика: новая стрижка, растительность на лице, очки или косметика не становятся барьером для разблокировки.

Детектирование лиц

При стартовом шаге алгоритм необходимо быстро распознать образ лица внутри целого изображения камеры. Для этого используются многоуровневые классификаторы Хаара или более новейшие сверточные нейронные сети (CNN), которые натренированы распознавать лиц человека среди множества других объектов.

Пример: метод MTCNN в состоянии распознавать лицо даже в случае частичном перекрытии (например, шарфом или рукой).

Определение ключевых моментов

После обнаружения лица система, такая как адмирал х, определяет положение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Часто задействуется от 68 до 128 ключевых маркеров на лицевой области.

Это действие нужно для нормализации изображения: если человек удерживает смартфон под наклоненным, или повернул головку, программа корректирует картинку до стандартного положения для последующего изучения.

Формирование биометрии шаблона

Далее нейронная сеть строит уплотненное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой след лица длиной от 128 до 512 чисел с плавающей запятой.

Данный шаблон весьма сложно сфальсифицировать: он не удерживает само фото пользователя, а лишь особенные характеристики его вида, что делает его идеальным для таких платформ, как admiral-x.

Сравнительный анализ и вынесение решения

Когда пользователь намеревается открыть телефон взором, система повторяет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, доступен; если нет — доступ блокируется.

Приспособление к метаморфозам облика

Увлекательная характеристика нынешних системы — способность самообучения. Если ты постоянно разблокируете смартфон с новой прической или оптикой, алгоритм постепенно освежает эталонный образец вашего внешности для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических данных информации.

Множество юзеры опасаются сохранять свои биометрические данные на смартфоне из-за вероятности потери данных или хакерской атаки. Иные компании, например admiral-x, предоставляют решения для увеличения защиты сведений пользователей.

• Локальное сохранение: Основная часть устройств записывает биометричные образцы исключительно внутри защищённого процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из аппарат и закрыты даже производителю.

• Шифрование: Все сведения сохраняются только в шифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция программ: Программы внешних разработчиков не имеют непосредственного доступа к биометрическим данным; они могут лишь требовать факт подтверждения идентичности через системный API.

Стоит подчеркнуть значимую подробность: в случае, если кто-либо получит доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие компании реализуют меры безопасности от неосознанного разблокирования — к примеру, требуют открыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие имеются категории определения лиц?

В настоящее время можно определить три ключевых способа к выполнению этой задачи:

Софтверное плоское идентификация

Используется только фронтальная видеокамера без вспомогательных сенсоров дистанции. Этот способ наблюдается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота осуществления; умеренная стоимость; быстрая работа при качественном освещении.
Минусы: легко ввести в заблуждение фотографией; неустойчивая деятельность ночью; слабая безопасность.

Техническое 3D сканирование

Применяет ИК видеокамеру + проекционный модуль точек + датчики глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Достоинства: высокая надёжность; невозможно подделать изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с ИИ-дополнением

Используют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, как адмирал х и Google Pixel Face Unlock новейших версий, сочетают фронтальную камеру c инфракрасным сенсором мобильности Soli Radar для защиты от фальсификаций руками/масками/видеоэкранами чужих устройств.

Иллюстрации использования разных методов

• iPhone линейки X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил эквивалент Face ID среди Android.
• Samsung Galaxy S10/S20 имеют как софтверное плоское распознавание по изображению селфи-камерой, так и датчик радужки глаза.
• Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Проблемы охраны и ошибочные тревоги

Несмотря на впечатляющий прогресс инноваций за прошедшие годы, безупречных механизмов пока не наблюдается:

1. Вероятность подвоха: Бюджетные смартфоны без труда доступны высококачественной снимком хозяина или видеозаписью с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные системы могут перепутать между однояйцевыми близнецами либо родичами с очень аналогичной внешностью.
3. Метаморфозы облика: Резкое утрата веса/набор веса, косметические процедуры либо повреждения порой необходимы для повторной регистрации биометрии.
4. Условия записи: Интенсивная засветка солнечным светом или глубокая темнота могут снизить аккуратность распознавания признаков.

Здесь некоторые рекомендаций для безопасному использованию:

• Для важных операций всегда используйте дополнительную аутентификацию;
• Не активируйте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Систематически апгрейдите ПО смартфона для обеспечения безопасности от современных угроз;
• Включайте функцию “Требовать раскрытых глаз” в тех местах, где она имеется.

В каких областях также находится применение технологии за исключением мобильных телефонов?

Хотя предмет нашей работы касается конкретно мобильным устройствам, необходимо сказать о других сферах применения технологии:

• Контроль входа в рабочих помещениях и резиденциях;
• Платёжные терминалы банков (“Face Pay”);
• Электронные удостоверения личности последнего типа;
• Комплексы видеомониторинга городских служб;
• Механизация регистрации присутствия образовательных учреждений/вузов;
• Авторизация пользователей персональных компьютеров/ноутбуков.

Например: В городском метро уже тестируется система платежа проезда по лицу (“Face Pay”) — хватит пройти через барьер без карты или телефона! Похожие проекты реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технический процесс сегодня?

Каждый годик появляются свежие концепции для усовершенствования стандарта функционирования систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше вероятность погрешности;
2. Улучшаются нейронные сети — передовые архитектуры типа MobileNetV3 позволяют скоростно обучаться свежим характеристикам вида обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Развиваются технологии антиспуфинга — теперь мобильные устройства могут отличать настоящие живые облики от статичных снимков/масок по микроскопическим микродвижениям.
4. Интеграция со умными устройствами — интеллектуальные часы могут авто блокировать мобильный телефон, если пользователь отошёл далеко.
5. Возникают комбинированные системы — в частности совмещающие голосовую опознание + физиономию + пальцевой отпечаток.

Вот, какие тенденции очень востребованы на сегодняшний день:

1) Сокращение деталей

Компании пытаются уменьшить габариты выреза (“чёлки”) под сенсоры на дисплее за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения личной безопасности всё более расчётов происходит на месте без пересылки данных во сторонний облачный услугу.

3) Унификация регламентов

Google энергично пропагандирует стандарт BiometricPrompt API, чтобы такие платформы, как admiral x, и все Android-программы могли взаимодействовать с различными типами биометрии унифицированно.

Какое подобрать сегодня?

В случае если вам необходима наивысшая безопасность данных, подбирайте топовые устройства с интегрированным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех последних версий
• Huawei Partner/P линейки
• Xiaomi Expert
• Vivo X серии
• Oppo Найти X серии.

Если средства ограничен – лучше предпочесть классическим средствам защиты (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную возможность комфорта.

Как улучшить практичность работы функции?

Есть пара лайфхаков для пользователей, кто уже пользуется разблокировку через лицо:

1. Регулярно обновляйте свою фотографию-шаблон, если значительно трансформируется облик.
2. Не пренебрегайте протирать объектив передней камеры – загрязнения могут снизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам включает фотоаппарат когда вы берёте его в руки.
4. В процессе регистрационного процесса постарайтесь удерживать лицевую часть прямо напротив камеры не допуская значительного наклона головы.
5. Применяйте функцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвели взгляд от экрана.

Возможности эволюции техники

В предстоящие годы можно ожидать возникновения полностью безконтактных способов опознания персоны сразу по нескольким биометрическим данным параметрам одновременно: облик + речь + походка + манипуляции руками!

Также вероятно появление новых подходов обеспечения конфиденциальности – скажем, изменяющееся изменение диджитал паттерна после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень интересных инноваций нашего эпохи! Она предоставляет общение со мобильным устройством удобнее чем когда-либо прежде, и такие программы, как admiral-x, могут существенно оптимизировать ваш пользовательский опыт, но требует осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы понимаете, как устроена эта технология в деталях, – сумеете вдумчиво определять свой очередной девайс!