Как работает определение лицевых образов в телефонах

Зачем мы выбираем разлочивание по лицевому распознаванию

В последние времена идентификация физиономий стало одной из самых распространённых функций для открытия умных телефонов. Лишь некоторые годков ранее основная часть пользователей обходились PIN-кодами, паролями или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает данную функцию такой востребованной? Для начала, это практично: не нужно удерживать в памяти сложные пароли или отыскивать верный палец в темноте. Во-вторых, это оперативно: современные системы идентифицируют лицо буквально за мгновения ока. В-третьих, это впечатление футуристичности — будто в кинолентах про казино вулкан разведчиков.

Впрочем за этой видимой простотой скрывается весь мир сложных техник и инженерных концепций. Попробуем исследовать, как конкретно работает идентификация по лицу в актуальных смартфонах, какие существуют методы, насколько они надёжны и что нас ждёт впереди.

Сжатая хроника эволюции инноваций

Распознавание лиц как техника существует уже более 50 годов. Начальные попытки автоматизированного анализа лиц были предприняты еще в 1960-х годы в лабораториях США. Тогда вычислительные машины могли лишь выделять очертания черепа и вычислять расстояния между зрачками и губами на ахроматических изображениях.

Изначальные коммерческие установки стали доступны в 90-х, но они были неидеальны: работали медленно и часто ошибались. Только с прогрессом нейронных сетей и таких систем, как вулкан россии, сильных мобильных микросхем определение лиц стало по-настоящему общедоступным явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с надёжным трёхмерным идентификацией лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои решения.

Основные стадии действия устройства распознавания

Процесс определения лица можно примерно разделить на несколько ключевых этапов:

1. Распознавание лица — устройство распознает наличие человеческого образа в изображении.
2. Извлечение особенностей — алгоритм анализирует черты физиономии: очертания глаз, обонятельного органа, губ, расположение бровей.
3. Построение шаблона — создаётся неповторимый электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — сформированный модель сравнивается с сохранённой при внесении биометрической сведениями владельца.
5. Принятие определения — если совпадение достаточно высокое, смартфон разблокируется.

Всякий из указанных этапов нуждается в индивидуальных процедур и усовершенствований для быстрой работы непосредственно на девайсе.

Технические компоненты: что скрыто внутри них

Типичная селфи камера.

Самый простой простой метод идентификации облика использует исключительно лицевую камеру смартфона мобильного устройства. Подобный метод осуществлён во многих недорогих вариантах Android-девайсов.

Достоинства:

• Необходимо потребляет дополнительные сенсоров.
• Оперативно функционирует при хорошем освещённости.

Недостатки:

• Просто одурачить снимком или видеозаписью.
• Неправильно работает при низком освещённости или непривычных ракурсах.

Инфракрасная камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Каким способом это работает:

• Точечный устройство проекции отображает на лицо пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID использует около 30 000 меток).
• Инфракрасная камера записывает деформацию этой сетки по поверхности лица.
• Получается трехмерная карта глубины, которая почти что неосуществима для имитации типичной снимком или маскировкой.

Преимущества

• Надёжная функционирование даже в полной темноте.
• Высокая сопротивляемость к имитациям.
• Точность идентификации свыше 99%.

Добавочные сенсорные устройства

В отдельных аппаратах применяются также вспомогательные датчики: ToF (Time-of-Flight), которые измеряют период прохождения света до объекта и обратно; Трехцветные-датчики дальности; специальные световые дальномеры для построения более точной 3D-модели физиономии.

Эти технологии используются в основном во флагманских аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный разум в работе

Нынешние устройства идентификации лиц неосуществимы в отсутствие использования artificial intelligence и machine learning. Именно благодаря таким технологиям, как вулкан россии, гаджет может узнавать юзера даже при метаморфозах внешнего вида: новая укладка, растительность на лице, очки или косметика не становятся помехой для разблокировки.

Распознавание лиц

На первом этапе программа необходимо мгновенно обнаружить лицо среди всего изображения камеры. Для этого применяются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые натренированы находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может распознавать лицо даже в случае частичном перекрытии (например, платком или ладонью).

Идентификация основных моментов

После обнаружения лица устройство, такая как вулкан россии, вычисляет расположение главных точек: края глаз, конец носа, края губ и так далее. Обычно применяется от 68 до 128 основных маркеров на лице.

Данное нужно для выравнивания изображения: если человек находится с смартфон под наклоном, или склонил головку, программа корректирует картинку до стандартного положения для последующего изучения.

Формирование биометрического шаблона

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 чисел с плавающей запятой.

Такой формат очень трудно подделать: он не хранит непосредственно изображение юзера, а лишь уникальные черты его облика, что делает его совершенным для таких систем, как vulkan russia.

Сравнительный анализ и осуществление заключения

Если человек хочет открыть мобильник взглядом, механизм повторяет все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ блокируется.

Адаптация к трансформациям внешнего вида

Интересная характеристика современных систем — возможность самообучения. Если ты часто разблокируете смартфон с обновленной укладкой или оптикой, алгоритм постепенно модернизирует основной модель вашего внешности для увеличения точности действия без снижения уровня безопасности.

Охрана биометрических данных данных.

Множество клиенты опасаются держать свои биометрические данные на смартфоне из-за вероятности утечки информации или взлома гаджета. Некоторые компании, вроде vulkan russia, предлагают методы для увеличения сохранности сведений клиентов.

• Локальное сбережение: Преимущественно аппаратов записывает биометричные модели лишь внутрь защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не покидают гаджет и закрыты включая производителю.

• Шифрование: Все сведения хранятся только в шифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних разработчиков не имеют прямого доступа к биометрическим; они могут лишь требовать подтверждение верификации личности через системный API.

Необходимо упомянуть значимую деталь: если кто-либо сможет получить доступ к вашему телефону физически (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому многие изготовители реализуют меры безопасности от автоматического разблокирования — к примеру, требуют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно имеются типы определения лиц на изображениях?

Сегодня можно выделить различить 3 основных метода к выполнению этой операции:

Софтверное плоское идентификация

Применяется только фронтальная камера без вспомогательных сенсоров глубины. Подобный способ наблюдается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: легкость воплощения; низкая затраты; скоростная функционирование при достаточном свете.
Минусы: легко ввести в заблуждение фотографией; нестабильная функционирование ночью; низкая охрана.

Техническое трёхмерное сканирование

Задействует инфракрасную камеру + проектор пикселей + датчики глубины (Face ID у Apple; аналогичные технологии у Huawei Mate).
Плюсы: высокая надежность; нельзя исказить фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: удорожание устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Смешанные подходы с интеграцией ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, такие товары, например вулкан россии и Google Pixel Face Unlock современных поколений, комбинируют фронталку c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций руками/масками/видеоэкранами посторонних устройств.

Примеры применения разных методов

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID среди Android.
• Samsung Galaxy S10 версия/S20 поддерживают как софтверное плоское определение по изображению фронтальной камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-сенсор

Трудности защиты и неверные сигналы

Несмотря на впечатляющий успехи техники за последние лет, совершенных систем пока не существует:

1. Возможность мошенничества: Недорогие телефоны легко открываются четкой изображением владельца или видеозаписью с экрана другого устройства.
2. Идентичные близняшки: Даже самые безупречные устройства могут спутать между однояйцевыми близнецами либо родичами с очень похожей внешностью.
3. Изменения облика: Стремительное похудение/набор веса, косметические процедуры или травмы порой необходимы для перерегистрации биометрии.
4. Условия записи: Интенсивная подсветка солнцем либо глубокая тень могут уменьшить аккуратность идентификации признаков.

Вот пара рекомендаций для защищённому использованию:

• Для значимых операций всегда используйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на недорогих моделях без ИК-сенсоров;
• Систематически обновляйте прошивку программное обеспечение мобильного устройства для защиты от новых видов атак;
• Включайте опцию “Требовать раскрытых глаз” там, где она есть.

В каких местах ещё находится применение технологии за исключением смартфонов?

Хотя тема нашей статьи сосредоточена на в частности смартфонам и планшетам, необходимо сказать о прочих направлениях внедрения технологии:

• Мониторинг прохода в рабочих помещениях и жилых домах;
• Платёжные устройства банков (“Face Pay”);
• Цифровые идентификационные документы последнего поколения;
• Установки видеоконтроля городских сервисов;
• Автоматизирование отслеживания присутствия учебных заведений/институтов;
• Вход юзеров ПК/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — хватит пройти через турникет без пластика или телефона! Аналогичные программы осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется технология сегодня?

Всякий годочек возникают свежие идеи для повышения качества деятельности систем лицевого распознавания:

1. Увеличивается чёткость сенсорных устройств — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше шанс погрешности;
2. Развиваются нейронные сети — передовые архитектуры модели MobileNetV3 обеспечивают возможность быстро адаптироваться к новым особенностям внешности владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Улучшаются технологии антиспуфинга — теперь телефоны способны распознавать настоящие живые лица от фиксированных фотографий/масок по мельчайшим движениям кожи.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут самостоятельно заблокировать мобильный телефон, если владелец отошёл далеко.
5. Проявляются гибридные устройства — например совмещающие голосовую опознание + физиономию + дактилоскопический след.

Вот, те тенденции особенно востребованы сейчас:

1) Сокращение элементов

Изготовители стараются уменьшить размер выреза (“чёлки”) для сенсоры на экране за счёт встраивания компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на девайсе

Для повышения личной безопасности всё больше расчётов происходит локально без передачи данных во внешний облачный сервис.

3) Стандартизация стандартов

Google энергично продвигает эталон BiometricPrompt API, чтобы такие системы, как вулкан россия, и каждые Android-аппы могли взаимодействовать с любыми видами биометрии единообразно.

Какое подобрать сегодня?

В случае если вам необходима максимальная безопасность данных, подбирайте флагманские модели с интегрированным ИК-излучателем либо ToF-сенсором глубины.

• iPhone каждого новейших поколений
• Huawei Companion/P Series ряда
• Mix Pro
• Vivo X линейки
• Oppo Обнаружить X серии.

Если средства скромен – лучше выбирать обычным методам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в вулкан россия, использовать только как опциональную возможность комфорта.

Как увеличить удобство использования возможности?

Есть пара советов для тех, кто уже использует разблокировку по лицу:

1. Периодически обновляйте свою фотографию-шаблон, если кардинально трансформируется облик.
2. Не пренебрегайте протирать линзу фронтальной камеры – загрязнения могут уменьшить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает фотоаппарат если вы берёте его в руки.
4. В процессе регистрации старайтесь держать лицо неподвижно перед объектива без резкого наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от дисплея.

Возможности прогресса инноваций

В предстоящие периоды можно предполагать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + речь + манера ходьбы + манипуляции руками!

Также предполагается возникновение современных методов обеспечения приватности – к примеру, переменное изменение электронного шаблона после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее захватывающих технологий нашего времени! Она предоставляет интеракцию со телефоном удобнее чем когда-либо прежде, и такие аппы, как vulkan russia, могут существенно повысить ваш юзерский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как работает эта методика внутри, – сможете вдумчиво определять свой следующий девайс!