Получение морфируемой 3D-модели лица на основе фотографии в произвольном ракурсе / Хабр

Привет, Хабр! Представляю вашему вниманию перевод статьи «Learning 3D Face Morphable Model Out of 2D Images».

Трёхмерная морфируемая модель лица (3D Morphable Model, далее 3DMM)  —  это статистическая модель структуры и текстуры лица, которая используются компьютерном зрении, компьютерной графике, при анализе человеческого поведения и в пластической хирургии.

Неповторимость каждой черты лица делает моделирование человеческого лица нетривиальной задачей. 3DMM создётся для получения модели лица в пространстве явных соответствий. Это означает поточечное соответствие между полученной моделью и другими моделями, позволяющими выполнять морфирование. Кроме того, в 3DMM должны быть отражены трансформации низкого уровня, такие как отличия мужского лица от женского, нейтрального выражения лица от улыбки.

Исследователи из Университета Мичигана предлагают новейший метод получения 3DMM лица, основанный на глубоком обучении. Используя высокую эффективность глубоких нейронных сетей для осуществления нелинейных отображений, их метод позволяет получить 3DMM на основе 2D изображения, снятого в произвольной обстановке.

Более ранние подходы

Обычно 3DMM получают с помощью набора 3D сканов лиц и набора 2D изображений этих же лиц. Общепринятый подход заключается в использовании редукции размерностей при обучении с учителем, которая выполняется с помощью применения анализа главных составляющих (Principal Component Analysis – PCA) на тренировочном наборе данных, состоящем из 3D сканов лиц и соответствующих 2D изображений. При использовании линейных моделей, таких как PCA, нелинейные трансформации и лицевые вариации не могут быть отражены в 3DMM. Более того, для моделирования точных 3D текстур лиц необходимо большое количество «3D информации». Таким образом, использование данного подхода оказывается неэффективным.

Предлагаемый метод

Идея предлагаемого метода заключается в использовании глубоких нейронных сетей или, более конкретно, свёрточных нейросетей (которые лучше подходят для рассматриваемой задачи и менее затратны в плане времени вычислений, чем многослойные перцептроны) для получения 3DMM. Кодирующая нейросеть (энкодер) принимает на вход изображение лица и генерирует параметры текстуры и альбедо лица, с помощью которых две декодирующих нейросети (декодеры) оценивают текстуру и альбедо.

Как было указано ранее, линейная 3DMM имеет ряд проблем, таких как необходимость наличия 3D сканов лиц, невозможность использования изображений, снятых в произвольном ракурсе и ограниченная точность представления из-за использования линейной PCA. В свою очередь, предлагаемый метод позволяет получить нелинейную 3DMM модель на основе 2D изображений лиц высокого разрешения, снятых с произвольного ракурса.

Планарное представление

В своём подходе, исследователи используют развёрнутую 2D карту лица для представления его текстуры и альбедо. Они утверждают, что учёт пространственной информации играет важную роль, так как они применяют свёрточные нейронные сети, а фронтальные изображения лица содержат мало информации о боковых сторонах. Именно поэтому их выбор пал на планарное преставление.

Три различных представления альбедо. (а) – 3D представление, (в) – альбедо как 2D фронтальное изображение лица, (с) – планарное представление.

Планарное представление. x, y, z и суммарное представление текстуры.

Архитектура нейросети

Исследователи спроектировали нейросеть, которая, принимая на вход изображение, кодирует его в вектора текстуры, альбедо и освещения. Закодированные скрытые вектора для альбедо и текстуры декодируются с использованием двух декодеров, в качестве которых используются свёрточные нейросети. На выходе декодеры выдают блики лица, его альбедо и 3D текстуру лица. С использованием этих параметров, дифференцируемый рендеринг-слой генерирует модель лица посредством совмещения 3D текстуры, альбедо, освещения и параметров расположения камеры, полученных энкодером. Архитектура представлена на схеме ниже.

Архитектура предлагаемого метода для получения нелинейной 3DMM

Получаемая устойчивая нелинейная 3DMM может быть использована для 2D наложения лиц и решения проблемы трёхмерной реконструкции лиц.

Схема рендеринг-слоя

Сравнение с другими методами

Рассматриваемый метод был приведён в сравнение с другими методами на примере следующих задач: 2D наложение, 3D реконструкция и редактирование лиц. Предлагаемый метод превосходит другие современные подходы для решения этих задач. Результаты сравнения представлены ниже.

2D наложение лица

Одно из приложений метода — наложение лиц, что должно существенно улучшить анализ лиц в ряде задач (к примеру, распознавание лиц). Наложение лиц – непростая задача, но рассматриваемый метод показывает высокие результаты при её решении.

Результаты 2D наложения лиц. Невидимые пометки отмечены красным. Рассматриваемый метод отражает необычные позы, освещение и выражение лица.

3D реконструкция лица

Рассматриваемый метод также был приведён к сравнению на примере 3D реконструкции лица и показал выдающиеся результаты по сравнению с другими методами.

Количественное сравнение результатов 3D реконструкции

Результаты 3D реконструкции в сравнении с методом Sela и др. Предлагаемый метод сохраняет волосы на лице и другие особенности лица намного лучше, чем этот метод.

Результаты 3D реконструкции в сравнении с VRN от Jackson и др. на примере известного датасета CelebA.

Результаты 3D реконструкции в сравнении с методом Tewari и др. Как видно, предлагаемый метод решает проблему сжимания лица при наличии различных текстур (таких как волосы на лице).

Редактирование лица

Обсуждаемый метод разбивает изображение лица на отдельные элементы и позволяет изменять лицо с помощью манипуляций над ними. Результаты работы данного метода при редактировании лиц были оценены на примере таких задач, как изменение освещения и добавление дополнительных элементов лица.

Результаты добавления бороды. Первая колонка содержит исходные изображения, последующие – разные степени изменения бороды.

Сравнение с методом Shu и др. (вторая строка). Как видно, предлагаемый метод даёт более реалистичные изображения, и кроме того, лучше сохраняется идентичность лица.

Вывод

Предлагаемый метод, предположительно, получит широкое распространение, так как он позволяет получить точную и устойчивую 3DMM. Хотя 3DMM была широко распространена с момента своего создания, до появления рассматриваемого метода не существовало эффективного получения этой модели с помощью 2D изображений с произвольного ракурса.

Предлагаемый метод использует глубокие нейронные сети в качестве аппроксиматора для устойчивого моделирования человеческих лиц со всеми их особенностями. Столь необычный способ получения 3DMM позволяет проводить манипуляции с изображением и может быть использован во многих задачах, некоторые из которых были представлены статье.

Перевод — Борис Румянцев.

Meta научила смартфоны создавать реалистичную модель лица

Разработчики из компании Meta* создали алгоритм, позволяющий создавать качественную анимированную 3D-модель головы с помощью фронтальной камеры смартфона. Статья будет представлена на конференции SIGGRAPH 2022.

Немало крупных IT-компаний и лабораторий занимается разработкой технологий для создания реалистичных анимированных 3D-аватаров. К примеру, сама Meta еще в 2019 году показала сферический стенд с более чем сотней камер и источников освещения, позволяющий снимать человека в центре с высоким разрешением и восстанавливать его 3D-модель. Во многом компания разрабатывает подобные технологии с прицелом на использование в виртуальной реальности. В частности, в апреле Meta показала работу нового алгоритма на прототипе VR-шлема с пятью камерами, направленными на разные части лица. Это позволило алгоритму в реальном времени воссоздавать реалистичную модель лица, которую можно показывать другим пользователям.

В новой работе инженеры из Meta Reality Labs под руководством Джейсона Сараги (Jason Saragih) использовали большой стенд с камерами для создания алгоритма, который после обучения позволяет создавать реалистичную модель головы с помощью обычного смартфона. Алгоритм состоит из двух основных частей: гиперсети, выучивающей универсальную модель головы и мимики, и персонализированной, которая создается на базе универсальной и выучивает модель для конкретного человека.

Для обучения универсальной сети инженеры использовали сферический стенд с 40 цветными камерами и 50 монохромными, установленными в радиусе 1,2 метра от центра сферы, где сидит человек во время съемки. Камеры снимали с разрешением 4096 на 2668 пикселя. Помимо камер в стенде есть 350 источников света, создающих равномерное освещение всей головы. Во время съемки человек в стенде должен был выполнить 65 мимических движений, посмотреть глазами в 25 разных направлений, прочитать 50 фонетически сбалансированных предложений и свободно подвигать головой или частями лица.

В создании датасета участвовало 255 человек разного пола, расы и возраста. Всего во время съемки было сделано 3,1 миллиона кадров, которые затем использовали для обучения.

После создания универсальной модели с помощью мощного стенда персонализированную модель можно создавать при помощи обычной камеры. На основе кадров с камеры алгоритм размечает на лице ключевые точки, затем создает 3D-модель головы и текстуру, которую потом можно наложить на 3D-модель для создания относительно реалистичного аватара. На следующем на основе универсальной сети и этой модели с текстурой создается финальная персонализированная модель-аватар с высоким разрешением. Чтобы она также хорошо повторяла мимику человека, его просят подвигать частями лица перед камерой.

Разработчики использовали для создания персонализированных моделей iPhone 12, чья фронтальная камера помимо RGB-слоя также выдает слой глубины. Несмотря на высокое качество генерации, авторы отмечают, что пока у алгоритма есть недостатки. В частности, после съемки персонализированная модель требует несколько часов для обучения, а также она плохо работает с очками и необычными прическами.

Создание реалистичной модели головы и лица можно использовать не только в виртуальной реальности, но и для видеосвязи. Так, разработчики из NVIDIA предложили заменять передачу видео на создание модели головы, передаваемой в сжатом виде, а инженеры из Google создали систему видеосвязи с объемным экраном, не требующим 3D-очков.

*Деятельность компании в России запрещена.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.

О нас — О лицах модели

на лицо n. полное изменение отношения или точки зрения. Наше имя прекрасно иллюстрирует и вместе с нашей моделью и отзывами клиентов.

О Face Models наша гордость и радость!

AFM было основано в 2010 году сестрами Джилл Дэвис и Джордан Колтрейн, которые стремились создать агентство другого типа, которое относилось бы к моделям, клиентам и персоналу как к семье. Мы гордимся тем, что теперь представляем более 7000 мужчин и женщин-моделей в Соединенных Штатах и ​​​​являемся признанным на национальном уровне агентством.

Наш президент, вице-президент и агенты по бронированию — бывшие или действующие модели, поэтому мы знаем отрасль со всех сторон. Эта уникальная перспектива отличает нас и способствует успеху нашей трудолюбивой команды.

Наша цель состоит в том, чтобы набрать красивых моделей, которые также имеют сильную трудовую этику. Красивые лица в изобилии. Мы ищем и тщательно отбираем моделей, которые сделают все возможное, чтобы каждое бронирование было успешным — подход, отличный от подхода других компаний. Независимо от того, большое оно или маленькое, каждое бронирование имеет первостепенное значение, и мы уделяем каждому из них должное внимание. Мы специализируемся на ручном подборе идеальных моделей или персонала на основе конкретных потребностей каждого клиента и усердно работаем над тем, чтобы их проекты были успешными.

Преимущества найма наших моделей:

• Привлечение толпы
• Максимальное увеличение количества потенциальных клиентов и продаж
• Повышение узнаваемости бренда
• Развитие вашей компании
• Повышение качества обслуживания клиентов
• Создание шума
• Добавьте уникальности своему проекту

Познакомьтесь с командой

Джилл Дэвис

Президент

Джилл работала моделью несколько лет, прежде чем основала AFM. Теперь она наблюдает за всеми ежедневными операциями. Ее трое замечательных детей не дают ей скучать!

Джордан Колтрейн

Вице-президент и старший агент по бронированию

Джордан начала работать моделью в 10 лет. Благодаря более чем 20-летнему опыту она успешно управляет AFM и управляет сотнями заказов в год.

Аманда Пэрис

Влиятельный руководитель и старший агент по бронированию

У Аманды 1,5 миллиона подписчиков, она руководит нашим отделом влиятельных лиц в социальных сетях и даже владеет собственным фитнес-брендом MNML Health.

Дайджа Аллен

Агент по бронированию

Дайджа всегда в пути! Она управляет мероприятиями, обрабатывает заказы, помогает клиентам с дизайном униформы и является опытным визажистом.

Аманда Солтер

Агент по бронированию

Аманда занимается модельным бизнесом уже 10 лет. Она появлялась в печатной рекламе, участвовала во многих показах мод и даже создала собственный журнал.

Алисия Боуман

Менеджер по коммуникациям

Алисия управляет нашими учетными записями в социальных сетях. Она работает из своего дома в Небраске, не отставая от своего мужа и трех маленьких мальчиков.

Джессика Парди

Специалист по маркетингу и агент по бронированию

Джесси — страстный маркетолог, который также курирует наши крупные мероприятия на месте. Она любит волонтерить в своем сообществе и быть на открытом воздухе.

Миранда Вуд

Ассистент

Миранда работает из дома со своими двумя щенками ассистентом агентов по бронированию. Она стремится открыть пекарню как для людей, так и для домашних животных.

Следующие шаги…

Позвольте нам найти идеальный талант для вашего предстоящего проекта или кампании.

Закажи модель!

Face Forward Актеры и модели

Сеть с АГЕНТАМИ и менеджерами в Face Forward

АКТЕРЫ + МОДЕЛИ + ПЕВЦЫ

Академия исполнительского искусства в Тампе

Свяжитесь с нами

О нас

ЛУЧШИМ ТЫ МОЖЕШЬ БЫТЬ.

Являясь ведущей академией актерского мастерства и моделирования в Тампа-Бэй, мы специализируемся не только на развитии талантов, но и на налаживании связей с ведущими агентами SAG, менеджерами, директорами по кастингу и музыкальными руководителями со всего мира. Отношения, которые мы построили за многие годы с агентами, менеджерами и директорами по кастингу, побуждают их посетить нашу Академию исполнительских искусств в Тампе.

Вы наше следующее открытие? Свяжитесь с нами сейчас для профессиональной оценки.

Позвони сейчас

Истории успеха

Alexandria M

СТАЛА 60-Й МИСС МИРА

Aeropostale, JC Penny, журнал Ocean Drive, журнал Fitness Magazine, журнал Key Biscayne, журнал Teen Vogue, журнал Teen, журнал Seventeen, Diesel, St Espirit

Taylor R

МУЖСКАЯ МОДЕЛЬ ГОДА В ПРОМЫШЛЕННОЙ СЕТИ

The Bert Show, Memorri, Claude Jean, Everlane

AVANT Magazine Cover & Editorial

International White Claw Commercial

Джеки А

Телереклама Актриса и модель

Телешоу Клуб первых жен — BET, La Body de la Abuela Amazon Prime, Teen Wolf MTV, Blue Water Media, ТВ-реклама Glaxcosmithklein, HSN, Beauty BioScience и Tan Luxe, 1 -800 Ask Gary Commercial, Verizon Commercial, Commercial for Senator Janet Cruz

Taylor L

COUNTRY MUSIC ASSOCIATION SINGER & PROFESSIONAL ACTER

Grey’s Anatomy, AT&T, Lean Cuisine For Kids
Все ненавидят Криса
Меня зовут Эрл

Кирк

ПРОФЕССИОНАЛЬНЫЙ АКТЕР И МОДЕЛЬ

Dingo Up, One More Child, музыкальное видео Девон Уилсон, телереклама Habitat for Humanity, First Health Plan, почетное упоминание Kraft Mac n Cheese

Джейкоб

Телешоу «Улица Сезам»,

Озвучка телешоу Nickelodeon

Плющ

Телереклама Little Big Playroom, Телереклама библиотеки Winter Haven, Телереклама Excellence

Дивья

Телевизионная реклама Superbowl

Реми Мартин Коньяк с участием Серены Уильямс

Крис

Телереклама Dave & Busters, курорт Tradewinds Beach Resort, реклама футбольной видеоигры Madden

Azza

Телереклама Optimum Freedom Health,

Телереклама Footlogix

Отзывы

Шэннон, без тебя я бы не справился.

Александра Милль

Профессиональная модель высокой моды

Благодаря обучению и руководству Face Forward это открыло мне двери к успеху в нескольких телешоу, фильмах и рекламных роликах. Я хотел сказать спасибо.

Тейлор Линч Профессиональный актер и исполнитель музыки в стиле кантри

Мой опыт работы с Face Forward был выдающимся. Я нашел несколько студентов, которые продолжили свою карьеру и профессионально работали как моделью, так и актером через мое агентство. Большое спасибо за то, что всегда есть лучшие таланты. Так держать.

Питер Кондопулос

PCG Talent SAG/AFTRA Talent Agency

Я много лет работал с руководством Face Forward. Я всегда нахожу уровень профессионализма и подготовленности талантов на высшем уровне. Посещение занятий в школе — отличный способ узнать, что на самом деле ищут режиссеры кино и телевидения при поиске талантов.