Получение морфируемой 3D-модели лица на основе фотографии в произвольном ракурсе / Хабр

Привет, Хабр! Представляю вашему вниманию перевод статьи «Learning 3D Face Morphable Model Out of 2D Images».

Трёхмерная морфируемая модель лица (3D Morphable Model, далее 3DMM)  —  это статистическая модель структуры и текстуры лица, которая используются компьютерном зрении, компьютерной графике, при анализе человеческого поведения и в пластической хирургии.

Неповторимость каждой черты лица делает моделирование человеческого лица нетривиальной задачей. 3DMM создётся для получения модели лица в пространстве явных соответствий. Это означает поточечное соответствие между полученной моделью и другими моделями, позволяющими выполнять морфирование. Кроме того, в 3DMM должны быть отражены трансформации низкого уровня, такие как отличия мужского лица от женского, нейтрального выражения лица от улыбки.

Исследователи из Университета Мичигана предлагают новейший метод получения 3DMM лица, основанный на глубоком обучении. Используя высокую эффективность глубоких нейронных сетей для осуществления нелинейных отображений, их метод позволяет получить 3DMM на основе 2D изображения, снятого в произвольной обстановке.

Более ранние подходы

Обычно 3DMM получают с помощью набора 3D сканов лиц и набора 2D изображений этих же лиц. Общепринятый подход заключается в использовании редукции размерностей при обучении с учителем, которая выполняется с помощью применения анализа главных составляющих (Principal Component Analysis – PCA) на тренировочном наборе данных, состоящем из 3D сканов лиц и соответствующих 2D изображений. При использовании линейных моделей, таких как PCA, нелинейные трансформации и лицевые вариации не могут быть отражены в 3DMM. Более того, для моделирования точных 3D текстур лиц необходимо большое количество «3D информации». Таким образом, использование данного подхода оказывается неэффективным.

Предлагаемый метод

Идея предлагаемого метода заключается в использовании глубоких нейронных сетей или, более конкретно, свёрточных нейросетей (которые лучше подходят для рассматриваемой задачи и менее затратны в плане времени вычислений, чем многослойные перцептроны) для получения 3DMM.

Кодирующая нейросеть (энкодер) принимает на вход изображение лица и генерирует параметры текстуры и альбедо лица, с помощью которых две декодирующих нейросети (декодеры) оценивают текстуру и альбедо.

Как было указано ранее, линейная 3DMM имеет ряд проблем, таких как необходимость наличия 3D сканов лиц, невозможность использования изображений, снятых в произвольном ракурсе и ограниченная точность представления из-за использования линейной PCA. В свою очередь, предлагаемый метод позволяет получить нелинейную 3DMM модель на основе 2D изображений лиц высокого разрешения, снятых с произвольного ракурса.

Планарное представление

В своём подходе, исследователи используют развёрнутую 2D карту лица для представления его текстуры и альбедо. Они утверждают, что учёт пространственной информации играет важную роль, так как они применяют свёрточные нейронные сети, а фронтальные изображения лица содержат мало информации о боковых сторонах.

Именно поэтому их выбор пал на планарное преставление.

Три различных представления альбедо. (а) – 3D представление, (в) – альбедо как 2D фронтальное изображение лица, (с) – планарное представление.

Планарное представление. x, y, z и суммарное представление текстуры.

Архитектура нейросети

Исследователи спроектировали нейросеть, которая, принимая на вход изображение, кодирует его в вектора текстуры, альбедо и освещения. Закодированные скрытые вектора для альбедо и текстуры декодируются с использованием двух декодеров, в качестве которых используются свёрточные нейросети. На выходе декодеры выдают блики лица, его альбедо и 3D текстуру лица. С использованием этих параметров, дифференцируемый рендеринг-слой генерирует модель лица посредством совмещения 3D текстуры, альбедо, освещения и параметров расположения камеры, полученных энкодером. Архитектура представлена на схеме ниже.

Архитектура предлагаемого метода для получения нелинейной 3DMM

Получаемая устойчивая нелинейная 3DMM может быть использована для 2D наложения лиц и решения проблемы трёхмерной реконструкции лиц.

Схема рендеринг-слоя

Сравнение с другими методами

Рассматриваемый метод был приведён в сравнение с другими методами на примере следующих задач: 2D наложение, 3D реконструкция и редактирование лиц

. Предлагаемый метод превосходит другие современные подходы для решения этих задач. Результаты сравнения представлены ниже.

2D наложение лица

Одно из приложений метода — наложение лиц, что должно существенно улучшить анализ лиц в ряде задач (к примеру, распознавание лиц). Наложение лиц – непростая задача, но рассматриваемый метод показывает высокие результаты при её решении.

Результаты 2D наложения лиц. Невидимые пометки отмечены красным. Рассматриваемый метод отражает необычные позы, освещение и выражение лица.

3D реконструкция лица

Рассматриваемый метод также был приведён к сравнению на примере 3D реконструкции лица и показал выдающиеся результаты по сравнению с другими методами.

Количественное сравнение результатов 3D реконструкции

Результаты 3D реконструкции в сравнении с методом Sela и др. Предлагаемый метод сохраняет волосы на лице и другие особенности лица намного лучше, чем этот метод.

Результаты 3D реконструкции в сравнении с VRN от Jackson и др. на примере известного датасета CelebA.

Результаты 3D реконструкции в сравнении с методом Tewari и др. Как видно, предлагаемый метод решает проблему сжимания лица при наличии различных текстур (таких как волосы на лице).

Редактирование лица

Обсуждаемый метод разбивает изображение лица на отдельные элементы и позволяет изменять лицо с помощью манипуляций над ними. Результаты работы данного метода при редактировании лиц были оценены на примере таких задач, как изменение освещения и добавление дополнительных элементов лица.

Результаты добавления бороды. Первая колонка содержит исходные изображения, последующие – разные степени изменения бороды.

Сравнение с методом Shu и др. (вторая строка). Как видно, предлагаемый метод даёт более реалистичные изображения, и кроме того, лучше сохраняется идентичность лица.

Вывод

Предлагаемый метод, предположительно, получит широкое распространение, так как он позволяет получить точную и устойчивую 3DMM. Хотя 3DMM была широко распространена с момента своего создания, до появления рассматриваемого метода не существовало эффективного получения этой модели с помощью 2D изображений с произвольного ракурса.

Предлагаемый метод использует глубокие нейронные сети в качестве аппроксиматора для устойчивого моделирования человеческих лиц со всеми их особенностями. Столь необычный способ получения 3DMM позволяет проводить манипуляции с изображением и может быть использован во многих задачах, некоторые из которых были представлены статье.

Перевод — Борис Румянцев.

91-летняя модель: лицо Кармен Делл’Орефиче украсило обложку глянцевого журнала — Новости — Общество

Вместе с нею позирует 69-летняя Беверли Джонс.

Фото: Fadil Berisha/NEW YOU

Супермодели Кармен Делл’Орефиче и Беверли Джонсон вместе сняты на обложке глянцевого журнала «New You», номер которого посвящен возможности работы в модной индустрии «возрастных» людей. Кармен – 91 год, ее младшей коллеге Беверли – 69. Об этом пишет People сегодня, 5 октября.

Обе модели – своего рода живые легенды. Кармен Делль’Орефиче занесена в Книгу рекордов Гиннесса как обладательница самой долгой карьеры на мировых подиумах: свыше 70 лет. Беверли Джонсон заявила о себе в 1974 году. В истории моды она является первой афроамериканкой, фигурировавшей на обложке Vogue. При этом Беверли давно мечтала поработать вместе с Кармен. Делл’Орефиче для нее кумир, наставник и вечный пример.

Теги:

Книга рекордов ГиннессаКармен Делл’ОрефичеСупермодель91 годБеверли ДжонсонЖурнал «New You»

Новости СМИ2

ДРУГИЕ МАТЕРИАЛЫ РАЗДЕЛА «ОБЩЕСТВО»

ВСЕ МАТЕРИАЛЫ

9660

2

СТАТЬИ МАТЕРИАЛ

Проект «Твой путь» продолжает обучение молодых авторов социальных проектов Запорожской области

14 марта 2023 года в Запорожской области состоялось образовательное мероприятие проекта «Твой путь» для жителей региона.

16 марта 2023

1 5400

0

СТАТЬИ МАТЕРИАЛ

Многая лета Борису Мессереру!

Народный художник России празднует 90-летие.

15 марта 2023

5 8370

0

ИНТЕРВЬЮ МАТЕРИАЛ

Андрей Кулик: «Главное в работе адвоката – чтобы было честно, прозрачно и был результат»

Специально для «Ревизора.ru».

8 марта 2023

1 3470

0

СТАТЬИ МАТЕРИАЛ

«Я знаю, что все женщины прекрасны.

..»

С Международным женским днем!

8 марта 2023

5 7530

0

СТАТЬИ МАТЕРИАЛ

Письмо Заслуженного артиста России Бориса Галкина бывшему другу в Киев

3 марта 2023

1 7840

0

СТАТЬИ МАТЕРИАЛ

200 лет со дня рождения основоположника научной педагогики в России Константина Ушинского

Великий педагог родился в Туле в семье мелкопоместного дворянина 3 марта 1823 года.

3 марта 2023

2 1140

0

СТАТЬИ МАТЕРИАЛ

Спасибо, армия родная!

Ко Дню защитников Отечества.

23 февраля 2023

ДРУГИЕ МАТЕРИАЛЫ

ВСЕ МАТЕРИАЛЫ

1 7230

2

НОВОСТИ МАТЕРИАЛ

Представляем книгу о Великом Географе нашего времени, «Колумбе ХХ века» – Андрее Петровиче Капице

Приглашаем на презентацию, которая состоится 17 марта в Москве

12 марта 2023

1 0440

0

НОВОСТИ МАТЕРИАЛ

В Театре Наций появится новая версия «Анны Карениной»

Автор инсценировки и режиссёр — заслуженный деятель искусств России Алла Сигалова.

17 марта 2023

9110

0

НОВОСТИ МАТЕРИАЛ

«За страницами семейного альбома» — выставка к 175-летию купца В.

Д. Носова!

В филиале РГБМ открывают к показу семейный альбом купца В.Д. Носова

17 марта 2023

1 0320

0

НОВОСТИ МАТЕРИАЛ

В музее Татарстана прозвучит татарская хоровая музыка

17 марта 2023

1 0110

0

НОВОСТИ МАТЕРИАЛ

Федор Конюхов собирается побить мировой рекорд в воздухоплавании

Имеется в виду дальность и продолжительность перелета на воздушном шаре.

17 марта 2023

1 3200

0

НОВОСТИ МАТЕРИАЛ

В Херсонесе Таврическом будет первый в России музей христианства

Его идея зародилась еще до революции.

17 марта 2023

1 1810

0

НОВОСТИ МАТЕРИАЛ

Фильм «Майор Гром: игра» начали снимать в петербургской тюрьме «Кресты»

Лента является продолжением картины «Майор Гром: Чумной доктор».

17 марта 2023

НОВОСТИ

Новые материалы

ЛИТЕРАТУРАСтатьи

В Культурном центре Ф.А. Искандера презентовали первый современный роман о старообрядцах «Лист лавровый в пищу не употребляется»

ЛИТЕРАТУРАСтатьи

Николай Языков. «Владеет он языком, как араб диким конём своим…»

МУЗЕИСтатьи

Иван Грозный, братья Щукины и семерка композиторов – победители XI Премии The Art Newspaper Russia

В Москве

КИНОСтатьи

Дорога в вечность. О картине Сергея Дебижева «Святой Архипелаг».

ТЕАТРСтатьи

Встреча с театром

ОБЩЕСТВОСтатьи

В Москве пройдет спектакль «Рабочий и колхозница. Гала. 85 лет любви»

Новости общества

Федор Конюхов собирается побить мировой рекорд в воздухоплавании

Вчера 17:34

Детский благотворительный фестиваль «Белый пароход» впервые придет в Алтайский край

Вчера 16:06

Экоактивисты «покрасили фасад» Палаццо Веккьо во Флоренции

Вчера 15:04

В иркутском селе Аталанка открыт новый социально-культурный комплекс

16 марта 14:22

В Москве запущен народный марафон «Вспомним всех поименно»

15 марта 20:45

Петербург облачился в «белое пальто»

15 марта 17:37

Летом в Благовещенске пройдет Российско-китайская ярмарка искусств

14 марта 17:54

А вы знали? Сегодня – Международный день вопросов!

14 марта 16:10

«Почта Донбасса» выпустит еще три металлические марки серии «Гордость Донбасса»

14 марта 13:33

ВСЕ НОВОСТИ ОБЩЕСТВА

#ModelFace Challenge на TikTok — StayHipp

TikTok

TikTok/ maddoggiedawg, zyrealoc, abbyspamstuff

Автор Sade Spence · Опубликовано 1 сентября 2020 г.

ПОДЕЛИСЬ ЭТИМ

Краткое описание: TikTokers определяют свое «модельное лицо», улыбаясь и поднимая брови в рамках конкурса #ModelFace Challenge.

ГЛУБОКОЕ ПОГРУЖЕНИЕ

Попытка принять идеальную позу для селфи может быть сложной задачей, но в TikTok есть новая тенденция, которая, мы надеемся, может поднять вашу игру на новый уровень. Говорят, что #ModelFace Challenge раскрывает «модельное» лицо создателя. Эти видео требуют, чтобы TikTokers 1) улыбались, 2) поднимали брови и 3) переставали улыбаться. Эта надежда состоит в том, что вызов дает взгляд оленя в свете фар.

Тенденция восходит к TikToker @Diego_safi. Его видео от 23 августа содержит подробные инструкции о том, как выглядеть как модель на испанском языке. Затем эта тенденция распространилась на англоязычный TikTok после того, как пользователь @Churro310 поделился своим мнением с инструкциями на английском языке. Он также упомянул @Diego_safi. Более 107 000 видео связаны с аудиозаписью @Churro310, которая представляет собой «River» епископа Бриггса. Многие видео также можно найти под соответствующим хэштегом #ModelFace.

Lyrics:

Как река, как река, ш-
Как река, как река, ш-
Как река, как река

Тенденция дает сочетание впечатляющих, комичных и удивительных результатов. Фотографии @Zyrealoc застали зрителей врасплох. Они были ошеломлены его потрясающими модельными фотографиями, несмотря на подпись. Его видео набрало более 349 000 лайков и 1,8 миллиона просмотров.

@zyrealoc

Не думаю, что это сработало🥴 #TimeforTENET #VinylCheck #fyp #modelchallenge #foryou #foryoupage

♬ Бишоп Бриггс – Ривер – чурро310

Смайз популярного создателя @Abbyspamstuff Next Top Model собрал более 193 000 лайков и 929 000 просмотров.

@abbyspamstuff

я сняла ресницы не суди

♬ оригинальный звук – churro310

TikTok @Maddoggiedawg был более юмористическим по своей природе. Ее модельное лицо выглядит так, будто она только что увидела привидение. Ее видео набрало более 134 000 лайков и 856 000 просмотров.

@maddoggiedawg

ты меня подпишешь🤩🤩 #fyp #lol #model #foryou

♬ оригинальный звук – churro310

Другие варианты:

@iconiccpinkk

Модельное агентство печатает✨….

♬ оригинальный звук – churro310

@emilyhasthejuice

Я выгляжу так, будто мне больно

♬ оригинальный звук – churro310

Следующий

Что такое #YourSlipIsShowing в Твиттере?

Обнимающее лицо — Сообщество ИИ строит будущее.

Создавайте, обучайте и развертывайте современные модели на основе эталонного программного обеспечения с открытым исходным кодом в области машинного обучения.

Звезда

85 685

Более 5000 организаций используют Hugging Face

Allen Institute for AI

некоммерческая организация • 154 модели

Мета ИИ

компания • 529 моделей

Графкор

компания • 35 моделей

Google AI

компания • 564 модели

Intel

компания • 90 моделей

SpeechBrain

некоммерческий • 69 моделей

Майкрософт

компания • 243 модели

Grammarly

компания

Hub

Home of Machine Learning

Лучше создавайте, открывайте и сотрудничайте в области машинного обучения.
Присоединяйтесь к сообществу, чтобы начать свое путешествие по машинному обучению.

Регистрация

Задачи

Решатели проблем

Тысячи создателей работают как сообщество, чтобы решить аудио, зрение и язык с помощью ИИ.

Исследовать задачи

Аудио Классификация

320 моделей

Классификация изображений

2405 моделей

Обнаружение объектов

300 моделей

Вопрос Ответ

3980 моделей

Суммирование

895 моделей

Текстовая классификация

18 048 моделей

Перевод

1946 моделей

Открытый исходный код

Трансформаторы

Transformers — это наша библиотека обработки естественного языка, и наш центр теперь открыт для всех моделей машинного обучения с поддержка таких библиотек, как чутье, астероид, ЭСПнет, Пьяннот и еще не все.

Читать документацию

Huggingface@transformers:~

 из импорта трансформаторов AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer. from_pretrained("bert-base-uncased")
модель = AutoModelForMaskedLM.from_pretrained("bert-base-uncased") 

По запросу

API вывода

Подавайте свои модели напрямую из инфраструктуры Hugging Face и запускайте крупномасштабные модели НЛП в миллисекунд всего несколькими строками кода.

Узнать больше

дистиллятная основа без оболочки

Маска заполнения

Примеры

Примеры

Жетон маски: [MASK]

Эта модель может быть загружена в Inference API по требованию.

dbmdz/bert-large-cased-finetuned-conll03-english

Классификация токенов

Примеры

Примеры

Эта модель может быть загружена в Inference API по запросу.

Наука

Наш вклад в исследования

Мы на пути к развитию и демократизации НЛП для всех. Попутно мы вносим свой вклад в развитие технологий в лучшую сторону.

🌸

T0

Многозадачное обучение с подсказками обеспечивает обобщение задач Zero-Shot

Современная нулевая языковая модель с открытым исходным кодом из Большая Наука.

Подробнее

🐎

DistilBERT

DistilBERT, улучшенная версия BERT: меньше, быстрее, дешевле и легче

Меньшая, более быстрая, легкая и дешевая версия BERT, полученная путем перегонки модели.

Подробнее

📚

HMTL

Иерархическое многозадачное обучение

Изучение вложений из семантических задач для многозадачного обучения. У нас есть открытый код и демоверсия.

Подробнее

🐸

Динамические языковые модели

Мета-обучение для языкового моделирования

Мета-ученик обучен с помощью градиентного спуска постоянно и динамически обновлять языковую модель веса.

Подробнее

🤖

Современное оборудование

Neuralcoref

Наша библиотека разрешения кореференций с открытым исходным кодом для корреференций.