панорамы и обработка — Скриншоты на DTF

В этой статье я расскажу, как клею панорамы из множества снимков и обрабатываю их.

3448 просмотров

Зачем нужны панорамы? На мой взгляд, основных причин две:

Четкие снимки

Четкость зависит от разрешения, в котором Вы делаете кадры. Для того, чтобы сделать скриншот в высоком разрешении, существует много методов. На ПК можно воспользоваться программами вроде Simple Runtime Window Editor (SRWE), которые увеличивают разрешение окна с игрой за пределы физического разрешения Вашего монитора. То же самое можно сделать с помощью Dynamic Super Resolution (DSR) от Nvidia. Опция просто добавляет в настройки игры разрешение, превышающее нативное разрешение монитора.

Допустим, у Вас 1440р монитор. С включенным DSR 2.0х игра будет рендериться в 5к (2560*1440 х2 = 5120*2880). Это называется суперсэмплинг.

Суперсэмплинг, или SSAA (Supersample anti-aliasing) — один из первых методов сглаживания.

Самый старый, самый простой технически, но самый дорогой в плане удара по производительности. Из-за избыточного разрешения лесенки на границах треугольников становятся просто не видны, но видеокарте приходится обрабатывать намного больше пикселей, что неминуемо отразится на частоте кадров в секунду.

На видеокартах AMD есть аналогичная опция — VSR.

Все вышесказанное касалось ПК. Но что делать, если Вы хотите поскринить Ghost of Tsushima или Demon’s Souls? На консолях подобных методов увеличения разрешения нет. И тут на помощь придут панорамы. Вместо того, чтобы делать один скриншот в разрешении 3840*2160 (что зачастую на самом деле апскейл с 1440р), можно приблизить камеру и сделать 6-9 скриншотов, склеить их в один и получить намного более четкую и детализированную картинку.

Обход ограничений фоторежима

Вторая, и по-моему, более важная причина. Допустим, Вы хотите снять красивый кадр, вмещающий в себя персонажа, пару зданий, вот тот холм слева, вот ту церквушку справа… Встроенные в игры фоторежимы (да и сторонние иногда тоже) часто ограничены в возможностях.

В том же Demon’s Souls камера фоторежима не может отлететь дальше, чем на несколько метров от персонажа. Это сильно уменьшает Ваши творческие возможности. Плюс к этому, даже если увеличить FOV (Field Of View, поле зрения) до максимума, некоторые кадры просто не будут возможны, т.к. просто не поместят в экране все, что Вы хотите.

В общем и целом, панорамы позволят обойти эти ограничения и дадут больше гибкости в том, что Вы сможете снимать. Например, вот этот снимок. Я никак не смог бы его сделать в родном фоторежиме одним кадром.

Метод

Приступим к собственно гайду. Для съемки панорамы Вам просто нужно сделать несколько снимков сцены, которую хочется запечатлеть. Полезно перед этим уменьшить FOV, чтобы увеличить детальность снимка. При маленьком FOV на один кадр будет помещаться меньше объектов, но они будут четче, плюс игра будет подгружать максимальные LOD’ы (Level of Detail). В зависимости от расстояния до виртуальной камеры и количества объектов на экране игра решает, какого качества модели и текстуры показывать, это часть оптимизации.

Соответственно, при меньшем количестве объектов их детализация будет выше.

Так же для последующей склейки одиночные кадры должны немного перекрывать друг друга, чтобы программа для панорам нашла общие точки и склеила кадры в один.

Софт

Одна из самых простых программ, которой я часто пользуюсь — Image Composite Editor или ICE. Интуитивно понятный интерфейс и минимум настроек — так сказать, Apple от мира панорам. На первом шаге Вы просто перетаскиваете необходимые снимки и нажимаете Next.

Второй шаг — один из самых важных. На нем необходимо выбрать проекцию панорамы.

Вернемся немного назад, чтобы стало понятнее. При съемке нескольких кадров Вы крутите камерой, меняя ее угол в пространстве и меняя перспективу объектов в кадре. Посмотрите на 9 снимков сверху — колонны на арене босса меняют свой угол наклона от кадра к кадру.

Из-за кругового движения камеры наши снимки являются как будто кусками внутренней поверхности сферы, в центре которой находится виртуальная камера и запечатлевает отдельные части этой сферы изнутри. Можно представить так: кадры являются газетными листами, и программа наклеивает их на внутреннюю поверхность шарообразного папье-маше, которое станет итоговой панорамой.

В связи с этим на некоторых моих снимках можно наблюдать искажение прямых линий.

Натянутые провода, края крыш — в самой игре все прямое.

Это происходит из-за того, что внутренняя поверхность сферы, которую образовали наши снимки, плохо раскладывается в плоскую поверхность панорамы. Принцип примерно тот же, что в раскладке объемного глобуса на плоскую карту, только сторона сферы другая.

Для того, чтобы адекватно отобразить сферообразную поверхность Земли на плоской карте, было придумано много разных проекций. И многие из них нам помогут сегодня. Например, проекция Меркатора, самая часто применяемая в картах.

Эта проекция сохраняет угловое расположение континентов в ущерб их масштабам. Так, объекты, более близкие к полюсам, становятся больше, чем объекты на экваторе.

В софте для панорам существует множество различных проекций на выбор — сферическая, меркатора, фишай, цилиндрическая и т.д. Наша задача — выбрать самую подходящую для нашей панорамы. Так же на этом этапе можно выбрать точку отсчета перспективы финальной панорамы. В ICE присутствует минимальный набор проекций, которого должно хватить на 99% возможных ситуаций.

Чаще всего я останавливаюсь на проекции Меркатора, т.к. она дает наименьшее количество искажений. Но, в зависимости от сцены, может подойти и сферическая, и цилиндрическая, и проекция перспективы.

После сборки панорамы ICE предложит сразу ее кропнуть (обрезать), а после этого экспортировать в нужный Вам формат и качество. Я сохраняю панорамы в исходном размере, что дает больше гибкости после — вдруг я захочу кропнуть не горизонтально, а вертикально?

Результат склейки

Эта панорама довольно ровная, иногда получаются более любопытные склейки:

Из этого материала можно кропнуть как вертикальный итоговый снимок, так и горизонтальный. А потом выложить их оба, хех.

ICE покрывает мои потребности в 90% случаев. Но, в нем нельзя выбирать точки склейки кадров, ограниченный набор проекций, нет выравнивания отдельных снимков, а также среднего качества алгоритм склейки, который иногда дает ошибки, особенно на темных кадрах.

Вот такая веселуха

Мне это очень мешало при съемке ремейка Мафии, особенно в ночное время. Тогда на помощь приходят другие утилиты, как например Hugin.

В нем приведенная выше панорама выглядит так:

Почти ровно. Есть небольшие кривости на тротуаре, но их легко поправить в фотошопе.

В Hugin не такой простой интерфейс, но это с лихвой компенсируется возможностями.

Для начала нужно перетащить исходные снимки в окно программы. Hugin спросит, каким объективом проводилась съемка?

Ставьте просто 70 градусов, особого эффекта на итоговый результат это не окажет.

Мне сподручнее проводить работу над панорамой в «Advanced» режиме интерфейса, а экспорт в «Simple».

Удобно, что можно держать открытыми оба.

Жмем «Выровнять», ждем окончания анализа. Утилита будет искать общие точки на снимках. Если автоматический алгоритм их не найдет, то выскочит окно, в котором нужно вручную выбрать одинаковые элементы на двух снимках.

Для склейки достаточно буквально нескольких точек.

Для более точной склейки можно добавлять новые точки, пока панорама не станет идеальной. После проставления точек вручную жмем «Выровнять» еще раз.

Немного криво получилось. На этом моменте ICE уже давно сдался бы, но у Hugin есть спасительная кнопочка «Выпрямить».

Не забудьте про проекцию — в утилите есть широкий выбор.

Теперь можно перейти в меню обрезки и выбрать всю панораму кнопкой с зеленой стрелкой — так у Вас будет весь доступный материал для работы после.

Остался экспорт. В окне экспорта можно выбрать разрешение, формат, качество, а так же когда будет проводиться коррекция экспозиции — до или после склейки. Выбор может быть полезным и исключительных случаях.

Кроме ICE и Hugin есть множество других программ — PtGui, Adobe Photoshop (которым я пользовался в самом начале, но понял, что специализированные утилиты лучше) и другие.

Перейдем к обработке.

Постобработка снимков

Тут на самом деле все проще. Вы просто открываете редактор по выбору и крутите ползунки. Я обычно пользуюсь Adobe Photoshop, иногда Adobe Lightroom, а так же VSCO.

Загружаем нашу панораму в фотошоп и начинаем крутить-вертеть.

Для начала кропаем панораму. Здесь Вы учитываете композицию снимка, вспоминаете про правило третей, золотое сечение и т.д. По-хорошему, композицию надо учитывать еще при съемке изначальных кадров, но панорама дает больше пространства для маневра. По сути, Вы фотографируете большую часть сцены в игре, а потом обрезаете до итогового скрина.

Сильно заморачиваться со следованием правилам не надо. Даже кадр с персонажем по центру и заваленным горизонтом может быть отличным. Экспериментируйте.

Пример довольно сильного кропа исходной панорамы в конечный кадр:

В фотошопе есть две магических кнопки в меню Изображение — «Автотон» и «Автоматическая цветовая коррекция». Ближайшие аналоги кнопке «сделать красиво». Иногда их даже достаточно для финального результата. До и после:

По сути, эти кнопки правят баланс белого, контрастность и яркость. Иногда это идет на пользу кадру, иногда нет; в таком случае можно все взять в свои руки и поправить параметры вручную. Все эти крутилки находятся в меню Изображение —> Коррекция. Мы можем поднять контрастность/яркость, поменять цветовой баланс (мне нравится немного уходить в синеву, добавляет атмосферности теням), поднять точку черного в Кривых (это создаст эффект выгоревшего изображения), поднять/опустить уровень теней и светлых областей.

Уникального рецепта нет — крутите настройки, смотрите на результат. Все зависит от Вашего вкуса. Та же история в Лайтруме, только там настроек побольше, все-таки он более узко специализирован именно на постобработке. В нем можно менять оттенок определенного цвета (например, всю зелень в кадре сделать насыщенного изумрудного оттенка), изменять цветовые акценты теней и т.д. и т.п.

При работе в Лайтруме Вам сначала необходимо указать папку с Вашими изображениями для добавления в библиотеку. После этого Вы можете редактировать несколько изображений за раз, а также копировать правки с уже готовых кадров на новые.

Постобработка происходит в окне Develop. Все необходимые настройки находятся справа от изображения.

Неоспоримый плюс Лайтрума — пресеты (фильтры). Это сохраненные комбинации настроек, которые можно сделать самому, а можно скачать. Популярные фотографы и блогеры давно продают паки своих пресетов, но и бесплатно можно найти много годноты. В окне лайтрума выбор пресетов находится слева.

Для мобильных пользователей есть аналоги в лице Snapseed (фотошоп на минималках):

И VSCO (лайтрум на минималках):

VSCO может быть полезен и для ПК-пользователей из-за своей простоты — в нем уже есть десятки фильтров; остается только выбрать подходящий, а затем подкрутить картинку до нужного Вам уровня. Свои последние посты по Demon’s Souls я обрабатывал как раз в VSCO. До и после:

Надеюсь, этот пост вдохновит кого-то начать делать панорамы и исследовать возможности графических редакторов на своих работах. Ничего сложного в склейке панорам и обработке скриншотов нет. Главное — открыть редактор и методом тыка находить удачные решения для Вашего стиля. Пробуйте!

Создание сверхдлинных плоских панорамных изображений из видео / Хабр

Предыстория

Пару лет назад на Хабре была статья, посвящённая Адаму Мадьяру Камера Эйнштейна: как один фотограф изображает время. Мне она показалась очень интересной, но, если честно, то я так и не понял технологию для съёмки видео Stainless. Особенно меня восхитили его фотографии поезда метро. После чего я задался мыслью: а могу ли я сам создать нечто подобное?

Постановка задачи

Недалеко от села, где живут мои родственники, проходит железная дорога и поехав однажды в гости, я прихватил с собой камеру и штатив. Суть задачи, которую я поставил перед собой сводилась к тому чтобы создать панорамное изображение поезда, достаточно длинное, чтобы его невозможно было снять просто собрав плоскую панораму. То есть, я собрался отснять видео и вырезав по центральной полоске с каждого кадра объединить их в надежде получить очень длинную и красивую панораму. Поскольку я являлся счастливым обладателем камеры Canon EOS 600D (технические характеристики) с максимальной частотой 60 FPS при разрешении видео 1280×720, то расчитывать на более высокую частоту не приходилось. С другой стороны панорама высотой 1280 пикселей превосходит вертикальное разрешение большинства мониторов. Поэтому, я полагал, качество результата должно меня устроить.

Примеры в сети Интернет

Прежде чем продолжить я хотел бы привести список ссылок на работы по данной тематике, которые мне удалось обнаружить.

• Fundamentals and Experiments of Line Scan Camera. Собственно сами панорамы: раз и два
• Bending time. A showcase of photographs from Andreas Chudowski and Adam Magyar
• Kropilak

Съёмка! Мотор! Поехали!

Итак, я установил штатив на расстоянии порядка 10 метров от рельсов (чем ближе к рельсам, тем сильнее тряска камеры) и установил камеру в вертикальном положении. Поскольку нам из всего видео кадра нужна лишь средняя полоска, то правильнее всего устанавливать камеру именно в вертикальном, а не горизонтальном положении, так как в этом случае разрешение панорамы будет выше. Например, при горизонтальная ориентация 1920Х1080 даст нам панораму высотой 1080 пикселей, а вертикальная ориентация 1080×1920 даст нам панораму высотой 1920 пикселей.

Съёмку видео лучше всего вести в ручном режиме, т. е. без участия автоматики. Когда объект попадает в кадр, то может сильно измениться освещенность сцены, что заставит камеру поменять выдержку или диафрагму, а это делать нежелательно. Иначе разные части, например, поезда могут быть различными по яркости. Частота кадров для выбранного разрешения естественно должна быть максимальной. Съёмку начинаем секунд за 5-10 до того момента как объект попадёт в кадр. Во-первых, на всякий случай, во-вторых, камера перестала шевелиться после нажатия на кнопку записи, и в-третьих чтобы можно было выбрать фоновый кадр (если освещение быстро меняется, например из-за облаков). Заканчиваем съёмку тоже не сразу, а спустя секунд 5. На своём личном опыте я убедился, что при съёмке желательно просчитать будет ли входить объект в кадр полностью и не будет ли лишнего пустого пространства. У меня на нескольких панорамах верхняя часть поездов немного обрезана. Ну и конечно, желательно выставить ручной фокус и заранее сфокусироваться на объекте (хоть это и трудно бывает сделать, ведь самого объекта пока ещё нет).

Программная часть

Мною была написана программа Trainz Pano (C++ Builder XE3). Приложение 64-разрядное, ОС — Windows 7/8/10. Она заточена именно на создании панорам из видео. Программа доступна как коммерческий продукт и легко гуглится.

Работа с приложением

Чтобы облегчить жизнь и себе и пользователям я разбил процесс создания панорамы на две части: собственно сборку и редактирование. Сделано это по причине того, что большой объём данных лучше сохранить на промежуточном этапе, чтобы их не потерять. Именно по этой причине приложение является 64-битным.

Открытие видео

Я не стал заморачиваться с декодированием видео самостоятельно, моё приложение использует FFMPEG и сначала получает из видео набор изображений, а потом уже с ними работает.

Настройка параметров фона

На самом первом изображении Вы можете видеть повторяющийся узор в качестве фона. Связано это с тем, что из каждого кадра вырезается полоска шириной порядка нескольких десятков пикселей. Собственно они и повторяются, если не перекрываются объектом. Чтобы избавиться от такого фона и заменить его на монотонные линии в приложении есть возможность автоматизировать этот процесс. К сожалению, результат меня иногда немного разочаровывает, поэтому для получения качественного результата после процесса сборки можно перейти к ретушированию.Итак, настраиваем параметры фона.

Сборка панорамы

При съёмке видео камера, по отношению к объекту может быть расположена не прямо, а под некоторым углом. Кроме того, камера может быть расположена под углом к траектории движения объекта. Чтобы компенсировать их влияние в приложении имеются два элемента управления: Вращение и Перспектива. Они определяются путём подбора таким образом, чтобы получаемое изображение не имело зазубрин при стыковке отдельных участков. Ещё один параметр — это Ширина. Он нужен для указания ширины полосок, которые будут вырезаться из текущего кадра и добавляться в результирующую панораму. Все три параметра можно менять в процессе сборки панорамы. Однако чаще всего Вращение и Перспектива настраиваются на начальном этапе и в дальнейшем не меняются. А вот параметр Ширина может меняться, так как скорость движения объекта может быть непостоянной. В моём случае я много раз сталкивался с ускорением и замедлением движения поездов.

Если мы снимаем видео в вертикальной ориентации, то нам понадобится указать в главном меню угол поворота кратный 90 градусам. Есть ещё один момент, который следует учитывать. Когда я писал программу, то исходил из того, что движение объекта осуществляется справа-налево. Что делать, если в действительности движение объекта осуществляется слева-направо? Для этого можно на этапе сборки использовать пункт отразить слева-направо, при этом все надписи мы получим в зеркальном отражении. А на этапе ретуширования воспользуемся командой Отражение панорамы слева-направо и всё встанет на свои места.

Ретуширование панорамы

Чтобы избавиться от повторяющегося фона (если программа не смогла сделать это сама) или восстановить изображение объекта, если он был неверно определён как фон загружаем наше изображение (точнее слои изображения, там их 3) в программу Trainz Pano Editor. Вот краткий список функций, который предоставляет программа:

• Ретуширование
• Добавление столбов
• Удаление столбцов
• Вертикальная заливка фоном
• Добавление строк
• Удаление строк
• Горизонтальная заливка фоном
• Градиентный переход
• Ускоренное движение

Видео работы с программой

On-line справка находится здесь.

Просмотр панорам

При сохранении панорам выявилась одна неприятная деталь, а именно — формат JPEG имеет ограничение на размеры изображения. Для длины и ширины используются 2 байта, поэтому записать панораму длиной более 65535 пикселей не удастся. В то же время у меня были панорамы длиной по 200 000 пикселей и более. Сохранение в BMP и PNG проблем не создаёт, вот только изображения в этих форматах занимают много места на диске. При попытке открыть для просмотра большие панорамы тоже возникли некоторые проблемы. XnView и XnViewMP показывают месиво из пикселей, о чём я написал автору программы, надеюсь в ближайших версиях этот баг пофиксят. Встроенный просмотровщик Windows Фотографии открыл на ура, не подкачал и InfanView. В общем следует исходить из того, что не все вьюверы покажут нам длинные панорамы корректно.

Примеры моих работ

Ознакомиться с некоторыми примерами моих работ можно на сайте. Правда, там они значительно уменьшены в размерах.

Возможная область применения

Помимо панорамных съёмок поездов программу можно использовать для создания панорам колонн авто или мото техники, судов, колонны людей на парадах, демонстрациях, манифестациях. При наличии хороших дорог можно попробовать снять панорамные изображения улиц или пейзажей, например, с поезда, трамвая или автомобиля.

Планы по улучшению приложения

• Чтение кадров напрямую в приложение без необходимости промежуточного сохранения изображений на диск.
• Улучшить скорость сборки панорам.
• Написать новый алгоритм определения фона.
• Написать JavaScript библиотеку с использованием HTML5 Canvas для отображения очень длинных панорам.

Выводы

• В настоящее время на рынке нет приложений для создания панорамных изображений из видео файлов.
• Те единичные примеры панорам, что доступны в сети, как правило, созданы с использованием домашних заготовок, не являющихся готовыми коммерческими продуктами.
• Программа Trainz Pano в какой то мере решает озвученную выше задачу.
• К сожалению, в программе Trainz Pano пока что реализована недостаточно качественная технология отделения объектов от фона, что (в общем случае) приводит к необходимости ретуширования панорамы в довольно большом объеме.
• Вместе с тем, при грамотном использовании (выборе удачного места съёмки против монотонного фона) программа вполне может быть использована как профессионалами так и любителями цифрового фото.

Попробуйте панорамную сшивку для невероятных широкоугольных изображений

Что происходит, когда вы снимаете сцену с естественной красотой на многие мили, а ваш самый широкоугольный объектив и близко не подходит для захвата великолепного вида, который вы видите невооруженным глазом? Панорамное сшивание решает эту проблему, позволяя вам выбирать начальную и конечную точки вашего ландшафта как по горизонтали, так и по вертикали. В этом уроке мы научим вас всему, что касается панорамного сшивания, от комбинирования базовых пейзажных изображений до продвинутых техник, таких как панорамное сшивание с широкой апертурой, также известное как метод Бренизера.

Примечание. Метод панорамной сшивки Бренизера, популяризированный в последние годы фотографом Райаном Бренизером, использует малую глубину резкости в сочетании с широким углом обзора. При съемке с широкой диафрагмой остальная часть фона размывается, направляя взгляд на объекты в фокусе.

Когда следует рассмотреть возможность панорамной сшивки?

К преимуществам панорамной сшивки относятся следующие возможности:

• Захватывайте более широкое изображение, чем ваш самый широкоугольный объектив может захватить на одной фотографии, без искажения по краям кадра.
• Создавайте большие отпечатки с высоким разрешением, объединяя несколько изображений в одно.
• Также создавайте портреты окружающей среды со сверхмалой глубиной резкости с помощью метода Бренизера, о котором мы поговорим позже.

Недостатки панорамного сшивания

Панорамное сшивание не всегда необходимо, и иногда лучше выбрать одно изображение. Вот недостатки сшивки панорам:

• Процесс редактирования фотографий для панорам занимает гораздо больше времени, чем редактирование одной фотографии.
• Полученные файлы имеют огромные размеры, поэтому вам необходимо иметь достаточную вычислительную мощность для обработки больших файлов и достаточно места для их хранения.
• Окончательные результаты нельзя увидеть до тех пор, пока не будут внесены окончательные изменения, поэтому, если при захвате будут допущены какие-либо ошибки, вы не узнаете об этом, пока не вернетесь домой перед компьютером.

Основы процесса сшивания панорам

Сшивка панорам довольно проста. Для этого выполните следующие действия:

1. Визуализируйте окончательное изображение
2. Переключите объектив на ручную фокусировку и установите фокус вручную
3. Переведите все настройки камеры в ручной режим, включая диафрагму, выдержку, ISO и баланс белого. Последовательность в каждом из изображений является ключевым.
4. При необходимости установите камеру на штатив, чтобы можно было легко панорамировать и совмещать изображения. Любое существенное изменение угла камеры или фокуса от кадра к кадру приведет к искажению конечного изображения.
5. Сделайте несколько фотографий с перекрытием не менее 30%. Некоторые фотографы предпочитают сначала снимать среднее изображение, а затем фотографировать остальные вокруг центра, в то время как другие предпочитают последовательность слева направо.
6. Объедините изображения в Lightroom или другой программе для сшивки панорам. Мы рассмотрим это позже.

Процесс сшивки широкоугольных панорам (метод Бренизер)

Метод Бренизера аналогичен описанному выше, за исключением того, что фотограф обычно использует низкую диафрагму f/2. 0 и более длинные фокусные расстояния при фокусном расстоянии 85 мм и выше. Сочетание малой глубины резкости с эффектами компрессии из-за больших фокусных расстояний придает изображениям мечтательный, сюрреалистический вид.

Отдельные изображения до процесса сшивания и редактирования фотографий. Окончательное изображение

Советы по методу Бренизер

Использование ручной фокусировки. Ключом к сохранению малой глубины резкости является использование ручной фокусировки. Сосредоточьтесь на объектах, а затем сохраняйте этот фокус во время панорамирования. Расположите объект в любом месте кадра, потому что это не имеет значения для вашего изображения. Например, если ваш объект не находится в центре кадра, используйте направляющие линии и пейзаж, чтобы направить зрителя к вашему объекту.

Съемка в формате RAW для совмещения панорам

Когда вы смешиваете объекты при открытой диафрагме, возникает множество эффектов объектива, например виньетирование, возникающее при съемке с широко открытой диафрагмой. Всегда снимайте в формате RAW, чтобы в посте было больше возможностей исправить эти вещи по сравнению с JPEG.

Сделайте контрольный снимок

Убедитесь, что вы делаете регулярный контрольный снимок на тот случай, если серия сделанных вами снимков не сработает при постобработке стежков.

Рассмотрите возможность добавления флэш-памяти для дополнительного разделения

Освещение объекта и выделение его из фона помогает подчеркнуть эффект от использования такой малой глубины резкости.

Чтобы использовать вспышку в своих панорамных стежках, выполните те же действия, что и при бренизерной съемке без вспышки. Но выключите свет после первого снимка, чтобы, когда вы начнете панорамировать, пейзаж оставался в своем естественном состоянии, и не было видно источника света.

Pano Stitch со вспышкой перед процессом сшивания. Окончательное изображение 9.0062 Рассмотрите возможность использования объектива с наклоном и сдвигом для добавления размытия и сюрреализма

Используйте объектив с наклоном и сдвигом, например Canon TS-E 90mm f/2. 8, для добавления размытия и сюрреализма. Чтобы добиться этого эффекта, выполните те же действия, что и выше, но используйте объектив с наклоном и сдвигом.

Панорамное сшивание с объективом с наклоном и сдвигом перед процессом сшивания. Окончательное изображение

Выполните следующие действия для панорамного сшивания с помощью объектива с наклоном и сдвигом:

1. Установите желаемый эффект экспозиции/ручной режим (используйте гистограмму/предупреждение о засветке)
2. Фильтр нейтральной плотности или HSS
3. Установите мощность вспышки для баланса окружающей среды и вспышки
4. Пара поз (удерживайте неподвижность)
5. Поместите камеру на штатив (обязательно при использовании Tilt Shift)
6. Установите эффект Tilt Shift
7. Фокусировка и блокировка в режиме Live view
8. Выберите внешний вид/эффект: от 3 до 9 кадров с более широким кадрированием = более сильная глубина резкости, одна плоскость, простой стежок (предпочтительно 5–7 кадров)
9. Съемка со вспышкой, удаление вспышки , захват изображения пластины
10. Панорамирование, съемка, панорамирование (перекрытие изображения на 1/3)

Панорамное сшивание. Часто задаваемые вопросы

Какое фокусное расстояние лучше всего подходит для панорамной сшивки?

Оптимальное фокусное расстояние для сшивания панорамы зависит от того, какой вид вы хотите получить. Если вам нужна сверхмалая глубина резкости, «метод бренизера», то вы получите наилучшие результаты при большем увеличении и более узких фокусных расстояниях, таких как 85 мм или даже 135 мм. Небольшая глубина резкости в сочетании с компрессией объектива придает вашим изображениям уникальный сюрреалистический вид.

Какая программа для сшивания панорам лучше?

Панорамная сшивка в Lightroom

Хотя для панорамной сшивки существует множество вариантов программного обеспечения, мы рекомендуем использовать Adobe Lightroom из-за его простоты и мощности. Lightroom позволяет легко склеить панорамное изображение за считанные секунды. Просто выберите группу изображений, составляющих окончательный снимок в целом, щелкните правой кнопкой мыши и выберите Photo Merge > Panorama . Подробнее см. в нашем полном руководстве по инструменту Lightroom Panorama.

Советы по постобработке стежков:

1. Мы рекомендуем выполнить постобработку изображений перед их синхронизацией, если ваш компьютер работает медленнее. В противном случае сшейте изображения вместе, используя необработанные файлы, а затем отредактируйте полностью сшитое изображение.
2. Lightroom обычно отлично справляется со сшиванием изображений, но иногда элементы изображений не совпадают, и Lightroom не может завершить сшивание. Если это работает, после того, как изображения будут сшиты вместе, выберите проекцию: сферическую, цилиндрическую или перспективную, а затем выберите «Объединить».
3. Имейте в виду, что изображение может выглядеть прерывистым, и редактирование после этого момента займет некоторое время, поскольку вы будете работать с очень большим изображением. В дальнейшем мы рекомендуем использовать трансформацию, чтобы сбалансировать линии, а затем настроить экспозицию и поэкспериментировать с радиальным затемнением, чтобы привлечь внимание к паре.

Какое оборудование мне нужно для сшивания панорам?

1. Камера с поддержкой RAW
2. Выбор объектива на основе эффекта
3. Штатив (рекомендуется, не требуется)
4. Программное обеспечение для сшивания (рекомендуется Lightroom)

Бонус | Видео BTS

Чтобы увидеть видео BTS о съемках солончаков, где мы используем технику панорамной сшивки, см. видео на Youtube ниже:

Дополнительная информация о панорамной сшивке

Чтобы узнать больше о съемках за кулисами, где вы можете увидеть это технику в действии, обязательно ознакомьтесь с семинаром BTS по фотосессии без сценария, доступным для подписчиков SLR Lounge Premium. Узнайте, как стать участником Premium здесь!

Элис Хьюстонс

Фотография была частью жизни Элис Хьюстон уже более десяти лет. Здесь, в SLR Lounge, она гордится тем, что обладает обширными знаниями в области последних новостей и технологий фотографии. Вечно ищущая и называющая себя «цифровым кочевником», она любит узнавать об уникальных историях, которые вдохновляют фотографов по всему миру!

Панорама в реальном времени и сшивание изображений с помощью OpenCV

Нажмите здесь, чтобы загрузить исходный код к этому сообщению

Одна из моих любимых частей ведения блога PyImageSearch — это возможность связать вместе предыдущие сообщения в блоге и создать решение конкретной проблемы — в данном случае, панораму в реальном времени и сшивание изображений с помощью Python и OpenCV.

За последние полтора месяца мы научились увеличивать скорость обработки FPS встроенных/USB веб-камер и модуля камеры Raspberry Pi. Мы также узнали, как унифицировать доступ к обе веб-камеры USB и камеру Raspberry Pi в единый класс , благодаря чему вся обработка видео и примеры в блоге PyImageSearch могут работать как с настройками камеры USB, так и с камерой Pi без необходимости изменять ни одной строки кода.

Всего несколько недель назад мы обсуждали, как обнаружение ключевых точек, локальные инвариантные дескрипторы, сопоставление ключевых точек и оценку матрицы гомографии можно использовать для создания панорам и объединения изображений.

Сегодня мы собираемся связать сообщения за последние 1,5 месяца и использовать их для выполнения панорама в реальном времени и сшивание изображений с использованием Python и OpenCV. Наше решение сможет работать как на ноутбуках, так и на настольных системах, а также на Raspberry Pi.

Кроме того, мы также применим нашу базовую реализацию обнаружения движения из публикации на прошлой неделе для обнаружения движения на панорамном изображении.

Это решение особенно полезно в ситуациях, когда вы хотите исследовать большую область на наличие движения, но не хотите, чтобы в поле зрения вашей камеры были «мертвые зоны».

Ищете исходный код этого сообщения?

Перейти прямо к разделу загрузок

Продолжайте читать, чтобы узнать больше…

Панорама в реальном времени и объединение изображений с помощью OpenCV

Как я упоминал во введении к этому посту, мы будем связывать воедино концепции, которые мы изучили в предыдущем 1,5 месяца сообщений PyImageSearch и:

1. Используйте наши классы Python с улучшенной скоростью обработки FPS для доступа к нашим встроенным/USB веб-камерам и/или модулю камеры Raspberry Pi.
2. Доступ к нескольким потокам камер одновременно.
3. Применить сшивку изображений и построение панорамы к кадрам из этих видеопотоков.
4. Выполнить обнаружение движения на панорамном изображении.

Опять же, преимущество выполнения обнаружения движения в панорамном изображении по сравнению с двумя отдельными кадрами состоит в том, что у нас не будет никаких «слепых зон» в нашем поле зрения.

Настройка оборудования

В этом проекте я буду использовать свой Raspberry Pi 2, хотя вы, безусловно, можете использовать вместо него свой ноутбук или настольный компьютер. Я просто выбрал Pi 2 из-за его небольшого форм-фактора и простоты маневрирования в местах с ограниченным пространством.

Я также буду использовать свою веб-камеру Logitech C920 (совместимую с Raspberry Pi по принципу plug-and-play) вместе с модулем камеры Raspberry Pi. Опять же, если вы решите использовать свой ноутбук/настольный компьютер, вы можете просто подключить несколько веб-камер к своему компьютеру — те же концепции, которые обсуждались в этом посте, по-прежнему применимы.

Ниже вы можете увидеть мою настройку:

Рисунок 1: Мой Raspberry Pi 2 + веб-камера USB + модуль камеры Pi.

Вот еще один ракурс установки:

Рис. 2: Размещение моей установки на книжном шкафу, чтобы обеспечить хороший угол обзора моей квартиры.

Установка направлена ​​на мою входную дверь, кухню и коридор, давая мне полное представление о том, что происходит в моей квартире:

Рисунок 3: Подготовка к построению панорамы в реальном времени.

Цель состоит в том, чтобы взять кадры, захваченные из обоих моих видеопотоков, соединить их вместе, а затем выполнить обнаружение движения на панорамном изображении.

Построение панорамы вместо использования нескольких камер и независимого обнаружения движения в каждом потоке гарантирует отсутствие «слепых зон» в поле зрения.

Структура проекта

Прежде чем мы начнем, давайте посмотрим на структуру нашего проекта:

 |--- pyimagesearch
| |---- __init__.py
| |--- basicmotiondetector.py
| |--- панорама.py
|--- realtime_stitching.py
 

Как видите, мы определили модуль pyimagesearch для организационных целей. Затем у нас есть реализация basicmotiondetector. py из поста на прошлой неделе о доступе к нескольким камерам с помощью Python и OpenCV. Этот класс совсем не изменился, поэтому мы не будет рассматривать реализацию в этом посте. Для подробного обзора базового детектора движения обязательно прочитайте пост на прошлой неделе.

Затем у нас есть файл Panorama.py , который определяет класс Stitcher , используемый для сшивания изображений вместе. Первоначально мы использовали этот класс в учебнике по сшивке панорам OpenCV.

Однако, как мы увидим далее в этом посте, я внес небольшие модификации в конструктор и стежок 9.0239 для облегчения создания панорамы в реальном времени — мы узнаем больше об этих небольших модификациях позже в этом посте.

Наконец, файл realtime_stitching.py — это наш основной скрипт драйвера Python, который будет получать доступ к нескольким видеопотокам (конечно, эффективным многопоточным способом), сшивать кадры вместе, а затем выполнять обнаружение движения на панорамном изображении.

Обновление модуля сшивки изображений

Для того чтобы (1) создать модуль сшивки изображений в реальном времени и (2) выполнить обнаружение движения на панорамном изображении, предположим, что обе камеры фиксированный и неподвижный , как в Рисунок 1 выше.

Почему фиксированное и неподвижное допущение так важно?

Итак, вернемся к нашему уроку по панораме и сшивке изображений.

Выполнение обнаружения ключевых точек, описания локального инварианта, сопоставления ключевых точек и оценки гомографии является вычислительно затратной задачей. Если бы мы использовали нашу предыдущую реализацию, нам пришлось бы выполнять сшивание каждые 9 секунд.0006, что делает практически невозможным запуск в режиме реального времени (особенно для оборудования с ограниченными ресурсами, такого как Raspberry Pi).

Однако, если предположить, что камеры фиксированы, нам нужно выполнить оценку матрицы гомографии только один раз!

После начальной оценки гомографии мы можем использовать ту же матрицу для преобразования и деформации изображений для построения окончательной панорамы — это позволяет нам пропустить вычислительно затратные этапы обнаружения ключевых точек, извлечения локальных инвариантных признаков и сопоставления ключевых точек. в каждом наборе кадров.

Ниже я представил соответствующие обновления класса Sticher для облегчения кэширования матрицы гомографии:

 # импортировать необходимые пакеты
импортировать numpy как np
импортировать imutils
импорт cv2
класс Сшиватель:
защита __init__(сам):
# определяем, используем ли мы OpenCV v3.X, и инициализируем
# кэшированная матрица гомографии
self.isv3 = imutils.is_cv3()
self.cachedH = Нет
 

Единственное дополнение здесь находится на Строка 11 где я определяю cachedH , кэшированная матрица гомографии.

Нам также необходимо обновить метод стежка , чтобы кэшировать матрицу гомографии после ее вычисления: # распаковать изображения (изображениеB, изображениеA) = изображения # если кешированная матрица гомографии равна None, то нам нужно # применить сопоставление ключевых точек, чтобы создать его если self. cachedH равен None: # определить ключевые точки и извлечь (kpsA, характеристикиA) = self.detectAndDescribe(изображениеA) (kpsB, featuresB) = self.detectAndDescribe(imageB) # сопоставить функции между двумя изображениями M = self.matchKeypoints (kpsA, kpsB, характеристикиA, характеристикиB, соотношение, reprojThresh) # если совпадение None, то совпадений недостаточно # ключевые точки для создания панорамы если M равно None: возврат Нет # кэшируем матрицу гомографии self.cachedH = M[1] # применяем перспективное преобразование, чтобы соединить изображения вместе # использование кэшированной матрицы гомографии результат = cv2.warpPerspective(imageA, self.cachedH, (imageA.shape[1] + imageB.shape[1], imageA.shape[0])) результат[0:imageB.shape[0], 0:imageB.shape[1]] = imageB # вернуть сшитое изображение вернуть результат

В строке 19 мы проверяем, вычислялась ли ранее матрица гомографии. Если нет, мы обнаруживаем ключевые точки и извлекаем локальные инвариантные дескрипторы из двух изображений с последующим применением сопоставления ключевых точек. Затем мы кэшируем матрицу гомографии на Line 34 .

Последующие вызовы стежка будут использовать эту кэшированную матрицу, что позволит нам обойти обнаружение ключевых точек, извлечение признаков и выполнение сопоставления ключевых точек на каждые 9 секунд.0006 набор кадров.

Остальную часть исходного кода для панорамы.py см. в руководстве по сшиванию изображений или используйте форму внизу этого поста для загрузки исходного кода.

Выполнение сшивания панорам в реальном времени

Теперь, когда наш класс Stitcher обновлен, давайте перейдем к скрипту драйвера realtime_stitching.py :

 # импортируем необходимые пакеты
из __future__ импортировать print_function
из pyimagesearch. basicmotiondetector импортировать BasicMotionDetector
из pyimagesearch.panorama импортировать Stitcher
из imutils.video импортировать VideoStream
импортировать numpy как np
импорт даты и времени
импортировать imutils
время импорта
импорт cv2
# инициализируем видеопотоки и даем им возможность прогреться
print("[INFO] запуск камер...")
левыйпоток = видеопоток(источник=0).начало()
rightStream = VideoStream(usePiCamera=True).start()
время сна (2.0)
 

Начнем с импорта необходимых пакетов Python. Классы BasicMotionDetector и Stitcher импортируются из модуля pyimagesearch . Также нам понадобится класс VideoStream из пакета imutils.

Если в вашей системе еще не установлено imutils , вы можете установить его, используя:

 $ pip install imutils
 

Если он у вас уже установлен, убедитесь, что вы обновили его до последней версии (которая добавила поддержку Python 3 в видео подмодуль):

 $ pip install --upgrade imutils
 

Строки 14 и 15 затем инициализируют два класса VideoStream . Здесь я предполагаю, что leftStream — это USB-камера, а rightStream — это камера Raspberry Pi (обозначается usePiCamera=True ).

Если вы хотите использовать две USB-камеры , вам просто нужно обновить инициализацию потока до:

 leftStream = VideoStream(src=0).start()
правыйпоток = видеопоток(источник=1).начало()
 

Параметр src управляет индексом камеры в вашей системе.

Опять же, необходимо правильно инициализировать leftStream и rightStream . Когда вы стоите позади камер, leftStream должна быть камерой слева от вас, а rightStream должна быть камерой справа от вас.

Неправильная установка этих переменных потока приведет к тому, что «панорама» будет содержать только один из два кадра .

Отсюда давайте инициализируем сшиватель изображений и детектор движения:

 # инициализируем сшиватель изображений, детектор движения и все
# количество прочитанных кадров
Сшиватель = Сшиватель ()
движение = BasicMotionDetector (minArea = 500)
всего = 0
 

Теперь мы подошли к основному циклу нашего скрипта драйвера, где мы бесконечно перебираем кадры, пока не получим указание выйти из программы:

 # циклически перебираем кадры из видеопотоков
пока верно:
# захватить кадры из соответствующих видеопотоков
левый = левый поток. чтение()
право = правыйпоток.чтение()
# изменить размер фреймов
слева = imutils.resize (слева, ширина = 400)
справа = imutils.resize (справа, ширина = 400)
# сшиваем кадры вместе, чтобы сформировать панораму
# ВАЖНО: возможно, вам придется изменить эту строку кода
# в зависимости от того, как ориентированы ваши камеры; кадры
# должен быть указан в порядке слева направо
результат = сшиватель.стежок([левый, правый])
# гомография не может быть вычислена
если результат Нет:
print("[INFO] гомография не может быть вычислена")
перерыв
# преобразовать панораму в оттенки серого, слегка размыть, обновить
# детектор движения
серый = cv2.cvtColor (результат, cv2.COLOR_BGR2GRAY)
серый = cv2.GaussianBlur(серый, (21, 21), 0)
locs = движение.обновление (серый)
 

Строки 27 и 28 считывают левых и правых кадров из соответствующих видеопотоков. Затем мы изменяем размеры кадров, чтобы они имели ширину 400 пикселей, а затем сшиваем их вместе, чтобы сформировать панораму. Помните, что кадры, поставляемые для метода стежков , должны поставляться в порядке слева направо!

В случае невозможности сшивки изображений (т.е. невозможности вычисления матрицы гомографии) выходим из цикла ( Строки 41-43 ).

При условии, что панорама может быть построена, мы затем обрабатываем ее, переводя в оттенки серого и слегка размывая ( Строки 47 и 48 ). Затем обработанная панорама передается в детектор движения (, строка 49 ).

Однако, прежде чем мы сможем обнаружить какое-либо движение, сначала нужно дать детектору движения немного «поработать», чтобы получить точное скользящее среднее значение фоновой модели:

 # обрабатывать панораму на наличие движения только в том случае, если хорошее среднее значение имеет
# было построено
если total > 32 и len(locs) > 0:
# инициализируем минимальную и максимальную (x, y)-координаты,
# соответственно
(minX, minY) = (np. inf, np.inf)
(maxX, maxY) = (-np.inf, -np.inf)
# цикл по местам движения и накопление
# минимальное и максимальное расположение ограничивающих рамок
для л в locs:
(x, y, w, h) = cv2.boundingRect(l)
(minX, maxX) = (min(minX, x), max(maxX, x + w))
(minY, maxY) = (min(minY, y), max(maxY, y + h))
# рисуем ограничивающую рамку
cv2.rectangle (результат, (minX, minY), (maxX, maxY),
(0, 0, 255), 3)
 

В качестве оценки фона мы используем первые 32 кадра исходных видеопотоков — в течение этих 32 кадров не должно происходить движений.

В противном случае, при условии, что мы обработали 32 начальных кадра для инициализации фоновой модели, мы можем проверить len из locs , чтобы увидеть, больше ли оно нуля. Если это так, то мы можем предположить, что на панорамном изображении происходит «движение».

Затем мы инициализируем минимум и максимум (x, y) - координат, связанных с местами, содержащими движение. Имея этот список (т.е. locs ), мы перебираем области контура по отдельности, вычисляем ограничивающую рамку и определяем наименьшую область, охватывающую все контуры. Эта ограничивающая рамка затем рисуется на панорамном изображении.

Как упоминалось в посте на прошлой неделе, используемый нами детектор движения предполагает, что одновременно движется только один объект/человек. Для нескольких объектов требуется более сложный алгоритм (о котором мы расскажем в следующем посте PyImageSearch).

Наконец, последний шаг — нарисовать временную метку на панораме и показать выходные изображения:

 # увеличить общее количество прочитанных кадров и нарисовать
# временная метка на изображении
всего += 1
отметка времени = datetime. datetime.now()
ts = timestamp.strftime("%A %d %B %Y %I:%M:%S%p")
cv2.putText (результат, тс, (10, результат.форма [0] - 10),
cv2.FONT_HERSHEY_SIMPLEX, 0,35, (0, 0, 255), 1)
# показать выходные изображения
cv2.imshow("Результат", результат)
cv2.imshow ("Левый кадр", слева)
cv2.imshow("Правый кадр", справа)
ключ = cv2.waitKey(1) и 0xFF
# если была нажата клавиша `q`, выйти из цикла
если ключ == ord("q"):
перерыв
# сделать небольшую очистку
print("[INFO] очистка...")
cv2.destroyAllWindows()
левый поток.stop()
rightStream.stop()
 

Строки 82-86 проверьте, нажата ли клавиша q . Если это так, мы прерываем цикл видеопотока и делаем небольшую очистку.

Запуск нашего конструктора панорам + детектор движения

Чтобы запустить наш скрипт, просто введите следующую команду:

 $ python realtime_stitching. py
 

Ниже вы можете найти пример GIF моих результатов:

Рисунок 4: Применение обнаружения движения к панораме, созданной из нескольких камер на Raspberry Pi, с использованием Python + OpenCV.

На верхнем левом у нас есть левый видеопоток . А на правом верхнем у нас есть правый видеопоток . На нижнем мы видим, что оба кадра склеены в одну панораму. Затем выполняется обнаружение движения на панорамном изображении и ограничивающей рамке, нарисованной вокруг области движения.

Полную демонстрацию видео можно увидеть ниже:

Что дальше? Я рекомендую университет PyImageSearch.

Информация о курсе:
Всего 75 занятий • 86 часов обучающих видеороликов по запросу • Последнее обновление: апрель 2023 г. если бы у вас был правильный учитель, вы могли бы освоить компьютерное зрение и глубокое обучение.

Считаете ли вы, что изучение компьютерного зрения и глубокого обучения должно занимать много времени, быть непосильным и сложным? Или должен включать сложную математику и уравнения? Или требуется степень в области компьютерных наук?

Это , а не случай.

Все, что вам нужно, чтобы освоить компьютерное зрение и глубокое обучение, — это чтобы кто-то объяснил вам простых, интуитивно понятных терминов. Именно это я и делаю . Моя миссия — изменить образование и то, как преподаются сложные темы искусственного интеллекта.

Если вы серьезно относитесь к изучению компьютерного зрения, вашей следующей остановкой должен быть PyImageSearch University, самый полный онлайн-курс по компьютерному зрению, глубокому обучению и OpenCV на сегодняшний день. Здесь вы узнаете, как успешно и уверенно применяйте компьютерное зрение в своей работе, исследованиях и проектах. Присоединяйтесь ко мне в мастерстве компьютерного зрения.

Внутри PyImageSearch University вы найдете:

• ✓ 75 курсов по основным темам компьютерного зрения, глубокого обучения и OpenCV
• &проверить; 75 Сертификатов об окончании
• &проверить; 86 часов видео по запросу
• &проверить; Выпуск новых курсов регулярно , чтобы вы могли идти в ногу с самыми современными методами
• &проверить; Предварительно настроенные ноутбуки Jupyter в Google Colab
• &проверить; Запускайте все примеры кода в веб-браузере — работает в Windows, macOS и Linux (конфигурация среды разработки не требуется!)
• &проверить; Доступ к централизованным репозиториям кода для всех 500+ руководств на PyImageSearch
• &проверить; Простая загрузка одним щелчком кода, наборов данных, предварительно обученных моделей и т.

  No related posts.