Товаров: 0 (0р.)

Склеить 3 фото: Склеивание фото — Онлайн фотошоп Croper.ru

Содержание

Склеиваем несколько фотографий в одну длинную с помощью компьютерного зрения / Хабр

В предыдущих статьях был описан шеститочечный метод разворачивания этикеток и как мы тренировали нейронную сеть. В этой статье описано, как склеить фрагменты, сделанные из разных ракурсов, в одну длинную картинку.

Этикетки заранее сегментированы и развернуты нейронной сетью, описанной в предыдущей статье.

Как вообще работает склеивание? Нужно взять две картинки с нахлестом, посчитать взаимный сдвиг и наложить одну на другую. Звучит довольно просто, но давайте рассмотрим каждый из шагов.

Чтобы посчитать взаимный сдвиг, нужно найти какие-то объекты, которые присутствуют на обоих изображениях и вычислить каким-то образом преобразование точек с одной картинки на другую. Этот сдвиг может быть представлен матрицей преобразования, где элементы матрицы кодируют сразу несколько трансформаций — масштабирование, перенос и вращение.

Есть отличная таблица в википедии, где показано, как и какие элементы влияют на трансформацию.

Как видно на картинке ниже, общих объектов вполне хватает:

Но выбранными объектами есть проблема — их сложно детектировать алгоритмически. Вместо этого, принято искать более простые объекты — так называемые “уголки” (“corners”), они же дескрипторы (“descriptors”, “features”).

Есть отличная статья в документации OpenCV, почему именно уголки — если вкратце, то определить линию легко, но она дает только одну координату. Поэтому нужно детектировать еще и вторую (не параллельную) линию. Если они сходятся в точке, то это место и есть идеальное для поиска дескриптора, он же является уголком (хотя реальные дескрипторы не являются уголками в геометрическом смысле этого слова).

Одним из алгоритмов по поиску дескрипторов, является SIFT (Scale-Invariant Feature Transform). Несмотря на то, что его изобрели в 1999, он довольно популярен из-за простоты и надежности. Этот алгоритм был запатентован, но патент истёк этой весной (2020). Тем не менее, его не успели перенести в основную сборку OpenCV, так что нужно использовать специальный non-free билд.

Так давайте же найдем похожие уголки на обоих изображениях:

sift = cv2.xfeatures2d.SIFT_create()
features_left = sift.detectAndCompute(left_image, None)


features_right = sift.detectAndCompute(left_image, None)

Воспользуемся сопоставителем дескрипторов Flann (Flann matcher) — у него хорошая производительность даже, если количество дескрипторов велико.

KNN = 2
LOWE = 0.7
TREES = 5
CHECKS = 50
matcher = cv2.FlannBasedMatcher({'algorithm': 0, 'trees': TREES}, {'checks': CHECKS})
matches = matcher.knnMatch(left_descriptors, right_descriptors, k=KNN)
logging.debug("filtering matches with lowe test")
positive = []
for left_match, right_match in matches:
    if left_match.distance < LOWE * right_match.distance:
        positive.append(left_match)

Желтые линии показывают, как сопоставитель нашёл совпадения.

Как хорошо видно — правильных совпадений примерно только половина. Однако, если правильные совпадения всегда дают одно и то же преобразование, то неправильные показывают хаотично новое направление. Т.е. теоретически, их можно как-то отделить друг от друга:

Одним из алгоритмов, чтобы найти правильное преобразование, является RANSAC. Этот алгоритм отлично работает, если нужно отделить хорошие значения от шумов — как раз наш случай.

К счастью, в OpenCV уже есть функции, которые найдут матрицу преобразования по совпадениям, используя RANSAC, т.е. фактически, ничего писать не придется.

Воспользуемся функцией estimateAffinePartial2D которая ищет следующие преобразования: поворот, масштабирование и перенос (4 степени свободы).

H, _ = cv2.estimateAffinePartial2D(right_matches, left_matches, False)

Когда матрица преобразования найдена, мы можем трансформировать правое изображение для склейки.

Левый фрагмент:

Правый фрагмент:

Для начала давайте воспользуемся простейшим способом склейки фрагментов, когда каждый пиксель их пересечения вычисляется, как среднее. К сожалению, результат получается так себе — изображение заметно двоится, особенно возле линии склейки.

На анимации различие между двумя кадрами видны более наглядно:

Это не удивительно — фотографии были сделаны под разными углами, нейронная сеть также развернула их слегка по-разному, и в итоге получились небольшие расхождения.

Для бесшовной склейки, необходимо компенсировать нелинейные искажения. Искажение можно представить в виде векторного поля того же разрешения, что и исходное изображение, только вместо цвета, в каждом пикселе будет закодирован сдвиг. Такое векторное поле называется “оптический поток”.

Вообще, есть разные методики вычисления оптического потока — некоторые из них встроены прямо в OpenCV, а есть и специальные нейронные сети.

В нашем же случае, конкретную методику я опущу, но опубликую результат:

Но компенсацию нужно осуществлять пропорционально обоих фрагментов. Для этого разделим его на две матрицы:

Левый фрагмент будет компенсироваться слева направо по нарастающей, в то время, как правый — наоборот.

Теперь оба фрагмента накладываются один на другой практически идеально:

Теперь наложение геометрически корректно, но мы наблюдаем весьма заметный скачок яркости на швах:

Эту проблему легко исправить, если вместо средних значений, накладывать их с градиентом:

С таким подходом, шва вообще не видно:

В принципе, есть еще и другие методики склейки, например, multiband blending, которые используют для склейки панорам, но они плохо работают с текстом — только компенсация оптического потока способно полностью убрать двоения на тексте.

Теперь склеиваем полное изображение:

Финальный вариант:

Дальнейшими улучшениями могут быть компенсация эффекта тени (правая сторона изображения), либо еще большая пост-обработка цвета и контрастности. Также видно, что слегка пострадала глобальная геометрия — линии справа чуть уползли вверх. Это проблему теоретически тоже можно исправить добавлением глобальной коррекцией масштабирования, но это тоже не совсем тривиальная задача.

Мы рассмотрели, как работает склейка, готовое решение доступно здесь в виде REST API, также рекомендую посмотреть следующие ссылки:

  • SIFT explained
  • OpenCV homography explained
  • Panorama Autostitching
  • OpenPano
  • Google Photo Scanner

«Как соединить 2 разные фотки?» — Яндекс Кью

Популярное

Сообщества

ФотографииФотошопФоторедакторы

Анонимный вопрос

  ·

1,2 K

ОтветитьУточнить

Movavi

7

Видео — это просто  · 23 нояб 2020  · movavi.ru

Отвечает

Инга

Если вы хотите соединить в одном изображении два фото или заменить фон в картинке, для этих задач прекрасно подойдёт Picverse от Movavi. С этой программой вы также сможете скорректировать цвета на снимке, удалить ненужные объекты, сделать ретушь и многое другое.

Объединение фотографий или замена фото займёт всего несколько шагов.

Загрузите фотографию в программу

Нажмите кнопку Открыть файл и выберите изображение, которое вы собираетесь редактировать, либо просто перетащите его из папки в окно Picverse.

Отметьте объекты на переднем плане

Сначала откройте вкладку Замена фона. Чтобы выделить объекты вручную, используйте зеленую кисть. Затем отметьте изображение сзади красной кистью для фона. Вы также можете воспользоваться инструментом Лассо, чтобы выделить объекты для удаления. Просто установите начальную точку, затем перемещайте инструмент вокруг объекта; линия будет точно отмечать его края. Отмеченные объекты будут выделены рамкой. Затем нажмите кнопку Следующий шаг. Если вы хотите оставить на фото только людей, нажмите кнопку Автовыделение – программа автоматически обведет фигуры по контуру и перейдет к следующему шагу.

Уточните границы

Когда объект выделен, проведите кистями-масками по контуру, чтобы добавить нужные или вычесть лишние области. Используйте инструмент Выделение волос, чтобы уточнить мелкие детали. Если результат вас устраивает, еще раз нажмите Следующий шаг.

Замените фон или добавьте второе изображение

Нажмите Добавить изображение. Выберите картинку из встроенной коллекции фонов или нажмите Загрузить, чтобы использовать собственное фото. Нажмите Применить, чтобы сохранить изменения.

Сохраните отредактированное изображение

Чтобы сохранить фотографию, нажмите на значок дискеты в правом верхнем углу окна программы, выберите желаемый формат изображения и нажмите OK.

Готово!

Комментировать ответ…Комментировать…

Vladimir Kanivetc

8

17 нояб 2020

Только фотошоп. Это если нужно еще что-то подрезать, подогнать, подкрасить и тд

Если по проще, просто наложить к примеру фон и пнг картинки, то крутой инструмент canva

Комментировать ответ…Комментировать…

Вы знаете ответ на этот вопрос?

Поделитесь своим опытом и знаниями

Войти и ответить на вопрос

Предметы для хранения архивов и фотографий

Зарегистрированные пользователи

Если у вас есть учетная запись, пожалуйста, войдите в систему.

Оформление заказа в качестве гостя

Если вы оформляете заказ в качестве гостя, введите адрес электронной почты, чтобы получить подтверждение вашего заказа и информацию об отправке.

Требуется действительный адрес электронной почты. Я согласен с Политикой конфиденциальности — Обязательно Подпишитесь на рекламные акции и рассылку по электронной почте
ПОЛИТИКА КОНФИДЕНЦИАЛЬНОСТИ

Х ЗАКРЫТЬ

Эта политика вступает в силу после ее принятия для новых пользователей и будет применяться ко всем существующим пользователям в дальнейшем. Ниже описано, как ваша личная информация собирается, используется и передается, когда вы посещаете или совершаете покупку на нашем веб-сайте.

  1. Наша приверженность конфиденциальности
  2. Какую информацию мы собираем?
  3. Как мы используем информацию, которую вы нам предоставляете?
  4. Как мы используем информацию, которую собираем из файлов cookie?
  5. Уведомление о новых услугах и изменениях
  6. Как обеспечить безопасность передачи информации?
  7. Как мы защищаем вашу информацию?
  8. Как вы можете получить доступ к своей информации и исправить ее?
  9. Раскрываем ли мы информацию внешним сторонам?
  10. Как насчет раскрытия информации по закону?
  11. А как насчет других сайтов, связанных с нашим сайтом?
1 Наша приверженность конфиденциальности

Наша Политика конфиденциальности была разработана как продолжение нашего стремления сочетать продукты и услуги высочайшего качества с высочайшим уровнем честности в отношениях с нашими клиентами и партнерами. Политика предназначена для того, чтобы помочь вам понять, как мы собираем, используем и защищаем личную информацию, которую вы нам предоставляете, а также чтобы помочь вам принимать обоснованные решения при использовании нашего сайта, наших продуктов и услуг. Это заявление будет постоянно оцениваться с точки зрения новых технологий, методов ведения бизнеса и потребностей наших клиентов.