Цифровая стабилизация изображения со стационарных камер — корреляционный подход / Хабр

Введение

Данную статью я решил написать после прочтения статьи «Массивно-параллельная стабилизация изображения», в которой описывается алгоритм для стабилизации изображения с поворотных камер. Дело в том, что в свое время мной был реализован алгоритм для стабилизации изображения со стационарных камер, который используется в IP-видеосервере MagicBox и некоторых других продуктах компании Синезис, в которой я работаю по настоящее время. Алгоритм получился достаточно удачным по своим скоростным характеристикам. В частности, в нем очень эффективно реализован алгоритм поиска смещения текущего изображения относительно фона. Эта эффективность позволила задействовать основные его элементы (конечно с некоторыми модификациями) для сопровождения объектов, а также для проверки их на неподвижность.

Алгоритм стабилизации включает в себя следующие основные элементы: обнаружение смещения для текущего кадра, компенсация данного смещения и периодическое обновление фона, относительно которого происходит стабилизация.

Ниже я подробно распишу каждый из них.

Рис. 1 Стабилизация изображения иногда очень полезна.

Обнаружение смещения текущего кадра

Базовый подход, на котором основывается корреляционный подход по определению смещения, можно кратко описать так:
1) Берется центральная часть фонового изображения. Величина отступа определяется максимальным возможным смещением, которое мы хотим определить. Центральная часть не должна быть слишком маленькой, иначе у корреляционной функции (смотри ниже) не будет хватать данных для стабильной работы.
2) На текущем кадре выбирается часть такого же размера, но смещенная относительно центра картинки.
3) Для каждого смещения рассчитывается некоторая метрика, описывающая корреляцию центральной части фона и текущего изображения. Для этого может быть использована, например, сумма квадратов разности для каждой точки этих двух изображений или, например, сумма абсолютной разности для каждой точки.

1.5), что тоже не приемлемо.

Рис.3 Поиск максимума корреляционной функции. Градиентный спуск.

Выходом из этой ситуации является использование многомасштабных изображений (каждый уровень масштабирования уменьшает изображение в два раза). Теперь искать локальный максимум корреляции мы будем искать для максимального масштаба, а затем на меньших масштабах его последовательно уточнять. Таким образом, сложность алгоритма уменьшается до O(n), что уже вполне приемлемо.

Рис.4 Многомасштабное изображение.

Субпиксельная точность

Если компенсировать дрожание изображения с камеры с точностью до пиксела, то стабилизированное изображение будет все равно весьма заметно дергаться. К счастью это можно исправить. Если внимательно проанализировать окрестность корреляционной функции вблизи максимума (см. рис 3), то можно заметить, что значения функции не симметричны относительно максимума, что говорит о том, что максимум располагается не в точке (3, 2), где-то между ней, и точкой (1, 4).

2 + D*x + E*y + F = 0, то задача уточнения координат максимума сведется к подбору таких параметров параболоида, при которых его отклонение от фактических значений в известных точках минимально. Опыт подсказывает, что точность получаемого таким образом уточнения будет порядка 0.1-0.2. При компенсации дрожания с такой точностью, стабилизированное изображение уже практически не дергается.

Компенсация смещения

Компенсацию смещения для целого сдвига выполняем следующим образом: смещаем текущее изображение на найденный сдвиг с противоположным знаком. Пустые области, возле края заполняем фоном. Для субпиксельного сдвига компенсацию выполняем методом билинейной интерполяции. При этом, однако, возможно небольшое размытие стабилизированного изображения. Если это критично, то можно применять бикубическую интерполяцию.

Обновление фона

В качестве фона можно использовать просто любой предыдущий кадр. Однако, качество стабилизации заметно улучшается, если в качестве фона использовать усредненное по многим кадра изображение. Фон желательно периодически обновлять, чтобы компенсировать возможные изменения освещенности на сцене. При обновлении фона нужно удостовериться, что фоновое значение достаточно контрастно и неоднородное. В противном случае, корреляционная функция не будет иметь четкого максимума, что сильно снизит точность работы стабилизатора. Также весьма нежелательно, чтобы на фоне присутствовали движущиеся объекты.

Работа в паре с детектором движения

Если стабилизатор работает в паре с детектором движения, то процесс обновления фона для него значительно упрощается. Обычно детектор движения уже имеет в своем составе усредненный по многим кадрам фон, относительно которого он определяет наличие движения. Этот же фон можно использовать и для работы стабилизатора. Стабилизированное изображение от стабилизатора в свою очередь уменьшает число ложных срабатываний детектора движения. Также можно использовать тот факт, что детектор движения в процессе своей работы получает маску областей с наличием движения. Эту маску полученную детектором движения на прошлом кадре, можно использовать при вычислении корреляционной функции для исключения областей с движением. Что также положительно сказывается на работе стабилизатора изображения.

Плюсы предложенного подхода:

1) Высокая скорость работы алгоритма. В частности, для стабилизации изображения разрешением 1280×720 в формате BGRA32 на процессоре Core i7-4470 (задействовано 1 ядро) алгоритму требуется 1.5 миллисекунды.
2) Компенсация дрожания камеры с субпиксельной точностью.

Недостатки предложенного подхода

1) Стабилизация изображения в текущей реализации возможна только для стационарных камер.
2) Обнаруживается и компенсируется только пространственный сдвиг камеры, вращения камеры не компенсируются.
3) Фон должен быть достаточно четким и неоднородным, иначе корреляционной функции будет не за что зацепиться. Поэтому в темноте или в условиях тумана стабилизация будет плохо работать.
4) Фон должен быть неподвижным. Работа стабилизатора на фоне бегущих волн также невозможна.

Замечания по практической реализации

Для начала отметим, что для определения сдвига вполне достаточно использования только серого изображения, цветовые характеристики практически не влияют на точность, но естественно замедляют расчеты.

При реализации стабилизатора желательно использовать оптимизированные функции для работы с изображениями. Я для этих целей использовал библиотеку Simd. В ней в частности можно найти:
1) SimdAbsDifferenceSum и SimdAbsDifferenceSumMasked — для расчета корреляционной функции.
2) SimdReduceGray2x2, SimdReduceGray3x3, SimdReduceGray4x4 и SimdReduceGray5x5 — для построения многомасштабных изображений.
3) SimdBgrToGray — для получения серого изображения.
4) SimdShiftBilinear — для компенсации сдвига.

Посмотреть результат работы алгоритма

Пример 1:

Пример 2:

Цифровая стабилизация изображения в FullHD-видеокамерах

Тестирование проведено и предоставлено независимой тестовой лабораторией CCTVLAB. 

 

Профессиональное видеонаблюдение – это такая область, где даже самая мелкая деталь может иметь важнейшее значение. Недаром идет непрестанное увеличение разрешения видеокамер и производители соревнуются, кто сможет представить на рынок новейшую модель с еще большим количеством мегапикселей. Ведь высокое реальное разрешение как раз и позволяет видеть те самые мелкие детали. Раньше задачи распознавания решались только на достаточно близком расстоянии от камер. Теперь же видеокамера может находиться на значительном удалении от наблюдаемого объекта и при этом передавать все происходящее на сцене с достаточной детализацией.

Для профессионалов сцены из фильмов, в которых происходит бесконечное увеличение изображения за счет использования фантастических алгоритмов, всегда были комичными. Однако высокое реальное разрешение позволяет без использования каких-то сюрреальных технологий получать максимально детализированное изображение. И наиболее сбалансированными сейчас являются FullHD-камеры, осуществляющие съемку с разрешением 2 Мпкс. Несколько лет назад они только появились на рынке и проигрывали более ранним моделям по чувствительности (реальному разрешению при низкой освещенности) и величине потока (требуемому размеру архива на видеосервере для полноценного видеомониторинга 24/7). А сейчас благодаря новым высокочувствительным сенсорам и применению новейших алгоритмов кодирования эти модели стали практически минимальным вариантом, используемым инсталляторами.

Реальное разрешение зачастую значительно меньше заявленного вследствие воздействия разнообразных внешних факторов. И одной из причин, приводящих к этому, является воздействие на видеокамеры механической вибрации в месте установки. Подобная вибрация практически всегда сопутствует видеокамерам, установленным вдоль автомобильных дорог на столбах или специальных мачтах. В этом случае она возникает вследствие сильного ветра и нестабильности используемой конструкции. Кроме того, на камеру может непосредственно передаваться и вибрация от техногенного источника. Зачастую (особенно при видеонаблюдении в помещении) рядом оказывается какой-то мощный источник вибрации: генератор, лифт, входная дверь. Кроме смазывания изображения при эксплуатации в таких условиях, происходит «дребезжание» картинки и заметное увеличение потока. Главная проблема состоит в том, что вибрация является непредсказуемым процессом, не может быть учтена, описана, а значит и полностью скомпенсирована определенным алгоритмом. Подобное ухудшение изображения сильно усложняет задачу детекции, а тем более распознавания. К примеру, при распознавании автономеров ПО может не справляться с такими условиями и выдавать большое количество ошибок. Стоит учитывать, что для длиннофокусных объективов влияние вибрации будет наиболее критичным и даже небольшое перемещение камеры может вызывать колоссальное смещение картинки. При больших увеличениях это недопустимо. А ведь малая вибрация присутствует практически всегда, но обычно ее просто не замечают.

Поэтому важной для инсталлятора, а следовательно и производителя становится разработка способов борьбы с подобным. Полноценное решение этой проблемы заключается в применении оптической стабилизации в объективах видеокамер. Но такие камеры практически отсутствуют на рынке и являются скорее дорогостоящими проектными устройствами. Другой вариант, куда более доступный и распространенный, – использование программной стабилизации изображения. Подобные алгоритмы стабилизации могут называться по-разному: EIS – Electronical Image Stabilization, DIS – Digital Image Stabilization. Существует подход, при котором в камере используется гиросенсор. Его перемещения передаются в процессор камеры и учитываются при программной обработке изображения для компенсации вибрации. Еще есть несколько достаточно экзотических вариантов для видеонаблюдения. Ну и наконец, инсталляторы зачастую просто игнорируют мелкую вибрацию камеры, лишь иногда подстраивая сбившуюся фокусировку.

Преимущества и недостатки разных типов стабилизации изображения указаны в табл. 1.

Чтобы посмотреть, что же из себя представляют цифровые алгоритмы стабилизации как самый доступный вариант компенсации вибрации, мы решили провести тестирование.

Принцип работы алгоритмов цифровой стабилизации изображения

Принцип работы алгоритмов цифровой стабилизации изображения заключается в программной обработке видеосигнала, поступающего с сенсора камеры. При включении режима стабилизации видеокамера фиксирует центр изображения. Камера транслирует часть потока («кроп»), обрезая полосу изображения по периметру. При возникновении перемещения (при вибрации) она «следит» за перемещением центра изображения, передвигая область трансляции по площади кадра вслед за перемещением. Таким образом, амплитуда цифрового стабилизатора ограничена периметральной областью, вырезанной из площади изображения.

Что тестируем? Мы решили испытать воздействие вибрации на изображение в Box-камерах. Для этих моделей чаще всего возможна установка на улице в кожухе с применением длиннофокусных объективов, что является наиболее сложным условием при наличии вибрации. FullHD-разрешение выбрано как самое востребованное на текущий момент. Таким образом, мы собирали камеры со следующими ограничениями:

• разрешение 2–3 Мпкс;
• корпус Box.

Какие модели были предоставлены на тест? В результате в лаборатории оказались следующие образцы:

• BEWARD SV2015M;
• Bolid VCI-320;
• NOVIcam PRO NC24P;
• приобретенная лабораторией камера, которую в дальнейшем будем называть Noname.

Как будем проводить измерения?

Все измерения будем проводить при одинаковом угле обзора у камер. Оценим общее качество съемки камер, определив реальное разрешение при помощи типовой тестовой таблицы при снижении освещенности от 500 до 1 лк, не используя ИК-подсветку.

Заданные амплитуда и частота вибрации в нашем тесте характерны для конструкций, на которые устанавливают камеры (столбы, мачты над автомагистралями). Частота вибрации составляла 1 и 5 Гц, а смещение изображения в объективе камеры по отношению к полному размеру кадра равнялось 2, 6 и 11%. Влияние этой вибрации на качество съемки будем оценивать по нескольким факторам.

Первым будет разрешение камеры при воздействии вибрации и при воздействии вибрации и включенном алгоритме стабилизации. А вторым фактором будет отношение перемещения изображения при воздействии вибрации к перемещению изображения при воздействии вибрации с включенным алгоритмом стабилизации.

BEWARD SV2015M

Предоставлена НПП «Бевард»

Самая дорогая камера в тесте, которая показала самое высокое разрешение и наилучшую стабильность разрешения при снижении освещенности. Продемонстрировала наибольшую эффективность алгоритма стабилизации изображения при больших амплитудах на 1 Гц и при малых на 5 Гц .

Лидирует по величине разрешения при малой амплитуде и вибрации на 1 Гц при выключенном алгоритме стабилизации. На этой же частоте включение алгоритма стабилизации позволяет сохранить разрешение даже при воздействии вибрации.

Производитель отмечает, что камера снабжена чувствительным сенсором SONY Exmor R, что позволяет ей записывать качественное видео с высокой цветопередачей и малым уровнем шума в условиях недостаточной освещенности, а также при работе с короткой выдержкой для наблюдения быстро движущихся объектов.

По словам производителя, поддерживаемая функция ABF преобразует объектив с типом крепления CS в объектив с автофокусом для удаленного изменения положения матрицы, точно подстраивая таким образом фокусировку изображения. Заявлены поддержка режима высокоскоростной съемки (60 кадр/с), кодек H.265 совместно с режимом Smart Stream для повышения степени сжатия видео и 2-кратный расширенный динамический диапазон (Double Scan, 2xWDR).

В характеристиках указана встроенная поддержка расширенной видеоаналитики на восемь функций: подсчет людей, пересечение линии, детекторы праздношатания, саботажа, людей, движения и входа/выхода в рамках заданной области (активация лицензии).

Bolid VCI-320

Предоставлена ЗАО НВП «Болид»

Камера имеет наименьшее (почти нулевое) снижение разрешения при включении алгоритма стабилизации во всех условиях. Лидирует по эффективности алгоритма стабилизации изображения при малых и средних амплитудах на 1 Гц и занимает второе место по этой величине на 5 Гц. Имеет наилучшее разрешение при вибрации 5 Гц.

Производитель описывает модель как цветную видеокамеру, предназначенную для работы в составе комплекса видеонаблюдения и непрерывной трансляции видеоизображения с охраняемой зоны на системы отображения, записи, хранения и воспроизведения видеоизображения. Производитель оснастил свою камеру аудиовходом и аудивыходом для подключения дополнительного звукового оборудования. В модели заявлен разъем DI/DO для приема/отправки и обмена цифровыми сигналами с внешними устройствами.

Для более экономного использования видеоархива камера поддерживает видеозапись с помощью кодека Н. 265. В камере заявлен встроенный адаптер PoE для питания по кабелю сети Ethernet и слот для карты microSD, позволяющий сохранять видео даже при отсутствии сетевого подключения.

Производитель отмечает, что видеокамера обладает расширенным динамическим диапазоном 140 дБ для одновременного отображения ярких и темных участков одного кадра и высокой чувствительностью в условиях плохой освещенности.

NOVIcam PRO NC24P

Предоставлена компанией NOVIcam

Камера входит в число лидеров по величине и стабильности разрешения, причем при хорошей освещенности показывает достаточно близкие к лидеру значения.

Модель не оснащена функцией цифровой стабилизации изображения. IP-видеокамера исполнена в классическом корпусе и, по словам производителя, передает изображение FullHD с разрешением 1080р, 25 кадр/с и обеспечивает детализированный обзор. По информации производителя, связка мегапиксельного сенсора SONY и производительного процессора превращает камеру в мультифункциональное устройство. Заявляется возможность подключения к камере микрофона и динамиков, датчиков тревоги и реле, карты памяти, что должно позволить организовать на ее основе полноценную систему видеонаблюдения.

На одну из боковых сторон вынесен разъем автоматической регулировки диафрагмы (АРД) для электронного управления световым потоком. Поддержка технологии РоЕ позволит использовать один кабель для передачи питания и данных.

Производитель подчеркивает, что для простоты настройки и удаленного доступа к камере предоставляется бесплатный облачный сервис P2P. Поддержка стандарта ONVIF предназначена для обеспечения связи с популярными IP-видеорегистраторами и программным обеспечением. Заявляется широкий диапазон рабочих температур, позволяющий использовать камеру даже в неотапливаемых помещениях.

Noname

Предоставлена лабораторией CCTVLab

Ожидаемо отстает от других камер по величине разрешения и качеству работы алгоритма цифровой стабилизации изображения практически при всех условиях. Однако показывает рост эффективности алгоритма стабилизации при частоте вибрации 5 Гц, в итоге выигрывая у других моделей при больших амплитудах.

Модель является типовой видеокамерой из китайского интернет-магазина и оснащена сенсором SONY IMX123. Преимуществом этой конкретной модели является поддержка алгоритма цифровой стабилизации изображения.

 

Результаты испытаний

Во всех камерах наблюдалось закономерное снижение разрешения при снижении освещенности (рис. 1).

По графикам (рис. 2 и рис. 3) становится заметно, что в большинстве камер при увеличении амплитуды вибрации происходит закономерное падение разрешения. В основном разрешение камер при включенном алгоритме немного ниже, чем когда он выключен.

Чем выше амплитуда и частота вибрации, тем меньше разница между величинами разрешений при съемке с выключенным алгоритмом и при его включении. Интересно, что при частоте 1 Гц алгоритм стабилизации одной из камер отрабатывает вибрацию без видимого ухудшения изображения.

При оценке эффективности работы алгоритма стабилизации можно заметить много интересных особенностей.

Эту эффективность вычисляли при воздействии вибрации как отношение амплитуды колебания изображения к амплитуде колебания изображения при включенном алгоритме стабилизации изображения. Получилось, что алгоритмы стабилизации камер более эффективны на частоте 1 Гц (рис. 5), причем эффективность с увеличением амплитуды вибрации только возросла.

А вот при частоте 5 Гц (рис. 6) эффективность с ростом амплитуды вибрации незначительно росла только у одной камеры, а у двух других заметно снижалась.

При большой амплитуде вибрации на частоте 5 Гц амплитуда перемещения изображения у этих двух камер при включенном алгоритме сравнялась с амплитудой при выключенном алгоритме.

Если же рассмотреть все результаты в совокупности, то можно отметить, что камеры лучше справились с вибрацией на 1 Гц. Можно предположить, что производители настраивали свои алгоритмы именно на такие условия.

Подведем итоги

По результату тестов данных образцов камер можно сделать следующие важные выводы. Алгоритм стабилизации изображения при его включении снижает разрешение камеры, даже при съемке статичного изображения при отсутствии вибрации. И далее разрешение падает с увеличением амплитуды и частоты вибрации, стабилизатор позволяет лишь сохранить разрешение на том же уровне либо ухудшает его еще больше. Но в то же время алгоритм цифровой стабилизации значительно сокращает амплитуду колебаний изображения, снижая скачок битрейта из-за вибрации, что позволяет более стабильно работать различным алгоритмам аналитики, таким как распознавание номеров, детектор движения и т.д., а также делает просмотр видео более комфортным.

Отсюда следует главная рекомендация для инсталляторов: необходимо следить, чтобы на камере алгоритм стабилизации был выключен при отсутствии веского обоснования его включения (не столько самого наличия заметной вибрации камеры в месте установки, сколько именно влияния этой вибрации на качество выполнения системой видеонаблюдения конкретных задач).

Опубликовано в журнале «Системы безопасности» №2, 2019

Посмотреть результаты испытания других типов видеокамер >>

Как стабилизировать видео | Лучшие программы для стабилизации видео

Необходимость стабилизировать видео возникает при дрожании камеры. В этом случае кадры размазываются, зритель не может сфокусироваться на композиции. Устранить дефект можно несколькими способами. Поговорим о том, как стабилизировать видео при помощи инструментов, цифровых и оптических устройств. Также рассмотрим способы спасения уже созданных роликов. Узнаем, какая программа для стабилизации видео помогает устранить дрожь в кадре, и приведем варианты софта для компьютеров и мобильных устройств.

Способы стабилизации видео

Для понимания технологии нужно понять, что такое стабилизация видео, так как у термина есть несколько трактовок:

1. Предотвращение дрожания камеры посредством съемки с использованием штативов и стедикамов.
2. Устранение дефектов путем применения цифровых и оптических стабилизаторов, а также специального программного обеспечения.

Кинематографическая съемка всегда требует использования штативов – они предотвращают колебания камеры и фиксируют ее в нужном положении. Но при создании любительских видео оборудование используется редко – ролики снимают спонтанно, часто с неудобного расстояния, на ходу, из окна автомобиля. Обеспечить устойчивость камеры в этих случаях невозможно.

Зато можно использовать возможности отдельного оборудования. Пытаясь понять, как убрать дрожание видео, производители создали опции автоматической стабилизации. Последняя может быть цифровой или оптической. Цифровая стабилизация предполагает создание запаса пикселей для компенсации смещения кадра – проще говоря, оборудование снимает кадр большего размера, чем требуется. Что же касается оптического стабилизатора, то он позволяет избежать размытости изображения за счет встроенной системы гироскопов и компенсирующей линзы.

Альтернативное решение – программная стабилизация видео. Она позволяет работать с уже снятыми роликами и проводить их автоматическую обработку. Далее поговорим о том, как сделать стабилизацию видео с помощью софта и приведем перечень лучших программ.

Топ-5 программ для стабилизации видео на ПК

Больше, чем обычный видеоредактор. Movavi Video Editor Plus помогает стабилизировать даже длинную видеозапись, добавить десятки визуальных эффектов и стикеров, склеить несколько роликов или объединить множество фрагментов в одну ленту.

Плюсы:

• Расширенный функционал;
• Интуитивно понятный интерфейс;
• Поддержка всех популярных форматов видео;
• Быстрая и эффективная стабилизация.

Минусы:

• Необходимо скачать программу и установить ее на ПК;
• Период бесплатного тестового использования ограничен.

Как стабилизировать видео при помощи Movavi Video Editor Plus

Шаг 1. Установите Movavi Video Editor Plus

Откройте скачанный файл и следуйте указаниям на экране.

Скачать бесплатно

Скачать бесплатно

Скачать

Скачать

Шаг 2.

Добавьте видео в программу

Запустите программу и нажмите на кнопку Добавить файлы. Загрузите видео, с которым вы собираетесь работать. Также вы можете вручную перетащить видеозапись из папки в окно программы.

Шаг 3. Стабилизируйте видеоизображение

Откройте вкладку Другие инструменты и нажмите Стабилизация. Затем нажмите на кнопку Стабилизировать.

В открывшемся окне вы увидите различные настройки стабилизации изображения. Бегунок Точность регулирует точность стабилизации; бегунок Тряска устанавливает силу колебаний в видео. Чтобы запустить процесс стабилизации, нажмите Стабилизировать. После завершения процесса, вы можете воспользоваться кнопками До и После, чтобы оценить результат в экране предпросмотра. Если результат вас устраивает, нажмите Применить.

Шаг 4. Сохраните видео

Чтобы экспортировать получившееся видео на жесткий диск, нажмите кнопку Сохранить, выберите папку сохранения и кликните по кнопке Старт.

Adobe

^® Premiere^® Pro

Программа предназначена для нелинейного видеомонтажа. Обладает интерфейсом со сложной структурой, обусловленной наличием множества опций и инструментов. Поддерживает возможность редактирования видео в любом формате и разрешении – вплоть до 8K.

Плюсы:

• Широкий функционал;
• Работа с любыми форматами, разрешениями и задачами;
• Интеграция с другими приложениями и программами Adobe.

Минусы:

• Сложный для новичков пользовательский интерфейс – необходимо разобраться в функционале и изучить инструменты;
• Ограничение количества инструментов в базовом тарифе.

Как убрать тряску в видео при помощи Adobe^® Premiere^® Pro

1. Запустить программу и добавить видео в проект.
2. Перейти на вкладку Эффекты, выбрать пункт Искажение и нажать на кнопку Стабилизация изображения.
3. Перетащить эффект на видеодорожку и применить изменения.
4. Дождаться завершения обработки ролика – сначала пройдет анализ и только потом стабилизация.
5. Сохранить стабилизированное видео на устройство.

Обратите внимание: в программе можно выбрать один из двух методов стабилизации и задать необходимые настройки. Если вы не разбираетесь в них – оставьте параметры по умолчанию.

Final Cut Pro

Программа подходит только для техники Apple и относится к профессиональному софту. С ее помощью можно добиться эффективной стабилизации видео и задать десятки настроек для устранения дрожи в кадре.

Плюсы:

• Гибкие настройки стабилизации видео;
• Удобный пользовательский интерфейс.

Минусы:

• Необходимо потратить время на изучение функционала программы;
• Возможность использовать софт только на устройствах с ОС macOS;
• Отсутствие русскоязычного интерфейса в официальной версии.

Как стабилизировать видео в Final Cut Pro

1. Установить программу Motion, если она еще не интегрирована в софт.
2. Добавить видео на монтажную линейку.
3. Нажать на добавленный ролик правой кнопкой мыши.
4. В появившемся меню выбрать пункт Send to motion.
5. Выбрать опцию Stabilize и дождаться автоматической стабилизации изображения.

При необходимости можно задать дополнительные настройки – в частности, выбрать метод стабилизации, параллельно конвертировать ролик в видео нужного формата.

iMovie

Софт можно устанавливать как на iOS, так и на macOS, но опция стабилизации видео есть только в десктопной версии. В дополнение к ней в программе представлены десятки опций для редактирования и конвертации роликов.

Плюсы:

• Интуитивно понятный интерфейс;
• Десятки опций для творчества.

Минусы:

• Функция стабилизации видео есть только в десктопной версии;
• Сохранить видео можно не во всех популярных форматах.

Как убрать дрожь из видео при помощи программы iMovie

1. Выбрать видео для обработки.
2. На панели настроек нажать на кнопку стабилизации – на иконку, имитирующую дрожащую камеру.
3. В выпадающем меню выбрать пункт Стабилизировать тряску изображения.
4. Выбрать степень стабилизации, передвинув бегунок на нужный уровень качества.
5. Принять изменения и дождаться завершения процесса.

В iMovie также есть опция предпросмотра стабилизированного видео – вы можете воспользоваться ей, чтобы заранее оценить результат и при необходимости внести изменения.

Pinnacle Studio

Pinnacle Studio – многофункциональный видеоредактор для нелинейного монтажа. Программа предназначена для профессионального использования. Сочетает в себе множество опций и позволяет добавлять визуальные эффекты, конвертировать видео и менять скорость воспроизведения.

Плюсы:

• Многофункциональное приложение, способное работать с десятками форматов видео;
• Возможность наложения визуальных эффектов и конвертации.

Минусы:

• Сложный для новичков функционал;
• Отсутствие официальной русскоязычной версии.

Как стабилизировать видео в Pinnacle Studio

1. Запустить программу и добавить видео для стабилизации.
2. Перейти на вкладку Эффекты.
3. Выбрать пункт Стабилизация изображения.
4. Запустить процесс и дождаться его завершения.
5. Сохранить видео в нужном формате.

Одновременно со стабилизацией программа позволяет менять скорость воспроизведения видеоролика и его разрешения. Настройки можно задать еще до начала процесса.

Популярные приложения для стабилизации видео

Google Фото

Это приложение для стабилизации видео, которое дополнительно позволяет вырезать и обработать конкретный фрагмент ролика, а затем соединить MP4 и вернуть видеоряду исходную длину.

Плюсы:

• Простой и интуитивно понятный интерфейс на русском языке;
• Дополнительные инструменты для обработки видео.

Минусы:

• Ограниченное количество настройки стабилизации;
• Возможность работы только с локальными видео.

Как стабилизировать видео с помощью Google Фото

1. Установить программу и открыть рабочую панель.
2. Добавить видео из числа локальных роликов.
3. В нижней части экрана на панели инструментов выбрать меню Редактирование.
4. В новом окне нажать на кнопку Стабилизация видео.
5. Дождаться завершения процесса.

Обратите внимание: в ходе стабилизации ролика через Google Фото подключение к Интернету не требуется, так как вы работаете с локальными файлами, сохраненными в памяти смартфона.

Emulsio

Приложение позволяет снимать уже стабилизированные видео. После завершения записи можно посмотреть 2 варианта ролика: с устранением дрожания камеры и без него.

Плюсы:

• Параллельная стабилизация во время съемки;
• Возможность просматривать видео до обработки.

Минусы:

• Ограниченный функционал, минимум инструментов для монтажа;
• Возможность снимать ролики продолжительностью не более 30 секунд в бесплатной версии.

Как стабилизировать видео с помощью Emulsio

1. Скачать и установить приложение.
2. Активировать опцию Стабилизация до съемки.
3. Записать видео.

Дополнительной обработки не потребуется – записанный ролик уже стабилизирован и готов к отправке в социальные сети.

Заключение

Программы для стабилизации видео позволяют убрать эффект дрожания камеры из отснятых роликов. Многие варианты софта также содержат дополнительные инструменты для редактирования. Учтите, что некоторые программы обладают сложным функционалом и требуют обучения. Другие же идеально подходят для творчества и характеризуются предельно простым пользовательским интерфейсом.

Movavi Видеоредактор Плюс

Создавайте видео. Творите. Вдохновляйте.

* Бесплатная версия Movavi Видеоредактора Плюс имеет следующие ограничения: 7-дневный пробный период, водяной знак на сохраненных видео и, если вы сохраняете проект как аудиофайл, возможность сохранить только ½ длины аудио. Подробнее

Часто задаваемые вопросы

Что такое стабилизация видео?

Это устранение эффекта дрожания камеры, которое может выполняться как при помощи встроенной опции цифровой или оптической стабилизации, либо постфактум при помощи специального программного обеспечения.

Можно ли стабилизировать снятое видео?

Да, это возможно при помощи соответствующего софта. Необходимо скачать и установить программу, добавить видео на рабочую панель и применить эффект стабилизации.

Какой способ стабилизации выбрать?

Лучше всего снимать видео без дрожания камеры, активировав опцию цифровой или оптической стабилизации. Но если ролик уже есть и дрожь в кадре нужно убрать из него, то можно прибегнуть к помощи видеоредакторов.

Советы по стабилизации камеры для цифрового контента. Мало того, что нестабильная камера может ухудшить качество вашего контента, она также может лишить зрителей возможности сосредоточиться на предмете.

Но даже опытным создателям контента может быть сложно бороться с отвлекающими движениями, которые портят общее впечатление от просмотра. Итак, как стабилизировать камеру при съемке видео или цифровой фотографии? Ответ — стабилизация камеры.

Что такое стабилизация камеры?

Стабилизация камеры — это широкий термин, охватывающий любой инструмент или устройство, предназначенное для сведения к минимуму движения и создания противовеса движущейся камере.

Существуют варианты стабилизации камеры для фото и видео, доступные различные типы в зависимости от того, какую форму контента вы создаете. Некоторые технологии встроены в камеру или объектив (например, функция стабилизации изображения на вашем смартфоне). Другие — это настоящие части оборудования, которые можно использовать в тандеме с вашей камерой.

Различные типы стабилизаторов камеры

Выбор лучших стабилизаторов камеры означает, что вы должны подумать о том, что вы планируете создать и как вы это сделаете. В зависимости от вашего видения конечного продукта вы можете использовать только один вариант стабилизации или комбинировать несколько.

Вот несколько типов стабилизаторов камеры, чтобы вы могли лучше понять варианты.

Ручные стабилизаторы для камеры

Самый простой стабилизатор для камеры с ручным управлением, который, возможно, уже есть в вашей коллекции оборудования. Стабилизатор для ручной камеры спроектирован так, чтобы использовать силу и стабильность вашей кисти/руки, а устойчивая платформа обеспечивает противовес, компенсирующий любое движение.

Примеры стабилизаторов для переносных камер:

• Штатив
• Монопод
• Палка для селфи
• Глайдер

В то время как такие аксессуары, как палка для селфи, обычно полезны при съемке на смартфон или камеру GoPro, они не идеальны для сопряжения с цифровыми зеркальными фотокамерами или другими устройствами высокого уровня. В таких случаях лучше использовать что-то вроде Glidecam.

Стабилизаторы трехосевой подвесной камеры

Трехосевой подвес — это следующий уровень стабилизации камеры, который опирается на электродвигатель для облегчения противодействия. Производительность более плавная, чем вы ожидаете от портативных устройств начального уровня, и вы сможете использовать различные функции и элементы управления, такие как наклон, поворот, панорамирование и шаг.

Существует определенная кривая обучения использованию трехосного подвеса, главным образом потому, что они невероятно чувствительны. Вам нужно знать, как правильно откалибровать подвес и отрегулировать движения съемки, чтобы они соответствовали.

Карданный стабилизатор может хорошо подойти для цифровой фото- и видеосъемки с помощью цифровой зеркальной камеры. Тем не менее, это может быть не то, что вам нужно, если вы используете кинокамеру профессионального уровня.

Стабилизаторы для камер с креплением на жилет

Наконец, самые высококачественные стабилизаторы для камер относятся к категории навесных и жилетных. Это типы, которые вы почти всегда будете видеть в профессиональной среде. Они комбинируют различные технологии, а затем совершенствуют их для получения безупречных результатов.

Навесной или жилетный стабилизатор, как это звучит: стабилизатор камеры в виде носимого жилета. Тело оператора выступает в качестве противовеса, но в жилете также используются двигатели, аналогичные тем, что используются в трехосных карданах. Когда вы используете кинокамеру профессионального уровня, которая очень тяжелая и ее сложно держать и маневрировать, жилет является одним из наиболее эффективных доступных вариантов.

Этот стабилизатор камеры обычно предназначен для обученных специалистов, поскольку его работа требует определенных навыков и знаний. Кроме того, цена на навесные стабилизаторы камеры достаточно высока, и вы, вероятно, не стали бы покупать их, если бы создание контента было случайным хобби.

Узнайте, как использовать оборудование для стабилизации камеры для создания первоклассного контента

Готовы ли вы вывести свой цифровой контент на новый уровень качества, творчества и успеха? В сети медиашкол BeOnAir с кампусами в Чикаго, Майами, Колорадо и Огайо наши программы медиаобразования предлагают различные варианты для людей, заинтересованных в превращении создания контента в карьеру.

Мечтаете ли вы о работе оператора, продюсера, режиссера или о любой другой должности в сфере медиа, специализированное медиаобразование — одна из самых разумных инвестиций, которую вы можете сделать в своем будущем. Каждый найдет что-то для себя, от нашей программы Digital Media Production до курсов по радиовещанию, аудиопроизводству и другим.

Свяжитесь с нами сегодня, чтобы получить больше информации о наших обучающих и образовательных программах для СМИ!

Изображение предоставлено: nampix/Shutterstock

Гироскопическая стабилизация для PTZ-камер для камер наблюдения дальнего действия

Гироскопическая стабилизация для PTZ-камер дрожания камеры умножаются на изображениях с большого расстояния. Потребность в высококачественном решении для стабилизации напрямую связана с полем зрения используемой камеры и тем, насколько сильно она будет трястись.

Небольшие вибрации усиливаются на изображениях с большим радиусом действия

Некоторые могут задаться вопросом, зачем нужна гироскопическая стабилизация, если камеры, которые они используют, такие как мобильный телефон или GoPro, производят пригодные для использования изображения без нее. Это связано с тем, что потребность в стабилизации пропорциональна полю зрения камеры. Например, iPhone имеет широкое поле зрения (60°), а GoPro — очень широкое поле зрения (120°). Если камера ударяется и, следовательно, трясется на два градуса, это означает, что изображение iPhone смещается на 3%, а изображение GoPro смещается только на 1,5%. Это довольно слабые колебания, которые необходимо учитывать, но камеры Infiniti с дальним зумом часто имеют поле зрения менее 1°. Камера с полем зрения 1 градус испытает огромное смещение изображения на 200 % из-за такой же небольшой вибрации.

Пределы цифровой стабилизации

Поскольку цифровая стабилизация становится все более популярной на камерах смартфонов, в программах для редактирования видео и даже в опции YouTube одним щелчком мыши, понятно, что многие люди могут думать, что расширенная цифровая стабилизация может решить любые проблемы со стабилизацией, но для дальних изображений это просто невозможно. Цифровая стабилизация работает, сравнивая кадры видео и отслеживая внезапные сдвиги в общей сцене. Когда происходят эти сдвиги, алгоритм в цифровой форме перемещает изображение обратно туда, где оно было бы, если бы камера оставалась стабильной. Это означает, что по краям видео теперь есть области, где нет информации. Чтобы компенсировать это, конечное видеоизображение обрезается, чтобы устранить эти дрожащие черные края. Когда изображение смещается на один или два процента, этот метод может работать довольно хорошо, но когда изображение смещается более чем на 100 %, это невозможно, так как нет перекрывающихся изображений для отслеживания.

Как работает гироскопическая стабилизация

Гироскопическая стабилизация работает путем установки современного гироскопа FOG (волоконно-оптический гироскоп) или MEMS (микроэлектромеханические системы) на основание камеры, который измеряет любые движения, которые могут возникнуть . Когда гироскоп обнаруживает движение, он отправляет команду устройству панорамирования/наклона, чтобы противодействовать этому движению, применяя противоположное вращение к камере. Это удерживает изображение на цели даже при значительных сдвигах в движении (вплоть до пределов поворота панорамирования/наклона). Затем производительность зависит от точности гироскопа, задержки в системе, а также скорости и точности моторов поворота/наклона. Эти компоненты могут быстро стать дорогими, поэтому мы настраиваем вашу камеру в соответствии с потребностями вашей ситуации.

Перед покупкой системы с гиростабилизацией важно ознакомиться с техническими характеристиками панорамирования/наклона, поскольку она должна работать достаточно быстро и точно для стабилизации изображения. Не все системы гироскопической стабилизации одинаковы. Какой тип системы вам потребуется, будет зависеть от ее предполагаемого использования.

Применение

Мачта и башня

Тот факт, что мачта или башня представляет собой фиксированную конструкцию, прикрепленную к земле, не означает, что она полностью устойчива. Например, вершина Эйфелевой башни в Париже может раскачиваться на ветру на шесть-семь метров.

Для мачт и башен рекомендуется гиростабилизация в зависимости от расстояния и размера отслеживаемых целей, а также высоты и устойчивости мачты.

Транспортное средство

Требования к камерам, установленным на транспортных средствах, могут сильно различаться. Они, вероятно, будут подвержены значительным движениям, но часто работают в более широком поле зрения, что сделает эффекты дрожания камеры менее отвлекающими. Требования к стабилизации будут зависеть от типа камеры, поля зрения, скорости транспортного средства и состояния пересекаемой местности.

Морской пехотинец

Судно в открытом океане будет испытывать много движений, но опять же, это движение другого типа, чем то, что можно испытать на вышке или внедорожнике. Камеры, установленные на морских судах, требуют различных уровней гироскопической стабилизации в зависимости от размера судна и поля зрения камеры.

Свяжитесь с нами

Каждая ситуация уникальна, и мы преуспеваем в разработке систем камер, которые обеспечивают конкретные характеристики, необходимые вам, по лучшей конкурентоспособной цене. Независимо от того, является ли ваш приоритет передовой технологией или точным и экономичным решением, мы можем разработать индивидуальную систему наблюдения, которая идеально подойдет для вашего проекта. Свяжитесь с нами сегодня, чтобы узнать, что мы можем сделать для вас.

Заполните нашу контактную форму или позвоните по телефону 1-866-969-6463

Цифровая стабилизация видео на основе адаптивного сглаживания траектории движения камеры | Журнал EURASIP по обработке изображений и видео

• Исследования
• Открытый доступ
• Опубликовано: 30 мая 2018 г.

• Маркос Р. Соуза ¹ и
• Хелио Педрини ORCID: orcid.org/0000-0003-0125-630X ¹  

Журнал EURASIP по обработке изображений и видео том 2018 , Номер статьи: 37 (2018) Процитировать эту статью

• 4517 доступов

• 9 цитирований

• 1 Альтметрика

• Сведения о показателях

Abstract

Развитие мультимедийного оборудования позволило значительно увеличить производство видео с помощью профессиональных и любительских камер, смартфонов и других мобильных устройств. Примеры приложений, связанных с обработкой и анализом видео, включают наблюдение и безопасность, телемедицину, развлечения, обучение и робототехнику. Стабилизация видео относится к набору методов, необходимых для обнаружения и исправления сбоев или нестабильности, возникающих в процессе захвата видео из-за вибраций и нежелательных движений при обращении с камерой. В этой работе мы предлагаем и оцениваем новый подход к стабилизации видео, основанный на адаптивном фильтре Гаусса для сглаживания траекторий камеры. Эксперименты, проведенные на нескольких видеопоследовательностях, демонстрируют эффективность метода, который генерирует видео с адекватным компромиссом между скоростью стабилизации и количеством пикселей кадра. Наши результаты сравнивались с передовым методом YouTube, что позволило добиться конкурентоспособных результатов.

Введение

Доступность новых цифровых технологий [1–8] и снижение стоимости оборудования облегчили создание больших объемов видео в высоком разрешении. Некоторые устройства, такие как цифровые камеры, смартфоны и другие мобильные устройства, позволяют снимать и редактировать видео.

Большое количество приложений связано с использованием цифровых видео, таких как телемедицина, реклама, развлечения, робототехника, обучение, автономные транспортные средства, наблюдение и безопасность. Из-за большого количества видео, которое записывается, хранится и передается, крайне важно исследовать и разрабатывать эффективные методы обработки и анализа мультимедиа для индексации, просмотра и извлечения видеоконтента [9].–11].

Стабилизация видео [12–21] направлена ​​на коррекцию колебаний движения камеры, возникающих в процессе съемки, особенно когда камеры передвижны и используются любителями.

В процессе стабилизации использовались несколько фильтров нижних частот [20, 22]. Однако их прямое применение с фиксированной интенсивностью для всех видео не подходит, так как движение камеры может быть неправильно скорректировано, когда этого не должно быть. В недавних подходах использовались оптимизации [23, 24] для управления интенсивностью локального сглаживания.

В качестве основного вклада эта работа представляет и оценивает новый метод стабилизации видео на основе адаптивного фильтра Гаусса для сглаживания траекторий камеры. Эксперименты демонстрируют эффективность метода, который генерирует видео с надлежащей скоростью стабилизации при сохранении разумного количества пикселей кадра.

Предлагаемый метод можно рассматривать как альтернативу недавно разработанным в литературе подходам к оптимизации [23, 24] с меньшими вычислительными затратами. Результаты сравниваются с различными версиями фильтра Гаусса, фильтра Калмана и метода стабилизации видео, используемого на YouTube [24], который считается современным подходом.

Этот документ организован следующим образом. Некоторые важные концепции и связанная с ними работа кратко описаны в разделе 2. Предлагаемый метод стабилизации видео подробно описан в разделе 3. Экспериментальные результаты представлены и обсуждены в разделе 4. Наконец, некоторые заключительные замечания и направления будущей работы включены в раздел 5.

Предыстория

Для улучшения качества видео были разработаны различные категории подходов к стабилизации [25–32], которые можно в общих чертах разделить на механическую стабилизацию, оптическую стабилизацию и цифровую стабилизацию.

Механическая стабилизация обычно использует датчики для обнаружения смещения камеры и компенсации нежелательного движения. Распространенным способом является использование гироскопов для обнаружения движения и отправки сигналов на двигатели, подключенные к маленьким колесам, чтобы камера могла двигаться в направлении, противоположном движению. Камера обычно устанавливается на штатив. Несмотря на эффективность, обычно достигаемую с помощью этого типа системы, существуют недостатки в отношении требуемых ресурсов, таких как вес устройства и потребление батареи.

Оптическая стабилизация [33] широко используется в фотокамерах и состоит из механизма компенсации углового и поступательного движения камер, стабилизирующего изображение перед его записью на матрицу. Механизм оптической стабилизации представляет собой гироскоп для измерения разности скоростей в разные моменты времени, чтобы различать нормальное и нежелательное движение. Другие системы используют набор линз и датчиков для определения угла и скорости движения для стабилизации видео.

Цифровая стабилизация видео осуществляется без использования специальных устройств. Как правило, нежелательное движение камеры оценивается путем сравнения последовательных кадров и применения преобразования к видеоряду для компенсации движения. Эти методы обычно медленнее по сравнению с оптическими методами; однако они могут достигать адекватных результатов с точки зрения качества и скорости в зависимости от используемых алгоритмов.

Известные в литературе методы цифровой стабилизации видео обычно делятся на двухмерные (2D) или трехмерные (3D) категории. Последовательности 2D-преобразований используются в первой категории для представления движения камеры и стабилизации видео. Фильтры нижних частот можно использовать для сглаживания преобразований, уменьшая влияние высоких частот камеры [20, 22]. Во второй категории траектории камеры реконструируются из трехмерных преобразований [34, 35], таких как масштабирование, перемещение и вращение.

Подходы, использующие 2D-преобразования, сосредоточены на внесении вклада в конкретные этапы процесса стабилизации [36]. Рассматривая оценку движения камеры, 2D-методы можно разделить на две категории [32]: (i) подходы, основанные на интенсивности [37, 38], которые напрямую используют текстуру изображений в качестве вектора движения, и (ii) подходы на основе ключевых точек [39, 40], которые располагают набор соответствующих точек в соседних кадрах. Поскольку подходы на основе ключевых точек имеют меньшую вычислительную стоимость, они используются чаще всего [22]. На этом этапе можно использовать такие методы, как выделение областей интереса, чтобы избежать вырезания определенных объектов или областей, которые предположительно важны для наблюдателя [41].

Во многих методах используются различные механизмы фильтрации движения, такие как интегрирование векторов движения [39], фильтр Калмана [42, 43], фильтр частиц [44] и регуляризация [37]. Такие механизмы направлены на устранение высокочастотной нестабильности при движении камеры [36]. Другие подходы были направлены на улучшение качества видео, которое часто теряется в процессе стабилизации. Наиболее часто используемые методы включают закрашивание для заполнения недостающих частей кадра [22, 41, 45], деконволюцию для улучшения фокусировки видео [22, 41] и взвешивание метрик стабилизации и аспектов качества видео [36, 45].

Недавние усовершенствования 2D-методов сделали их сопоставимыми с 3D-методами с точки зрения качества. Например, использование оптимизации L1-нормы может создать путь камеры, который следует кинематографическим правилам, чтобы рассматривать отдельно постоянное, линейное и параболическое движение [24]. Модель на основе сетки, в которой несколько траекторий рассчитываются в разных местах видео, оказалась эффективной при работе с параллаксом без использования 3D-методов [23]. Для настройки проблемных кадров предлагается полуавтоматический 2D-метод, который требует помощи пользователя [46].

С другой стороны, 3D-методы обычно создают трехмерную модель сцены с помощью методов структуры из движения (SFM) для сглаживания движения [47], обеспечивая стабилизацию превосходного качества, но с более высокими вычислительными затратами [27, 47]. ]. Поскольку у них обычно возникают серьезные проблемы с обработкой крупных объектов на переднем плане [36], на практике обычно предпочтение отдается 2D-методам [36].

Хотя 3D-методы могут давать хорошие результаты в статических сценах с использованием методов рендеринга на основе изображений [34, 48], они обычно неправильно обрабатывают динамические сцены, вызывая размытие изображения [49].]. Таким образом, была введена концепция сохранения контента, ограничивающая создание каждого выходного кадра из одного входного кадра [49]. Другие подходы решают эту проблему с помощью геометрической аппроксимации, отказываясь от устойчивости по отношению к параллаксу [35]. Другие трудности, встречающиеся в 3D-методах, проявляются в любительских видеороликах, например, отсутствие параллакса, масштабирования и использование дополнительных датчиков на основе оксидов металлов и полупроводников (CMOS) [47].

Несмотря на то, что трехмерные методы не распространены, они могут заполнить недостающие части кадра, используя информацию из нескольких других кадров [48]. Совсем недавно методы 2D и 3D были расширены для работы со стереоскопическим видео [29]., 50]. Появились гибридные подходы для получения эффективности и надежности 2D-методов в дополнение к высокому качеству 3D-методов. Некоторые из них основаны на таких понятиях, как подпространство траекторий [47] и эпиполярный перенос [51]. Гибридный метод работы с дискретными изменениями глубины, присутствующими в видео с короткого расстояния, был описан Liu et al. [31].

Метод адаптивной стабилизации видео

В этом разделе представлен предлагаемый метод стабилизации видео, основанный на адаптивном гауссовском сглаживании траекторий камеры. На рисунке 1 показаны основные этапы методологии, которые описаны в следующих подразделах.

Рис. 1

Основные этапы предлагаемого метода цифровой стабилизации видео

Полноразмерное изображение

Обнаружение и сопоставление ключевых точек

Процесс начинается с обнаружения и описания ключевых точек в видеокадрах. На этом этапе мы использовали метод ускоренных надежных функций (SURF) [52]. После выделения ключевых точек между двумя соседними кадрами выполняется их соответствие методом полного перебора с перекрестной проверкой, где евклидово расстояние между векторами признаков для каждой пары точек 9{\prime}_{j}\) ближайший к x _i .

На рисунках 2 и 3 показано обнаружение ключевых точек в кадре и соответствие между точками двух соседних наложенных друг на друга кадров соответственно.

Рис. 2

Обнаружение ключевых точек между соседними кадрами

Полноразмерное изображение

Рис. 3

Сопоставление ключевых точек между соседними кадрами

Полноразмерное изображение

Оценка движения

После определения соответствия между ключевыми точками необходимо оценить движение, совершаемое камерой. Для этого оценим матрицу подобия, то есть матрицу, преобразующую множество точек кадра f _t к набору точек в кадре f _{t +1} . Поскольку мы рассматриваем матрицу подобия, параметры матричного преобразования учитывают сдвиги камеры (трансляцию), дисторсию (масштабирование) и нежелательное движение (поворот) для построения модели стабилизации.

В процессе цифровой стабилизации видео необходимо компенсировать колебания камеры, возникшие в момент записи. Матрица подобия должна учитывать только те соответствия, которые фактически существуют между двумя эквивалентными точками. Кроме того, он не должен учитывать движение объектов, присутствующих в сцене.

Метод консенсуса случайных выборок (RANSAC) применяется для оценки матрицы подобия, которая учитывает только вкрапления, чтобы игнорировать неверные соответствия и те, которые описывают движение объектов. При применении этого метода для каждой пары кадров вычисляется значение параметра остаточного порога, который определяет максимальную ошибку, при которой совпадение будет считаться ложным. Алгоритм 1 представляет расчет для определения окончательной матрицы подобия.

В случае пар кадров с пространственно-вариантным движением правильные совпадения также имеют тенденцию иметь определенные вариации. Таким образом, остаточный порог рассчитывается таким образом, чтобы его значение было достаточно низким, чтобы исключить нежелательные совпадения, и достаточно высоким, чтобы поддерживать правильные совпадения.

Построение траектории

После оценки итоговых матриц сходства для каждой пары соседних кадров видео рассчитывается траектория для каждого из факторов матрицы сходства. В этой работе мы рассматриваем коэффициент вертикального переноса, коэффициент горизонтального переноса, коэффициент поворота и коэффициент масштабирования. Каждый фактор 9{f}\) — значение коэффициента f для i -й матрицы подобия, оцененной ранее. Затем траектории сглаживаются. Уравнения, представленные в остальной части текста, всегда применяются к траекториям каждого фактора в отдельности. Таким образом, индекс фактора f будет опущен, чтобы не перегружать обозначения.

Сглаживание траектории

Предполагая, что в матрицах подобия присутствует только движение камеры, расчетная траектория относится к пути, пройденному камерой во время записи видео. Для получения стабилизированного видео необходимо убрать колебания с этого пути, оставив только нужное движение. 9{2}}} $$

(2)

где a — константа, рассматриваемая как 1, так что G ( x ) имеет значения от 0 до 1. Константа μ — это ожидаемое значение , рассматриваемый как 0, тогда как σ ² представляет дисперсию.

Параметр M указывает количество точек выходного окна, значение которого выражается как

$$ M = \frac{n}{3}-1 $$

(3)

где n — это общее количество кадров в видео.

Поскольку разные моменты видео будут иметь различное количество колебаний, в этой работе адаптивно применяется фильтр Гаусса, чтобы удалить только нежелательное движение камеры.

Сглаживание интенсивного движения может привести к тому, что видео будет иметь небольшое количество пикселей. Кроме того, этот тип движения обычно представляет собой желаемое движение камеры, которое не следует сглаживать. Поэтому параметр σ вычисляется таким образом, чтобы в этих областях он имел меньшие значения. Таким образом, траектория будет сглажена за счет учета отличного значения для 9{2} $$

(4)

, где max_value соответствует либо ширине траектории горизонтального перемещения, либо высоте траектории вертикального перемещения. В этой работе мы рассматриваем \(\theta =\frac {\pi }{6}\) как угол (в радианах) на траектории вращения. Таким образом, движение будет считаться большим в основном на основе разрешения видео. Значение мк _i рассчитывается таким образом, чтобы придать больший вес точкам ближе к 9{}G(|j-i|,\sigma_{\mu})} $$

(5)

, где j — индекс каждой точки в окне i , а G () — это функция Гаусса с σ , рассчитанная как

$$ \sigma_{\mu} = \text{FPS}(1-\text{CV}) $$

(6)

где FPS — количество видеокадров в секунду, а CV — коэффициент вариации абсолютных значений траектории, находящихся внутри окна. Поскольку значение CV находится в диапазоне от 0 до 1, его конечное значение ограничено 0,9.для σ _μ , чтобы не иметь нулевых значений. Следовательно, σ _μ делает фактический размер окна адаптивным, так что чем выше вариация движения внутри окна, тем выше вес, придаваемый центральным точкам.

Коэффициент вариации может быть выражен как

$$ CV = \frac{\textit{std}(\forall t_{i} \mid i \in W_{i})}{\textit{avg}(\forall t_{i} \mid i \in W_{i})} $$

(7)

где Вт _i находится в том же окне, что и в уравнении. 5 и т _я значение траектории. Следовательно, коэффициент вариации соответствует стандартному отклонению std среднему avg .

Предположим, что r _i находится в диапазоне от 0 до 1, линейное преобразование применяется для получения надлежащего интервала для фильтра Гаусса. Это преобразование задается как

$$ \sigma_{i} = \frac{\sigma_{\max}-\sigma_{\min}}{r_{\max} — r_{\min}}\left(r_{i} — r_{ \min}\right) + \sigma_{\min} $$

(8)

где σ _min и σ _max — минимальное и максимальное значения нового интервала (после линейного преобразования ), соответственно. В данной работе эти значения определены как 0,5 и 40 соответственно. Значения r _min и r _max являются минимальным и максимальным значениями старого интервала (до линейного преобразования). В этой работе значение r _max всегда устанавливается на 1. Чтобы контролировать, желательно ли движение или нет, значение в интервале от 0 до 1 устанавливается на r _min . Тот же r _min используется в качестве нижнего предела для r _i перед применением линейного преобразования.

Затем к σ _{i применяется экспоненциальное преобразование} значений, чтобы усилить их величину. После расчета о _и для каждой точки траектории, ее значения слегка сглаживаются фильтром Гаусса с σ =5, подобранным эмпирически. Это сделано для того, чтобы избежать резкого изменения значения σ _i по траектории. Наконец, фильтр Гаусса применяется n раз (по одному разу для каждой точки траектории), создавая сглаженную траекторию (индексированную k ) для каждых о _и рассчитано ранее. Окончательная сглаженная траектория соответствует конкатенации точек для каждой из сгенерированных траекторий, а k -й траектории вносит вклад своей k -й точки. Таким образом, получается адаптивный сглаженный путь. Этот процесс применяется только к траекториям перемещения и вращения.

На рисунке 4 показана траектория, созданная с учетом коэффициента горизонтального переноса (синий цвет) и полученного сглаживания (зеленый цвет) с использованием фильтра Гаусса с σ =40 и предложенный в данной работе адаптивный вариант. Можно заметить, что сглаживание применяется в разной степени вдоль траектории.

Рис. 4

Сглаживание траекторий движения камеры. a Гауссовский фильтр с σ =40. b Адаптивный фильтр Гаусса

Полноразмерное изображение

Компенсация движения и обрезка кадра

После применения фильтра Гаусса необходимо пересчитать значение каждого фактора для каждой матрицы подобия. Для этого значение матрицы подобия данного фактора вычисляется по разнице между каждой точкой его сглаженной траектории и ее предшественницей. При обновлении матриц подобия каждой пары кадров матрица подобия применяется к первому кадру пары, чтобы привести его к координатам второго.

Применение геометрического преобразования в кадре приводит к потере информации в некоторых пикселях границы кадра. На рисунке 5 представлен преобразованный кадр, где можно наблюдать потерю информации на границах. Затем они обрезаются, чтобы ни один кадр в стабилизированном видео не содержал пикселей без информации. Для определения границ кадра каждая матрица подобия применяется к исходным координатам четырех вершин, таким образом генерируя преобразованные координаты для соответствующего кадра. Наконец, самые внутренние координаты всех кадров считаются окончательными. Рисунок 6, взятый из [22], иллюстрирует процесс кадрирования, примененный к преобразованному кадру. 9{2}} $$

(9)

где ф _т и f _{t +1} — два последовательных кадра видео, W и H — ширина и высота каждого кадра соответственно, а L _max — максимальное значение интенсивности изображения. Метрика PSNR выражается в децибелах (дБ) — единице, первоначально определенной для измерения интенсивности звука в логарифмической шкале. Типичные значения PSNR находятся в диапазоне от 20 до 40. Значение PSNR должно увеличиваться от исходной видеопоследовательности к стабилизированной последовательности, поскольку кадры после преобразования будут иметь тенденцию быть более похожими. 9{N-1}_{k=1} \text{PSNR}(k) $$

(10)

где N — количество кадров в видео. Как правило, стабилизированная последовательность имеет более высокое значение ITF, чем исходная последовательность.

Из-за потери информации при применении матрицы подобия в кадрах важно оценивать и сравнивать такую ​​скорость при разных методах стабилизации. Для этого мы сообщаем процент пикселей, удерживаемых стабилизированным видео, по сравнению с исходным видео, выраженный как

$$ \text{Коэффициент сохраненных пикселей} = 100\frac{W_{s} H_{s}}{W H} $$

(11)

, где W и H соответствуют ширине и высота кадров в исходном видео и Вт _с и Н _с соответствуют ширине и высоте кадров в видео, сгенерированных в процессе стабилизации, соответственно.

Результаты и обсуждение

В этом разделе описаны результаты экспериментов, проведенных на наборе входных видео. В процесс стабилизации и оценки были отправлены четырнадцать видеороликов с колебаниями, одиннадцать из которых доступны в базе данных GaTech VideoStab [24], а три других собраны отдельно. В таблице 1 представлены видео, использованные в экспериментах, и их источники.

Таблица 1 Видеоряды, использованные в наших экспериментах

Полноразмерная таблица

В проведенных экспериментах мы сравнили значения метрики ITF, а также количество удерживаемых пикселей для разных вариантов сглаживания траектории. В первом варианте мы использовали фильтр Гаусса с учетом σ =40. В другом варианте фильтр Гаусса используется несколько более адаптивно, выбирая разные значения σ для каждой траектории в соответствии с размером диапазона траектории по отношению к размеру видеокадра. Более высокие значения σ присваиваются путям с меньшими интервалами; тогда мы называем эту версию полуадаптивной. Представлена ​​локально адаптивная версия фильтра Гаусса, предложенная в данной работе. Также показана версия с использованием фильтра Калмана. Кроме того, видео были подвергнуты методу стабилизации YouTube [24], чтобы сравнить его результаты с нашими. Метрика рассчитывается для видеоряда до и после процесса стабилизации. В таблице 2 показаны результаты, полученные с помощью фильтра Калмана и фильтра Гаусса с σ =40.

Таблица 2. Сравнение фильтра Гаусса и фильтра Калмана

Полноразмерная таблица

Из таблицы 2 мы можем наблюдать определенное превосходство в использовании фильтра Гаусса, который обеспечивает более высокое значение ITF для всех видео с практически одинаковым количеством пикселей сохраняется для большинства видео. Видео # 5, # 9, # 10, # 12 и # 14 содержат меньшее количество пикселей по сравнению с другими видео. Это связано с наличием желаемого движения камеры, которое фильтр Гаусса ошибочно считает колебаниями, если значение σ достаточно высок. Однако меньшие значения могут не эффективно удалять колебания из видео, поскольку каждое видео имеет колебания разных пропорций.

В целях повышения качества стабилизации для этих случаев в таблице 3 представлены результаты, полученные с вариантом полуадаптивного фильтра Гаусса, где траектории с большей разницей между минимальным и максимальным значениями будут иметь меньшее значение для о . Мы использовали σ =40 для траекторий с интервалами менее 80% соответствующего размера кадра, тогда как σ =20 в противном случае. Для локально адаптивной версии, предложенной в данной работе, мы экспериментально установили r _мин равным 0,4, результаты которого представлены в таблице 3.

Таблица 3 Сравнение полуадаптивного фильтра Гаусса и адаптивного фильтра Гаусса

Полноразмерная таблица

Полуадаптивная версия поддерживает больше пикселей в видео, в которых исходный фильтр Гаусса имел проблемы, начиная с 9К ним применяли 0005 σ =20. Однако количество пикселей в кадрах меньше, чем в других видео. Это связано с тем, что во многих случаях σ =20 все же является очень высоким значением. С другой стороны, меньшие значения σ могут игнорировать колебания, которые присутствуют в другом экземпляре видео, таким образом создавая видео недостаточно стабилизированные и, следовательно, с более низким значением ITF. Поэтому, как видно из таблицы 3, локально-адаптивная версия, интенсивность сглаживания которой изменяется вдоль траектории, получила значения ITF, сравнимые с исходной и полуадаптивной версией, сохраняя при этом значительно больше пикселей.

В таблице 4 представлено сравнение результатов нашего метода и подхода YouTube [24]. Процент удерживаемых пикселей не сообщается, поскольку метод YouTube изменяет размер стабилизированных видео до их исходного размера. Таким образом, качественный анализ проводится по первому кадру каждого видео, результаты которого классифицируются по трем категориям: лучший (когда наш метод поддерживает больше пикселей), худший (когда метод YouTube содержит больше пикселей) и сопоставимый (когда оба метода содержат в основном одинаковое количество пикселей). Рисунки 7, 8 и 9проиллюстрировать проведенный анализ.

Рис. 7

Видео №1. Количество пикселей, удерживаемых нашим методом, превосходит современный подход. a Адаптивный фильтр Гаусса; b YouTube [24]

Изображение в полный размер

Рис. 8

Видео №3. Количество пикселей, удерживаемых нашим методом, сравнимо с современным подходом. a Адаптивный фильтр Гаусса; b YouTube [24]

Полноразмерное изображение

Рис. 9

Видео №12. Количество пикселей, удерживаемых нашим методом, меньше, чем у современного подхода. a Адаптивный фильтр Гаусса; b YouTube [24]

Полноразмерное изображение

Таблица 4. Сравнение адаптивного фильтра Гаусса и метода YouTube [24]

Полноразмерная таблица

На рис. верхняя, левая и правая части видео, полученные с помощью нашего метода. Разница невелика, и полученное преимущество или недостаток в большинстве видео соответствуют этим пропорциям.

На рис. 8 при использовании адаптивного фильтра Гаусса сохраняется меньше информации о верхней и нижней сторонах. С другой стороны, больший объем информации хранится на левой и правой сторонах.

На рис. 9 показана ситуация, когда наш метод поддерживает меньшее количество пикселей. С помощью нашего метода со всех сторон сохраняется меньшее количество информации.

Из таблицы 4 мы можем наблюдать некоторый паритет для обоих методов по метрике ITF с небольшим преимуществом метода YouTube [24], при этом поддерживаемые пиксели в целом сопоставимы и при меньших значениях не сильно различаются . Это свидетельствует о том, что предлагаемый метод конкурентоспособен с одним из методов, считающихся современными, несмотря на простоту нашего метода. Несмотря на это, метод все еще нуждается в дальнейшем расширении для работы с некоторыми неблагоприятными ситуациями, такими как обработка нежестких колебаний в видео 9. 0005 # 10, рольставни в видео # 12 и эффект параллакса, среди прочего.

Выводы

В этой работе мы представили метод стабилизации видео на основе адаптивного фильтра Гаусса для сглаживания траектории движения камеры с целью устранения нежелательных колебаний. Предлагаемый фильтр присваивает различные значения σ вдоль траектории камеры, учитывая, что интенсивность колебаний меняется на протяжении всего видео и что очень высокое значение σ может привести к видео с низким количеством пикселей, в то время как меньшие значения приводят к менее стабилизированному видео.

Результаты, полученные в экспериментах, сравнивались с различными вариантами сглаживания траектории: фильтр Калмана, фильтр Гаусса с σ =40 и полуадаптивный фильтр Гаусса. Подходы достигли сопоставимых значений показателя ITF при сохранении значительно большего количества пикселей.

Было проведено сравнение с методом стабилизации, используемым на YouTube, где результаты были конкурентоспособными. В качестве направлений для будущей работы мы намерены расширить наш метод, чтобы иметь дело с некоторыми неблагоприятными ситуациями, такими как нежесткие колебания и эффект параллакса.

Сокращения

2D:

Двумерный

3D:

Трехмерный

КМОП:

Комплементарный оксид металла полупроводник

Резюме:

Коэффициент вариации

дБ:

Децибел

МФТ:

Точность межкадрового преобразования

MSE:

Среднеквадратическая ошибка

Код заказа:

Пиковое отношение сигнал/шум

РАНСАК:

Консенсус случайной выборки

SFM:

Структура из движения

Ссылки

1. C Yan, Y Zhang, J Xu, F Dai, J Zhang, Q Dai и др. , Эффективная параллельная структура для оценки движения HEVC на многоядерных процессорах. IEEE транс. Цирк. Сист. Видео Техн. 24 (12), 2077–2089(2014).

   Артикул Google ученый

2. MF Alcantara, TP Moreira, H Pedrini, Распознавание действий в реальном времени с использованием многослойного дескриптора с переменным размером. Дж. Электрон. Визуализация. 25 (1), 013020.1?013020.9 (2016).

   Артикул Google ученый

3. С. Ян, И. Чжан, Дж. Сюй, Ф. Дай, Л. Ли, К. Дай и др., Высокопараллельная структура для принятия решения о разделении дерева единиц кодирования HEVC на многоядерных процессорах. IEEE сиг. Процесс. лат. 21 (5), 573–576 (2014).

   Артикул Google ученый

4. М.Ф. Алькантара, Х. Педрини, И. Цао, Классификация действий человека на основе индексированных точек интереса для нескольких доменов. Междунар. J. График изображения. 17 (3), 1750018_1–1750018_27 (1750).

   Google ученый

5. C Yan, H Xie, D Yang, J Yin, Y Zhang, Q Dai, Контролируемое хэш-кодирование с помощью глубокой нейронной сети для восприятия окружающей среды интеллектуальными транспортными средствами. IEEE транс. Интел. трансп. Сист. 19 (1), 284–295 (2018).

   Артикул Google ученый

6. MF Alcantara, TP Moreira, H Pedrini, F Flŕez-Revuelta, Идентификация действия с использованием дескриптора с автономными фрагментами в многоуровневой схеме прогнозирования. Видеопроцесс видеосигнала. 11 (2), 325–332 (2017).

   Артикул Google ученый

7. C Yan, H Xie, S Liu, J Yin, Y Zhang, Q Dai, Эффективное обнаружение текста на уйгурском языке в сложных фоновых изображениях для быстрой идентификации дорожного движения. IEEE транс. Интел. трансп. Сист. 19 (1), 220–229 (2018).

   Артикул Google ученый

8. Б.С. Торрес, Х. Педрини, Обнаружение сложных видеособытий с помощью визуального ритма. Вис. вычисл. 34 (2), 145–165 (2018).

   Артикул Google ученый

9. MVM Cirne, H Pedrini, in Progress in Recognition Patterns, Analysis Image, Computer Vision, and Applications . Метод суммирования видео, основанный на спектральной кластеризации (Springer, 2013), стр. 479.–486.

10. MVM Cirne, H Pedrini, in Progress in Recognition Patterns, Analysis Image, Computer Vision, and Applications . Обобщение видео по оценке качества изображения (Springer, 2014), стр. 901–908.

11. TS Huang, Анализ последовательности изображений. об. 5 (Springer Science & Business Media, Гейдельберг, 2013 г. ).

    Google ученый

12. А.А. Аманатиадис, И. Андреадис, Цифровая стабилизация изображения с помощью анализа независимых компонентов. IEEE транс. Инструм. Изм. 59 (7), 1755–1763 (2010).

    Артикул Google ученый

13. JY Chang, WF Hu, MH Cheng, BS Chang, Стабилизация поступательного и вращательного движения цифрового изображения с использованием метода оптического потока. IEEE транс. потреблять. Электрон. 48 (1), 108–115 (2002).

    Артикул Google ученый

14. S Ertürk, Цифровая стабилизация изображения в реальном времени с использованием фильтров Калмана. Отображение в реальном времени. 8 (4), 317–328 (2002).

    Артикул МАТЕМАТИКА Google ученый

15. R Jia, H Zhang, L Wang, J Li, in Международная конференция по искусственному интеллекту и вычислительному интеллекту . Цифровая стабилизация изображения на основе фазовой корреляции. об. 3 (IEEE, 2009), стр. 485–489.

16. С.Дж. Ко, С.Х. Ли, К.Х. Ли, Алгоритмы стабилизации цифрового изображения, основанные на сопоставлении битовых плоскостей. IEEE транс. потреблять. Электрон. 44 (3), 617–622 (1998).

    Артикул Google ученый

17. С. Кумар, Х. Азарташ, М. Бисвас, Т. Нгуен, Аффинная глобальная оценка движения в реальном времени с использованием фазовой корреляции и ее применение для цифровой стабилизации изображения. IEEE транс. Процесс изображения. 20 (12), 3406–3418 (2011).

    MathSciNet Статья МАТЕМАТИКА Google ученый

18. CT Lin, CT Hong, CT Yang, Система цифровой стабилизации изображения в реальном времени с использованием модифицированного пропорционального встроенного контроллера. IEEE транс. Цирк. Сист. Видео Техн. 19 (3), 427–431 (2009).

    Артикул Google ученый

19. L Marcenaro, G Vernazza, CS Regazzoni, в Международная конференция по обработке изображений . Алгоритмы стабилизации изображения для приложений видеонаблюдения. об. 1 (IEEE, 2001), стр. 349–352.

20. К. Моримото, Р. Челлаппа, в 13-я Международная конференция по распознаванию образов . Быстрая электронная цифровая стабилизация изображения. об. 3 (IEEE, 1996), стр. 284–288.

21. Ю. Г. Рю, М. Дж. Чанг, Надежная онлайн-стабилизация цифрового изображения на основе точечной траектории без накопительной глобальной оценки движения. IEEE Signal Proc. лат. 19 (4), 223–226 (2012).

    Артикул Google ученый

22. Y Matsushita, E Ofek, W Ge, X Tang, HY Shum, Полнокадровая стабилизация видео с закрашиванием движения. IEEE транс. Анальный узор. Мах. Интел. 28 (7), 1150–1163 (2006).

    Артикул Google ученый

23. С. Лю, Л. Юань, П. Тан, Дж. Сун, Пути камеры для стабилизации видео. АКМ транс. График 32 (4), 78 (2013).

    Google ученый

24. М. Грундманн, В. Кватра, И. Эсса, в Конференция IEEE по компьютерному зрению и распознаванию образов . Автоматическая стабилизация видео с надежными оптимальными путями камеры L1 (IEEE, 2011), стр. 225–232.

25. C Jia, BL Evans, Онлайн-сглаживание движения для стабилизации видео с помощью ограниченной оценки нескольких моделей. EURASIP J. Image Video Proc. 2017 (1), 25 (2017).

    Артикул Google ученый

26. S Liu, M Li, S Zhu, B Zeng, CodingFlow: включение кодирования видео для стабилизации видео. IEEE транс. Изображение Процесс. 26 (7), 3291–3302 (2017).

    MathSciNet Статья Google ученый

27. Z Zhao, X Ma, in Международная конференция IEEE по обработке изображений . Стабилизация видео на основе локальных траекторий и надежного преобразования сетки (IEEE, 2016), стр. 4092–4096.

28. N Bhowmik, V Gouet-Brunet, L Wei, G Bloch, in Международная конференция по мультимедийному моделированию . Адаптивное и оптимальное сочетание локальных признаков для поиска изображений (SpringerCham, 2017), стр. 76–88.

    Глава Google ученый

29. H Guo, S Liu, S Zhu, B Zeng, in Международная конференция IEEE по обработке изображений . Объединенные пучки камер для стереоскопической стабилизации видео (IEEE, 2016), стр. 1071–1075.

30. Q Zheng, M Yang, Метод стабилизации видео, основанный на оценке межкадрового сопоставления изображений. Глоб. Дж. Вычисл. науч. Технол. 17 (1), 41–46 (2017).

    MathSciNet Статья Google ученый

31. S Liu, B Xu, C Deng, S Zhu, B Zeng, M Gabbouj, Гибридный подход для стабилизации видео на ближнем расстоянии. IEEE транс. Цирк. Сист. Видео Техн. 27 (9), 1922–1933 (2016).

    Артикул Google ученый

32. Чен Б.Х., Копылов А., Хуанг С.К., Середин О., Карпов Р., Куо С.Ю. и др., Улучшенная оценка глобального движения с помощью кластеризации векторов движения для стабилизации видео. англ. заявл. Артиф. Интел. 54:, 39–48 (2016).

    Артикул Google ученый

33. B Cardani, Оптическая стабилизация изображения для цифровых камер. IEEE-контроль. Сист. 26 (2), 21–22 (2006).

    Артикул Google ученый

34. C Buehler, M Bosse, L McMillan, в Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов . Неметрический рендеринг на основе изображений для стабилизации видео. об. 2 (IEEE, 2001), стр. II–609..

35. Г. Чжан, В. Хуа, С. Цинь, И. Шао, Х. Бао, Стабилизация видео на основе трехмерной перспективной модели камеры. Вис. вычисл. 25 (11), 997–1008 (2009).

    Артикул Google ученый

36. KY Lee, YY Chuang, BY Chen, M Ouhyoung, in 12-я международная конференция IEEE по компьютерному зрению . Стабилизация видео с использованием надежных траекторий признаков (IEEE, 2009), стр. 1397–1404.

37. HC Chang, SH Lai, KR Lu, in IEEE International Conference on Multimedia and Expo . Надежный и эффективный алгоритм стабилизации видео. об. 1 (IEEE, 2004), стр. 29–32.

38. G Puglisi, S Battiato, Надежный алгоритм выравнивания изображения для стабилизации видео. IEEE транс. Цирк. Сист. Видео Техн. 21 (10), 1390–1400 (2011).

    Артикул Google ученый

39. S Battiato, G Gallo, G Puglisi, S Scellato, in 14-я Международная конференция по анализу и обработке изображений . SIFT поддерживает отслеживание для стабилизации видео (IEEE, 2007), стр. 825–830.

40. Ю. Шен, П. Гутуру, Т. Дамарла, Б. П. Баклз, К. Р. Намудури, Стабилизация видео с использованием анализа основных компонентов и преобразования масштабно-инвариантных признаков в структуре фильтра частиц. IEEE транс. потреблять. Электрон. 55 (3), 1714–1721 (2009).

    Артикул Google ученый

41. Б.Я. Чен, К.И. Ли, В.Т. Хуанг, Дж.С. Лин, онлайн-библиотека Wiley. Полнокадровая стабилизация видео на основе намерений. вычисл. Графический форум. 27 (7), 1805–1814 (2008).

    Артикул Google ученый

42. S Ertürk, Стабилизация последовательности изображений на основе фильтрации положения кадров Калмана. Электрон. лат. 37 (20), 1 (2001).

    Артикул Google ученый

43. А. Литвин, Дж. Конрад, В.К. Карл, в Electronic Imaging. Международное общество оптики и фотоники . Вероятностная стабилизация видео с использованием фильтрации и мозаики Калмана (SPIE-IS&T, 2003), стр. 663–674.

44. J Yang, D Schonfeld, C Chen, M Mohamed, in Международная конференция по обработке изображений . Онлайн-стабилизация видео на основе фильтров частиц (IEEE, 2006), стр. 1545–1548.

45. М.Л. Глейхер, Ф. Лю, Ре-кинематография: улучшение операторской работы обычного видео. АКМ транс. Мультимед. вычисл. коммун. заявл. 5 (1), 2 (2008).

    Артикул Google ученый

46. Дж. Бай, А. Агарвала, М. Агравала, Р. Рамамурти, онлайн-библиотека Wiley. Стабилизация видео с помощью пользователя. вычисл. График Форум. 33 (4), 61–70 (2014).

    Артикул Google ученый

47. Ф. Лю, М. Глейхер, Дж. Ван, Х. Джин, А. Агарвала, стабилизация видео в подпространстве. АКМ транс. График 30 (1), 4 (2011).

    Артикул Google ученый

48. П. Бхат, К. Л. Зитник, Н. Снавели, А. Агарвала, М. Агравала, М. Коэн и др., 18-я конференция Eurographics по методам рендеринга. Еврографическая ассоциация . Использование фотографий для улучшения видео статической сцены (2007 г.), стр. 327–338.

49. Ф. Лю, М. Глейхер, Х. Джин, А. Агарвала, Деформации с сохранением содержимого для стабилизации 3D-видео. АКМ транс. График 28 (3), 44 (2009).

    Google ученый

50. F Liu, Y Niu, H Jin, in Международная конференция IEEE по компьютерному зрению . Совместная стабилизация подпространства для стереоскопического видео (2013), стр. 73–80.

51. А. Гольдштейн, Р. Фатталь, Стабилизация видео с помощью эпиполярной геометрии. АКМ транс. График 31 (5), 1–10 (2012).

    Артикул Google ученый

52. H Bay, A Ess, T Tuytelaars, L Van Gool, Ускоренные надежные функции (SURF). вычисл. Вис. Изображение Понимание. 110 (3), 346–359 (2008).

    Артикул Google ученый

Скачать ссылки

Благодарности

Авторы хотели бы поблагодарить редакторов и анонимных рецензентов за их ценные комментарии.

Финансирование

Авторы благодарят FAPESP (гранты № 2014/12236-1 и № 2017/12646-3) и CNPq (грант № 305169)./2015-7) за финансовую поддержку.

Наличие данных и материалов

Данные общедоступны.

Информация об авторе

Авторы и организации

1. Институт вычислительной техники Университета Кампинас, Av. Albert Einstein 1251, Campinas13083-852, Brazil

   Marcos R. Souza & Helio Pedrini

Авторы

1. Marcos R. Souza

   Посмотреть публикации автора

   Вы также можете искать этого автора в PubMed Google Академия

2. Helio Pedrini

   Просмотр публикаций автора

   Вы также можете искать этого автора в PubMed Google Scholar

Contributions

HP и MRS внесли равный вклад в эту работу. Оба автора провели углубленный анализ результатов эксперимента и проверили правильность оценки. Оба автора принимали участие в написании и корректуре окончательной версии статьи. Оба автора прочитали и одобрили окончательную рукопись;

Автор, ответственный за переписку

Переписка с Хелио Педрини.

Заявления об этике

Конкурирующие интересы

Авторы заявляют об отсутствии конкурирующих интересов.