Много шума — и хорошо

Новая методика позволяет получить качественное изображение даже при наличии источника шума – более того, при его непосредственной помощи.

Item 1 of 2

1 / 2

Профессор Джейсон Флейшер (справа) и его студент Дмитрий Дылов разработали новую методику восстановления изображений из шумной картинки

«Как правило, — говорит один из авторов работы, профессор Джейсон Флейшер (Jason Fleischer), — шум рассматривается, как проблема, с которой надо бороться. Но в некоторых случаях сигнал и шум можно заставить взаимодействовать, и тогда шум будет усиливать сигнал. Для слабых сигналов — например, для изображения слишком темных или слишком далеких объектов — шум вообще может даже улучшить полученную картинку».

Вместе со своим студентом, нашим соотечественником Дмитрием Дыловым, Флейшер провел такой эксперимент. Лазерный луч пропускался через небольшую стеклянную пластину с нанесенным на ней рисунком — линиями и цифрами.

Луч попадал на принимающее устройство, связанное с компьютером, на мониторе которого и отображалась итоговая картинка.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Затем в эту схему был внесен источник шума, полупрозрачная пластиковая пластина, расположенная между стеклом и приемником. Рассеивая львиную долю излучения, она делала картинку на мониторе совершенно нечитаемой, как туман делает невидимыми объекты, скрытые его пеленой.

Теперь мы подошли к главной части опыта: на пути луча Флейшер и Дылов установили еще один объект. Между пластиковой пластиной и приемником они поместили кристалл ниобата стронция-бария (НСБ), вещества, обладающего нелинейными оптическими свойствами. Иначе говоря, движение луча света в нем подчиняется довольно необычным законам, позволяя сигналу и шуму взаимодействовать друг с другом.

Эти свойства НСБ зависят от приложенного к кристаллу вещества напряжения, так что, аккуратно варьируя этот показатель, ученые в конце концов добились того, что на мониторе была снова получена ясная и четкая картинка исходного объекта — стеклянной пластины с нанесенными цифрами и линиями.

Сам по себе подобный подход отнюдь не нов, это явление называется стохастическим резонансом. Упрощенно объяснить его можно так. Представим систему, которая под влиянием периодического сигнала изменяется — соответственно, тоже периодически. Если на систему действует только шум, то изменения ее будут случайными.

Теперь представим систему, на которую влияет слишком слабый сигнал: при таком подпороговом воздействии она не будет менять свое состояние. Но если мы добавим к ней еще и шум, который привнесет в систему дополнительную энергию, то даже сравнительно слабого периодического воздействия будет уже достаточно. Шум как бы понижает порог чувствительности системы к периодическому сигналу.

«Шум мы использовали, чтобы «подкормить» сигнал, — комментирует Дмитрий Дымов. — Это как если бы вы сфотографировали человека в темноте, а затем, обработав фотографию определенным образом, получили его изображение более светлым, а фон — более темным, чем на исходном снимке. На контрасте портрет становится более четким».

Ученые уверены, что несмотря на то, что пока что они сделали лишь первые шаги в своей работе, она имеет самые невероятные перспективы использования. Такое «восстановление» картинки с помощью шума найдет применение и в медицине, и в авиации, и в сонарах подводных лодок, и в устройствах ночного видения, и где угодно, где исходный сигнал испытывает значительное воздействие шума.

По пресс-релизу Princeton Engineering

объяснение в картинках / Хабр

Генерация изображений при помощи ИИ — одна из самых новых возможностей искусственного интеллекта, поражающая людей (в том числе и меня). Способность создания потрясающих изображений на основании текстовых описаний похожа на магию; компьютер стал ближе к тому, как творит искусство человек. Выпуск Stable Diffusion стал важной вехой в этом развитии, поскольку высокопроизводительная модель оказалась доступной широкой публике (производительная с точки зрения качества изображения, скорости и относительно низких требований к ресурсам и памяти).

Поэкспериментировав в генерацией изображений, вы можете задаться вопросом, как же она работает.

В этой статье я вкратце расскажу, как функционирует Stable Diffusion.

Stable Diffusion гибка, то есть может использоваться множеством разных способов. Давайте сначала рассмотрим генерацию изображений на основе одного текста (text2img). На картинке выше показан пример текстового ввода и получившееся сгенерированное изображение. Кроме превращения текста в изображение, другим основным способом применения модели является изменение изображений (то есть входными данными становятся текст + изображение).

Давайте начнём разбираться со внутренностями модели, потому что это поможет нам объяснить её компоненты, их взаимодействие и значение опций/параметров генерации изображений.

Компоненты Stable Diffusion

Stable Diffusion — это система, состоящая из множества компонентов и моделей. Это не единая монолитная модель.

Изучая внутренности, мы первым делом заметим, что в модели есть компонент понимания текста, преобразующий текстовую информацию в цифровой вид, который передаёт заложенный в текст смысл.

Мы начнём с общего обзора, а позже углубимся в подробности машинного обучения. Однако для начала можно сказать, что этот кодировщик текста — это специальная языковая модель Transformer (технически её можно описать как текстовый кодировщик модели CLIP). Она получает на входе текст и выдаёт на выходе список чисел (вектор), описывающий каждое слово/токен в тексте.

Далее эта информация передаётся генератору изображений, который состоит из двух компонентов.

Генератор изображений выполняет два этапа:

1- Создание информации изображения.

Этот компонент является секретным ингредиентом Stable Diffusion. Именно благодаря нему возник такой рост качества по сравнению с предыдущими моделями.

Этот компонент выполняется в несколько шагов (step), генерируя информацию изображения. Это параметр

steps в интерфейсах и библиотеках Stable Diffusion, который часто по умолчанию имеет значение 50 или 100.

Этап создания информации изображения действует полностью в пространстве информации изображения (или в скрытом пространстве). Подробнее о том, что это значит, мы расскажем ниже. Это свойство ускоряет работу по сравнению с предыдущими моделями диффузии, работавшими в пространстве пикселей. Этот компонент состоит из нейросети UNet и алгоритма планирования.

Слово «диффузия» (diffusion) описывает происходящее в этом компоненте. Это пошаговая обработка информации, приводящая в конечном итоге к генерации высококачественного изображения (при помощи следующего компонента — декодера изображений).

2- Декодер изображений.

Декодер изображений рисует картину на основе информации, которую он получил на этапе создания информации.

Он выполняется только один раз в конце процесса и создаёт готовое пиксельное изображение.

На изображении выше мы видим три основных компонента (каждый со своей собственной нейросетью), из которых состоит Stable Diffusion:

• ClipText для кодирования текста.

  Входные данные: текст.

  Выходные данные: 77 векторов эмбеддингов токенов, каждый в 768 измерениях.

• UNet + Scheduler для постепенной обработки/диффузии информации в пространстве информации (скрытом пространстве).

  Входные данные: эмбеддинги текста и исходный многомерный массив (структурированные списки чисел, также называемые тензором), состоящий из шума.

  Выходные данные: массив обработанной информации

• Декодер автокодировщика, рисующий готовое изображение при помощи массива обработанной информации.
  Входные данные: массив обработанной информации (размеры: (4,64,64))

  Выходные данные: готовое изображение (размеры: (3, 512, 512) — (красный/зелёный/синий, ширина, высота))

Что такое диффузия?

Диффузия — это процесс, выполняемый внутри розового компонента «image information creator» (этапа создания информации изображения). Имея эмбеддинги токенов, описывающие введённый текст, и случайный начальный массив информации изображения (также они называются latent), процесс создаёт массив информации, который декодер изображения использует для рисования готового изображения.

Это процесс выполняется поэтапно. Каждый шаг добавляет больше релевантной информации. Чтобы представить процесс в целом, мы можем изучить массив случайных latent, и увидеть, что он преобразуется в визуальный шум. В данном случае визуальное изучение — это прохождение данных через декодер изображений.

Диффузия выполняется в несколько шагов, каждый из которых работает с входным массивом latent и создаёт ещё один массив latent, ещё больше напоминающий введённый текст, а вся визуальная информация модели собирается из всех изображений, на которых была обучена модель.

Мы можем визуализировать набор таких latent, чтобы увидеть, какая информация добавляется на каждом из шагов.

Наблюдать за этим процессом довольно увлекательно.

В данном случае нечто особо восхитительное происходит между шагами 2 и 4. Как будто контур возникает из шума.

Как работает диффузия

Основная идея генерации изображений при помощи диффузионной модели использует тот факт, что у нас есть мощные модели компьютерного зрения. Если им передать достаточно большой массив данных, эти модели могут обучаться сложным операциям. Диффузионные модели подходят к задаче генерации изображений, формулируя задачу следующим образом:

Допустим, у нас есть изображение, сделаем первый шаг, добавив в него немного шума.

Назовём «срез» (slice) добавленного нами шума «noise slice 1». Сделаем ещё один шаг, добавив к шумному изображению ещё шума («noise slice 2»).

На этом этапе изображение полностью состоит из шума. Теперь давайте возьмём их в качестве примеров для обучения нейронной сети компьютерного зрения. Имея номер шага и изображение, мы хотим, чтобы она спрогнозировала, сколько шума было добавлено на предыдущем шаге.

Хотя этот пример показывает два шага от изображения к полному шуму, мы можем управлять тем, сколько шума добавляется к изображению, поэтому можно распределить его на десятки шагов, создав десятки примеров для обучения на каждое изображение для всех изображений в обучающем массиве данных.

Красота здесь в том, что после того, как эта сеть прогнозирования шума начнёт работать правильно, она, по сути, сможет рисовать картины, удаляя шум на протяжении множества шагов.

Примечание: это небольшое упрощение алгоритма диффузии. На ресурсах по ссылкам в конце статьи представлено более подробное математическое описание.

Рисование изображений устранением шума

Обученный предсказатель шума может взять шумное изображение и количество шагов устранения шума, и на основании этого способен спрогнозировать срез шума.

Срез шума прогнозируется таким образом, что если мы вычтем его из изображения, то получим изображение, которое ближе к изображениям, на которых обучалась модель.

Если обучающий массив данных состоял из эстетически приятных изображений (например, LAION Aesthetics, на котором обучалась Stable Diffusion), то получившееся изображение будет иметь склонность к эстетической приятности.

В этом по большей мере и заключается описание генерации изображений диффузионными моделями, представленное в статье Denoising Diffusion Probabilistic Models. Теперь, когда мы понимаем, что такое диффузия, нам понятно, как работают основные компоненты не только Stable Diffusion, но и Dall-E 2 с Google Imagen.

Обратите внимание, что описанный выше процесс диффузии генерирует изображения без использования текстовых данных. В последующих разделах мы расскажем, как в процесс внедряется текст.

Увеличение скорости: диффузия сжатых (скрытых) данных, а не пиксельного изображения

Для ускорения процесса генерации изображений Stable Diffusion (по информации из исследовательской статьи) выполняет процесс диффузии не с самими пиксельными изображениями, а со сжатой версией изображения. В статье это называется «переходом в скрытое пространство».

Это сжатие (и последующая распаковка/рисование) выполняется при помощи автокодировщика. Автокодировщик сжимает изображение в скрытое пространство при помощи своего кодировщика, а затем воссоздаёт его при помощи декодера на основе только сжатой информации.

Далее со сжатыми latent выполняется прямой процесс диффузии. Используются срезы шума, применяемые к этим latent, а не к пиксельному изображению. То есть предсказатель шума на самом деле обучается прогнозировать шум в сжатом описании (в скрытом пространстве).

При помощи прямого процесса (с использованием кодировщика автокодировщика) мы генерируем данные для обучения предсказателя шума. После его обучения мы можем генерировать изображения, выполняя обратный процесс (при помощи декодера автокодировщика).

Эти два потока показаны на рисунке 3 статьи про LDM/Stable Diffusion:

Также на этом рисунке показаны компоненты «согласования», которые в данном случае являются текстовыми строками, описывающими изображение, которое должна генерировать модель. Поэтому давайте рассмотрим эти текстовые компоненты.

Текстовый кодировщик: языковая модель Transformer

Языковая модель Transformer используется в качестве компонента понимания языка, она получает текстовую строку и создаёт эмбеддинги токенов. В опубликованной модели Stable Diffusion используется ClipText (модель на основе GPT), а в статье применяется BERT.

В статье, посвящённой Imagen, показано, что выбор языковой модели важен. Замена на более объёмные языковые модели сильнее влияет на качество генерируемого изображения, чем более объёмные компоненты генерации изображений.

Улучшение/увеличение языковых моделей существенно влияет на качество моделей генерации изображений. Источник: Статья про Google Imagen, написанная Saharia и соавторами. Рисунок A.5.

В первых моделях Stable Diffusion просто подключалась предварительно обученная модель ClipText, выпущенная OpenAI. Возможно, будущие модели перейдут на новые и гораздо более объёмные OpenCLIP-варианты CLIP. В эту новую группу входных векторов включены текстовые модели размерами до 354 миллионов параметров, в отличие от 63 миллионов параметров в ClipText.

Как обучается CLIP

CLIP обучается на массиве изображений и подписей к ним. Массив данных выглядит примерно так, только состоит из 400 миллионов изображений и подписей:

CLIP — это сочетание кодировщика изображений и кодировщика текста. Обучающий процесс модели можно упрощённо представить как кодирование изображения и его подписи кодировщиками изображений и текста.

Затем мы сравниваем получившиеся эмбеддинги при помощи косинусного коэффициента. В начале процесса обучения схожесть будет низкой, даже если тест описывает изображение правильно.

Мы обновляем две модели так, чтобы в следующий раз при создании эмбеддингов получившиеся эмбеддинги были схожими.

Повторяя этот процесс со всем массивом данных и группами входных векторов большого размера, мы получаем кодировщики, способные создавать эмбеддинги, в которых изображение собаки и предложение «a picture of a dog» схожи. Как и в word2vec, процесс обучения также должен включать в себя отрицательные примеры изображений и подписей, которые не совпадают, а модель должна присваивать им низкую оценку схожести.

Передача текстовой информации в процесс генерации изображений

Чтобы сделать текст частью процесса генерации изображений, нам нужно модифицировать предсказатель шума так, чтобы он использовал в качестве входных данных текст.

Теперь наш массив данных содержит закодированный текст. Так как мы работаем в скрытом пространстве, то входные изображения и прогнозируемый шум находятся в скрытом пространстве.

Чтобы лучше понять, как текстовые токены используются в Unet, давайте глубже разберёмся с Unet.

Слои предсказателя шума Unet (без текста)

Для начала рассмотрим диффузионную Unet, не использующую текст. Её входы и выходы выглядят так:

Внутри мы видим следующее:

• Unet — это последовательность слоёв, работающая над преобразованием массива latent.
• Каждый слой обрабатывает выходные данные предыдущего слоя.
• Часто выходных данных подается (через остаточные соединения) для обработки на дальнейших этапах сети.
• Шаг времени преобразуется в вектор эмбеддингов шага времени, который используется в слоях.

Слои предсказателя шума Unet с текстом

Давайте посмотрим, как изменить эту систему, чтобы уделить внимание тексту.

Основное изменение системы, которое необходимо для добавления поддержки текстового ввода (техническое название: text conditioning) — добавление слоя attention между блоками ResNet.

Обратите внимание, что блок resnet не смотрит непосредственно на текст. Слои attention объединяют эти текстовые описания в latent. И теперь следующий ResNet может использовать эту встроенную текстовую информацию в своей обработке.

Заключение

Надеюсь, это даст вам поверхностное понимание работы Stable Diffusion. В ней задействовано множество других концепций, но я считаю, что их проще понять, если вы знаете описанные выше строительные блоки. Для дальнейшего изучения можно воспользоваться представленными ниже полезными ресурсами.

Ресурсы

• У меня есть одноминутный клип на YouTube по использованию Dream Studio для генерации изображений при помощи Stable Diffusion.
• Stable Diffusion with 🧨 Diffusers
• The Annotated Diffusion Model
• How does Stable Diffusion work? – Latent Diffusion Models EXPLAINED [Видео]
• Stable Diffusion — What, Why, How? [Видео]
• High-Resolution Image Synthesis with Latent Diffusion Models [Статья про Stable Diffusion]
• Более подробное изучение алгоритмов и математики представлено в статье Лилиан Венг What are Diffusion Models?

Благодарности

Благодарю Робина Ромбаха, Дэнниса Сомерса, Яна Сидякина и сообщество Cohere For AI за отзывы о ранних версиях этой статьи.

Насколько велика проблема с шумом на цифровых фотографиях?

Я продолжаю видеть рекламу программ для уменьшения шума на цифровых фотографиях. Это дает представление о том, что шум всегда является огромной проблемой, которую необходимо решать. Это реклама, конечно. Или это действительно проблема, которую мы должны решить с помощью специализированного программного обеспечения?

Это не разглагольствования против компаний-разработчиков программного обеспечения, которые продают программы специально для шумоподавления. Это то, что мне стало любопытно после того, как я прочитал несколько более старую статью об ограничении настройки ISO до максимального значения ISO 400 для предотвращения шума. С шумоподавлением конечный результат лучше или хуже по сравнению с оригиналом? Всегда ли необходимо выполнять какое-то агрессивное шумоподавление, чтобы изображения стоили показа? Я с трудом могу в это поверить.

Немного истории

Я начал фотографировать в начале девяностых. Я использовал много пленки с высоким ASA для концертной фотографии. ISO тогда назывался ASA. Часто пленки, которые я использовал, были ограничены 400 ASA (ISO 400), но я экспонировал эти пленки как 1600 ASA. Другими словами, изображения были недоэкспонированы на два стопа. Чтобы исправить это, потребовалось принудительное проявление пленки, что привело к большому количеству зернистости или шума, если хотите.

Скан с негатива. Одно из изображений концерта Генри Роллинза еще в 1994, в темном и неясном месте. Я использовал черно-белую пленку Ilford HP4 с экспозицией 1600 ASA.

Фотографии с большим количеством зерна часто считались художественными, мрачными или, в некоторых случаях, особенными. Я не говорю, что мои изображения можно считать таковыми, но многие фотографы использовали эту технику экспозиции, чтобы намеренно увеличить количество зернистости. Но с веком цифровой фотографии это внезапно стало большой проблемой.

Зернистая структура пленки и цифровой шум — разные вещи. В первую эру цифровой фотографии шум был действительно уродлив. Это был шум в самом худшем его проявлении, и не было никакого сходства с зернистой структурой пленки. Но структура шума стала более киношной. Это более естественно, чем когда-либо, хотя это зависит от используемой камеры.

Для этой панорамы Млечного Пути я использовал ISO 12 800 на моем Canon 5D Mark IV. При использовании веб-сайта шум не виден.

Меня никогда особо не беспокоила настройка ISO моей цифровой камеры. Если мне нужно было снимать с ISO 1600, я делал это. Конечно, существовал предел того, насколько высокое значение ISO можно было установить, не получая при этом только шум и полное отсутствие изображения. Но с тех пор предел сдвинут вперед.

В то время мой Canon EOS 20D мог делать ISO 1600, но не намного больше. Теперь мой Canon EOS R5 может делать ISO 6400 с меньшим шумом, и даже ISO 12800 для меня приемлемо. Кроме того, структура шума кажется более естественной.

Как я смотрю на свои изображения

Если я смотрю на свои фотографии, снятые с высокими значениями ISO, я вижу шум. Для некоторых концертов я использовал ISO до 12 800, и это также относится к фотографии ночного неба. Я даже попробовал ISO 32 000 для Млечного Пути на моем Canon 5D Mark IV с хорошими результатами. Хотя, должен признаться, я использовал стэкинг, чтобы уменьшить шум и сохранить детали.

При просмотре со 100% увеличением уровни шума становятся очевидными. Но кто смотрит на такое изображение в реальной жизни? Если я смотрю на изображение, я хочу рассматривать его как единое целое с надлежащего расстояния. Таким образом, шум больше не так заметен, даже если изображение снято с очень высокими значениями ISO.

Моя 10-летняя юбилейная книга звездного следа, содержащая множество изображений, снятых с высокими настройками ISO. Шум вообще не был проблемой.

В 2017 году я напечатал книгу, посвященную 10-летию фотографирования звездных следов. Некоторые из избранных изображений были сняты при ISO 6400. Несмотря на то, что размер отпечатка составлял 30 см по длинной стороне, шум вообще не был проблемой. Конечно, если смотреть на изображения внутри книги с очень близкого расстояния, можно увидеть шумы. Но тогда это похоже на просмотр изображения через увеличительное стекло.

Это конкретное изображение было снято с ISO 6400. Хотя при просмотре с расстояния в несколько сантиметров есть некоторый шум, при обычном взгляде на книгу его не видно.

В моей книге «Зима на Лофотенских островах» было много ночных снимков северного сияния, сделанных при высоких значениях ISO. Компания Canon Netherlands напечатала одно из моих изображений метеорного потока Персеиды размером 30×40 см на профессиональном принтере. Шум так и не стал очевидным, несмотря на то, что изображение было при ISO 6400 на Canon EOS 5D mark III. Но при просмотре на 100% на экране компьютера шум явно присутствовал.

Для этого изображения использовалось значение ISO 6400. Хотя это высококачественная книга, обычно используемая для высококачественных свадебных альбомов, на ней не видно шума. Изображение было снято на Canon EOS 1DX.

В свадебных альбомах, которые я делаю для своих клиентов, часто есть фотографии, снятые с высоким уровнем ISO. Изображения внутри альбомов выглядят идеально, никакого шума не видно. Итак, зачем мне какое-то дополнительное программное обеспечение для шумоподавления?

Немного об экспозиции и обработке

Возможно, мне нужно объяснить, как я отношусь к своим изображениям при постобработке. В основном использую Lightroom Classic. Прежде всего, я всегда стараюсь использовать правую экспозицию (ETTR), даже при съемке ночного неба. Таким образом, я могу избежать чрезмерного восстановления теней и черного цвета на изображениях, что часто приводит к увеличению шума. Я использую маску для повышения резкости, чтобы избежать эффекта на частях, которые не нуждаются в повышении резкости. Это также предотвращает увеличение шума. При необходимости я устанавливаю шумоподавление в Lightroom Classic примерно на 25 и почти никогда не выше. Вот и все.

Млечный Путь, снято с ISO 12 800 на камеру Canon EOS 5D Mark IV.

Фрагмент предыдущего изображения. Присутствует некоторый шум яркости и цветовой шум, но это не проблема, особенно при печати или при использовании веб-сайта. Возможно, это будет считаться проблемой при просмотре на экране со 100% увеличением.

Является ли шум табу?

Да, я вижу шум, когда смотрю на некоторые свои фотографии на мониторе компьютера, но я знаю, что это не будет заметно при печати. Если я использую изображение для социальных сетей или на сайтах обмена фотографиями, разрешение уменьшается до веб-размеров. Любой шум теряется в процессе и больше не будет виден.

Нужно ли нам шумоподавление, потому что мы любим рассматривать наши изображения со 100% увеличением? Или это потому, что мы пытаемся создавать плавные и бесшумные изображения только потому, что верим, что так и должно быть?

Было темно, когда я получил сдачу, чтобы сфотографировать этого оленя. Мне нужно было ISO 12800 на моем Canon EOS R5. При просмотре со 100% увеличением присутствует много шума. Интересно, как это будет выглядеть при печати. Для использования на веб-сайте это идеально.

В большинстве случаев я считаю, что нам вообще не нужно программное обеспечение для шумоподавления. Для онлайн-использования шум уже невидим из-за уменьшения масштаба. Для отпечатков это часто теряется в разрешении печати и при правильном расстоянии просмотра. Я бы посоветовал всем быть осторожными при использовании такого программного обеспечения.

Что вы думаете о шумоподавлении? Нужно ли это для вашей фотографии, и если да, то можете ли вы объяснить, почему? Это то, что я хотел бы понять. Я с нетерпением жду ваших комментариев ниже.

Лучшее программное обеспечение для шумоподавления в 2023 году (обновлено)

Программное обеспечение для шумоподавления постоянно совершенствуется на протяжении многих лет. Шум на фотографии выглядит как песчинки с грубой или «зернистой» текстурой изображения. Часто виновником является высокое ISO. Фотографы используют высокие значения ISO при съемке в условиях низкой освещенности или ночью, когда штатив и длинная выдержка нецелесообразны. Цифровые камеры продолжают улучшать свою способность делать четкие изображения при высоких значениях ISO. Но есть момент, когда шум заметен.

Решение об удалении шума при высоких значениях ISO зависит от вас. Некоторым фотографам нравится внешний вид шума. Это придает фотографиям винтажный вид. Но для тех из вас, кто хочет более чистого вида, я покажу вам, что я считаю лучшим программным обеспечением для шумоподавления.

Наш лучший выбор

Topaz Labs DeNoise AI

Ищете программное обеспечение для шумоподавления, которое удовлетворяет ваши потребности в фотографии? Попробуйте этот мощный программный инструмент, который использует искусственный интеллект для точного определения и уменьшения шума, сохраняя при этом важные детали и текстуры.

Магазин  Предложения

Проверить цену на

Купить у

Недоступен

Лучшее программное обеспечение для шумоподавления, которое можно купить в 2022 году

Прежде чем мы углубимся в лучшее программное обеспечение, давайте посмотрим на изображения, которые я использовал для тестирования шумоподавления. Я использовал два изображения в поисках лучшего программного обеспечения для шумоподавления. Они были сняты при высоких значениях ISO и имели заметный цифровой шум. Я взял их с Sony A7R3. Я отредактировал базовые изображения в Lightroom Classic перед применением шумоподавления.

Одно изображение было ночным снимком, сделанным с ISO 10 000. Я выбрал это фото, чтобы посмотреть, смогут ли программы отличить шум от звезд.

Ночное небо с метеором. Мои настройки были f/4.0 @ 10 секунд ISO 10 000.

Другим был снимок дикой природы, сделанный с ISO 6400 и малой глубиной резкости. Я хотел посмотреть, как программы справляются с размытым фоном и детализацией птичьих перьев. Программы удаления шума могут создать восковой вид, который будет заметен на перьях.

Голубая цапля. Мои настройки: f/8.0 @ 1/500 секунды, ISO 6400.

Я начал поиск лучшего программного обеспечения для шумоподавления, просмотрев полные программы постобработки, включающие шумоподавление. Затем я посмотрел на плагины шумоподавления для Lightroom Classic или Photoshop.

Вот как я оценил полные программы постобработки.

1. Capture One Pro

Capture One Pro — это комплексная программа для редактирования фотографий, конкурирующая с Lightroom Classic. Планы начинаются с 14 долларов в месяц, и есть бесплатная пробная версия.

Capture One Pro была единственной программой, давшей хорошие результаты для обоих изображений. Некоторые плагины справились со съемкой дикой природы лучше, чем Capture One Pro или Lightroom Classic. Но Capture One Pro превзошла их всех на ночном изображении.

Я сравнил фотографии, отредактированные в Capture One Pro с шумоподавлением и без него. Программа хорошо справилась с сохранением деталей крыльев птицы, а также смягчила фон. Хотя на ночном фото, отредактированном в Capture One Pro, изначально было больше шума, программа хорошо справилась с удалением шума на небе.

 

 

Однако, несмотря на то, что Capture One Pro открывает файлы RAW, мои изменения в Lightroom Classic были потеряны. Я повторно отредактировал свои RAW-файлы в Capture One Pro, чтобы получить изображения для сравнения. Имейте это в виду, сравнивая результаты Capture One Pro с другими программами.

Capture One Pro включает функцию шумоподавления для контроля яркости и цветового шума. Ползунок детализации показывает больше деталей. Уникальной особенностью Capture One Pro является ползунок Single Pixel, который устраняет горячие пиксели на фотографии. Это изолированные белые пиксели, которые выделяются из темных областей.

2. Photo Ninja

Photo Ninja — это программа постобработки с полным спектром услуг, стоимость которой составляет 129 долларов США. В состав программы входит программа шумоподавления, ранее называвшаяся Noise Ninja. Как и в случае с Capture One Pro, я редактировал свои RAW-файлы в программе. Я сделал сравнительное фото, а затем использовал инструмент шумоподавления.

Фотониндзя был на втором месте! Capture One Pro только что вытеснил эту мощную программу благодаря улучшенной детализации. Но мне понравилась кремовая гладкость, которую создал Photo Ninja.

Обработка изображений в Photo Ninja изначально приводила к большему количеству шума. Но программа очень хорошо справилась с шумом на изображении дикой природы. На ночном снимке программа поглощала звезды и делала небо комковатым. Мне понравились результаты шумоподавления в целом. С большим знакомством я могу получить еще лучшие результаты.

 

 

Photo Ninja прост в использовании как инструмент для редактирования фотографий. В программу включены три шумоподавляющих «движка». Я использовал Noise Ninja 4 Turbo. В описании, данном разработчиками, говорится, что этот вариант дает более естественный вид и лучше всего работает на изображениях с высоким ISO. Я выбрал опцию Smart Preset, которая анализирует изображение и применяет коррекцию в зависимости от модели моей камеры. Результаты сразу были неплохие. Я добавил немного больше подавления цветового шума и уменьшил эффект сглаживания. Учебная информация о том, как использовать этот инструмент, исключительно ясна.

Ползунки были очень чувствительными. Не потребовалось много времени, чтобы начать видеть шумоподавление. Было слишком легко переборщить со сглаживающими эффектами. Мне пришлось подтолкнуть ползунки уменьшения шума цвета намного выше, чем ползунки яркости.

3. Lightroom Classic

Lightroom Classic поставляется с планом Creative Cloud стоимостью от 9,99 долларов США в месяц.

Lightroom Classic хорошо справился с обоими изображениями и справился с задачей ночного изображения лучше, чем некоторые другие программы. Если вы уже являетесь пользователем Adobe, эта программа, скорее всего, удовлетворит большинство ваших потребностей в уменьшении светового шума. Но для сложных изображений на рынке есть лучшее программное обеспечение для шумоподавления.

 

 

Шумоподавление находится на панели «Детали» модуля «Разработка» рядом с «Резкостью». По умолчанию ползунки шумоподавления, яркость и цвет установлены на ноль.

Когда я выдвинул все ползунки шумоподавления на максимум, разница в изображении была заметна. Но я также видел какой-то цветной ореол вокруг крыльев птицы. Большая часть хроматического шума на заднем плане исчезла, но исчезли и некоторые детали птичьих перьев. На ночной фотографии более слабые звезды исчезли, оставив на небе пустые участки. Даже при значении 100 в самой темной части изображения оставался цветовой шум.

4. Photoshop

Photoshop поставляется с планом Creative Cloud, стоимость которого начинается от 9,99 долларов США в месяц.

Я часто обрабатываю фотографии в Photoshop, но вместо этого всегда использую Lightroom Classic для уменьшения шума.

Фотошоп занял последнее место в моем рейтинге. Встроенные инструменты для удаления шума были нестандартными по сравнению с другими программами.

 

В Photoshop есть набор инструментов фильтрации шумоподавления. Чтобы найти их, перейдите в раскрывающееся меню «Фильтр». Выберите Фильтр > Шум > Уменьшить шум . Photoshop автоматически уменьшает шум. У вас есть возможность настроить силу эффекта, сохранить детали, уменьшить цветовой шум и повысить резкость деталей.

Для изображения дикой природы я выбрал максимальную интенсивность и уменьшил цветовой шум на 100%. Результаты были тревожными. Photoshop добавил странную текстуру ко всему моему изображению. Я пробовал снова и снова с различными настройками. На мой взгляд фотошоп сделал изображение хуже. Я попробовал это с моим ночным снимком с аналогичными результатами. Фотошоп, казалось, добавлял, а не уменьшал шум. Я пробовал другие варианты в Noise Filter. Медиана с радиусом в 2 пикселя, похоже, работала лучше всего. Но это все еще было не так хорошо.

Если вы используете Photoshop для редактирования фотографий, стоит инвестировать в подключаемый модуль.

Вот как я оценил плагин для шумоподавления.

1. Neat Image

Neat Image доступен в виде подключаемого модуля Photoshop или отдельной программы за 39 долларов США.

Я оценил Neat Image как лучший плагин для шумоподавления на 2021 год. Он не только эффективен, но и намного быстрее и дешевле, чем другие плагины. Программы сохранили детализацию объекта, приятно сгладив размытый фон. Neat Image дал мне большой контроль над балансом шума и размытия.

 

 

После установки подключаемый модуль Neat Image отображается в раскрывающемся меню «Фильтр». После открытия Neat Image строит шумовой профиль изображения. Программа была быстрой и легкой, как только я прочитал инструкции. Первоначальные результаты были хорошими. Оттуда вы можете настроить уровень шумоподавления, уровень шума и резкость.

Из всех программ Neat Image быстрее всех отрисовывала изменения. У меня был мгновенный контроль над различными параметрами резкости и количеством шумоподавления.

2. Topaz DeNoise AI

DeNoise AI — это программа для шумоподавления от Topaz Labs. Стоимость программы $79,99. Доступна бесплатная пробная версия. Это работает как отдельная программа или как плагин для Lightroom Classic и Photoshop.

DeNoise AI хорошо справился с сохранением деталей на размытом фоне и удалением цветного шума. Но результаты были более неоднозначными с моим ночным изображением.

 

 

При открытии инструмента у вас будет три быстрых параметра: DeNoise AI, AI Clear и Low Light. Я выбрал AI Clear в качестве описания «удаление шума из изображений с высоким ISO», которое лучше всего подходит для моих примеров. Программа позволяет вам выбрать, хотите ли вы низкое, среднее или сильное удаление шума (я выбрал «высокое») и насколько вы хотите повысить резкость. У вас также есть ползунки, которые позволяют вам контролировать, сколько деталей восстанавливает программа и насколько вы хотите уменьшить цветовой шум. DeNoise AI также включает функцию маски, которая позволяет вам выборочно уменьшать шум в частях вашего изображения.

Даже без повышения детализации Topaz DeNoise AI лучше, чем Lightroom Classic. Он сохранил детали и удалил шум из изображения дикой природы. Но это боролось с моей ночной сценой. Я пробовал разные настройки, но не смог заставить программу сделать вмятину на шуме.

3. Noiseware

Noiseware — это подключаемый модуль для Photoshop от Imagenomic. Программное обеспечение стоит 79,99 долларов США, и доступна бесплатная пробная версия.

На мой взгляд, Noiseware был похож на DeNoise AI. Обе программы боролись с ночным изображением. Но Noiseware больше сгладил перья, и поэтому занял более низкое место.

После установки подключаемый модуль Noiseware находится в раскрывающемся меню «Фильтр». Вы можете выбрать, сколько шума удалить, а также насколько сгладить детали. Noiseware включает предустановки, которые регулируют яркость, цветовой шум, защиту деталей и улучшение деталей. Вы также можете настроить пресеты в зависимости от шума на вашем изображении.

Я выбрал полное шумоподавление. Этот пресет удалил больше шума, но также сгладил перья.

На обоих изображениях результаты были как у DeNoise. Мне понравилась плавность в размытии фона. Noiseware, казалось, сохранил хороший цвет в моем изображении дикой природы. Зная, что моя ночная сцена была проблематичной, я выдвинул ползунки шума на максимум, но шума все равно было слишком много.

4. Dfine

Dfine — это программа для шумоподавления, включенная в коллекцию Nik. Этот набор из 8 плагинов обойдется вам в 149 долларов. Вы можете приобрести Dfine только как часть коллекции. Также доступна бесплатная пробная версия. Я использовал старую версию Nik Collection в течение многих лет. Меня интересовало, улучшилось ли шумоподавление в текущей версии.

Dfine хорошо справляется с размытым фоном, но не с детализацией объекта. Как и другие плагины Photoshop, Dfine боролся с ночным изображением. Но результаты были лишь немного лучше, чем при использовании Lightroom Classic без плагина. Кажется, не стоит пытаться редактировать мое изображение с помощью этого плагина.

 

 

Когда вы открываете изображение в Dfine, оно автоматически корректирует контрастность (яркость) и цветовой шум. У вас есть возможность удалить больше шума, сбалансировав удаление шума с сохранением деталей. У вас также есть возможность выборочно настроить шум в цветах. Одной из особенностей коллекции Nik является использование контрольных точек. Это похоже на выборочное редактирование. Поместите контрольную точку над целевой областью, и вы сможете управлять контрастностью и снижением цветового шума для этой области.

Dfine убрал много шума на изображении дикой природы, но остался некоторый цветной шум. Результат с размытым фоном мне понравился больше, чем в Lightroom Classic, но птица потеряла много деталей и выглядела восковой. Dfine боролся с ночной сценой. Он удалил все звезды, кроме самых ярких, и размыл точки света.

Заключение

Два изображения, которые я использовал в этом обзоре, по-разному бросали вызов программному обеспечению шумоподавления. У каждой программы, которую я описал, есть свои плюсы и минусы.

Сравнение шумоподавления в полных программах постобработкиСравнение плагинов шумоподавления

Итак, мой выбор! Но вам не нужно верить мне на слово в отношении лучшего программного обеспечения для шумоподавления.