Астрофотография на Pixel 4: Как это работает?

Валера уехал в горы, чтобы сделать несколько крутых снимков на Pixel 4 XL, используя новый режим АСТРОФОТОГРАФИИ

Валерий Истишев 6 ноября 2019 в 12:07

А вы знали что на смартфон можно сделать такое фото? Посмотрите, что может Pixel 4.

 

На самом деле я вас немного обманул и это фото сделано на iPhone 11 Pro, а вот снимок при тех же условиях на Pixel 4.

Как такое стало возможным? Попробуем разобраться!

Классический астрофотограф — это человек со штативом, с хорошей дорогой камерой, желательно полнокадровой, находящийся где-то далеко от цивилизации, то есть с минимумом светового мусора вокруг. И самое главное — с багажом знаний и умений. 

Но сегодня всё больше сложных вещей становятся простыми, и с тем же Pixel и обновленной Google Camera каждый может стать немного астрофотографом — но для этого по-прежнему понадобится штатив и темнота — остальные пункты можно вычеркнуть.

Вот несколько кадров на Pixel 4 XL, и сейчас я расскажу как их сделать самому и как все работает внутри. Что самое интересное — на самом деле, это может почти каждый Android-смартфон.

Но вернемся к подготовке к снимку. Почему я твержу о темноте, потому что это действительно важно! Спросите себя — как часто вы видите звезды, например, в Москве или в другом крупном городе. Даже в безоблачную погоду максимум, что можно разглядеть это ковш большой медведицы, и то не всегда — остальные звезды не видно из-за огромного количества света, который выделяют города. Если же вы хотите узнать, где лучше видно звёзды — зайдите на сайт www.lightpollutionmap.info. По карте светового загрязнения можно понять насколько далеко надо уехать.

Подготовку закончили, штатив есть, темноту нашли, не забываем и про погоду, облака тоже могут всё испортить — теперь разберемся как сама магия происходит.

В камерах чаще всего идет работа с длинными выдержками, а решающими факторами может стать оптика и размер матрицы, и уже далее идёт кропотливая постобработка на компьютере . Астрофото на Pixel 4 и Pixel 4 XL — это отдельная функция и она имеет немного другие принципы. Главное — все должно делаться на автомате по одному нажатию — в этом и магия!

Google называет этот режим HDR+ на стероидах. То есть технически астрофотография — это не развитие ночного режима, а разновидность стандартного режима для дневных снимков, что забавно!

Для тех кто не смотрел наш подробный разбор технологии HDR+ напоминаю: в этом режиме делается несколько снимков с короткой экспозицией. Потом они объединяются с усреднением цвета каждого пикселя, что позволяет убрать шумы и подтянуть тени. И вуаля!!! Мы получаем чистую картинку с широким динамическим диапазоном.

Режим астрофотографии делает почти тоже самое, только теперь экспозиция каждого кадра становится длинной и длится аж до 15 секунд. При этом количество кадров достигать шестнадцати.

Суммарно это дает экспозицию в 4 минуты, за которые телефон способен собрать много света, даже от невидимых для человеческого глаза звёзд! Но чтобы всё заработало телефон необходимо надежно зафиксировать на штативе или просто куда-нибудь положить. Иначе режим просто не включится. В настройках камеры даже нет отдельного режима. Тогда как это работает? 

Если камера находится в ночном режиме, смартфон сам определяет, что его поставили на штатив и появляется уведомление, что включен режим астрофотографии.

Вы скажете, что это не серьёзно! Если снимать целых 4 минуты, да ещё и на штативе — любой телефон сможет сделать крутой ночной снимок. Но это не совсем так!

Дело в том, что у всех цифровых матриц, особенно у маленьких, есть большая проблема — при длинных выдержках многие пиксели на матрице, условно говоря, перегреваются и превращаются в белые точки. Которые, в нашем случае, довольно сложно отделить от настоящих звезд. 

И может быть в некоторых компаниях решили бы: “так даже лучше — будет больше звёзд на небе!” Но команда Gcam пошла другим путём и научилась математически вычислять горячие пиксели, и удалять их, а не звёздочки.

 

И так мы получили много света, удалили горячие пиксели — осталось дело за малым, надо объединить полученные снимки, как это всегда делал алгоритм HDR+.

Но появляется другая проблема. Мы можем зафиксировать телефон, но не нашу планету, которая постоянно вращается, и соответственно, звезды перемещаются по небу. В результате, если мы просто склеим снимки получится скорее снимок с лайттреками или же в буквально смысле «земля уйдёт из-под ног».

Поэтому в дело вступает наша любимая семантическая сегментация, в которую Google тоже умеет! Небо отделяется от Земли и каждый из участков фотографии выравнивается и обрабатывается по-своему. В результате чего мы получаем чистое сияющее ночное небо и детализированный земной пейзаж.

Да-да, всё это очень прикольно, но где мне найти звёздное небо? Я же в городе живу, скажете вы. Самое интересное, этот режим отлично работает и для обычной ночной фотографии. Причем качество снимков получается сравнимое с полноценным большим фотоаппаратом.

Правда в этом случае смартфон снимает часто меньше 4 минут —  где-то 2-3 и любопытно что результат получается почти такой же как и на iPhone 11 Pro с выдержкой всего 20-30 секунд. Можете сами изучить кадры по ссылке.

И в завершении моё самое любимое. Ведь перед нами чисто софтверная история. А значит можно просто накатить порт последней Google Camera на свой Android-смартфон и наслаждаться звездным пейзажем!

Благодарим за помощь в создании материала нашего друга Антона Евстратенко.

Post Views: 16 287

Астрофотография: звезды в кадре

Фото: Виктор Молодцов

Фотосъемка небесных тел – это одновременно искусство и способ познания мира. Просто сфотографировать звездное небо на смартфон может каждый, но, чтобы у снимка появилась художественная или научная ценность, нужно специальное оборудование. Например, телескоп с особенной конструкцией линз, не допускающей искажений при фотосъемке.

Такие телескопы производят на Лыткаринском заводе оптического стекла (ЛЗОС) холдинга «Швабе».

Недавно на рынок поступили четыре модели из линейки «Астро-Апо», с помощью которых можно сделать незабываемые кадры звездного неба.

О том, как и с помощью чего лучше всего делать астрофотографии – в нашем материале.

Новые модели телескопов «Астро-Апо» для астрофотографии Лыткаринский завод будет собирать индивидуально для каждого заказчика. Это продукт штучный, прибор должен быть правильно настроен, исходя из пожеланий покупателя, чтобы добиться наилучшего результата. Поэтому заказывать телескопы следует заранее.

Испытания новинки уже прошли, специалисты «Швабе» удостоверились, что телескопы хорошо переносят транспортировку, вибрацию, перепады температур, сохраняя оптические характеристики. Тут надо отметить, что процесс термостабилизации, то есть приведения температуры оптики и воздуха внутри телескопа к температуре окружающей среды, у объективов моделей «Астро-Апо» происходит максимально быстро.

Таким образом, за короткое время телескопы приходят в температурное равновесие с окружающей средой, что очень важно для снижения погрешностей при фотосъемке космических объектов.

Диаметр объективов новых моделей – от 100 до 130 мм, соответственно диаметр и светосила четырех моделей: 100/8, 105/6.2, 123/6 и 130/6. Светосильными телескопы считаются при показателях светосилы от 1/6 до 1/8, причем не стоит забывать, что первая величина больше, чем последняя.

Параметр светосилы очень важен при астрофотосъемке. Более светосильный телескоп дает возможность снимать звезды и планеты на максимально коротких выдержках. При этом наблюдать Дальний космос со светосильными телескопами гораздо удобнее и эффективнее. Увидеть можно больше, что касается протяженных объектов, таких, как галактики и туманности. Кроме того, и картинка будет ясная, а увеличение относительно небольшое. Например, при светосиле 1/6 можно довольно четко «поймать» двойное ядро Туманности Андромеды.

С помощью новых моделей «Астро-Апо» астрономы, как любители, так и профессионалы, получат возможность наблюдать свыше ста небесных тел из каталога Мессье: планеты, эллиптические и спиральные галактики, звездные скопления, разные виды туманностей. Что касается нашей галактики, то телескопы дадут возможность увидеть в подробностях лунные кратеры диаметром 3-5 км, поверхность Марса во время противостояний, пояса Юпитера, облачные пояса на Сатурне. Причем наблюдать за космическим пространством и заниматься фотосъемкой можно в любых удобных условиях, перевозить телескопы с собой, чтобы увидеть необходимые объекты и явления в наиболее подходящих географических широтах. Идеально темное небо – залог качественной астрофотосъемки – лучше искать на природе, вдали от огней больших городов. Благо все необходимое для создания шедевров астрофотографии можно взять с собой, ведь новые модели телескопов выдерживают до пяти килограммов аксессуаров: астрономических камер, фильтров и диагональных зеркал.

Для качественной съемки немаловажное значение имеет и фокусер телескопа, который «отвечает» за наводку резкости изображения. Новые модели отличаются двухскоростным фокусером, обеспечивающим высокоточную наводку. Двухскоростной фокусер гораздо эффективнее при работе с большими увеличениями.

«Астро-Апо» – серия телескопов, о запуске которой Лыткаринский завод объявил еще в прошлом году. В новой модификации бленду каждого объектива разработчики изготовили аддитивным способом, с применением технологий 3D, что дало возможность уменьшить массу приборов.

Название всей линейке телескопов «Астро-Апо» дал апохромат – объектив со специальным устройством линз. Он позволяет избежать искажений, характерных для классических объективов, особенно при съемке объектов на больших расстояниях. В апохроматических объективах используются несколько линз из стекол особых сортов. Такое устройство позволяет волнам разной длины фокусироваться строго в нужной точке без расхождения, а стало быть, создавать потрясающие картины звездного неба становится гораздо проще и удобнее.

Обзор объектива Rokinon/Samyang 14mm f/2.8

При покупке по ссылкам на нашем сайте мы можем получать партнерскую комиссию. Вот как это работает.

Объектив Rokinon/Samyang 14mm f/2.8 — это сверхширокоугольный объектив, который не очень дорогой и является отличным выбором для астрофотографии.

(Изображение: © Amazon)

Космический вердикт

Объектив Rokinon/Samyang 14mm f/2.8 — это отличный способ получить чрезвычайно широкое поле зрения без больших затрат.

ЛУЧШИЕ ПРЕДЛОЖЕНИЯ СЕГОДНЯ

Плюсы

• +

  Чрезвычайно широкий

• +

  Достаточно быстрый

• +

  Красивый и дешевый

Минусы

• —

  Против

• —

  Деформация

• —

  Полностью ручная

• —

  Несъемная бленда

2

Почему вы можете доверять космосу Наши эксперты-рецензенты часами тестируют и сравнивают продукты и услуги, чтобы вы могли выбрать лучшее для себя. Узнайте больше о том, как мы тестируем.

Чрезвычайно широкий и чрезвычайно дешевый может показаться немного оскорблением, но для фотографов это может быть Святым Граалем.

Основные характеристики

Тип: Prime, полнокадровая совместимость

Совместимость: Canon EF (проверено), Nikon F, Nikon Z, Sony FE f/2,8 — f/22

Размер резьбы: Нет

Вес: 1,1 фунта

Объектив Rokinon/Samyang 14 мм (открывается в новой вкладке) примерно такой ширины, какую вы можете использовать на одной из лучших камер для астрофотографии без искажения «рыбий глаз», опуская диафрагму ниже f/2,8 или тратя намного больше денег, делая это заманчивый объектив для астрофотографов и один из наших лучших объективов для астрофотографии.

• Широкоугольный объектив Samyang 14 мм f/2,8 на Amazon за 249 долларов США (открывается в новой вкладке) очень близко к вещам, захватывая внутреннюю часть комнат или помещая в кадр величие целых гор. Конечно, это специальное фокусное расстояние, но оно подходит для достаточного количества ниш, поэтому наличие одного в вашей коллекции объективов не является полной расточительностью. Вот почему мы считаем его одним из лучших объективов для астрофотографии прямо сейчас.
  • Related: DSLR vs Mirrorless Cameras for Astrophotography

  Rokinon/Samyang 14mm f/2.8 lens review: Design

  • Not too heavy
  • Bit of a strange shape 
  • Пластиковый корпус, металлическое крепление
  (Изображение предоставлено Яном Эвенденом)

  Взгляд с точки зрения человека, привыкшего к более современным выпускам объективов, толстые черные цилиндры отмечены только именем производителя и фокусным расстоянием , их ручная фокусировка выглядит тонкой запоздалой мыслью, которая едва нарушает их гладкий пластиковый корпус своим цепким рисунком, Samyang 14mm f / 2. 8 — любопытный зверь.

  Во-первых, имя. Это объектив корейского производства, который продается под разными названиями. Этот объектив обычно продается как Samyang или Rokinon, хотя у компании, которая владеет этими названиями, также есть Vivitar, Bower, Opteka и многие другие бренды, которые вы увидите на дешевых объективах в своей коллекции. Нет никакой разницы между брендами; они производятся на одном заводе, только называются по-разному. Наш бренд Samyang, поэтому мы будем называть его так.

  (Изображение предоставлено Яном Эвенденом)

  Ну и форма. Поскольку это фикс-объектив с ручной фокусировкой, нет необходимости в моторах автофокусировки или концентрических участках корпуса, поэтому там, где он соприкасается с камерой, он кажется более узким, чем многие другие объективы. На другом конце, однако, он внезапно раскрывается в виде огромного фиксированного лепесткового колпака, который защищает выпуклый стеклянный элемент под ним.

  Из-за этой фиксированной бленды крышка объектива, которая сдвигается вниз, чтобы полностью закрыть ее и защелкивается, также находится на большой стороне. В то время как крышки от большинства объективов можно легко положить в карман, поскольку они почти плоские, вам нужно подумать о том, где вы собираетесь хранить эту.

  Объектив изготовлен из нескольких видов пластика, при этом кольцо диафрагмы заметно более гладкое, а байонет выполнен из металла. Тем не менее, это пластик приличного качества, и объектив кажется прочным в руке. Астрофотографы по достоинству оценят жесткую остановку при фокусировке на бесконечность, что значительно упрощает сохранение резкости звезд, не отвлекая внимание от экрана камеры.

  • Связанный: Советы по астрофотографии для покадровой съемки (открывается в новой вкладке)

  Обзор объектива Rokinon/Samyang 14mm f/2.8: Характеристики

  Сверхширокоугольные объективы, даже прямолинейные, такие как Rokinon/Samyang 14mm f/2.8, имеют заметную степень искажения. И хотя центр объектива достаточно резкий, даже широко открытые края и углы оставляют желать лучшего. Это имеет меньшее значение с точки зрения астрофотографии, поскольку следы звезд с большей вероятностью удлиняют звезды от точечных источников света до коротких линий, но пейзажные фотографы определенно заметят, что углы менее острые, чем центр, в то время как архитектурные фотографы, которые поклоняются прямым линиям, заметит колеблющуюся выпуклость в центре их изображений.

  Астрофотографам также придется столкнуться со значительным затенением углов при f/2.8, от которого страдают все 14-мм объективы. Однако искажения и виньетирование не настолько плохи, чтобы лучшие приложения для редактирования фотографий (открывается в новой вкладке) не могли позаботиться о них одним щелчком мыши.

  Комета NEOWISE над Норфолк-Бродс, июль 2020 г. Фокус на этом изображении немного неправильный, что приводит к дискообразным звездам. Редко бывает достаточно хорошо, чтобы нажать на бесконечную остановку и оставить ее там. (Изображение предоставлено Иэном Эвенденом)
  На этом ночном снимке, на котором видны и Юпитер, и Сатурн, в углах видны небольшие следы звезд. (Изображение предоставлено Иэном Эвенденом)

  Максимальная диафрагма f/2.8 не особенно эффективна, но сверхширокоугольные объективы с более широкой апертурой встречаются редко. Это, безусловно, лучше, чем объектив с диафрагмой f/4 или f/5,6, так как каждый дополнительный шаг удваивает количество света, попадающего на датчик, что упрощает захват слабых объектов, не создавая проблем со следом звезды. Вы можете выставить 30 секунд с объективом Rokinon/Samyang 14mm f/2.8 и получить только малейший шлейф в углу изображения, в то время как звезды в центре останутся точками. Снижение до 20 секунд улучшает ситуацию. Поэтому, если падающие звезды движутся по следу, вам нужно будет сложить много 30-секундных кадров, чтобы получить полный эффект, поэтому рассчитывайте оставить камеру снаружи на несколько часов.

  Вдобавок к этому есть обычные проблемы со сверхширокоугольными объективами. Поместите объект рядом с объективом Rokinon/Samyang 14mm f/2.8, и такие предметы, как его нос, будут казаться удлиненными. Слишком близко расположенные к краю фигуры будут растянуты, и все изображение приобретет вытянутый, сюрреалистичный вид. Этот объектив не предназначен для серьезной портретной съемки с заполнением кадра, но его можно использовать, чтобы поместить объект в контекст как меньшую часть большой картины, а короткое фокусное расстояние означает, что вам не нужно стоять слишком далеко, чтобы снимать. Управляй этим.

  Объектив Rokinon/Samyang 14mm f/2.8 также может быть сложен в использовании, так как каждый его аспект требует ручного управления. Тем не менее, любой, кто использовал пленочную зеркальную фотокамеру до появления автофокуса и управляемой камерой диафрагмы, обнаружит, что старые навыки возвращаются. Переведите камеру в режим приоритета диафрагмы, установите диафрагму на кольце объектива (даже при f/2,8 глубина резкости значительна), затем сфокусируйтесь или установите гиперфокальное расстояние. Только после этого вы готовы сделать снимок (версия AF доступна для некоторых креплений, но стоит вдвое дороже). В ясный день вам может понадобиться диафрагма до f/8, но для астросъемки вам понадобится широко открытая диафрагма при f/2.8, чтобы максимально использовать доступный свет, поэтому используйте светосилу вашей камеры. экран, чтобы увеличить масштаб и убедиться, что звезды максимально четкие, — это ключ к успеху.

  Если вы можете заполнить кадр достаточно интересно, Samyang 14 мм станет хорошим пейзажным объективом, но сверхширокий угол может быть сложным. (Изображение предоставлено Ian Evenden)
  Цветы на этом изображении показывают плохое качество изображения в углах объектива по сравнению с центром. (Изображение предоставлено Яном Эвенденом)

  Стоит ли покупать объектив Rokinon/Samyang 14mm f/2.8?

  Если вы ищете недорогой (стоимость относительна, а цены на объективы для фотоаппаратов могут быть заоблачно высокими) сверхширокоугольный объектив для астрофотографии или пейзажной/архитектурной съемки, то на рынке мало что еще может сравниться с Rokinon/Samyang. Объектив 14 мм f/2.8. Любой, кто хочет начать фотографировать ночное небо, оценит его диафрагму f/2.8 и возможность уместить огромные области космоса в один кадр.

  У него есть свои недостатки, но такие вещи, как дисторсия, могут быть исправлены при постобработке, а продуманная композиция может уменьшить негативные эффекты виньетирования и мягких углов.

  Это может показаться специализированным объективом, но если вы хотите начать снимать снимки ночного неба, это отличная отправная точка для всех, у кого есть полнокадровая зеркальная фотокамера.

  Если этот продукт не для вас

  Объектив Sigma 14mm F1.8 DG с таким же фокусным расстоянием, как у объектива Rokinon/Samyang 14mm f/2.8, и еще более широкой апертурой, позволяющей пропускать еще больше прекрасного звездного света. Объектив HSM ART добавляет автофокусировку, но обойдется вам в три или четыре раза дороже, чем Samyang.

  Rokinon/Samyang 24mm f/1.4 (откроется в новой вкладке) — еще один объектив с мануальным управлением, но с поглощающей свет диафрагмой на два шага быстрее, чем у Rokinon/Samyang 14mm f/2.8. Этот объектив не такой широкий, но все же является отличным выбором для ночного неба, а также имеет множество других применений. Он не так сильно искажает, а его углы острее, чем у Samyang 14 мм, хотя он немного дороже.

  Широкоугольный объектив Samyang 14 мм f2.8: Сравнение цен

  (откроется в новой вкладке)

  (открывается в новой вкладке)

  $249

  (открывается в новой вкладке)

  Вид (открывается в новой вкладке)

  (открывается в новой вкладке)

  (открывается в новой вкладке)

  (открывается в новой вкладке) вкладка)

  449,99 $

  (открывается в новой вкладке)

  267,58 $

  (открывается в новой вкладке)

  Просмотр (открывается в новой вкладке)

  Цена со скидкой

3 90 in6 new tab) (открывается3 9018

) (открывается в новой вкладке) новая вкладка)

(открывается в новой вкладке)

49 долларов США9

(откроется в новой вкладке)

279 $

(откроется в новой вкладке)

Просмотр (откроется в новой вкладке)

Цена со скидкой

(откроется в новой вкладке)

(откроется в0 новой вкладке3)

399 $

(откроется в новой вкладке)

279 $

(откроется в новой вкладке)

Просмотр (откроется в новой вкладке)

Цена со скидкой

(откроется в новой вкладке) 3 90 дюймов

$379

(открывается в новой вкладке)

Посмотреть (откроется в новой вкладке)

Показать больше предложений

на базе

Присоединяйтесь к нашим космическим форумам, чтобы продолжать обсуждать последние миссии, ночное небо и многое другое! А если у вас есть новость, исправление или комментарий, сообщите нам об этом по адресу: community@space. com.

Ян работает журналистом более 20 лет. Он пишет для журналов и веб-сайтов на такие темы, как астрономия, квантовая физика, разведение рыб, оборудование для ПК, редактирование фотографий и садоводство. Ян также был редактором журнала Windows Help and Advice и книжных журналов Discover Science. В свободное время он держит домашнюю черепаху и выращивает овощи, но хотел бы, чтобы у него было больше времени для фотографии.

Астрофотография с ночным прицелом на телефонах Pixel — блог Google AI

Авторы: Флориан Кайнц и Киран Мурти, инженеры-программисты, Google Research

Съемка уличных сцен в ночное время до сих пор была прерогативой больших камер, таких как DSLR, которые способны добиться отличного качества изображения при условии, что фотографы готовы мириться с громоздким оборудованием и порой сложной постобработкой. Несколько лет назад эксперименты с ночной фотографией на камеру телефона дали приятные результаты, но используемые методы были непрактичны для всех, кроме самых преданных пользователей.

Night Sight, представленный в прошлом году как часть приложения Google Camera для Pixel 3, позволяет фотографам делать красивые снимки с рук в настолько темных условиях, что в обычном режиме камера будет давать зернистые, сильно недоэкспонированные изображения. В предыдущем сообщении в блоге наша команда описала, как Night Sight может это сделать, а техническое обсуждение было представлено на SIGGRAPH Asia 2019.

Версия Night Sight этого года раздвигает границы фотографии при слабом освещении с помощью телефонных камер. Благодаря выдержке до 4 минут на Pixel 4 и 1 минуты на Pixel 3 и 3a последняя версия позволяет делать четкие и четкие снимки звезд в ночном небе или ночных пейзажей без искусственного освещения.


Вид на Млечный Путь с вершины вулкана Халеакала безоблачной и безлунной сентябрьской ночью. Снято с помощью приложения Google Camera, работающего на телефоне Pixel 4 XL. Изображение никак не ретушировалось и не подвергалось постобработке. Он показывает значительно больше деталей, чем человек может увидеть невооруженным глазом в такую ​​темную ночь. Отчетливо видны пылевые облака вдоль Млечного Пути, небо усыпано тысячами звезд, и в отличие от человеческого ночного зрения картинка красочна.

Краткий обзор Night Sight
Количество света, обнаруживаемое датчиком изображения камеры, по своей природе имеет некоторую погрешность, называемую «дробовым шумом», из-за которой изображения выглядят зернистыми. Видимость дробового шума уменьшается по мере увеличения количества света; поэтому лучше всего, чтобы камера собирала как можно больше света для создания высококачественного снимка.

Количество света, попадающее на матрицу за определенный промежуток времени, ограничено апертурой объектива камеры. Увеличение времени экспозиции для фотографии увеличивает общее количество захваченного света, но если выдержка длинная, движение в снимаемой сцене и неустойчивость ручной камеры могут вызвать размытие. Чтобы преодолеть это, Night Sight разбивает экспозицию на последовательность нескольких кадров с более коротким временем экспозиции и, соответственно, меньшим размытием движения. Кадры сначала выравниваются, компенсируя как дрожание камеры, так и движение в кадре, а затем усредняются с тщательной обработкой случаев, когда идеальное выравнивание невозможно. Хотя отдельные кадры могут быть довольно зернистыми, объединенное усредненное изображение выглядит намного чище.

Эксперименты с выдержкой
Вскоре после того, как был выпущен оригинальный Night Sight, мы начали изучать возможность фотографирования в очень темных условиях на открытом воздухе с целью запечатлеть звезды. Мы поняли, что, как и в наших предыдущих экспериментах, для высококачественных изображений потребуется время экспозиции в несколько минут. Ясно, что это не может работать с ручной камерой; телефон должен быть помещен на штатив, камень или что-то еще, что может удерживать камеру неподвижно.

Как и при съемке с рук с помощью Night Sight, при съемке ночных пейзажей необходимо учитывать движение в сцене — деревья качаются на ветру, облака плывут по небу, луна и звезды восходят на востоке и заходят на западе. Зрители будут мириться с размытыми движениями облаками и ветвями деревьев на фотографии, которая в остальном четкая, но размытые звезды, которые выглядят как короткие отрезки линий, выглядят неправильно. Чтобы смягчить это, мы разделили экспозицию на кадры с достаточно коротким временем экспозиции, чтобы звезды выглядели как точки света. Снимая реальное ночное небо, мы обнаружили, что время экспозиции на кадр не должно превышать 16 секунд.


Звезды, размытые в движении, на однокадровой двухминутной выдержке.

Хотя количество кадров, которые мы можем сделать для одной фотографии, и, следовательно, общее время выдержки, ограничено техническими соображениями, мы обнаружили, что оно в большей степени зависит от терпения фотографа. Немногие готовы ждать изображения более четырех минут, поэтому мы ограничили одно изображение Night Sight максимум 15 кадрами по 16 секунд на кадр.

Шестнадцатисекундные выдержки позволяют нам захватить достаточно света для создания узнаваемых изображений, но полезное приложение камеры, способное делать великолепные снимки, должно иметь дело с дополнительными проблемами, уникальными для фотографии при слабом освещении.

Темновой ток и горячие пиксели
Темновой ток заставляет датчики изображения CMOS записывать ложный сигнал, как если бы пиксели подвергались воздействию небольшого количества света, даже когда реального света нет. Эффектом можно пренебречь, когда время экспозиции короткое, но оно становится значительным при многосекундной съемке. Из-за неизбежных дефектов кремниевой подложки датчика некоторые пиксели демонстрируют более высокий темновой ток, чем их соседи. На записанном кадре эти «теплые пиксели», а также дефектные «горячие пиксели» видны в виде крошечных ярких точек.

Теплые и горячие пиксели можно идентифицировать, сравнивая значения соседних пикселей в одном кадре и в последовательности кадров, записанных для фотографии, и ища выбросы. Как только выброс обнаружен, он скрывается путем замены его значения средним значением его соседей. Поскольку исходное значение пикселя отбрасывается, происходит потеря информации об изображении, но на практике это не оказывает заметного влияния на качество изображения.


Слева: Небольшая область изображения с длинной выдержкой с горячими пикселями и теплыми пикселями, вызванными неравномерностью темнового тока. Справа: То же изображение после удаления выбросов. Сохраняются мелкие детали пейзажа, в том числе мелкие точки света.

Композиция сцены
Мобильные телефоны используют свои экраны в качестве электронных видоискателей — камера захватывает непрерывный поток кадров, который отображается в виде живого видео, чтобы облегчить компоновку кадра. Кадры одновременно используются системами автофокусировки, автоматической экспозиции и автоматического баланса белого.

Чтобы чувствовать себя отзывчивым к фотографу, видоискатель обновляется не менее 15 раз в секунду, что ограничивает время экспозиции кадра видоискателя до 66 миллисекунд. Это затрудняет отображение детального изображения в условиях низкой освещенности. При уровне освещенности ниже примерного эквивалента полной луны или около того видоискатель становится в основном серым — может быть, показывает несколько ярких звезд, но не пейзаж — и компоновка кадра становится сложной.

Для облегчения кадрирования сцены при очень слабом освещении Night Sight отображает «видоискатель после спуска затвора». После нажатия кнопки спуска затвора каждый кадр с длинной выдержкой отображается на экране, как только он был захвачен. Благодаря выдержке до 16 секунд эти кадры собирают почти в 250 раз больше света, чем обычные кадры видоискателя, что позволяет фотографу легко видеть детали изображения, как только будет сделан первый кадр. Затем композицию можно отрегулировать, перемещая телефон, пока экспозиция продолжается. Как только композиция будет правильной, первоначальный кадр можно остановить и сделать второй кадр, где все кадры имеют желаемую композицию.


Слева: Живой видоискатель Night Sight в очень темных условиях на открытом воздухе. За исключением нескольких точек света от отдаленных зданий, пейзаж и небо в основном невидимы. Справа: Видоискатель после затвора во время съемки с длинной выдержкой. Изображение намного четче; он обновляется после каждого кадра с длинной выдержкой.

Автофокус
Автофокус обеспечивает резкость изображения, снятого камерой. При нормальной работе входящие кадры видоискателя анализируются, чтобы определить, на каком расстоянии должен быть объектив от сенсора, чтобы получить сфокусированное изображение, но при очень слабом освещении кадры видоискателя могут быть настолько темными и зернистыми, что автофокусировка не работает из-за отсутствия различимая детализация изображения. Когда это происходит, Night Sight на Pixel 4 переключается на «автофокусировку после затвора». После того, как пользователь нажимает кнопку спуска затвора, камера делает два кадра автофокусировки с выдержкой до одной секунды, что достаточно для обнаружения деталей изображения даже при слабом освещении. Эти кадры используются только для фокусировки объектива и не влияют непосредственно на конечное изображение.

Несмотря на то, что использование кадров с длинной выдержкой для автофокусировки приводит к неизменно резким изображениям при достаточно низком уровне освещенности, при котором зрительная система человека не может четко различать объекты, иногда становится слишком темно даже для автофокусировки после затвора. В этом случае камера фокусируется на бесконечности. Кроме того, Night Sight включает кнопки ручной фокусировки, позволяющие пользователю фокусироваться на близлежащих объектах в очень темных условиях.

Обработка неба
Когда на экране просматриваются изображения очень темных сред, они отображаются намного ярче, чем исходные сцены. Это может изменить восприятие зрителем времени суток, когда были сделаны фотографии. Ночью мы ожидаем, что небо будет темным. Если на снимке, сделанном ночью, видно яркое небо, то мы видим его как дневную сцену, возможно, с немного необычным освещением.

Этот эффект компенсируется в Night Sight путем выборочного затемнения неба на фотографиях сцен со слабым освещением. Для этого мы используем машинное обучение, чтобы определить, какие области изображения представляют собой небо. Сверточная нейронная сеть на устройстве, обученная на более чем 100 000 изображений, которые были помечены вручную путем отслеживания контуров областей неба, идентифицирует каждый пиксель на фотографии как «небо» или «не небо».


Пейзажный снимок, сделанный в яркую ночь полнолуния, без обработки неба (левая половина) и с затемнением неба (правая половина). Обратите внимание, что пейзаж не затемнен.

Обнаружение неба также позволяет выполнить шумоподавление для неба и выборочно увеличить контрастность, чтобы сделать более заметными такие особенности, как облака, цветовые градиенты или Млечный Путь.

Результаты
Когда телефон стоит на штативе, Night Sight создает четкие снимки звездного неба, и пока есть хотя бы небольшое количество лунного света, пейзажи будут четкими и красочными.

Конечно, возможности телефона не безграничны, и всегда есть куда расти. Хотя ночные сцены в целом темные, они часто содержат яркие источники света, такие как луна, далекие уличные фонари или яркие звезды. Хотя мы можем запечатлеть залитый лунным светом пейзаж или детали поверхности Луны, чрезвычайно большой диапазон яркости, который может превышать 500 000:1, до сих пор не позволяет нам запечатлеть и то, и другое на одном изображении. Также, когда звезды являются единственным источником освещения, мы можем делать четкие снимки неба, но пейзаж виден только как силуэт.

Для Pixel 4 мы использовали самую яркую часть Млечного Пути возле созвездия Стрельца в качестве эталона качества изображений безлунного неба. По этому стандарту Night Sight работает очень хорошо. Хотя на фотографиях Млечного Пути присутствует некоторый остаточный шум, на них приятно смотреть, поскольку на них видно больше звезд и больше деталей, чем человек может увидеть, глядя на реальное ночное небо.


Примеры фотографий, сделанных с помощью приложения Google Camera на Pixel 4. Альбом с другими фотографиями можно найти здесь.

Советы и рекомендации
В ходе разработки и тестирования астрофотографии Night Sight мы приобрели некоторый опыт съемки в ночное время на открытом воздухе с помощью телефонов Pixel, и мы хотели бы поделиться списком советов и рекомендаций, которые сработали для нас. Вы можете найти это здесь.

Благодарности
Night Sight — это постоянное сотрудничество между несколькими командами Google. Ключевыми участниками проекта являются представители команды Gcam: Орли Либа, Нихил Карнад, Чарльз Хе, Манфред Эрнст, Майкл Милн, Эндрю Радин, Навин Сарма, Джон Бэррон, Юн-Та Цай, Тяньфан Сюэ, Джиавен Чен, Диллон Шарлет, Райан. Гейсс, Сэм Хасинофф, Алекс Шиффхауэр, Яэль Притч Кнаан и Марк Левой; от команды Super Res Zoom, Барта Вронски, Пеймана Миланфара и Игнасио Гарсии Дорадо; от команды приложения камеры Google: Эмили То, Габриэля Нава, Сушила Ната, Исаака Рейнольдса и Мишель Чен; от команды разработчиков платформы Android Райана Чана, Ин Чен Лу, Николаса Уилсона и Боба Хунга; от команды Mobile Vision: Лунци (Рокки) Цай, Хуэйчжун Чен, Эмили Манукян, Николь Маффео, Томер Мерон, Вэйцзюнь Ван и Эндрю Ховард; из Machine Perception, Элад Эбан и Яир Мовшовиц-Аттиас.

No related posts.