Как работает матрица фотоаппарата: Матрица цифрового фотоаппарата: типы, размер, разрешение, светочувствительность, уход

Содержание

Строение цифрового фотоаппарата - PhotoDzen.com

23 Февраля 2015

Фотография – это техника рисования светом, получение и сохранение изображения при помощи светочувствительного материала (светочувствительной матрицы, пленки) в фотокамере. Чтобы делать хорошие снимки необходимо понимание, какие процессы происходят при фотографировании и как можно на них повлиять. А для этого нам немного знать о свете, об устройстве фотоаппарата, а также как это работает.

Разобраться нам поможет следующая схема (на примере цифрового зеркального фотоаппарата):

Отражение света от предмета, проходя через объектив проектируется на светочувствительный сенсор – матрицу.

Фотоаппарат снимает не сами объекты, а свет, который отражается от них. Свет и умение работать с источниками света – одна из ключевых основ получения хороших кадров.

Матрица - это множество светочувствительных элементов, которые улавливают отражение света от предмета и передают эту информацию уже в электронном виде в процессор фотокамеры. Процессор сохраняет полученные данные в виде

файла, предварительно обработав их. Файл уже записывается на карте памяти.

Такой принцип работы используется во всех современных цифровых фотокамерах с небольшими отличиями.

Но не все так просто в устройстве цифрового фотоаппарата — прежде чем дойти до матрицы, свету необходимо пройти через диафрагму и затвор, створки которого открываются и тут же закрываются. Время, на которое этот затвор открывается, называется выдержка. А выдержка – это один из трех китов фотографии, трех основных настроек, которые регулируют количество света, попадающее на матрицу. Выдержка, диафрагма и ISO (светочувствительность) и составляют экспозицию в фотографии. Наша задача  при помощи этих настроек сделать правильный, нужный нам, выбор экспозиции в каждой фотографии, и как следствие, получить хорошую фотографию.

Посмотрите видео про устройство цифрового аппарата от Discovery, в котором показано, что происходит во время сьемки:

Замена и ремонт матрицы фотоаппарата в Санкт-Петербурге

Замена и ремонт матрицы фотоаппарата является на сегодняшний день одной из самых распространенных причин обращения пользователей в центр «Мастер Плюс».

Неисправность такого рода зачастую возникает из-за неосторожного обращения, некачественной заводской сборки или механического повреждения, и самым непосредственным образом влияет на процесс эксплуатации фотоаппарата и качество съемки. 

Признаки того, что нужно делать замену и ремонт матрицы фотоаппарата

К основным признакам того, что необходим ремонт или замена матрицы фотоаппарата, относится появление на дисплее розовых полосок, которые хорошо заметны даже невооруженным глазом. Готовые фотографии при таком дефекте теряют свою четкость, а изображение «размывается». Зачастую розовые полоски пропадают при выключении и повторном включении фотокамеры, а также, если ее как следует встряхнуть. Однако такой «народный» способ, безусловно, может сработать раз или два, а на третий – фотоаппарат попросту откажется работать. Поэтому при появлении даже незначительных неисправностей, цифровой фотоаппарат необходимо показать специалисту и сделать замену или ремонт матрицы фотоаппарата

 

Замену матрицы фотоаппарата следует доверить квалифицированным специалистам

Замена матрицы фотоаппарата – достаточно сложная процедура, сопряженная с рядом тонкостей, знаниями о которых обладают только квалифицированные специалисты Ремонтного центра «Мастер Плюс». 

При появлении признаков, указывающих на наличие технической проблемы, ни в коем случае не следует пытаться сделать ремонт и замену матрицы фотоаппарата самостоятельно, руководствуясь советами, услышанными от знакомых или прочитанными в Интернете. Также не стоит доверять ремонт матрицы фотоаппарата, дисплея или, например, чистку объектива от песка неквалифицированному мастеру, обратитесь к настоящим профессионалам, т.е. в центр «Мастер Плюс»!

сенсоры / Фото и видео

Сенсор - это кремниевый полупроводник, предназначенный для восприятия фотонов (света) и для трансформации фотонов в электроны. Сенсоры являются важнейшей частью цифровой камеры. Кроме того, сенсоры используются в сканерах, в астрономических приборах, в различных научных, военных и медицинских устройствах. Полученные электроны приводят к появлению напряжения. Затем оно измеряется и преобразуется в цифровые данные.

Для выполнения таких операций требуются очень сложные вычисления на микроскопическом уровне. Сенсоры стали разрабатывать в конце 60х - начале 70х годов. Их роль в современных цифровых видеоустройствах, ставших популярными последнее время, настолько велика, что дизайн сенсоров постоянно совершенствуется.

Несмотря на то, что ПЗС (прибор с зарядовой связью) был изобретен больше трёх десятков лет назад, он до сих пор остаётся золотым стандартом, эталоном, с которым сравниваются новые сенсоры. Мы подробно расскажем о том, как работают ПЗС сенсоры, и лишь немного коснемся работы КМОП.


Круги на полях, шпионы, парашюты...

Сенсоры стали разрабатывать для правительственных разведывательных и космических программам (правительства США, конечно же). Для шпионажа во время холодной войны требовались совершенные методы наблюдения. В частности, были запущены секретные спутники ЦРУ и ВВС США - Corona. Эти спутники были оснащены современнейшим по тому времени оборудованием - камерами серии KH, использующими специальные линзы и новые типы пленок. (Что интересно, в результате в массовое производство поступили пленки "майлар" - лавсан, Mylar).

Чтобы определить масштаб фотографии, использовались кукурузные поля Среднего Запада США, которые были специальным образом покошены. На них выкашивали довольно большие геометрические фигуры - чтобы можно было распознать из космоса. (Теперь понятно, откуда возникли эти таинственные круги, десятилетиями волновавшие читателей желтой прессы? Да, они имели отношение к космосу, но природу они имели вполне человеческую)

Как только пленка была отснята целиком, она в керамическом контейнере на парашюте катапультировалась на Землю - в районе Гавайев. Эти контейнеры подбирались ещё в воздухе самолетами C-119 ВВС США (так называемые "Летающие товарные вагоны" - Flying Boxcar). Специально для этого самолеты оснащались длинными крючками, прикрепленными к хвостовому оперению. Если пилот промахивался и не ловил контейнер, пленка попадала в Тихий Океан, где могла плавать ещё пару дней. Если в течение двух дней ВМС США не находили контейнер, под воздействием морской воды соляные пробки растворялись и контейнер вместе с содержимым погружался в океан - чтобы не нашел неприятель. Министерство обороны считало, что под водой шпионов нет. Но даже при таких мерах безопасности, по крайней мере один такой контейнер попал во вражеские руки.

Несмотря на такие случайные инциденты, спутниковое слежение было намного безопаснее, чем шпионаж с использованием самолетов или воздушных шаров - ведь спутник не так-то легко подстрелить. (Помните, в 1960 году над Уралом сбили американский разведывательный самолет У-2, пилотируемый Фрэнсисом Гэри Пауэрсом? Урал - уже далеко не граница) Так вот, процесс возвращения пленки - самый небезопасный из всей этой цепочки операций. Понятно, что надо было придумать какой-то выход из этой ситуации, и придумать как можно скорее.


Аналоговая аппаратура

Следующим технологическим новшеством в спутниковой фотографии стали обработка пленки на борту спутника, сканирование её с помощью светового луча, преобразование световых волн в аналоговый электрический сигнал, и последующая его передача на специальную приемную станцию на Земле. Как только сигналы оказывался на Земле, они преобразовывались назад в изображения. (Аналоговая система была похожа на ту, которой пользовались в Associated Press и в United Press International для передачи новостей и фотографий по проводам)

Но до сих пор доподлинно не известно, где, когда, и как в правительственных разведывательных и космических программах на смену аналоговым системам пришла цифровая фотография. До сих пор часть информации находится под грифом "секретно". Где-то с начала 70-х вся космическая фотография постепенно начала переходить на цифру. При этом разрешение фотографий и качество улучшалось по экспоненте. Создавались действительно впечатляющие снимки вселенной. А качество цифровых фотографий, вроде тех, что получены на Земле с помощью усовершенствованной модели космического телескопа Hubble, было исключительным.

У цифровой фотографии нет точной даты рождения. Обычно считают, что цифровая фотография появилась в конце 60х, когда ученые обнаружили, что КМОП (комплементарный металло-оксидный полупроводник) может быть светочувствительным. Прибор с зарядовой связью (ПЗС, CCD) был изобретён в конце 1969 года Вильямом Бойлем (William S. Boyle) и Джорджем Смитом (George E. Smith), работавшими в лабораториях Bell. Так как качество изображения было очень высоким, эти приборы быстро вытеснили КМОП из цифрового обработки изображений. Однако отметим, ПЗС более чувствителен к излучению, нежели КМОП. А чем выше вы находитесь от поверхности Земли, тем больше излучение. Именно поэтому КМОП сенсоры не были забыты, и правительство штатов оплачивало исследования в этой области.

В нашей статье мы обратимся к этим удивительным технологиям и объясним с физической точки зрения, как с помощью кусочка кремния можно воссоздать изображение.

Несмотря на всё разнообразие технологий, в большинстве случаев в цифровых камерах используются либо КМОП, либо ПЗС сенсоры. Самым важным отличием между этими системами является способ перенесения электронов с сенсора. Кроме того, КМОП может осуществлять большее количество функций прямо на чипе. Тем не менее, начало у этих технологий общее, и что самое примечательное, первоначально, ни та, ни другая технология не имели никакого отношения к цифровой фотографии. Оба устройства представляли собой полупроводниковую память.

В 1966 году в лабораториях Bell была изобретена ЦМД-память (память на цилиндрических магнитных доменах, пузырьковая память, bubble memory). Предполагалось, что она будет энергонезависимой (то есть при выключения питания компьютера данные не теряются). Воодушевленные потенциалом этих устройств, ученые продолжили опыты с технологией ПЗС как с последовательными запоминающими устройствами. Но эта технология быстро устарела - стоило появиться более эффективной и быстрой энергонезависимой памяти, например, EEPROM (electrically erasable programmable read-only memory - электронно-перепрограммируемая постоянная память). Тем не менее, как обнаружилось, ПЗС память обладает впечатляющими возможностями по переносу заряда, что сделало ее идеальным для сенсоров. Впервые в массовое производство ПЗС сенсоры были запущены в 1973 году. КМОП технология продолжала использоваться в памяти, обрабатывающих и других цифровых устройствах, что связано с ее низким энергопотреблением и высокой функциональностью. Технологии КМОП и ПЗС отличаются своей ценой, процессом производства и дальнейшими перспективами развития.


Больше и дешевле

ПЗС являются специализированными чипами и используются только для получения изображения. Производят эти чипы всего несколько фирм - дочерние компании таких гигантов как Sony, Philips, Kodak, Matsushita, Fuji и Sharp. В отличие от ПЗС, область применения КМОП устройств намного шире. Они используются как в процессорах персональных компьютеров, так и в подавляющем большинстве потребительской электроники. Так как в основном КМОП устройства изготавливаются большими партиями и по стандартному технологическому процессу, их производство обходится значительно дешевле.

Кроме дешевизны производства, КМОП устройства обладают целым рядом преимуществ. Так как архитектура КМОП позволяет производить обработку изображений и аналого-цифровые преобразования (АЦП - ADC) непосредственно на чипе, цифровые камеры и другие устройства, использующие КМОП технологию вместо ПЗС, в итоге оказываются значительно дешевле. КМОП сенсоры требуют меньше энергии, чем ПЗС, поэтому они более эффективны и не так дороги в эксплуатации. Кроме того, КМОП камерам не нужно столько лишних схем и плат - поэтому они могут быть величиной буквально с наперсток (или даже меньше).

Тем не менее, в системах, где самым важным считается качество, всё же используются ПЗС, так как они чувствительнее к свету, степень градации у них выше, а лишних шумов меньше.

В начале девяностых технология КМОП была существенно улучшена. Частично, причиной тому послужило развитие технологии вообще и технологии производства КМОП чипов в частности. Например, достижения сверхтонкой литографии и последующая миниатюризация транзисторов в интегральных схемах позволили соединять транзисторы в КМОП сенсорах более тонкими металлическими проводниками. При этом увеличилось количество кремния, на который попадают фотоны, что, в свою очередь, увеличило чувствительность сенсоров. Кроме того, уменьшилась и потребляемая мощность.

До недавних пор было мало шансов добиться высокого качества КМОП фотоаппаратов. Когда мы тестировали первые КМОП камеры Sound Vision and Vivitar, посторонние шумы на фотографиях были настолько заметны, что ровные вертикальные кромки небоскребов плыли, и создавалось ощущение, что здания таяли. Тем не менее, новая модель Canon D30, использовавшая корпус профессионального однообъективного зеркального фотоаппарата, показала, что КМОП технология уже достаточно хороша, чтобы заменить дорогую ПЗС. Вероятно, в ближайшие годы в любительских и в профессиональных камерах на смену ПЗС матрицам придут КМОП матрицы. Технология ПЗС, скорее всего ещё просуществует некоторое время на high-end рынке.


Кремний

Большинство сенсоров созданы на основе кремния. Когда фотоны ударяются о кремний, электроны в кремнии возбуждаются и ковалентная связь, удерживающая электроны в атомах кремния, нарушается. Количество высвободившихся электронов прямо пропорционально энергии или интенсивности света. В зависимости от способов контроля и измерения этого фотоэлектрического эффекта, существует несколько различных дизайнов сенсоров. Они различаются эффективностью и аккуратностью учета электронов.

Заметим, фотоны должны обладать достаточной энергией, чтобы разрушить ковалентные связи в атомах кремния, чтобы появились свободные электроны (или электронно-дырочные пары) То есть энергия фотонов должна быть больше, чем ширина запрещенной зоны кремния - 1,1 эВ. Это значит, что волны должны быть из видимой части спектра (400-750 нм) или близкие к инфракрасным (до 1100 нм) - только фотоны этих волн способны разрушить связи. Именно поэтому в качестве основы сенсоров для фотоаппаратов был выбран кремний. Волны длиной менее 400 нм могут быть поглощены структурой сенсора (подробнее об этом - ниже). Если фотоны не обладают требуемой энергией (длина таких волн обычно больше 1100 нм), то свободных электронов не возникает и фотоны не вызывают никакой реакции.



Формула энергии фотонов

В идеальных условиях зависимость между фотонами и электронами была бы прямой, и один фотон высвобождал бы ровно один электрон. В результате квантовый выход бы составлял сто процентов. Тем не менее, обычные сенсоры, используемые в цифровых камерах, не столь эффективны - один фотон высвобождает не один электрон, а меньше. (Хотя бывает, что фотоны невидимых волн могут высвободить даже более одного электрона) Но даже после того, как электроны освобождаются, нет гарантии того, что они будут учтены сенсором. Поэтому у сенсоров цифровых камер квантовая эффективность ниже ста процентов.

Ещё один важный фактор в достижении большей квантовой интенсивности - это качество и чистота кремниевой пластины. Кристаллы кремния "выращиваются", и в зависимости от условий его производства определяется его качество. Если все кристаллические решетки расположены в одном направлении, то кремний лучше проводит электроны. (В будущем, возможно, кремний будут выращивать в космосе и тем самым негативный эффект от силы тяжести, которая мешает идеальному росту кристалла, исчезнет. Вероятнее всего, кристаллы в космосе будут производиться в ограниченных количествах - специально для тех случаев, когда требуется очень высокое качество. Кремниевые пластины, произведенные в космосе, скорее всего, будут дорогими и редкими).


Чистые и точные

Чистая комната

Получение полупроводников из кремния - довольно сложный процесс, требующий чистоты и микроскопической точности. Точность необходима в наложении на кремний фоторезистных масок. Затем кремний подвергается световой и температурной обработке, ионному легированию, дополнительным наслоениям и травлению.

"Легирование" кремния повышает его способность проводить электроны. Достигается это аккуратным внедрением примесей, создающих полюса зарядов. В качестве примесей используются бор (имеющий одним электроном меньше) и фосфор (имеющий на один электрон больше). Таким образом, бор создаёт на кремниевой решетке положительный заряд (или "дырки") - такой полупроводник называется полупроводником p-типа или положительный метал-оксид-полупроводник (positive metal oxide semiconductor, PMOS). С примесью фосфора заряд проводника становится отрицательным - такой полупроводник называется полупроводником n-типа (negative metal oxide semiconductor NMOS). В различных архитектурах сенсоров полупроводники этих двух типов могут использоваться по-разному. Полупроводники p-типа притягивают отрицательно заряженные электроны, а n-типа - отталкивают. Такое взаимодействие создаёт ток электронов.

В КМОП устройствах имеются транзисторы обоих типов (p и n). Ключевой характеристикой КМОП устройств является незначительное потребление энергии, при простаивании (хранении единички или нолика) и высокое потребление энергии при переключении из одного состояния в другое.

Сенсор состоит из пикселей, то есть из множества светочувствительных элементов (photosites). Они обычно расположены в сетке - из столбцов и колонок. Структура этих элементов зависит от типа сенсора, но принцип их работы везде одинаков.



Сенсор

Светочувствительные области пикселя получают свет (фотоны) и преобразуют его в электроны. Такая светочувствительная область в английском языке имеет множество названий - photocapacitor, photogate или photodiode. По-русски она называется фотодиодом. Электроны, полученные в этом фотодиоде, накапливаются в зарядовом кармане (potential pixel well). Величина накопленного заряда зависит от интенсивности падающего на поверхность фотодиода света. Количество времени, в течение которого накапливается заряд, называется временем интеграции (integration time). Таким образом, светочувствительная область содержит частичку информации изображения в виде электрического заряда, полученного из падающего света.


Введение примесей

В производстве сенсоров светочувствительная область определяется примесями, использующимися для того, чтобы воспользоваться преимуществом зарядной емкости легированного кремния. Например, пиксель может состоять из кармана p-типа на подложке n-типа. Чем меньшее количество примесей использовано, тем больше разница потенциалов.

Пиксели что в КМОП, что в ПЗС матрицах - одинаковы, основные различия начинаются после того, как фотоны преобразуются в электроны. Отметим все же, что архитектура пикселей у различных производителей может быть неодинаковой. Например, Philips наносит на светочувствительный элемент очень тонкий слой кремния с примесями из мышьяка. У получившейся смеси, как и у бора, количество электронов меньше на один. Цель подобного рода операций - увеличение зарядной емкости пикселя.


Преломление света

В обычной фотопленке на пластиковую основу наносятся галоиды серебра - именно они реагируют на любой свет, падающий под любым углом. В отличие них, кремниевые пиксели реагируют на свет только в том случае, когда он падает под прямым углом (или близким к прямому). Это требуется для того, чтобы пиксели получали больший электрический заряд. Для обеспечения требуемого угла над каждым пикселем сенсора помещается специальная выпуклая микролинза. Именно таким образом корректируется угол падения света и увеличивается светочувствительность сенсора.

Во многих случаях, стоимость объектива фотоаппарата может быть значительно выше стоимости сенсора. Преимущество использования микролинз заключается в том, что при большой угловой чувствительности сенсора можно использовать дешевый небольшой объектив. Однако микролинзы используются далеко не во всех сенсорах.

Обычно микролинзы создаются путем нанесения резистного материала на сенсор. Затем относительно пикселей в этом материале протравливается сетка. При нагревании остатки оплавляются и принимают куполообразную форму. Форма и характеристики микролинзы зависят от толщины резистного слоя, температуры процесса и от подложки. Сенсор должен выполнять по меньшей мере пять основных операций - поглощать фотоны, преобразовывать их в заряд, накапливать его, передавать, и преобразовывать в напряжение. Оба типа сенсоров - и КМОП, и ПЗС - выполняют все пять операций. Первые три операции выполняются везде одинаково, но технологии отличаются передачей заряда и преобразованием заряда в напряжение.


Простота ПЗС

ПЗС, в отличие от КМОП, не способен совершать некоторые операции прямо на чипе, но то простое изящество, с которым ПЗС выполняет операции, обеспечивает изображению очень высокое качество. Но не думайте, что если на вашем фотоаппарате используется ПЗС матрица, качество картинки будет неподражаемым. Изображение из цифровой камеры - результат работы всех компонентов этой камеры, включая оптику, АЦП, обработку изображений, сенсор и все другие компоненты и процессы цифрового фотоаппарата. Отметим также, что многое зависит и от того, как все эти компоненты взаимодействуют между собой.

Прибор с зарядовой связью (ПЗС) назван так из-за способа передачи заряда между светочувствительными элементами и в конечном итоге выводе заряда из сенсора. Заряды сдвигаются по матрице строчками сверху вниз. Это так называемая архитектура с параллельным (вертикальным) сдвиговым регистром. Таким образом, заряд передвигается вниз по строчкам сразу по множеству регистров. Заряды перемещаются "в связке" - когда перемещается одна из строчек зарядов, на освобождающееся место передвигаются все заряды из верхней строчки. Отсюда и такое название.

Что же происходит со строчкой, находящейся в нижней позиции? В действительности, последняя строчка представляет собой горизонтальный сдвиговый регистр (serial shift register) - при этом используется архитектура с последовательным выводом. В этой строчке все заряды последовательно покидают сенсор, при этом используется метод зарядовой связи (что указывает на порядок зарядов) и при этом освобождается место для новой строчки зарядов. Часто такой метод сравнивают с пожарной цепочкой - как в старинных пожарных командах.

Перед тем, как покинуть ПЗС сенсор, заряд каждого пикселя усиливается и на выходе получается аналоговый сигнал с различным напряжением. Перед обработкой этот сигнал пересылается на отдельный (вне чипа) аналого-цифровой преобразователь и получившиеся цифровые данные преобразуются в байты, представляющие строчку изображения, полученного сенсором. В отличие от ОЗУ компьютера, где единичка или нолик представлены наличием или отсутствием заряда, ПЗС сохраняет этот заряд в аналоговой форме до тех пор, пока он не преобразуется АЦП.

Так как ПЗС лишь передает электрический заряд, используя процесс зарядовой связи, который обладает низким сопротивлением и меньше подвержен помехам других электронных компонентов, результирующий сигнал, как правило, содержит меньше различных шумов, по сравнению с сигналом КМОП сенсоров. Тем не менее, передаются далеко не все заряды - часть электронов безвозвратно теряется на пути между светочувствительными областями и выходом сенсора. Эффективность переноса заряда - это определяющая характеристика сенсора. Обычно, она предоставляется производителями сенсоров.


Затворы

Электроды - это проводники, по которым ток либо поступает, либо покидает электронное устройство. Они играют роль электронных ворот. В зависимости от того, какие функции электроды выполняют в ПЗС, они имеют различное название - пропускающие затворы (transfer gates), затворы управления экспозицией (exposure control gates) или затворы переполнения (overflow gates). В пропускающих затворах электроды получают тактовые импульсы различного напряжения, в результате чего заряд способен перемещаться от одной светочувствительной области к следующей. Это и перемещение строчки зарядов вниз на следующую строчку, и последовательное считывание зарядов с последней строчки. Электронный затвор, влияющий на время экспозиции - время интеграции электронного затвора сенсора (когда пиксель получает фотоны и вырабатывает электроны) управляется напряжением. А затворы переполнения используются для того, чтобы не допустить рассеивания электронов и уменьшить воздействие зарядов соседних пикселей.

Чаще всего электроды создаются из поликристаллического кремния. Компания Kodak представила новый тип электродов - из сплава индия и оксида олова (indium tin oxide, ITO). Считается, что такая технология позволяет улучшить процесс захвата электронов в светочувствительных областях, так как этот сплав прозрачнее поликристаллического кремния. Кроме того, избегается ещё один эффект - поликристаллический кремний может отражать или поглощать фотоны волн определенной длины.

Так как заряд в КМОП и в ПЗС устройствах передаётся по-разному, по-разному функционируют и электроды в этих матрицах. То есть в технологии КМОП не используется метод переноса с зарядовой связью. Поэтому и электроды в КМОП технологии применяются несколько иначе, чем в ПЗС. В КМОП матрицах электроды используются в пропускающих затворах у транзисторов на выходе сенсора и для уменьшения помех.

Как было упомянуто выше, основной функцией электродов является управление передачей заряда в ПЗС. Чтобы лучше вникнуть в суть дела и разобраться в их работе, мы сперва рассмотрим четырехфазный прибор с зарядовой связью, то есть прибор, где на каждый пиксель имеется четыре электрода. (В большинстве ПЗС используется несколько электродов/фаз, их число зависит от модели сенсора)

На первом электроде, как и на всех остальных, каждый пиксель получает одинаковое напряжение. Если электрод получает большое напряжение, под ним на кремниевой подложке, создаётся потенциальная яма. Если же электрод получает малое напряжение, то создаётся потенциальный барьер, который позволяет удерживать в потенциальной яме захваченные электроны (данные элемента изображения). Таким образом, при изменении напряжения, подаваемого на соседние электроды в определенные моменты времени, потенциальные ямы перемещаются с одного пикселя на другой. Таким образом и создаётся эффект "пожарной бригады", описанный выше.


Так сложно это, или нет?

Четырехфазный процесс на самом деле прост, другое дело, что описать его словами бывает трудно.

В первый такт выключаются первый и второй электроды, и включаются третий и четвертый. Во второй такт включается первый электрод и выключается третий. Следом включается второй и выключается четвертый. На четвертом такте включается третий и выключается первый (в том числе и на следующем пикселе). Процесс затем повторяется вновь для передвижения заряда по сенсору.

Такая четырехфазная технология довольно популярна, так как при этом используется всего два слоя материала. Кроме того, компания Philips утверждает, что при таком решении используется, по крайней мере, половина зарядной емкости пикселя. К примеру, в трехфазовой архитектуре на хранение заряда отводится лишь 33 процента пикселя. Четырехфазная технология приводит и к большей емкости пикселя (общее число электронов, которые могут храниться в каждом пикселе, прежде чем он будет насыщен) по сравнению с устройствами с другими архитектурами.

ПЗС бывают четырёх типов: линейные (Linear), чересстрочные (Interline), полноформатные (Full-frame) и с покадровым переносом (Frame-Transfer).

Линейные ПЗС состоят из одной строчки пикселей. Для получения изображения ПЗС должна сосканировать каждую строчку изображения, последовательно выстраивая картину. Понятно, что в этом случае на получение изображения уйдет намного больше времени, чем если получать изображение сразу. Кроме того, в таких приборах понадобится дискретный электропривод, что ещё больше усложнит устройство системы и её эксплуатацию и может исказить изображение. Поэтому линейные ПЗС остались уже в прошлом, хотя некоторые до сих пор используются в планшетных сканерах и в сканерах цифровых камер.

Остальные ПЗС (чересстрочного, полноформатного типа и с покадровым переносом) относятся к матричным ПЗС - все они состоят из нескольких рядов и колонок, создающих прямоугольную матрицу.


Чересстрочные ПЗС В чересстрочных ПЗС каждый пиксель обладает как фотоприемником, так и областью для накапливания заряда. Эта область возникает в результате загораживании части пикселя от света. Её используют только для переноса заряда. Такие затененные области образуют вертикальный канал для передачи заряда, при этом заряд поступает сверху вниз к горизонтальному регистру. Педанты бы сказали, что именно эта вертикальная затененная область в сенсорах и называется ПЗС, так как именно в ней происходит зарядовая связь. Чтобы выделить эту область от всего чипа (ПЗС сенсора), её часто называют ВПЗС - вертикальный прибор с зарядовой связью. Горизонтальный сдвиговый регистр часто называют ГПЗС. Чтобы не путаться, мы не будем использовать всю эту терминологию. Область, на которую падает свет, называется апертурой (aperture).

Чересстрочная развертка позволяет электрическому заряду пикселя быстро перемещаться на соседствующую затененную область, по которой он строчка за строчкой двигался бы к горизонтальному сдвиговому регистру. Такое быстрое перемещение заряда из светочувствительной области позволяет ей быстрее принимать следующую порцию фотонов. В цифровых камерах такая быстрая готовность апертуры пикселя принимать следующую порцию данных изображения позволяет получать видеоизображение. Минусом в такой технологии, безусловно, можно считать значительное уменьшение светочувствительной области. По этой причине ограничивается возможная плотность пикселей (пресловутое разрешение). Для обеспечения более высокого разрешения, в ПЗС функционируют микролинзы, позволяющие лучшим образом направлять фотоны в светочувствительные области. Кроме этого, сенсоры с такой архитектурой довольно сложны в производстве. Обычно, чересстрочные сенсоры используются в потребительских цифровых камерах.


Полноформатные ПЗС В полноформатных ПЗС изображение получает целиком весь пиксель. Поэтому во время передачи заряда пиксель не должен принимать фотоны. Чтобы обеспечить этот процесс и предотвратить попадание фотонов на пиксель (чтобы изображение не было размазано), за объективом камеры находится механический затвор. Единственный случай, когда такой затвор оказывается ненужным - это съемка с контролированием выдержки и количества света внешними приборами - например, при студийном стробоскопическом источнике света. Так как у камер с полноформатным ПЗС разрешающая способность выше, такие матрицы используются в более дорогих устройствах более высокого класса.

ПЗС с покадровым переносом заряда

ПЗС этого типа очень похожи на полноформатные ПЗС, отличие заключается в том, что они отводят половину матрицы для временного хранения электрического заряда. Такая затененная область называется ещё "матрицей хранения" ("Storage array"). Как только заканчивается период интеграции и в светочувствительных областях накапливается заряд, он быстро перемещается в матрицу хранения. Такие матрицы могут работать без задержки на использование механического затвора, что обеспечивает им очень высокую скорость захвата изображения. Но заряд не полностью успевает переместиться в матрицу хранения до наступления следующего периода интеграции. Вследствие такой нахлестки изображение получается размытым. Еще одни минусом таких ПЗС является значительно больший размер (а, значит, и более высокая цена), так как на кристалле необходимо кроме светочувствительных элементов располагать и матрицу хранения. Поэтому в некоторых случаях лучше использовать чересстрочные сенсоры, которые могут выполнять одновременную съемку и передачу информации с минимальным размытием изображения.

Хотя фирм, производящих ПЗС матрицы очень мало, конкуренция на этом рынке развернулась очень жестокая. И своих покупателей фирмы привлекают именно различиями в сенсорах. Поэтому не удивительно, что каждая из этих фирм работает над изменением и улучшением имеющихся архитектур ПЗС. Приведем несколько примеров.

Супер ПЗС (Super CCD) от Fuji использует уникальную сотовую архитектуру, в которой применяются восьмиугольные пиксели. Таким образом, увеличивается рабочая поверхность кремния и увеличивается плотность пикселей (количество пикселей в ПЗС). Кроме этого, восьмиугольная форма пикселей увеличивает и площадь светочувствительной поверхности. По утверждениям Fuji, в такой архитектуре кроме всего прочего становится лучше соотношение сигнал/шум, а также улучшается динамический диапазон. Отметим всё же, что когда в прошлом году мы протестировали первую модель фотоаппарата Fujifilm 4700 с сенсором Super CCD, мы были крайне разочарованы качеством полученных фотографий. Но последние модели камер Fujifilm были разработаны специально под сенсор Super CCD. По нашему мнению, изображения получились четче, чем у других подобных устройств, и мы остались довольны качеством фотографий.


Построчные или чересстрочные ПЗС?

Данные считываются с сенсора одним из двух методов - прогрессивным или чересстрочным. Это очень напоминает типы развертки в видеотехнике. Методы отличаются порядком поступления колонок данных ПЗС на горизонтальный сдвиговый регистр.

В построчном (прогрессивном) режиме колонки считываются точно друг за другом - так, как они считывались с изображения. Чересстрочные ПЗС считывают сначала все четные колонки, а затем нечетные. После этого, они восстанавливаются уже в устройстве обработки изображений.

Чересстрочные ПЗС, содержащие более одного мегапикселя (как правило, такие ПЗС используются в сенсорах цифровых камер) обычно считывают колонки чересстрочным методом - здесь один ряд электродов управляет вертикальной передачей заряда из двух строчек пикселей.

В идеале было бы неплохо получить сенсоры с качеством изображения как у ПЗС и с интеллектом как у КМОП. На данном этапе развития технологий это не представляется возможным. Тем не менее, компании Kodak удалось создать чересстрочный ПЗС (с чипом KAI 2020), который производит некоторую обработку изображений непосредственно на чипе. Для этого на сенсор помещены формирователи тактовых импульсов - чтобы производить двукратный коррелированный семплинг (double correlated sampling). Компания не называет такой сенсор интеллектуальным - ведь аналого-цифровые преобразования, равно как и обработка изображений - все же прерогатива КМОП сенсоров. Тем не менее, он вычисляет значение темнового тока (тот уровень шумов, существующий даже когда свет не попадает на сенсор), и вычитает его из имеющегося изображения. Это популярный метод, используемый в КМОП сенсорах для нейтрализации шумов и артефактов. В настоящее время, KAI 2020 - единственный серийно производящийся сенсор, который не используется в цифровых камерах. Он нашел себе применение в автоматизированном контроле или в управлении трафиком.

Технология ПЗС с покадровым переносом ядра от Philips была названа архитектурой True Frame. Кроме Philips данной архитектурой пользовалась Sanyo. В этих сенсорах область хранения закрывалась от света металлическим слоем и могла хранить лишь пятую часть зарядной емкости пикселя. Технология использовалась только для предварительного просмотра изображения в видоискателе и для получения общей информации о сцене, чтобы можно было определить выдержку и другие настройки. Если камера находилась в режиме предварительного просмотра или в режиме отслеживания, электроны быстро перемещались в область хранения. При этом большая их часть (точнее сказать, четыре пятых) попадала на кремниевую подложку и пропадала там. Но когда камера находилась в режиме съемки, все электроны быстро считывались, и ни один не перемещался на область хранения. Считывание производилось последовательным методом, а не чересстрочным, поэтому такое устройство выигрывало в скорости. Тогда как обычный чересстрочный ПЗС считывал изображение со скоростью 5-10 кадров в секунду, сенсор Philips, созданный по технологии с покадровым переносом работал со скоростью 30-60 кадров в секунду. Это соответствует скорости видео. Однако если бы не было затвора, мы бы наблюдали размытое изображение - сенсор бы не успевал отдавать заряд до поступления новой порции фотонов.


Технология КМОП, в отличие от ПЗС, позволяет осуществлять большее количество операций прямо на чипе. Кроме высвобождения электронов и их передачи, КМОП сенсоры могут также обрабатывать изображения, выделять контуры изображения, уменьшать помехи и производить аналого-цифровые преобразования. Более того, производители могут создавать программируемые КМОП сенсоры, то есть можно создать очень гибкое многофункциональное устройство.

Такой набор функций на одном чипе - основное преимущество технологии КМОП над ПЗС. При этом также сокращается количество различных внешних компонентов. Использование в цифровой камере КМОП сенсора позволяет в оставшееся место устанавливать другие чипы - например, цифровые сигнальные процессоры DSP и аналого-цифровые преобразователи. А так как КМОП устройства потребляют меньше энергии по сравнению с ПЗС, то выделяется меньше тепла, следовательно, появляется меньше различных помех тепловой природы.


Активные пиксели

Бум КМОП технологий начался в начале 90-х, когда впервые лаборатория ракетных двигателей NASA (Jet Propulsion Laboratory - JPL) успешно внедрила активные пиксельные сенсоры (Active Pixel Sensors - APS). Идея витала в воздухе ещё давно, но воплотить её в жизнь получилось лишь в 1993 году. В этой технологии у каждого пикселя появлялся свой считывающий транзисторный усилитель (readout amplifier transistor), что позволяло преобразовывать заряд в напряжение непосредственно на пикселе. Кроме того, появилась возможность для произвольного доступа к каждому пикселю сенсора - подобно тому, как работает оперативное запоминающее устройство.

Считывание заряда с активных пикселей КМОП сенсора производится по параллельной схеме. Это позволяет считывать сигнал с каждого пикселя или колонки пикселей напрямую. Такой произвольный доступ позволяет КМОП сенсору считывать не всю матрицу целиком, а лишь некоторые области. Этот метод называется методом оконного считывания (window-of-interest, windowing readout). КМОП сенсор способен также уменьшить размер изображения. По сравнению с ПЗС при этом также увеличивается скорость считывания (в ПЗС весь заряд выходит через единственный сдвиговый регистр).

Усиливающие схемы могут быть расположены в любом месте чипа, а не только на светочувствительной области. Это позволяет создавать несколько каскадов усиления по всему сенсору. Так, например, в темных условиях усилители могут "вытягивать" изображение целиком, а в иных случаях могут усиливать лишь определенные цвета - для баланса белого или для специальных художественных эффектов.

Из-за добавления дополнительных схем на чип, у КМОП сенсоров появляется существенный недостаток - создаются помехи - это и транзисторные, и диодные рассеивания, и эффект остаточного заряда. Устранением таких помех исследователи занимаются уже довольно долго. Но при этом нельзя недооценить главное достоинство КМОП сенсоров - они позволяют непосредственно на чипе устранять шум теневого тока из заряда перед тем, как передать его с сенсора.

Разнообразие КМОП архитектур объясняется возможностью сенсоров выполнять большое число различных функций.


Да будет цвет!

Сенсоры - это устройства, определяющие лишь градации серого (градации интенсивности света - от полностью белого до полностью черного). Чтобы камера могла различать цвета, на кремний с помощью процесса фотолитографии накладывается массив цветных фильтров. В тех сенсорах, где используются микролинзы, фильтры помещаются между линзами и фотоприемником. В сканерах, где используются трилинейные ПЗС (рядом расположенные три ПЗС, реагирующие соответственно на красный, синий и зеленый цвета), или в high-end цифровых камерах, где также используются три сенсора, на каждый сенсор фильтруется свет своего определенного цвета. (Заметим, что в некоторых камерах с несколькими сенсорами используются комбинации нескольких цветов в фильтрах, а не три стандартных). Но для устройств с одним сенсором, каковыми является большинство потребительских цифровых фотоаппаратов, для обработки различных цветов используются массивы цветных фильтров (color filter arrays, CFA).


Для того чтобы каждому пикселю соответствовал свой основной цвет, над ним помещается фильтр соответствующего цвета. Фотоны, прежде чем попасть на пиксель, сначала проходят через фильтр, который пропускает только волны своего цвета. Света другой длины будет просто поглощаться фильтром. Ученые определили, что любой цвет в спектре можно получить смешением всего нескольких основных цветов. В модели RGB таких цвета три.

Для каждого применения разрабатываются свои массивы цветных фильтров. Но в большинстве сенсоров цифровых камер наиболее популярными являются массивы фильтров цветовой модели Байера (Bayer pattern). Эта технология была изобретена в 70-х компанией Kodak, когда проводились исследования в области пространственного разделения. В этой системе фильтры расположены вперемежку, в шахматном порядке, а количество зеленых фильтров в два раза больше, чем красных или синих. Порядок расположения таков, что красные и синие фильтры расположены между зелеными.

Такое количественное соотношение объясняется строением человеческого глаза - он более чувствителен к зеленому свету. А шахматный порядок обеспечивает одинаковые по цвету изображения независимо от того, как вы держите камеру (вертикально или горизонтально). При чтении информации с такого сенсора, цвета записываются последовательно в строчках. Первая строчка должна быть BGBGBG, следующая - GRGRGR и т.д. Такая технология называется последовательной RGB (sequential RGB).

В ПЗС камерах совмещение всех трех сигналов воедино происходит не на сенсоре, а в устройстве формирования изображения, уже после того, как сигнал преобразован из аналогового вида в цифровой. В КМОП сенсорах это совмещение может происходить непосредственно на чипе. В любом случае, первичные цвета каждого фильтра математически интерполируются с учетом цветов соседних фильтров. Заметим, что в любом изображении большинство точек - это смешение основных цветов, и лишь немногие действительно представляют чистый красный, синий или зеленый цвет.

Например, чтобы определить, влияние соседних пикселей на цвет центрального при линейной интерполяции будет обрабатываться матрица пикселей размером 3х3. Возьмем, к примеру, простейший случай - три пикселя - с синим, красным и синим фильтрами, расположены в одной строчке (BRB). Предположим, вы пытаетесь получить результирующее значение цвета красного пикселя. Если все цвета равноправны, то цвет центрального пикселя вычисляется математически как две части синего к одной части красного. На самом же деле, алгоритмы даже простой линейной интерполяции намного более сложны, они учитывают значения всех окружающих пикселей. Если интерполяция происходит плохо, то получаются зубцы на границах смены цветов (или появляются цветовые артефакты).

Отметим, что слово "разрешение" в области цифровой графики употребляется некорректно. Пуристы (или педанты - кому как больше нравится), знакомые с фотографией и оптикой, знают, что разрешение - это мера способности человеческого глаза или прибора различать отдельные линии на сетке разрешений, например, на сетке ISO, показанной ниже. Но в компьютерной индустрии принято разрешением называть количество пикселей, и раз уж так повелось, мы также последуем этой конвенции. Ведь даже разработчики называют разрешением количество пикселей в сенсоре.



Посчитаем?

Размер файла изображения зависит от количества пикселей (разрешения). Чем больше пикселей, тем больше файл. Например, изображение сенсоров стандарта VGA (640х480 или 307200 активных пикселей) будет занимать в несжатом виде около 900 килобайт. (307200 пикселей по 3 байта (R-G-B) = 921600 байт, что примерно равно 900 килобайтам) Изображение 16 MP сенсора будет занимать около 48 мегабайт.

Казалось бы, что такого - сосчитать количество пикселей в сенсоре, чтобы определить размер получающегося изображения. Тем не менее, производители камер представляют кучу разных цифр, и каждый раз утверждают, что это и есть истинное разрешение камеры.

В общее число пикселей входят все пиксели, физически существующие в сенсоре. Но активными считаются только те, которые участвуют в получении изображения. Около пяти процентов всех пикселей не будут участвовать в получении изображения. Это либо дефектные пиксели, либо пиксели, использующиеся камерой по другому назначению. Например, могут существовать маски для определения уровня темнового тока или для определения формата кадра.

Формат кадра - соотношения между шириной и высотой сенсора. В некоторых сенсорах, например, с разрешением 640х480, это соотношение равно 1,34:1, что соответствует формату кадра большинства компьютерных мониторов. Это означает, что изображения, созданные такими сенсорами, будут точно укладываться в экран монитора, без предварительного кадрирования. Во многих аппаратах формат кадра соответствует формату традиционной 35-милиметровой пленки, где соотношение равно 1:1,5. Это позволяет делать снимки стандартного размера и формы.


Интерполяция разрешения

Кроме оптического разрешения (реальная способность пикселей реагировать на фотоны), существует также разрешение, увеличенное программно-аппаратным комплексом, с помощью интерполирующих алгоритмов. Как и в интерполяции цветов, в интерполяции разрешения математически анализируются данные соседних пикселей. При этом в результате интерполяции создаются промежуточные значения. Такое "внедрение" новых данных может производиться довольно гладко, при этом интерполированные данные будут чем-то средними, между реальными оптическими данными. Но иногда при такой операции могут возникать различные помехи, артефакты, появляться искажения, в результате которых качество изображения лишь ухудшится. Поэтому многие пессимисты считают, что интерполяция разрешения - это вовсе не способ улучшения качества изображений, а лишь метод увеличения файлов. При выборе устройства обращайте внимание, какое разрешение указано. Не стоит сильно радоваться высокому интерполированному разрешению. (Оно помечается как interpolated или enhanced).

Ещё один процесс обработки изображения на программном уровне - это субдискретизация (Sub-sampling). По сути, это процесс, обратный интерполяции. Этот процесс производится на стадии обработки изображения, уже после того, как данные преобразованы из аналогового цифровой вид. При этом удаляются данные различных пикселей. В КМОП сенсорах эту операцию можно провести на самом чипе, временно отключив считывание определенных строчек пикселей, или считывая данные лишь с избранных пикселей.

Субдискретизация выполняет две функции. Во-первых, для уплотнения данных - чтобы хранить больше снимков в памяти определенного размера. Чем меньше количество пикселей, тем меньше получается размер файла, и тем больше снимков вы сможете уместить на карточке памяти или во внутренней памяти устройства и тем реже вам придется скачивать фотографии на компьютер или менять карточки памяти.

Вторая функция этого процесса - создание изображений определенного размера для определенных целей. Камеры с 2MP сенсором вполне по зубам сделать снимок стандартной фотографии размером 8х10 дюймов. Но если вы попытаетесь переслать такую фотографию по почте, то это заметно увеличит размер письма. Субдискретизация позволяет обработать изображение так, чтобы оно нормально смотрелось на мониторах ваших друзей (если не ставить целью детализацию) и при этом отправлялось достаточно быстро даже на машинах с медленным соединением.

Теперь, когда мы ознакомились с принципами работы сенсоров, знаем, как получается изображение, давайте заглянем несколько глубже и затронем более сложные ситуации, возникающие при цифровой фотографии.

Коллизии фотонов

Электроны, вырабатываемые в результате фотоэлектрического эффекта, перемещаются по сенсору практически хаотически. На движение электронов влияет множество факторов - это и угол попадания фотона, и энергия фотона, и длина волны фотона, и расположение атомов кремния, и качество кремния, и количество слоев на матрице. Кроме того, влияют ещё и другие законы физики. В итоге электроны перемещаются беспорядочно, а не прямолинейно. Также факт высвобождения электрона вовсе не означает попадание этого электрона на пиксель - электрон может снова вернуться в кремний, а может направиться совершенно в другом направлении.

В зависимости от угла падения фотона, при прохождении массива цветных фильтров траектория может измениться, и фотон может попасть на фотодиод соседнего пикселя, а не на свой фотодиод. Это может привести к искажению заряда соседнего пикселя - такой эффект называется оптической перекрестной помехой (cross-pixel talk или optical crosstalk). К примеру, фотон, летевший на красный фильтр, после его прохождения попал на пиксель с зеленым фильтром. В результате искажается изображение (см. рисунок).


Результат такого эффекта нельзя устранить на стадии обработки изображения. Но с помощью специальных стенок между фильтрами этот эффект можно нейтрализовать. Например, Kodak и другие производители, для того, чтобы избежать такого эффекта, в массивах цветных фильтров используют черные перегородки. В других технологиях (к примеру, Philips) используют металлические щиты, которые расположены за фильтрами. Считается, что этот метод надежнее, чем черные границы в фильтрах. Но, во-первых, металл дороже стоит, во-вторых, занимает больше места, а в третьих, добавляет вес.


Электрические помехи объясняются свойствами света. Глубина проникновения фотона в кремний (прежде чем высвободится электрон) зависит от длины световой волны. (Помните, мы говорили, что если длина волны слишком большая, свет просто не задержится в кремнии) Чем короче волна, тем большей энергией обладают фотоны и тем скорее они высвободят электроны. Конечно, если длина волны не слишком коротка. В этом случае, фотоны просто отразятся от поверхности сенсора. Из основных цветов системы Байера, красный обладает максимальной диной волны (соответственно фотоны красного света обладают меньшей энергией), а длина синего цвета - самая короткая. Поэтому, когда фотоны проходят через красный фильтр, они проникают глубже в кремний, перед тем как высвободить электроны. Это может привести к неадекватной реакции на различные цвета, потерю заряда на подложке, а также к переходу электронов в другие пиксели. Как и оптические помехи, электрические помехи нельзя откорректировать на стадии обработки изображений, и посему должны быть предотвращены дизайном сенсора.


Помутнение
Помутнение слева вызвано излишком электронов.

Помутнение - это самый распространенный побочный эффект. Пиксели могут накопить лишь ограниченное количество заряда. Этот параметр называется коэффициентом заполнения. При очень ярком свете электроны переполняют пиксель и попадают в соседние. По этой причине на изображении возникает яркое пятно или полоса, которые мы и называем расплыванием или помутнением.

Чтобы избавиться от этого эффекта создаются специальные перегородки и пиксели, способные забрать избыточные электроны и не допустить их дальнейшую обработку. К сожалению, перегородки занимают более 30 процентов полезной площади, при этом уменьшается чувствительность сенсора и квантовая эффективность. А так как цена - это главный сдерживающий фактор, то в некоторых случаях приходится мириться с такими недостатками.

Способность сенсора детализовать изображение при различных условиях освещенности определяется динамическим диапазоном. Чем шире этот диапазон, тем лучше сенсор.


Помехи

Соотношение сигнал/шум - также является важной характеристикой сенсора. Это соотношение можно определить по динамическому диапазону. Другими словами, не зная, как много посторонних помех или шумов возникает на сенсоре, вычислить динамический диапазон невозможно. Самое интересное, чтобы обеспечить ту же степень детализации при различной освещенности, что и у обыкновенной фотопленки, динамический диапазон сенсора должен быть больше, чем динамический диапазон пленки.

Итак, помехи в изображениях могут возникать по целому ряду вышеописанных причин. Кроме того, часто пиксели неравномерно реагируют на свет, таким образом, создаются зоны с разной чувствительностью. Это также можно рассматривать как помеху. Из всех этих шумов, пожалуй, самую негативную роль, особенно в связи с динамическим диапазоном, играют темновые токи. Темновой ток - это те нежелательные сигналы, вырабатываемые камерой в полной темноте - без всякого освещения, своеобразный фон.

Основная причина возникновения темнового тока - это примеси в кремниевой пластине или повреждение кристаллической решетки кремния. Чем чище кремний, тем меньше темновой ток. Отметим, однако, что при этом и камера становится дороже. Также, ток может возникать вследствие некорректного производственного процесса (например, от неправильного ионного легирования). Ток возникает и от нагревания (при увеличении температуры на 6-8 градусов, значение темнового тока удваивается)


Горячо - холодно

При продолжительной работе любой цифровой фотоаппарат нагревается. Поэтому в профессиональных цифровых камерах сенсор активно охлаждается - либо с помощью конвекции, либо элементом Пельтье, либо вентиляторами. В high-end сенсорах, предназначенных для высокоточных научных и астрономических наблюдений, используется жидкостное охлаждение.

Интересный компромисс наблюдается в фотоаппаратах с ЖК видоискателями, крепящимися к камере на шарнирах. Это решение удобно и для пользователей - так проще наводить фотоаппарат, но самое главное - таким образом от сенсора отдаляется негативный шум и тепло от ЖК экрана, а соответственно снижается и темновой ток.

Ещё один способ сокращения темнового тока - технология синхронизации режимов накопления (Accumulation Mode Clocking, также эту технологию называют MultiPinned Phase - MPP). При этом с помощью изменения напряжения "дырки" (положительные заряды) передвигаются по поверхности кремния и притягивают "заблудшие" свободные электроны - так предотвращается появление теневого тока. Подобным образом работают и диоды с накоплением "дырок" (Hole Accumulation Diode - HAD), добавляющие еще один слой к пикселю, притягивающий дырки.

Различные производители вычисляют динамический диапазон немного по-разному. Но вообще принято считать, что динамический диапазон (в децибелах) равен количеству электронов, которое может хранить пиксель (емкость пикселя, или глубина пикселя), деленному на темновой ток и шумы при считывании (также выраженные количеством электронов)

Компания Philips Semiconductors вполне разумно утверждает, что нельзя говорить о динамическом диапазоне, не упоминая при этом температуры. Иначе нетрудно запутать потребителя, так как нельзя будет сравнить динамические диапазоны двух разных производителей в связи с разными методами их расчета. Однако все производители могут использовать значение динамического диапазона в децибелах для определения битовой глубины сенсора. Например, если динамический диапазон равен 72 дБ, это означает, что отношение полной зарядной емкости к помехам - около 4096, и 12-битный АЦП может точно обработать такой сигнал (2 в 12 степени - как раз равно 4096) .


Любимые формулы

Обратимся к формуле. Предположим, что полная зарядная емкость составляет 40960 электронов, пусть помехи будут составлять 10 электронов. Поделив первое число на второе, получим 4096. Десятичный логарифм означает, в какую степень нужно возвести число 10, чтобы получить число искомое значение (в нашем случае - 4096). Итак, вычислив логарифм, получим, что показатель степени равен 3,61236. Помножив его на 20, мы получим динамический диапазон в 72,25 дБ, что приближенно равно 72 дБ.

Идея заключается в семплировании выходного сигнала сенсора с помощью АЦП с глубиной 8, 10, 12 бит и так далее, при этом можно получить столько оттенков серого, сколько позволяет динамический диапазон сигнала. При 10-битном семплировании таких градаций будет 1024, а при 12-битном - 4096. Но если динамический диапазон сигнала составляет всего 60 дБ, что примерно соответствует значению полная зарядная емкость/шум = 1024, или двойке в десятой степени, использовать 12-битный АЦП, способный определить 4096 градаций - все равно, что стрелять из пушки по воробьям. А при сэмплировании такого сигнала с динамическим диапазоном 60 дБ с помощью 8-битного АЦП какие-то оттенки будут отброшены - с восемью битами можно указать лишь 256 градаций. Следовательно, 10-битный АЦП окажется в самый раз.

Чем меньше размер пикселя, тем меньше его зарядная емкость, следовательно, тем меньше будет его возможный динамический диапазон. С другой стороны, слишком большие пиксели (с большей зарядной емкостью) далеко не всегда означают больший динамический диапазон, если только не нейтрализованы помехи. Ведь больший размер пикселей означает увеличение вероятности возникновения различных помех, шумов и артефактов. (Помехи возникают при неправильной интерпретации изображения пикселем или группой пикселей, при этом изображение искажается, например, на синем небе появляются красные точки. Каким бы ни был источник помех, результат всегда одинаков - искажается изображение).

Отношение размера сенсора к числу пикселей также влияет на величину шума. Если вы будете плотнее располагать пиксели на сенсоре, то вам придется уменьшать их размер, соответственно увеличивается вероятность электрических помех, что снижает динамический диапазон. Именно поэтому в высококлассных камерах используются сенсоры большего размера. Соответственно увеличивается и цена.

Сенсорам сейчас уделяется особое внимание - множество лабораторий разрабатывают все новые и новые дизайны этих устройств. Конечно же, люди желают, чтобы фотоаппараты были дешевле. При этом они также требуют и высокого качества изображений. Поэтому новые архитектуры сенсоров должны обладать повышенной чувствительностью и меньшим уровнем помех - чтобы был выше динамический диапазон. При этом размер пикселей должен быть минимальным.


Упаковка сенсора

О корпусе стоит поговорить отдельно - ведь он составляет третью часть от стоимости всего сенсора. В настоящее время сенсоры помещаются на керамическую подложку, а сверху закрываются стеклом. Эта технология довольно дорога. Кроме этого, такие сенсоры занимают в камере немало места. Производители понимают, что для корпусов необходимы более дешевые материалы, а размер сенсоров должен быть меньше. Но материалов с соответствующими характеристиками крайне мало, а создавать новые - не так-то просто.

В ближайшее время должны появиться новые технологии сенсоров. Такими разработками параллельно занимается несколько различных лабораторий, и все они решают одни и те же проблемы, используя различные вариации ПЗС и КМОП сенсоров.

Например, MOSAD-чип (Multiplexed OverSample AID), разработанный JPL по технологии Amain Technology является гибридом КМОП/ПЗС чипа. Пиксель выдает уже оцифрованное значение, полученное с помощью семплирования с высокой частотой (oversampling) на АЦП. По существу, измеряется избыток электронов на пикселе, а не их общее количество. Если существует избыток, чип ставит единичку, в противном случае - нолик. Это и называется оцифрованным видом. При этом не учитываются градации яркости, изображение получается черно-белым, но компания утверждает, что при большом значении модуляции монитора (то есть когда происходит быстрое мерцание черного и белого цветов) человеческий глаз будет добавлять к черно-белому изображению оттенки серого (или оттенки цвета, если изображение цветное). Кроме того, по утверждениям компании, получившееся таким образом изображение будет равномерным, в отличие от изображений с неравномерными шумами от КМОП сенсоров.

Сенсоры компании Pixim (Pixim's Digital Pixel Sensor - CMOS DPS), разработанные в Стэнфордском университете (Stanford University), также считывают цифровые данные с каждого пикселя, используя параллельный АЦП на каждом пикселе. Компания утверждает, что при размещении АЦП в области формирования заряда постоянный шум практически устраняется. Кроме того, достигается большая скорость и меньшее потребление энергии по сравнению с традиционными КМОП сенсорами с активными пикселями.

Обе компании довольно молоды и их продукты пока что находятся лишь в стадии разработки. И что самое интересное, они не желают работать совместно, хотя и проводят исследования в одной области - считывании с пикселя цифрового сигнала. Явного преимущества какой-либо из них пока не наблюдается. Быть может, на смену этой технологии придут новые, а эта так и останется незамеченной.


Вот такой ширины

Размер пикселя и общий размер всего сенсора сильно влияют на стоимость камеры.

Чем больше светочувствительная область пикселя, тем больше света он может собрать и преобразовать в электроны. Но чем больше пиксели, тем больше места они занимают на сенсоре, тем меньше число пикселей на сенсоре и тем меньше разрешение камеры. С другой стороны, если меньший размер пикселей и увеличивает разрешение камеры, то их зарядная емкость снижается, что в свою очередь означает меньшую светочувствительность. Кроме того, увеличение количества пикселей в сенсоре может привести к возникновению помех.

Размер самого маленького на сегодняшний день ПЗС пикселя - 2,5 квадратных микрона. Но такие размеры больше подходят для цифровых видеокамер, а не для фотоаппаратов. Отметим, что на динамический диапазон влияет не только размер пикселя, но и его дизайн. Цифровой фотоаппарат должен обладать, по крайней мере, 10-битной глубиной цветопередачи, а это означает, что пиксели должны быть немногим больше, чем у существующих дизайнов. В настоящее время размер самых маленьких ПЗС пикселей для цифровых камер составляет 3,3 микрона, а в КМОП - около четырех микрон. Размер пикселей популярного сенсора Sony 3,3 MP составляет 3,45 микрона. Во многих бытовых цифровых аппаратах размер составляет в среднем 5 микрон. В новом ПЗС сенсоре Kodak 16,6 MP размер пикселя - 9 микрон, что обеспечивает ему больший динамический диапазон. Но такой сенсор отличается очень большим размером. В некоторых профессиональных сенсорах используются пиксели размером 12 микрон или даже больше.

Производители должны учитывать не только влияние размера пикселя на качество сенсора, но и количество чипов, которое можно вырезать из одной кремниевой пластины. Из одной 8'' кремниевой вафли компания Philips получает буквально тысячи 0,25'' VGA КМОП сенсоров. С другой стороны, из 6'' пластины Kodak получает только 5 16MP сенсоров размером 33,6 х 37,8 мм. При этом увеличивается пустой расход кремния. (Представьте пять квадратных или прямоугольных чипов в круге - поймете, почему такой большой расход).

К тому же, большой размер сенсора влечет также увеличение размера объектива, а следовательно и всей камеры. А чем больше объектив, тем дороже камера. Подводя итог, отметим, что на цену и на размер камеры влияют характеристики используемого сенсора - число и размер пикселей, светочувствительность и разрешение.


Немного о стандартизации

Большинство камер оснащены ручной настройкой светочувствительности, которую иногда называют ISO, а иногда усилением (gain).

Светочувствительность пленки измеряется числами, определенными Международной организацией по стандартизации ISO. Было бы логично оценивать чувствительность сенсоров по этой же шкале несмотря на различия в технологиях. На светочувствительность сенсора влияют квантовая эффективность и размер пикселя (его емкость).

Чем больше число ISO, тем выше светочувствительность пленки или сенсора. Часто его называют "скоростью" ISO пленки, - ведь на самом деле пленка или сенсор с большим числом может быстрее захватывать изображение при меньшем свете. Если число недостаточно велико для данного освещения, придется увеличивать выдержку. При этом изображение может размываться или увеличиваться количество помех.

Но часто, когда мы упоминаем эквивалент ISO у сенсора, на самом деле мы имеем в виду усиление - способность сенсора электронным образом усиливать сигнал. Также как в фотопленке при увеличении этого числа увеличивается и зернистость, в сенсорах увеличивается вероятность появления помех. Поэтому приходится искать компромисс между светочувствительностью и качеством изображения.

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Как работает цифровая камера | KV.by

Иконограф делал картинки вовсе не за счет того, что пропускал свет на специальным образом обработанную бумагу. Все было гораздо проще - внутри у него сидел маленький демон, который хорошо чувствовал цвет и умел быстро работать кистью.

Терри Пратчетт. "Безумная звезда"

В этом номере я собираюсь начать "долгоиграющую" тему о том, как устроена и как работает цифровая камера, что значат всякие умные слова вроде "брэкетинг" и "экспокоррекция" и, главное, как всем этим целенаправленно пользоваться.

Вообще, цифровая камера - это аппарат, позволяющий получать изображения объектов в цифровой форме. По большому счету, разница между обычным и цифровым фотоаппаратом - только в приемнике изображения. В первом случае это фотоэмульсия, требующая затем химической обработки. Во втором - специальный электронный датчик, преобразующий падающий свет в электрический сигнал. Датчик этот называется сенсором или матрицей и действительно представляет из себя прямоугольную матрицу светочувствительных ячеек, помещенных на одном полупроводниковом кристалле.

При попадании света на элемент матрицы он вырабатывает электрический сигнал, пропорциональный количеству попавшего света. Затем сигналы (пока что это аналоговые сигналы) с элементов матрицы считываются и преобразуются в цифровую форму аналогово-цифровым (АЦП) преобразователем. Дальше цифровые данные обрабатываются процессором камеры (да, в ней тоже есть процессор) и сохраняются уже в виде, собственно, картинки.

Итак, сердцем любой цифровой камеры является сенсор. Сейчас существуют две основные технологии производства сенсоров - ПЗС (CCD, charge coupled device - устройство с зарядовой связью) и КМОП. В ПЗС-матрице во время экспозиции (то есть в момент, собственно, фотографирования) в светочувствительных элементах накапливается заряд, пропорциональный интенсивности падающего света. При считывании данных эти заряды сдвигаются из ячейки в ячейку, пока не будет считана вся матрица (фактически, чтение происходит построчно). Данный процесс в популярной литературе любят сравнивать с передачей ведер с водой по цепочке. Производятся ПЗС-матрицы по МОП-технологии и для получения качественного изображения требуют высокой однородности параметров по всей площади чипа. Соответственно, они достаточно дороги.

Альтернативой ПЗС являются CMOS (то бишь, по-русски, КМОП) матрицы. По сути своей, КМОП-сенсор достаточно похож на микросхему оперативной памяти - DRAM. Тоже прямоугольная матрица, тоже конденсаторы, тоже считывание с произвольным доступом. В качестве светочувствительных элементов в КМОП-матрицах используются фотодиоды. В общем, КМОП-матрицы намного лучше подходят для производства по хорошо разработанным нынче техпроцессам. К тому же, помимо всего прочего (большая плотность упаковки элементов, меньшее энергопотребление, более низкая цена), это позволяет интегрировать сопутствующую электронику на один кристалл с матрицей. Правда, до недавнего времени CMOS не выдерживал конкуренции с CCD в смысле качества, так что на основе CMOS-сенсоров делались, в основном, дешевые устройства вроде веб-камер. Однако в последнее время сразу несколько крупных компаний (в частности, такой монстр индустрии, как Kodak) разрабатывали технологии производства CMOS-матриц высокого разрешения и высокого качества. Первая "серьезная" (трехмегапиксельная цифровая зеркалка) камера на КМОП - Canon EOS-D30 - появилась почти два года назад. А объявленные на последней Photokina полноформатные камеры Canon EOS 1Ds и Kodak Pro DCS-14n окончательно продемонстрировали потенциал КМОП-сенсоров. Впрочем, большинство камер пока все-таки выпускаются на основе ПЗС-матриц.

Желающие более подробно познакомиться с обеими технологиями могут начать вот с этого адреса www.eecg.toronto.edu/~kphang/ece1352f/papers/ng_CCD.pdf, а мы пойдем дальше.

Следующий момент - элементы матрицы (любого из вышеописанных типов) воспринимают только интенсивность падающего света (то есть, дают черно-белое изображение). Откуда берется цвет? Для получения цветного изображения между объективом и матрицей располагается специальный светофильтр, состоящий из ячеек основных цветов (GRGB, либо CMYG), находящихся над соответствующими пикселами. Причем, для зеленого цвета используются два пиксела (в RGB, или один в CMY), поскольку глаз наиболее чувствителен именно к этому цвету. Окончательный цвет пиксела на картинке в такой системе высчитывается с учетом интенсивностей соседних элементов разных цветов, так что в результате каждому одноцветному пикселу матрицы соответствует цветной пиксел на картинке. Таким образом, окончательная картинка всегда в той или иной степени интерполирована (то есть рассчитана, а не получена непосредственным фотографированием объекта, что неминуемо сказывается на качестве мелких деталей снимка). Что касается конкретных фильтров, то в большинстве случаев используется прямоугольная матрица GRGB (фильтр Байера).

Существует еще такая штука, как SuperCCD, изобретенная Fuji Photo Film и использующаяся в камерах Fuji с 2000 года. Суть этой технологии в том, что пикселы (и элементы светофильтра - тоже GRGB) расположены в виде своеобразной диагональной матрицы.

Причем камера интерполирует не только цвета самих пикселов, но и цвета точек, расположенных между ними. Таким образом, на фотоаппаратах Fuji всегда указывается разрешение, в два раза превосходящее даже количество физических (одноцветных) пикселов, что не есть правда. Впрочем, технология Fuji все же получилась достаточно удачной - большинство людей, сравнивавших качество снимков с SuperCCD и обычных камер, сходится в том, что качество картинки с SuperCCD соответствует обычной матрице с разрешением, примерно в 1.5 раза большим, чем физическое разрешение SuperCCD. Но не в 2 раза, как это заявлено Fuji.

Заканчивая разговор о фильтрах, самое время упомянуть о третьей альтернативной технологии производства сенсоров, а именно - Foveon X3. Она разрабатывалась фирмой Foveon и была объявлена весной этого года. Суть технологии - физическое считывание всех трех цветов для каждого пиксела (по идее, разрешение такого сенсора будет эквивалентно разрешению обычного сенсора с в три раза большим количеством пикселов). При этом для деления падающего света на цветовые компоненты используется свойство кремния (из которого изготовлен сенсор) пропускать свет с разной длиной волны (то есть, цветом) на разную глубину. Фактически, каждый пиксел Foveon представляет собой трехслойную структуру, причем глубина залегания активных элементов соответствует максимуму пропускания кремнием света для основных цветов (RGB). По-моему, весьма перспективная идея. По крайней мере, в теории. Потому что на практике первая объявленная камера на основе Foveon X3 пока так и остается единственной. Да и ее поставки пока толком так и не начались. Более подробно об этой технологии мы писали в шестом номере газеты за этот год.

Однако вернемся к сенсорам. Основной характеристикой любой матрицы, с точки зрения конечного пользователя, является ее разрешение - то есть количество светочувствительных элементов. Большинство камер сейчас делается на основе матриц в 2-4 мегапиксела (миллион пикселов). Естественно, чем больше разрешение матрицы, тем более детализированный снимок можно на ней получить. Конечно, чем больше матрица, тем она дороже. Но за качество всегда приходится платить. Разрешение матрицы и размер получаемого снимка в пикселах связаны напрямую, например, на мегапиксельной камере мы получим картинку размером 1024х960 = 983040. Надо сказать, что увеличение разрешения матриц - одна из главных задач, с которой сейчас борются производители цифровых камер. Скажем, года три назад большинство камер среднего ценового диапазона снабжалось мегапиксельными матрицами. Два года назад это число увеличилось до двух мегапикселов. Год назад оно уже стало равно трем-четырем мегапикселам. Сейчас же большинство последних моделей камер комплектуется сенсорами с разрешением 4-5 мегапикселов. И уже существует несколько полупрофессиональных моделей, снабженных матрицами больше 10 мегапикселов. Видимо, где-то на этом уровне гонка и остановится, поскольку снимок с 10-мегапиксельной матрицы примерно соответствует по детализации снимку на стандартную 35-миллиметровую пленку.

Кстати, не надо путать разрешение матрицы в том виде, как мы определили его выше, и разрешающую способность. Последняя определяется как способность камеры разделить изображение двух объектов и обычно измеряется по снимку штриховой миры с известным расстоянием между штрихами. Разрешающая способность описывает свойства всей оптической системы камеры - то есть матрицы и объектива. В принципе, разрешение и разрешающая способность связаны между собой, но связь эта определяется не только параметрами матрицы, но и качеством использованной в камере оптики.

Следующая характеристика цифровой камеры, напрямую связанная с матрицей, - это чувствительность. Или, точнее, светочувствительность. Этот параметр, как и следует из названия, описывает чувствительность матрицы к падающему свету и, в принципе, полностью аналогичен светочувствительности обычных фотоматериалов. Например, вы можете купить в магазине пленку чувствительностью 100, 200 или 400 единиц. Точно так же можно выставить чувствительность матрицы, но полюс цифрового фотоаппарата в том, что чувствительность выставляется индивидуально для каждого кадра. Скажем, при ярком солнечном свете можно снимать с чувствительностью 100 или 50, а для ночной съемки можно переключиться на 400 (а в некоторых фотоаппаратах и на 1400). Большинство цифровых камер позволяет выставлять стандартные значения чувствительности - 50, 100, 200 и 400. Кроме того, система автоэкспозиции может менять чувствительность плавно. Поскольку физически регулировка чувствительности осуществляется изменением коэффициента усиления сигнала с матрицы, то в камере это реализовать достаточно просто.

Измеряется чувствительность в единицах ISO (по крайней мере, для цифровых камер они уже стали стандартом). Как они переводятся в единицы DIN и ГОСТ, вы можете посмотреть в таблице.

ГОСТ 8 11 32 65 90 180 250
ISO 9 12 35 70 100 200 300
DIN 10 11-20 16 19-20 21 24 25-26

Впрочем, у регулируемой чувствительности есть свои недостатки. Поскольку физически при этом свойства матрицы не меняются, а просто усиливается существующий сигнал, то на изображении начинают все больше и больше проявляться шумы, свойственные любому электронному устройству. Это очень сильно снижает рабочий динамический диапазон камеры, так что при высокой чувствительности вы хорошей картинки не получите. С аналогичной проблемой, кстати, можно столкнуться и при больших экспозициях - любая матрица шумит, а со временем шум накапливается. Сейчас во многих камерах реализуются специальные алгоритмы шумоподавления при больших экспозициях, однако они склонны сглаживать изображение и размывать мелкие детали. В общем, против законов физики не попрешь, но все-таки возможность регулировать чувствительность - большой плюс цифровых камер.

Константин АФАНАСЬЕВ

CCD или CMOS? Что лучше?

В рубрику "Видеонаблюдение (CCTV)" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Сенсор изображения является важнейшим элементом любой видеокамеры. Сегодня практически во всех камерах используются датчики изображения CCD или CMOS. Оба типа датчика выполняют задачу преобразования изображения, построенного на сенсоре объективом, в электрический сигнал. Однако вопрос, какой датчик лучше, до сих пор остается открытым

Н.И. Чура
Технический консультант
ООО "Микровидео Группа"

CCD является аналоговым датчиком, несмотря на дискретность светочувствительной структуры. Когда свет попадает на матрицу, в каждом пикселе накапливается заряд или пакет электронов, преобразуемый при считывании на нагрузке в напряжение видеосигнала, пропорциональное освещенности пикселей. Минимальное количество промежуточных переходов этого заряда и отсутствие активных устройств обеспечивают высокую идентичность чувствительных элементов CCD.

CMOS-матрица является цифровым устройством с активными чувствительными элементами (Active Pixel Sensor). С каждым пикселем работает свой усилитель, преобразующий заряд чувствительного элемента в напряжение. Это дает возможность практически индивидуально управлять каждым пикселем.

Эволюция CCD

С момента изобретения CCD лабораторией Белла (Bell Laboratories, или Bell Labs) в 1969 г. размеры сенсора изображения непрерывно уменьшались. Одновременно увеличивалось число чувствительных элементов. Это естественно вело к уменьшению размеров единичного чувствительного элемента (пикселя), а соответственно и его чувствительности. Например, с 1987 г. эти размеры сократились в 100 раз. Но благодаря новым технологиям чувствительность одного элемента (а следовательно, и всей матрицы) даже увеличилась.

Что позволило доминировать
С самого начала CCD стали доминирующими сенсорами, поскольку обеспечивали лучшее качество изображения, меньший шум, более высокую чувствительность и большую равномерность параметров пикселей. Основные усилия по совершенствованию технологии были направлены на улучшение характеристик CCD.

Как растет чувствительность
По сравнению с популярной матрицей Sony HAD стандартного разрешения (500х582) конца 1990-х гг. (ICX055) чувствительность моделей более совершенной технологии Super HAD выросла почти в 3 раза (ICX405) и Ex-view HAD – в 4 раза (ICX255). Причем для черно-белого и цветного варианта.

Для матриц высокого разрешения (752х582) успехи несколько менее впечатляющие, но если сопоставлять модели цветного изображения Super HAD с самыми современными технологиями Ex-view HAD II и Super HAD II, то рост чувствительности составит в 2,5 и 2,4 раза соответственно. И это несмотря на уменьшение размеров пикселя почти на 30%, поскольку речь идет о матрицах самого современного формата 960H с увеличенным количеством пикселей до 976х582 для стандарта PAL. Для обработки такого сигнала Sony предлагает ряд сигнальных процессоров Effio.

Добавилась ИК-составляющая
Одним из эффективных методов роста интегральной чувствительности является расширение спектральных характеристик чувствительности в область инфракрасного диапазона. Это особенно характерно для матрицы Ex-view. Добавление ИК-составляющей несколько искажает передачу относительной яркости цветов, но для черно-белого варианта это не критично. Единственная проблема возникает с цветопередачей в камерах "день/ночь" с постоянной ИК-чувствительностью, то есть без механического ИК-фильтра.


Развитие этой технологии в моделях Ex-view HAD II (ICX658AKA) в сравнении с предыдущим вариантом (ICX258AK) обеспечивает рост интегральной чувствительности всего на 0,8 дБ (с 1100 до 1200 мВ) с одновременным увеличением чувствительности на длине волны 950 нм на 4,5 дБ. На рис. 1 приведены характеристики спектральной чувствительности этих матриц, а на рис. 2 – отношение их интегральной чувствительности.


Оптические инновации
Другим методом роста чувствительности CCD являются увеличение эффективности пиксельных микролинз, светочувствительной области и оптимизация цветовых фильтров. На рис. 3 представлено устройство матриц Super HAD и Super HAD II, показывающее увеличение площади линзы и светочувствительной области последней модификации.

Дополнительно в матрицах Super HAD II значительно увеличено пропускание светофильтров и их устойчивость к выцветанию. Кроме того, расширено пропускание в коротковолновой области спектра (голубой), что улучшило цветопередачу и баланс белого.

На рис. 4 представлены спектральные характеристики чувствительности матриц Sony 1/3" Super HAD (ICX229AK) и Super HAD II (ICX649AKA).

CCD: уникальная чувствительность

В совокупности перечисленных мер удалось добиться значительных результатов по улучшению характеристик CCD.

Сравнить характеристики современных моделей с более ранними вариантами не представляется возможным, поскольку тогда не производились цветные матрицы широкого применения даже типового высокого разрешения. В свою очередь, сейчас не производятся черно-белые матрицы стандартного разрешения по новейшим технологиям Ex-view HAD II и Super HAD II.

В любом случае по чувствительности CCD до сих пор являются пока недостижимым ориентиром для CMOS, поэтому они все еще широко используются за исключением мегапиксельных вариантов, которые очень дорого стоят и применяются в основном для специальных задач.

CMOS: достоинства и недостатки

Сенсоры CMOS были изобретены в конце 1970-х гг., но их производство удалось начать только в 1990-е по причине технологических проблем. И сразу наметились их основные достоинства и недостатки, которые и сейчас остаются актуальными.

К достоинствам можно отнести большую интеграцию и экономичность сенсора, более широкий динамический диапазон, простоту производства и меньшую стоимость, особенно мегапиксельных вариантов.

С другой стороны, CMOS-сенсоры обладают меньшей чувствительностью, обусловленной, при прочих равных условиях, большими потерями в фильтрах структуры RGB, меньшей полезной площадью светочувствительного элемента. В результате множества переходных элементов, включая усилители в тракте каждого пикселя, обеспечить равномерность параметров всех чувствительных элементов значительно сложнее в сравнении с CCD. Но совершенствование технологий позволило приблизить чувствительность CMOS к лучшим образцам CCD, особенно в мегапиксельных вариантах.

Ранние сторонники CMOS утверждали, что эти структуры будут гораздо дешевле, потому что могут быть произведены на том же оборудовании и по тем же технологиям, что и микросхемы памяти и логики. Во многом данное предположение подтвердилось, но не полностью, поскольку совершенствование технологии привело к практически идентичному по сложности производственному процессу, как и для CCD.

С расширением круга потребителей за рамки стандартного телевидения разрешение матриц стало непрерывно расти. Это бытовые видеокамеры, электронные фотоаппараты и камеры, встроенные в средства коммуникации. Кстати, для мобильных устройств вопрос экономичности довольно важный, и здесь у CMOS-сенсора нет конкурентов. Например, с середины 1990-х гг. разрешение матриц ежегодно вырастало на 1–2 млн элементов и теперь достигает 10–12 Мпкс. Причем спрос на CMOS-сенсоры стал доминирующим и сегодня превышает 100 млн единиц.

CMOS: улучшение чувствительности

Первые образцы камер наблюдения конца 1990-х – начала 2000-х с CMOS-матрицами имели разрешение 352х288 пкс и чувствительность даже для черно-белого варианта около 1 лк. Цветные варианты уже стандартного разрешения отличались чувствительностью около 7–10 лк.

Что предлагают поставщики
В настоящее время чувствительность CMOS-матриц, безусловно, выросла, но не превышает для типовых вариантов цветного изображения величины порядка нескольких люксов при разумных величинах F числа объектива (1,2– 1,4). Это подтверждают данные технических характеристик брендов IP-видеонаблюдения, в которых применяются CMOS-матрицы с прогрессивной разверткой. Те производители, которые заявляют чувствительность около десятых долей люкса, обычно уточняют, что это данные для меньшей частоты кадров, режима накопления или по крайней мере включенной и достаточно глубокой АРУ (AGC). Причем у некоторых производителей IP-камер максимальная АРУ достигает умопомрачительной величины –120 дБ (1 млн раз). Можно надеяться, что чувствительность для этого случая в представлении производителей предполагает пристойное отношение "сигнал/шум", позволяющее наблюдать не один только "снег" на экране.

Инновации улучшают качество видео
В стремлении улучшить характеристики CMOS-матриц компания Sony предложила ряд новых технологий, обеспечивающих практическое сравнение CMOS-матриц с CCD по чувствительности, отношению "сигнал/шум" в мегапиксельных вариантах.

Новая технология производства матриц Exmor основана на изменении направления падения светового потока на матрицу. В типовой архитектуре свет падает на фронтальную поверхность кремниевой пластины через и мимо проводников схемы матрицы. Свет рассеивается и перекрывается этими элементами. В новой модификации свет поступает на тыльную сторону кремниевой пластины. Это привело к существенному росту чувствительности и снижению шума CMOS-матрицы. На рис. 5 поясняется различие структур типовой матрицы и матрицы Exmor, показанных в разрезе.


На фото 1 приведены изображения тестового объекта, полученные при освещенности 100 лк (F4.0 и 1/30 с) камерой с CCD (фронтальное освещение) и CMOS Exmor, имеющих одинаковый формат и разрешение 10 Мпкс. Очевидно, что изображение камеры с CMOS по крайней мере не хуже изображения с CCD.


Другим способом улучшения чувствительности CMOS-сенсоров является отказ от прямоугольного расположения пикселей с построчным сдвигом красного и синего элементов. При этом в построении одного элемента разрешения используются по два зеленых пикселя – синий и красный из разных строк. Взамен предлагается диагональное расположение элементов с использованием шести соседних зеленых элементов для построения одного элемента разрешения. Такая технология получила название ClearVid CMOS. Для обработки предполагается более мощный сигнальный процессор изображений. Различие структур расположения цветных элементов иллюстрируются рис. 6.


Считывание информации осуществляется быстродействующим параллельным аналого-цифровым преобразователем. При этом частота кадров прогрессивной развертки может достигать 180 и даже 240 кадр/с. При параллельном съеме информации устраняется диагональный сдвиг кадра, привычный для CMOS-камер с последовательным экспонированием и считыванием сигнала, так называемый эффект Rolling Shutter – когда полностью отсутствует характерный смаз быстро движущихся объектов. 


На фото 2 приведены изображения вращающегося вентилятора, полученные CMOS-камерой с частотой кадров 45 и 180 кадр/с.

Полноценная конкуренция

В качестве примеров мы приводили технологии Sony. Естественно, CMOS-матрицы, как и CCD, производят и другие компании, хотя не в таких масштабах и не столь известные. В любом случае все так или иначе идут примерно одним путем и используют похожие технические решения.

В частности, известная технология матриц Panasonic Live-MOS также существенно улучшает характеристики CMOS-матриц и, естественно, похожими методами. В матрицах Panasonic уменьшено расстояние от фотодиода до микролинзы. Упрощена передача сигналов с поверхности фотодиода. Уменьшено количество управляющих сигналов с 3 (стандартные CMOS) до 2 (как в CCD), что увеличило фоточувствительную область пикселя. Применен малошумящий усилитель фотодиода. Используется более тонкая структура слоя датчиков. Сниженное напряжение питания уменьшает шум и нагрев матрицы.

Можно констатировать, что мегапиксельные матрицы CMOS уже могут успешно конкурировать с CCD не только по цене, но и по таким проблемным для этой технологии характеристикам, как чувствительность и уровень шума. Однако в традиционном CCTV телевизионных форматов CCD-матрицы остаются пока вне конкуренции.

Опубликовано: Журнал "Системы безопасности" #5, 2011
Посещений: 98733

  Автор


Чура Н.И.Технический консультант ООО "Система СБ" и ООО "Микровидео /Группа".

Всего статей:  57

В рубрику "Видеонаблюдение (CCTV)" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Неисправности, которые приходят сами по себе (типовые неисправности компактных камер

В предыдущей статье мы уже рассматривали неисправности, в которых виноват конструктор фотоаппарата. Как бы пользователь не берег камеру, неисправность всё же приходит.

Время идет и некоторые фотоаппараты из прошлого обзора уже не попадают в ремонт (не осталось у населения или настолько устарели, что их не ремонтируют). На полках в сервисных центрах появились новые завсегдатаи.

Что ж тенденции таковы, что современный фотоаппарат становится дешевле и работает меньше. "Косяков" в производстве всё больше и больше. Некоторые фотоаппараты поражают обилием одновременно встречающихся поломок, и все они происходят не по вине пользователя.

 

 

Рейтинг возглавляет фотоаппарат Olympus FE340, он же Olympus C560, Olympus X855.

 

 

Шлейф затвора Olympus FE340, переломан.

Три дефекта.

  • Перелом шлейфа объектива (упоминали в прошлой статье, неверно уложили шлейф на заводе). К слову этим же дефектом страдает еще ряд моделей: Olympus FE330, Olympus mju840, Olympus mju820 и некоторые другие.
  • Перелом шлейфа затвора. Шлейф длиннее на 2мм, чем нужно, и механизм его ломает. Этот дефект преследует фотоаппараты Olympus FE46, Olympus FE47, Pentax M50, M60, L50.
  • Брак матрицы -  совершенно новый дефект. Проявился сравнительно недавно, но имеет массовый характер. На изображении появляются вертикальные потеки, искажаются цвета или изображение пропадает полностью. Причем последнее может быть вызвано и дефектом шлейфа затвора. Виноват производитель матриц Panasonic, нами выявлено уже около 5 моделей матриц, которые с трудом доживают до сегодняшних дней. Моделей матриц пять, а моделей фотоаппаратов более 3х десятков.

В связи с последним дефектом ремонт и диагностика данной модели затруднен, иногда приходится устранить последовательно две первых неисправности, чтобы понять, что уже вышла из строя матрица. Её замена заметно дороже, чем замена шлейфов.

Сразу за Olympus FE340 следует Olympus SP-560. Снова три дефекта, никак не связанные между собой.

  • Раньше всего проявился дефект пьезо-стабилизатора матрицы. Матрицу по горизонтали и вертикали перемещают т.н. пьезоактуаторы (хрупкие кристаллы, генерирующие ультразвуковую волну, которая и перемещает матрицу). Кристаллы раскалываются, система перестает работать должным образом, фотоаппарат говорит «ошибка зума», «lens error». Его братья по конструкции (Olympus SP550, SP565, SP570, SP590) аналогично страдают от данного дефекта.
  • Выход из строя матрицы. Еще бы, матрица там стоит такая же, как и на FE-340. Обидно, что с неисправностью №1 диагностировать неисправность №2 невозможно.
  • Крышка отсека батарей раскалывается пополам ровно в том месте, где инженеры решили сэкономить на металлической пластине.

 

Вот такая трещина рассекает крышку отсека батарей у фотоаппарата Olympus SP-560.

 

Olympus mju840, три дефекта:

  • Шлейф объектива передавливается рамкой дисплея (где-то мы это слышали…)
  • Отлетает кронштейн рамки стабилизатора
  • Дефектная матрица (да, да, такая-же как и на первых двух аппаратах)

 

Анализируя нашу базу данных по учету ремонта, можно видеть забавную картину: самый популярный аппарат в ремонте – как раз Olympus FE-340. 52 попадания в ремонт за один год. Следом за ним – Olympus mju700, с 51 заходом.

 

Далее в нашем обзоре «свежачки»: фотоаппараты новые, дефекты свежие.

 

Nikon S3100, Nikon S4100, Nikon S4150, Nikon S2600 и некоторые другие, которым достался один и тот же объектив. О чем думали те, кто его проектировал – неизвестно.

Объектив крайне компактен, но диапазон трансфокации («зума») – 5 раз. Устроен он как матрешка. Много баррелей - и все двигаются поступательно. Много точек трения - и при попадании пыли проворачивать кольца мотору становится всё тяжелее и тяжелее. Объектив другой конструкции в такой ситуации просто заклинит, тут же последствия хуже.  В данном объективе зубчатый венец зачем-то сделан из крайне мягкой пластмассы, при возрастании нагрузки срезаются два зубца. В результате объектив уже не может выйти на рабочее положение, громко стрекочет, тубусы дергаются в положении 1 см от сложенного состояния. Если в момент включения потянуть за объектив, фотоаппарат нормально заработает до следующего выключения.

Дефектное кольцо объектива Nikon S3100. Хорошо видно два отсутствующих зубца.

В итоге вместо чистки – замена внешнего кольца или объектива целиком. Установка нового кольца прилично удорожает ремонт, а установка нового объектива и вовсе нецелесообразна, стоимость ремонта будет составлять более 50% стоимости нового фотоаппарата.

Печально то, что к такому развитию событий приводит вполне рядовая эксплуатация - просто немного пыли при съемке на улице.

Canon A3200, A3300.

Новые аппараты доступной ценовой категории, с прекрасными потребительскими качествами. Но и тут экономия «на спичках» привела к обширным отказам данных камер.

В редукторе этого объектива использовано меньше шестерней, чем обычно (всего 3 штуки, вместо 4-5). При этом коэффициент передачи необходимо было оставить прежним, для чего у одной шестерни сделали очень маленький радиус с малым количеством зубьев. Нагрузка возросла, и это стало самым хрупким местом в фотоаппарате. Достаточно придержать объектив рукой в момент его выдвижения, и шестерня начинает проскакивать (держать объектив не обязательно – пыль и песок сделают это за вас).  На второй-третий раз зубья уже слизываются напрочь.  Объектив уже не может выйти на рабочее положение, громко стрекочет, тубусы дергаются.

 

Милая, и пока целая пара шестерен для объективов Canon A3200, A3300

 

Canon A1000, Canon A1100, Canon A3000 и некоторые другие.

 

Неисправность снова связана со шлейфом. Фотоаппарат делает засвеченные снимки, снимки в полоску, через минуту возникает ошибка E32 даже в режиме просмотра.

Причина – шлейф затвора/стабилизатора, который со временем теряет эластичность, и попадает между подвижными частями объектива, пережимается и разрывается. Неисправность пока не массовая, но с течением времени с данной проблемой ожидается большое количество фотоаппаратов не только старых (А1000), но и сравнительно «свежих» (А3100). Ремонт состоит в замене шлейфа целиком.

 

 

Sony h20, h4, h30 – дефект вспышки.

Шлейф вспышки на Sony DSC-h20 в "обнаженном" состоянии. Вроде бы всё нормально..

Со временем у данных фотоаппаратов отказывает встроенная вспышка. Головка с лампой там «отстреливается», с этим и связано появление дефекта. Лампу с аппаратом соединяет шлейф, который имеет склонность переламываться. Усугубляет ситуацию огромные значения тока, проходящего через данный шлейф (десятки ампер!). При появлении малейшей трещинки на шлейфе слегка возрастает сопротивление этого участка цепи, ток разряда лампы разогревает участок повышенного сопротивления, трещинка оплавляется, сопротивление еще возрастает… Так продолжается пока трещинка не обгорает совсем и полностью прерывает контакт.

 

А вот и трещинка. Всё как надо, обгоревшая, контакт полностью отсутствует.

Ремонт – замена шлейфа на новый, или восстановление участка цепи гибкими проводниками.

 

Дрожание стабилизатора на тонких фотокамерах Sony.

Дефект встречается на компактных фотоаппаратах Sony с объективом шахтного типа таких как Sony T70, Sony T2, Sony T10, Sony T50 и многих других.

Во время съемки фотоаппарат начинает вибрировать, чем-то напоминая звонящий мобильный. Снимки получаются крайне смазанные даже в солнечный день. Иногда дефект перерастает в ошибку E62:10.

Причина – старение узла стабилизации изображения. Механические параметры узла стабилизации занесены в прошивку аппарата, но чем больше проходит времени, тем больше реальные показатели подвижности узла отличаются от расчетных, и вместо удержания линзы на месте происходят её колебания около центра.

Ремонт заключается в замене узла целиком или в замене некоторых компонентов блока стабилизации.

 

 

Неисправность матриц, вторая волна.

Мастера (и пользователи проблемных моделей) еще хорошо помнят массовый брак матриц производителя Sony, тогда страдали в основном 5-и мегапиксельные сенсоры.

Отличная иллюстрация дефекта из бюллетеня Sony. Именно так и проявляется дефект матрицы.

Фотоаппараты Sony T1, Canon A95, Nikon E8700 попадают в ремонт до сих пор.

Изображение на дисплее фотоаппарата принимает фиолетовый оттенок, с вертикальными потеками. На снимке обнаруживаются горизонтальные или радиальные полосы. Иногда неисправность проявляется в сильных помехах на изображении, а иногда изображения и вовсе нет.

Но не успели отойти в прошлое проблемы матриц Sony, как другой производитель, Panasonic «обрадовал» нас огромными сериями дефектных матриц.

Что же происходит с фотосенсором от времени?

Матрица представляет собой полупроводниковый кристалл с массивом светочувствительных элементов, который упакован в керамический корпус с прозрачным окном. Контактные площадки на матрице соединяются с выводами корпуса при помощи тончайших проводников, прихваченных точечной сваркой.

Отрыв токоведущих проводников от кристалла матрицы, фото с увеличением 20х.

Сварка в месте соединения кристалла и «волосинки» и стала причиной выхода из строя такого большого количества матриц. Со временем металлизация на подложке в месте сварки вывода отлетает вместе с проводником. Проявление данного дефекта ускоряют температурные перепады.  По нашей статистике чаще всего матрицы «умирают» летом.

 

Всего нами замечено 4-5 типов дефектных матриц, это матрицы на 7, 8, 12 мегапикселей 2007-2008 года выпуска.

Самая массовая серия MN39670, 8 МП, размер 1/2.5”. Данная матрица стоит в таких крайне популярных аппаратах, как Olympus FE340, Olympus SP-560 и многих других. Полный список моделей можно посмотреть в нашей базе данных. Матрица была перевыпущена в 2008 году, уже без дефекта, и мы имеем возможность менять дефектные матрицы на новые, оригинальные.

12-ти мегапиксельный сенсор MN39690, размером 1/1.7”. Более современная, и очень качественная с точки зрения получения изображения фото, матрица. Стоит в Kodak V1233, Kodak V1253, Kodak Z1285, Nikon S700, Panasonic FX100, Pentax A40, Samsung NV20; К сожалению, новых матриц на рынке практически не осталось. По видимому, в скором времени, ремонт данных аппаратов будет невозможен.

7-и мегапиксельные сенсоры MN39840, MN39843, MN39601. Используются в аппаратах Olympus mju760, mju750, mju780, mju700, Panasonic TZ2, Olympus SP-550. Для этих аппаратов шансов на ремонт практически нет. Данные матрицы самые старые, и даже новые, не использованные матрицы на складах уже неисправны. 

Есть также статистика по выходу из строя еще 2-3 типов матриц Panasonic, но они пока не имеют массового характера.

 

Фотоаппараты Sony W35-W70 любят терять кнопку спуска, слишком тонкий сделали у неё стебелек. Тот же дефект присущий Sony h3, H5. Кроме того на них со временем портится угольный шлейф кнопки спуска, перестает работать «полунажатие».

 

В фотоаппаратах Canon A610, A620, A630, A640 отказывает вспышка, перестает освещать кадр в автоматических режимах. Причина – неисправный транзистор IGBT, который теряет способность резко отсекать большой ток разряда. Почему транзистор выходит из строя – остается вопросом.

 

Nikon S200, S210, S220 – шлейф объектива уложен неправильно, переламывается со временем.

Возможно, производители заготовили еще больше неприятных сюрпризов, но будем надеяться что наши с Вами фотоаппараты прослужат долго.

При копировании статьи индексируемая ссылка на первоисточник обязательна: photo-parts.com.ua

 

 

Мир запечатленный

Фотокамера и цифровые изображения существовали параллельно на протяжении не менее ста лет. Но только с развитием электроники и информатики эти процессы удалось слить в единый способ фиксации того, что мы видим вокруг себя

То, что изображение можно создавать однородными цветными элементами, стало известно в незапамятные времена. Первая такая техника — мозаика. В храме шумерского Урука сохранилась выполненная около 3400 года до н. э. отделка колонн узорами из подобранных по гамме керамических шестигранников. В эпоху античности и эллинизма (V–I века до н. э.) техника мозаики достигла совершенства. Начиная с 200 до н. э. тессеры (четырехугольные элементы) изготовлялись не только из керамики и камня, но и из разноцветного стекла. В церковных мозаиках Византии тессеры для изображений святых и императора делали трехслойными, прокладывая между двумя слоями стекла фольгу из золота, — такие мозаики сияли ярче, чем сусальное золото. В будущем стеклянные мозаики Равенны и тессеры, из которых они изготавливались, станут идейным прототипом квадратных «пикселей» первого цифрового изображения в истории.

В античности появилась и первая известная нам развертка изображения — это ранняя криптографическая техника «скитала». По описанию Плутарха, спартанские цари якобы кодировали переписку, оборачивая специальный граненый жезл (греч. Σκυτάλη — «скитала») лентой пергамена и делая на нем запись. Гонец вез распущенный пергамен, буквы на котором шли без видимого порядка, а получатель расшифровывал сообщение, используя точно такую же «скиталу». Стойкость такой криптографии была низкой — она ломалась простым перебором, — но сам метод предвосхищает много иных техник вплоть до телевизионной развертки и, как ни удивительно, сенсоров цифровых камер.

Оцифровка изображений была, вероятно, первым решением для программируемых устройств. В 1725 году лионский ткач Базиль Бушон впервые использовал перфоленту, для того чтобы задавать ткацкому станку определенный узор. Через несколько десятилетий на основе механизма Бушона Жозеф Мари Жаккард создал первый промышленный программируемый механизм — ткацкий станок Жаккарда. Станком Жаккарда управляли более стойкие к износу элементы — перфокарты.

По описанию Плутарха, спартанские цари якобы кодировали переписку, оборачивая специальный граненый жезл (греч. Σκυτάλη — «скитала») лентой пергамена и делая на нем запись

Wikipedia

Как фотографии попасть в газету

Возникшая в середине XIX века фотография, в свою очередь, влияла на развитие техник дигитализации изображений — в немалой степени благодаря тому, что этого требовала индустрия новостей. Первой войной, получившей свою фотолетопись, стала Крымская война. Фотографии Роджера Фентона, снятые в новейшей технике «коллоидных пластин» в 1855 году под Балаклавой и Севастополем, впервые показали невоюющей публике войну не в виде парадных картин и диспозиций, а с фронтовой стороны, глазами простых солдат. Фотографии Фентона шли почтой по нескольку недель. На Гражданской войне в США уже работали десятки фотографов, поднявших искусство репортажного снимка и военной фотографии на новый уровень. Публика требовала новых снимков как можно скорее.

Роджер Фентон. Балаклавская бухта. Крым, 1856 год

Wikipedia

В 1856 году профессор физики из Флорентийского университета Джованни Казелли создал прототип телеграфа, способного передавать фотографии. При энергичной поддержке герцога Тосканы Леопольда II и французского императора Наполеона III Казелли переехал в Париж, где доработал изобретение под названием «Пантелеграф» (в чем ему наперебой помогали почти все французские академики). В 1860-е годы Наполеон III провел три фототелеграфные линии во Франции. Второй страной, ставшей пионером использования фототелеграфа, стала Российская империя, где по решению Александра II линию провели между Петербургом и Москвой. Фототелеграф Канелли мог передавать фотографии — сохранился портрет Канелли, переданный по пантелеграфу, — но для этого их нужно было вручную перерисовать специальным составом. В результате пантелеграф использовали в основном для факсимильной передачи подписей на документах.

 При энергичной поддержке герцога Тосканы Леопольда II и французского императора Наполеона III Казелли переехал в Париж, где доработал изобретение под названием «Пантелеграф»

Пока фототелеграф делал первые шаги, между 1870 и 1895 годами печать в результате ряда последовательных инноваций освоила технику «полутонов», которая позволила тиражировать фотографии в газетах. В этой технике фотографии переводилась в металлическое клише с помощью процесса, который транслировал оттенки серого на фотоотпечатке в точечный растр. Точки были тем крупнее и чаще, чем темнее был в этом месте оригинал. Аналогичный процесс был разработан и для книжной печати, тогда по большей части основанной на литографии. Фотографии стали тиражироваться, а к дигитализации изображений был сделан следующий шаг.

Картинка становится электронной

С 1873 по 1890 год усилиями Уиллоби Смита, Генриха Герца и Александра Столетова была решена задача создания селенового фотоэлемента (фотоэффект и первые фотоэлементы иного типа были известны с 1830-х годов). На основе селенового фотоэлемента немецкий физик Артур Корн (1870–1945) создал первый сканирующий фототелеграф, который преобразовывал фотографию в последовательность электрических импульсов. «Бильдтелеграф» Корна массово распространился в Европе и стал основой для ряда других моделей фототелеграфов, созданных в Европе и США. Все эти фототелеграфы имели невысокую скорость из-за латентности селеновых элементов — примерно семь минут на страницу формата А4.

Скорость сканирования была качественно увеличена открытием Владимира Зворыкина, который при участии Эрла Девитта Уилсона разработал к 1928 году фотоэлемент на основе магния и цезия. Фотоэлемент Зворыкина ускорил сканирование до одной страницы в минуту. После этого улучшения фототелеграфы стали повседневным устройством во всех новостных агентствах, издательствах, крупных корпорациях и правительствах. Через несколько лет Зворыкин разработал знаменитый «Иконоскоп» — первый в ряду многих электронных сенсоров для телекамер, сделавших возможным телевещание.

Владимир Зворыкин у приемного блока факсимильного передатчика Westinghouse

Gettyimages

Фотография: царство химии

Фотография все это время оставалась химическим процессом. К фотопластинам в 1888 году добавилась целлулоидная фотопленка Джорджа Истмена. Истмен создал и первую пленочную камеру «Кодак». Джеймс Клерк Максвелл разработал практичный процесс цветной фотографии с использованием трех светофильтров (процесс Максвелла знаком нам по фотографиям Прокудина-Горского). Габриэль Липпман получил в 1908 году Нобелевскую премию по физике за процесс цветной фотографии в одно экспонирование, через несколько лет его способ вытеснили братья Луи и Огюст Люмьер, чьи фотопластинки «Автохром», покрытые эмульсией из аморфного углерода с мельчайшими шариками пигментов желтого, голубого и фиолетового цветов (модель CMYK) доминировали с 1910 по 1935 год. Затем появилась цветные фото- и кинопленки с диффундирующими цветообразующими компонентами (Kodachrome в США и Agfacolor в Германии). Но все решения, позволяющие получить изображение высокого качества и разрешения, оставались строго в области химии.

Сергей Михайлович Прокудин-Горский. Торжок, 1910 год. Вид на Спасо-Преображенский собор и Входоиерусалимскую церковь

old.pikabu.ru

Фотография в цифровом виде

С появлением компьютеров первого поколения возникла возможность сканирования фотографий не в аналоговый сигнал, а непосредственно в цифровой вид. Можно было бы даже сказать, что в 1957 году был создан первый «графический файл» если бы возникшее в 1950 году понятие «файл» в это время означало еще не «именованный блок информации в электронной памяти», а «блок перфокарт».

Первую цифровую фотографию изготовил Рассел Кирш, сотрудник Национального бюро стандартов США и программист компьютера SEAC, использовав для эксперимента фотографию своего новорожденного сына Уолдена. SEAC имел частоту около 1 МГц и память в 1024 45-битных слов. К SEAC был подключен барабанный сканер, способный распознавать только черный и белый цвета с разрешением 176 × 176 пикселей (термин pixel возник, вероятно, на несколько лет позже как адаптация немецкого термина Bildpunkt, бывшего в ходу с конца XIX века). Получившаяся картинка имела размер 30976 бит и была записана просто как bitmap (матрица нулей и единиц) без обработки и сжатия. Как писал Кирш, постоянная память была настолько дефицитной, что никто не думал о том, что цифровые изображения нужно будет хранить.

 Первую цифровую фотографию изготовил Рассел Кирш, сотрудник Национального бюро стандартов США и программист компьютера SEAC, использовав для эксперимента фотографию своего новорожденного сына Уолдена

Но так как скан, в отличие от оригинала, не передавал оттенки серого, Кирш и его коллеги сделали второй прогон на другом пороге чувствительности сканера, получив другое соотношение черного и белого, а затем программно совместили оба изображения и получили синтетический образ, в котором уже можно было узнать Кирша-младшего. С этой программной операцией родилась дисциплина компьютерной графики и обработки изображений.

После этих первых шагов компьютерная графика стала развиваться очень быстро. Появление компьютеров следующего поколения, оснащенных видеомониторами, особенно линейки DEC PDP, еще более ускорило процесс. В 1960-х годах шла интенсивная фундаментальная работа по созданию математических методов и алгоритмов обработки изображений и распознавания образов. Практически весь арсенал, в настоящее время доступный «Фотошопу», библиотекам машинного зрения, спецэффектам для видео и множеству других приложений, был принципиально разработан уже в это время.

В 1959 году специалисты IBM использовали прорись «пинап-девушки» для обучения работе со световым пером военных авиадиспетчеров центра SAGE

theatlantic.com

Одним из главных двигателей прогресса в области компьютерных изображений была оборона. В 1959 году специалисты IBM использовали прорись «пинап-девушки» для обучения работе со световым пером военных авиадиспетчеров центра SAGE, а стилизованное изображение полуобнаженной гавайской танцовщицы — как тестовое изображение при загрузке. Картинки записывались на перфокарты, которых требовалось около 100 на изображение. Эротические изображения должны были стимулировать интерес молодых солдат к освоению новой техники. Но и самые фундаментальными исследования в области математики цифровых образов тоже шли в оборонных центрах — одним из главных бенефициаров анализа изображений была спутниковая разведка.

Космос, пленка и видео

Видеоаппаратура 1950-х годов не могла конкурировать по качеству с фотографией 1950-х годов. Пока фотографии изготовлялись в земных условиях, эта проблема была не особенно критичной. Но вот в ходе холодной войны сверхдержавы перешли к спутниковой разведке, и в космос стали взлетать спутники-фотоаппараты. И ограничения фотопленки сразу стали серьезной проблемой. Спутниковой разведке на пленочных носителях не хватало оперативности, а космические лучи портили фотопленку. Да и размер зерна фотоэмульсии нельзя было уменьшать до бесконечности, а значит, страдала детализация.

Фотографии Луны в большом приближении (Ranger-7, США), 1964 год

nasa.gov

Патрик Норрис, много лет бывший ведущим конструктором программного обеспечения спутников наблюдения, отмечал, что спутники были способны фотографировать и передавать изображения по радиоканалу уже в момент первых запусков — так были сделаны фотографии обратной стороны Луны в 1959 году («Луна-2», СССР) и Луны в большом приближении в 1964 году (Ranger-7, США). Но качество этих изображений было непригодно для разведывательных целей — и разрешающая способность телекамеры на электронно-лучевых трубках, и пропускная способность радиопередачи были слишком низкими.

Низкое качество снимков, искаженное передачей, вполне отчетливо видно при просмотре этих необработанных снимков. Разрешение снимков американского зонда Ranger-7, запущенного в июле 1964 года, составляло 300 × 300 пикселей. Для сравнения: принятый в 1963 году стандарт PAL имел 576 линий по вертикали, а более ранний стандарт NTSC 1953 года — 480 линий.

Ограничение на пропускную способность было преодолимо путем увеличения времени трансляции и улучшения алгоритмов сжатия. Но сенсор камеры был нерешаемой проблемой, пока решение не нашлось совсем в другой области науки — физике твердого тела.

Белл и Смит: CCD и Нобель за полчаса

В 1968 году научные сотрудники Bell Labs Уиллард Бойл и Джордж Смит, работавшие на проекте создания магнитоэлектронных устройств, разработали за полчаса «мозгового штурма» у грифельной доски (так впоследствии рассказывал Бойл) принципиальную схему CCD (couple charged device). В русской технической терминологии часто применяется сокращение ПЗС — «прибор с зарядовой связью». Если эта история верна, то, возможно, это было самое быстрое нобелевское открытие.

C инженерно-физической точки зрения CCD представляет собой каскад триггеров, работающий по принципу перемещения заряда по полупроводнику. Его самый простой аналог — «бегущая строка», создающая визуальную иллюзию перемещения изображения по горизонтали. В CCD сходным образом перемещается заряд или «дыра» от одной потенциальной ямы к другой. Первый теоретический CCD Бойла—Смита был основан на дырочной p-проводимости, современные CCD в основном n-электронные. Это был «сэндвич» из поликремния, кремния и проводника. Впервые CCD-матрица была представлена публично в марте 1970 года на конференции в Сиэтле — выступление Смита продолжалось пять минут. На нобелевскую лекцию об истории открытия 8 декабря 2009 года Бойлу отвели уже целых 19 минут, а Смиту о принципе работы CCD — 28 минут.

 В 1968 году научные сотрудники Bell Labs Уиллард Бойл и Джордж Смит, работавшие на проекте создания магнитоэлектронных устройств, разработали за полчаса «мозгового штурма» у грифельной доски принципиальную схему CCD

Бойл и Смит изначально видели потенциал устройства и как модуля памяти, и как оптического сенсора — чтобы фиксировать световой поток, проводник должен быть фотоэлектриком. Такой фотосенсор очень скоро изготовили другие сотрудники Bell Labs — Майкл Томсетт и Джил Амелио; в нем было всего восемь монохромных ячеек, расположенных по одной линии. Свет, попадавший на фоточувствительные элементы, создавал потенциал тем больший, чем больше была интенсивность попадавшего на элемент светового потока. После экспозиции каждого кадра потенциал считывался попиксельно с одного конца сенсора и записывался в виде цифровой последовательности, по которой можно было бы восстановить изображение, а очищенная считыванием от заряда матрица была готова к записи нового «кадра». Этот метод очень напоминал древнегреческую «скиталу».

Первой цифровой фотографией (если можно так назвать последовательность импульсов) в истории, сделанной летом 1970 года Томсеттом, Амелио, Бойлом и Смитом, были три буквы — CCD.

Уиллард Бойл (слева) и Джордж Смит с видеокамерой телевизионного качества

BELL LABORATORIES

Хотя CCD-матрица разрабатывалась для возможного использования в раннем видеотелефоне Bell Labs на возможную замену светодиодного видеосенсора, антимонопольное регулирование запрещало AT&T самостоятельно продавать устройства связи и обязывало ее лицензировать всю продукцию Bell Labs на общих условиях всем желающим. Проект видеотелефона конвертировали в разработку прототипа видеокамеры, которую Bell Labs через некоторое время разработал и демонстрировал заказчикам. Датировка знаменитого фото Смита и Бойла с видеокамерой телевизионного качества неизвестна. Лекция самого Смита датирует ее 1970 годом, но такой сенсор в это время еще не существовал, и сами Смит и Бойл выглядят там старше — скорее всего, верна версия, что снимок постановочный и сделан около 1975 года.

Джил Амелио перешел на работу в Fairchild Semiconductors и уже в 1974–1975 годах предложил линейный сенсор на 500 пикселей и матрицу 100 × 100 пикселей. Такую же матрицу 100 × 100 пикселей разработала и Texas Instruments. В конце 1970-х уже шли работы над сенсором 800 × 800 пикселей.

Первая цифровая видеокамера Cyclops Cromemco

Новости о разработке CCD привлекали хоббистов-«хакеров». Летом 1974 года научный сотрудник Стэнфорда Роджер Мелен и студенты Стэнфорда Терри Уокер и Харри Гарланд начали работу над фотовидеокамерой Cyclops, где в качестве сенсора использовался не CCD, а модуль памяти MOS.

Первая цифровая видеокамера Cyclops Cromemco и модуль емкостью один килобит изготовленный в виде квадратного массива 32 × 32 ячейки

Wikipedia

Модуль емкостью один килобит был изготовлен в виде квадратного массива 32 × 32 ячейки. Разработчики сняли с него корпус и подложку, обнажив ячейки, и закрыли их прозрачным материалом. При освещении заряд ячеек менялся тем быстрее, чем ярче был свет. Исходное состояние разработчики приняли за 1, после экспонирования — за 0. Такой сенсор был легко доступен на рынке и стоил всего 55 долларов, в несколько раз меньше CCD. Схема Cyclops была опубликована в феврале 1975 года в журнале Popular Electronics. Cyclops работал только от сетевого подключения и мог отдавать изображение только на внешнее устройство.

В конце 1975 года разработчики Cyclops познакомились с компанией MITS, приступавшей к производству очень популярного у хоббистов США микрокомпьютера Altair. По итогам этого знакомства Мелен, Уокер и Гарланд разработали плату видеозахвата Dazzler для шины S-100 и стали продавать весь комплекс под названием Cromemco (аббревиатура общежития, где шла разработка). В последующем Cromemco перешла к выпуску своих компьютеров, которые были особенно популярны у телестудий как станции трансляции прогнозов погоды.

Первый CCD-фотоаппарат Сассона

Используя матрицу Fairchild CCD-201 (100 × 100), молодой инженер Стивен Сассон, работавший на Eastman Kodak, в 1975 году собрал первый в истории полноценный ручной цифровой фотоаппарат, который делал кадр за 50 миллисекунд и еще полминуты записывал его на обычную магнитофонную кассету. На кассету помещалось 30 кадров. Себестоимость этого проекта составила около 200 долларов США.

Стивен Сассон c первым полноценным ручным цифровым фотоаппаратом, 1975 год

focusfoto.com.br

Как сообщал Сассон много лет спустя, руководство Kodak встретило прототип скептически: «Они были убеждены, что никто никогда не захочет рассматривать свои фотографии на телевизоре». Руководство попросило Сассона дать прогноз, когда цифровая камера сможет обеспечить качество, равноценное фотопленке с ISO 110: зернистость 35-миллиметровой пленки по размеру эквивалентна примерно двум мегапикселям. Сассон применил закон Мура и дал прогноз в 15–18 лет. Камеру запатентовали (US Patent 4131919 26/12/1978), а Сассон получил указание не обсуждать камеру публично.

Много лет спустя Kodak потерял рынок и закрылся именно из-за того, что не успел охватить рынок цифровых камер, держась за умирающие пленочные.

KH-11

После отказа Kodak производить цифровые камеры история первых CCD-камер начинает исчезать под завесой секретности. Некоторый свет на события 1974–1976 годов проливает некролог Джеймса Вестфала, профессора Калтеха, который сообщает о заслугах покойного по созданию «широкоугольной планетарной камеры» WFPS для телескопа Hubble. «Хаббл», как известно, был задуман в середине 1970-х, запущен в 1990 году с фотокамерой с матрицей из четырех сенсоров 800 × 800 пикселей, несколько раз чинился и апгрейдился на орбите (в том числе получал камеру с новыми сенсорами). Но из оговорок в раскрытых документах можно понять, что «Хаббл» был в значительной мере гражданским вариантом военного спутника из проекта Keyhole — KH-11 Kennan» 1976 года. В этот период участники проектов спутниковой разведки и разработки CCD (и так давно близкие) активно обсуждали возможности применения CCD в разведке и лоббировали финансирование спутника с CCD-камерой, особенно активен был Эдвин Ланд, глава Polaroid. Спутники с CCD-камерой могли бы передавать фотографии на Землю в режиме вплоть до реального времени.

Телескоп «Хаббл» был в значительной мере гражданским вариантом военного спутника из проекта Keyhole — KH-11 Kennan

bangla.daily-sun.com

Интересно, что в 1984–1985 годах флотский аналитик Сэмюэл Моррисон был арестован и приговорен к двум годам лишения свободы за шпионаж — он опубликовал в редактируемом им военно-морском альманахе два снимка с KH-11. Это единственный случай, когда за утечку материалов наказали настолько сурово. Когда президент Клинтон в 1995 году подписывал указ о рассекречивании снимков по программам «Корона» и ее наследным программам, рассекречивание остановилось на KH-11. Это также говорит нам о том, что на борту KH-11 Kennan находилось что-то, что было и остается особо охраняемой государственной тайной США.

«Адмирал Кузнецов», на стапелях в 1984 году. Снимок из космоса

Wikipedia

Единственный известный документ, который мог бы сейчас пролить свет на то, была ли на борту KH-11 CCD-камера, находится в собственности Российской Федерации. В 1978 году младший аналитик Уильям Кампайлс, уволенный из ЦРУ «за пьянство и половой разврат», продал с целью наживы советскому дипломату в посольстве СССР в Греции за пять тысяч долларов США полный технический мануал KH-11 и был осужден к 40 годам лишения свободы (освобожден через 19 лет). Где сейчас этот мануал и был ли он — неизвестно; ни СССР, ни Россия никогда не комментировали этот инцидент публично.

Во всяком случае, есть серьезные основания полагать, что первая рабочая CCD-камера в мире взлетела в космос 19 декабря 1976 года на борту ракеты Titan-3D в составе KH-11 версии 1.1 и находилась там до 28 января 1979 года. С этого момента можно вести отчет практической цифровой фотографии.

В СССР спутники с цифровыми фотоаппаратами появились на несколько лет позже. Первым таким аппаратом был, вероятно, «Янтарь 4KC1» («Терилен») с фотокамерой «Жемчуг» производства ЦКБ «Красногорский завод», запущенный 28 декабря 1982 года.

Гражданские цифровые камеры

В гражданском обороте CCD-камеры появились намного позже, чем у разведки. На рубеже 1970–1980 годов президент Sony Кацуо Ивама, двоюродный брат основателя этой корпорации Акио Морита, пытался создать потребительскую CCD-видеокамеру, но его смерть от рака прервала эти работы. В 1990–1991 годах швейцарский стартап Logitech (сейчас всемирно известный производитель всевозможной компьютерной периферии) выпустил портативную фотокамеру Logitech PhotoMan с матрицей 320 × 240 пикселей и 256 оттенков серого, которую производила уже не существующая компания Dycam — это была первая коммерческая камера. В Японии примерно в то же время была создана камера Fuji DS-X, информация о которой противоречива (включая то, была ли она в продаже).

В 1994–1996 годах компания Apple Computers вывела на рынок последовательно три модели цветных фотокамер QuickTake 100, 150 и 200 с матрицей 640 × 480 и 24-битным цветом

Wikipedia

Наконец, в 1994–1996 годах компания Apple Computers (в то время ее возглавлял Майкл Спиндлер), уже в предбанкротном состоянии, вывела на рынок последовательно три модели цветных фотокамер QuickTake 100, 150 и 200 с матрицей 640 × 480 и 24-битным цветом. Первую модель 100 изготавливала Kodak, две последующих, 150 и 200, — Fuji. Камеры 150 и 200 записывали снимки на съемные карты флеш-памяти SmartMedia производства Toshiba. Apple QuickTake можно считать первой цифровой камерой современного типа. В 1996 году Apple Computers возглавил уже известный нам создатель CCD-матрицы Джил Амелио; его главным достижением на этой должности, скорее всего, было не расширение бизнеса на цифровых камерах, а возвращение в компанию ее основателя Стива Джобса перед лицом угрозы ее окончательной гибели. Джобс и снял Apple QuickTake с продажи.

 В 2003 году объем продаж портативных камер с CCD и зеркальных со CMOS-сенсорами превзошел объем продаж пленочных камер, и всего за несколько последующих лет цифровые камеры вытеснили пленочные

Производство и разработка цифровых камер — и профессиональных, и потребительских — стагнировало до рубежа столетий, но затем оживилось. В 2003 году объем продаж портативных камер с CCD и зеркальных со CMOS-сенсорами превзошел объем продаж пленочных камер, и всего за несколько последующих лет цифровые камеры вытеснили пленочные. К концу первого десятилетия XXI века CMOS почти полностью вытеснили CCD и в потребительском сегменте, а портативные камеры, в свою очередь, были вытеснены смартфонами. Этому способствовало создание стандартного компонентного фотовидеосенсора в габаритном формате 8 × 8 мм, производство которых освоил тайваньский производитель Omnivision Technologies, до настоящего времени доминирующий в этом сегменте рынка.

CMOS

В начале 1990-х CCD-сенсор уступил позиции по качеству сенсорам на основе CMOS (англ. complementary metal-oxide-semiconductor — комплементарная структура металл-оксид-полупроводник). Главное преимущество CMOS-сенсора — это «активный» сенсор, в отличие от «пассивного» CCD. CMOS-сенсор сочетает в себе низкое энергопотребление, преобразование и усиление сигнала прямо в светочувствительной ячейке, и при этом имеет более низкую стоимость изготовления. Саму технологию CMOS создал в Fairchild Semiconductor в 1963 году Фрэнк Уонласс (US Patent 3,356,858). Но ключевое изобретение, которое позволило использовать CMOS для создания фотосенсоров, было сделано только в 1993 году в NASA Jet Propulsion Lab — его сделал Эрик Фоссум (на время написания — профессор инженерной школы Дартмурского университета).

CMOS-сенсор на материнской плате фотоаппарата Nikon Coolpix L2 6 MP

Wikipedia

CMOS-сенсор был создан в известной мере при противоположных обстоятельствах: после окончания холодной войны финансирование NASA резко сократилось, и руководители NASA поставили перед учеными задачу «Быстрее, лучше, дешевле». Несмотря на это, NASA не спешило внедрять технологию, и Фоссум сам коммерциализировал ее, создав стартап Photobit (через несколько лет его купила Micron Technologies).

В 2000–2010 годах CMOS-сенсоры стали стандартными в профессиональных «зеркальных» камерах, а после 2010 года CMOS-сенсоры стали вытеснять CCD-сенсоры и в низшем сегменте — потребительских фотоаппаратов и смартфонов. Один из первых CMOS-смартфонов Nokia N8 в 2010–2011 годах рекламировалась как смартфон с профессиональным качеством снимков.

Камерафоны

Работа над совмещением телефонов и камер шла все 1990-е годы в фирмах-фотопроизводителях США и Японии. Один из ключевых патентов (US 5,666,159) получили сотрудники Kodak Кеннет Парулски и Джеймс Шуклер, описавшие принципиальные конфигурации интеграции камер в телефон. Первую цифровую фотографию в интернете расшарил предприниматель из Калифорнии Филипп Кан 11 июня 1997 года, используя самодельную цифровую камеру, — и это тоже была фотография его новорожденного ребенка (дочери Софи).

Первый японский камерафон J-SH04, Sharp/JPhone-Softbank

Wikipedia

Впервые на рынок камерафоны вышли в 2000 году в Корее (Samsung SGH-2000) и Японии (J-SH04, Sharp/JPhone-Softbank). В середине 2000-х крупнейшим мировым производителем телефонов с камерами стала Nokia. Наконец, в 2007 году устройства с камерами вновь появились в продуктовой линейке Apple — это был iPhone с камерой в два мегапиксела, то есть эквивалентный 35-миллиметровой пленке. На iPhone в целом завершился процесс формирования современного смартфона, цифровой фотоаппарат которого — неотъемлемая часть потребительского опыта и поведения.

Будущее цифровой фотографии

Возможно, в ближайшем будущем нас ждет очередной скачок в технологии фотоматриц. Эрик Фоссум, когда-то создавший CMOS-сенсор, с 2011 года работает со своими учениками над принципиально новым типом сенсора — квантовым (quantum image sensor, QIS). QIS, по замыслу Фоссума, должен был улавливать единичные фотоны (причем все без исключения) и позволять создание матриц в миллиарды пикселей. Вместо пикселей QIS оперирует «джотами» — фотоноулавливающими точками. В феврале 2018 года Фоссум опубликовал сообщение, что ему удалось реализовать прототип QIS-сенсора на 1 мегаджот. Если замысел QIS будет доведен до промышленных образцов, в распоряжении человечества впервые появятся устройства, превышающие по чувствительности человеческий глаз: QIS не только позволит создавать картинки запредельного разрешения и точности, но и видеть в практически полной темноте без подсветки и вспышки.

opengl - Матрица представления, наконец, объяснена


Пространства и матрицы

Прежде всего, как вы знаете, мы используем матрицы для представления и преобразования координат. Это могут быть любые аффинные преобразования. Сюда входят преобразования смещения, масштабирования, поворота, сдвига и отражения.

У нас (традиционно) есть следующие системы координат для работы:

  • Пространство модели (иногда называемое «пространством объекта»): координаты внутри модели.
  • Мировое пространство: координаты в мире.
  • Пространство камеры: координаты относительно камеры.
  • Пространство экрана (иногда называется «Пространство окна» или «Пространство устройства»): координаты экрана.

И, конечно же, есть матрицы для преобразования между ними:

  • Матрица модели (иногда называемая «Матрицей объекта»): от пространства модели к пространству мира. Вы используете эту матрицу для размещения объектов в мире.
  • Матрица просмотра (иногда называемая «матрицей преобразования камеры»): из мирового пространства в пространство камеры.
  • Матрица проекции
  • (иногда ее называют «матрицей проекции камеры»): из пространства камеры в пространство клипа.

Подождите, место для клипа? Вернемся к этому.


Конечно, как вы знаете, мы можем составлять матрицы, умножая их. Мы также можем инвертировать их, чтобы получить матрицу, используемую для преобразования в противоположном направлении.

Чтобы применить преобразование к вектору, вы выполняете умножение матрицы на вектор. Это матричное умножение, в котором одна из матриц является вектором. И да, код выглядит как набор точечных произведений, все это умножение и сложение, что очень быстро для компьютера. Кроме того, да, значения в матрицах вращения берутся из тригонометрических операций.

Примечание : Помните, что умножение матриц не коммутативно. Порядок операндов имеет значение.

Фактически, мы используем квадратные (4D) матрицы вместо расширенных 3D-матриц. Это гарантирует, что всегда существует инверсия . Таким образом, мы дополняем трехмерные векторы компонентом w (обычно со значением 1 ), а затем применяем преобразование.Это оставляет результат с координатой w , которая управляет переводом. Наш 3D-перевод - это аффинное преобразование в 3D, но это линейное преобразование в 4D.

Обычно мы не хотим иметь w или использовать его для масштабированных переводов. Итак, мы нормализуем, умножая вектор на 1 / w , затем отбрасываем w , оставляя нам трехмерный вектор. По сути, это проекция из 4D в 3D.

Однако, если мы не хотим, чтобы преобразование выполняло какое-либо преобразование, мы можем вместо этого дополнить вектор компонентом w со значением 0 .

См. Также Однородные координаты и матрицы преобразования.


Итак, как вы понимаете, результатом преобразования в пространство клипа будет 4D. Мы выполняем вышеуказанную нормализацию по на , и это дает нам трехмерное пространство. Это называется нормализованным пространством устройства (иногда называемым «нормализованным пространством экрана»).

Наконец, преобразование из нормализованного пространства устройства в пространство экрана контролируется портом просмотра (и диапазоном глубины). Наконец, у нас осталось 2D-пространство в пикселях.


Виртуальная камера

Мы также хотим смоделировать виртуальную камеру. У простейших перспективных виртуальных камер есть положение в мире, ориентация, поле зрения (об этом мы поговорим позже).

  • Должность:

    Мы собираемся представить положение камеры с помощью вектора в мировом пространстве.

  • Вращение:

    Использование режиссерских углов (Эйлера) станет более легким для управления в играх от первого лица. В особенности для тех игр, где есть четкий верх и низ. Каких их большинство.

    Если нам нужно составить повороты, интерполировать повороты или нам нужны элементы управления для открытого пространства (без четких движений вверх и вниз), нам нужны кватернионы. И да, вы можете ввести углы директора, а затем создать кватернион из этих углов. Примечание : Подобно матрицам, вы также составляете кватернионы путем умножения. Как и в случае с матрицами, порядок имеет значение.

    Если вам нужна камера, которая смотрит на что-то (например, камера от третьего лица), вы можете использовать матрицу просмотра. Вы можете преобразовать его в кватернионы для интерполяции, если нужно анимировать вращение камеры, чтобы на что-то смотреть.

    Вы строите свою матрицу просмотра с прямым вектором, который указывает в направлении, куда смотрит камера, и вектором вверх. Если бы у вас был только прямой вектор, вращение камеры все еще имело бы одну степень свободы (вращение вокруг прямого вектора) ... Вектор вверх исправляет это. Таким образом, помните, что вектор вверх и вектор вперед не должны быть в одном направлении. В идеале они перпендикулярны.

Для удобства вы выбираете, что вы используете для представления положения и поворота камеры. Независимо от того, что вы используете. Вы собираетесь преобразовать их в матрицы, чтобы мы могли скомпоновать их для нашего конвейера рендеринга.

Итак, у нас будет матрица положения камеры и матрица поворота камеры. Если вы используете матрицу просмотра для поворота камеры, то есть матрицу поворота камеры, ничего преобразовывать не нужно.

Мы собираемся объединить матрицу положения камеры и матрицу поворота камеры в нашу матрицу преобразования камеры (матрицу просмотра).


Нам все еще нужно преобразовать пространство камеры в пространство клипа экрана. То есть нам еще нужна матрица Camera Projection. Матрица проекции камеры - это матрица, которая будет представлять собой пирамиду камеры… то есть это матрица, которая реализует перспективу. И это тот, который мы создаем с помощью поля зрения камеры.

Конечно, камера не обязательно должна быть перспективной.Это просто обычный случай.


Вершинный шейдер - это возможность применить нашу матрицу модели, матрицу представления и матрицу проекции. Которые вы можете предварительно скомпоновать в единую матрицу Модель-Вид-Проекция.

Если вы напишете свой вершинный шейдер… вы можете решить не использовать матрицу модели, матрицу представления и матрицу проекции. Вы можете поступить иначе. Например, для трассировки лучей.


Ваши вопросы

Во-первых, есть 3 термина: матрица просмотра, матрица просмотра и матрица преобразования камеры.

Матрица просмотра преобразует пространство мира в пространство камеры. Матрица просмотра обычно используется для матрицы поворота камеры. Матрица преобразования камеры - это матрица положения камеры, составленная из матрицы поворота камеры.

Меня также смущает тот факт, что иногда кажется, что матрица представления построена с помощью перевода и скалярных произведений, а в других случаях она построена с помощью перевода и вращения (с cos и sin).

Иногда матрица поворота камеры (матрица просмотра, если вы ее используете) является матрицей идентичности, что приводит к матрице просмотра без поворота.

Есть еще кватернионы. Что это за матрица при преобразовании кватерниона в матрицу?

В конце вы собираетесь преобразовать в матрицы любое представление вращения, которое у вас есть, чтобы вы могли применить преобразование вращения к векторам. Однако вы можете захотеть выполнить некоторые операции между кватернионами. В частности композиция вращений и интерполяция вращений.

Что это за матрица? Это матрица вращения. Если это какая-либо из (переходных) названных матриц, зависит от того, как вы ее используете.


Бонусная болтовня

Если вы хотите сделать скелетную анимацию, вы должны использовать преобразование для перемещения частей относительно других. Это также делается с матрицами, кватернионами и т. Д. Возможно, матрица просмотра может оказаться полезной, чтобы заставить персонажа указывать свою руку в определенном направлении. Вас также может заинтересовать обратная кинематика.


Учебный материал

На OGLdev вы найдете хорошее введение в современный OpenGL для начинающих.

Я учился по старинке, по красной книге.Он должен служить вам хорошим справочником и прояснять концепции.

Я также хочу порекомендовать Learn OpenGL и opengl-tutorial.

Для обучения кодированию шейдеров, помимо вышеперечисленного, я нашел полезными Shadertoy и Shaderific.


Кстати, вам понадобится библиотека, которая обрабатывает настройку порта просмотра (оконный или полноэкранный) и обработку ввода ... во многих (старых) руководствах используется перенасыщение . Если вы видите перенасыщение (и вы собираетесь), используйте freeglut , это прямая замена... Почему?

Исходная библиотека GLUT, похоже, была заброшена в самой последней версии (3.7), датируемой августом 1998 года. Ее лицензия не позволяет никому распространять модифицированный код библиотеки. Это было бы нормально, если бы не тот факт, что GLUT стареет и действительно нуждается в доработке. Кроме того, лицензия GLUT несовместима с некоторыми дистрибутивами программного обеспечения (например, XFree86).

- источник.

Другие альтернативы: glfw или sdl .См. GLUT-подобные инструменты для работы с окнами, GUI и Media Control. Я сейчас нахожусь в лагере glfw .


Примечание : код OpenGL относительно легко перевести с одного языка на другой. В частности, если вы используете переносную библиотеку для настройки порта просмотра. Не бойтесь читать учебник для другого языка программирования, чем тот, который вы используете. На самом деле, я бы сказал, что изучение WebGL - хорошая идея. Несмотря на то, что это другой API, он очень близок.Я рекомендую учебник MDN WebGl.

Дизайн игры

- Какова логика 3D-проекции «Перспектива камеры»?

Я предполагаю, что вы знаете, как работает основная матричная математика, поэтому я не собираюсь говорить об этом в своем ответе.

Что вы в конечном итоге захотите сделать, так это преобразовать вершины объекта, который вы хотите визуализировать, из виртуального 3D-мира в «реальный» 2D-мир (экран вашего монитора). Вы делаете это, умножая вершины объекта на матрицу камеры (некоторые люди могут использовать для этого другие термины, но все сводится в основном к одному и тому же).Эта матрица камеры состоит из двух частей: внешней (внешней) и внутренней (внутренней) части.

Внешняя часть - это матрица, которая преобразует вершину из мировой системы координат 3D в систему координат камеры 3D. Думайте об этом как о размещении камеры внутри вашего трехмерного мира. Перед преобразованием вершина просматривается из начала координат трехмерного мира, а после преобразования вершина просматривается из начала координат камеры. Так что это в основном часть ответа на ваш вопрос.Если вы хотите переместить камеру, вы манипулируете внешним параметром матрицы камеры (я вернусь к этому позже).

Неотъемлемой частью матрицы камеры является матрица, которая преобразует систему координат камеры в систему координат изображения. Вот где и происходит перспективная проекция.

Матрица просмотра

Внешняя часть матрицы камеры часто называется матрицей просмотра (матрицы мира и модели связаны, но не являются частью матрицы просмотра).Матрица представления - это матрица 4X4, которая состоит из матрицы вращения 3x3 и матрицы трансляции 1x4 (как показано ниже). Матрица вращения определяет ориентацию камеры, а перемещение матрицы описывает исходную точку камеры (так что это положение камеры в виртуальном трехмерном мире).

Матрица проекции

Внутренняя часть матрицы камеры часто называется проекционной матрицей. Это матрица, которая выполняет фактическую проекцию из трехмерной системы координат в двухмерную систему координат.Он проецирует все, что находится в зоне обзора камеры, на 2D-плоскость (ваш монитор).

Теперь перспективное преобразование определяется следующим образом:

Где: Xim и Yim - координаты вашего экрана, Fx и Fy определяют соотношение сторон, S - параметр перекоса, а Xo и Yo определяют фокусное расстояние (пожалуйста, поправьте меня, если я ошибаюсь, мои знания немного ржавые для этих параметров).

Вершина к экрану

Итак, в конце, если вы хотите преобразовать координату вершины в координату экрана, вы получите это:

Итак, в конце, если вы хотите вращать и перемещать камеру, вам необходимо изменить матрицу обзора камеры.

P.S .: С точки зрения кодирования: если вы хотите узнать, как построить матрицу просмотра, я отсылаю вас на этот сайт, который отлично объясняет, как создать матрицу LookAt с использованием OpenGL и C ++.

Общие сведения о калибровке камеры | ВЕЧНАЯ ЗАГАДКА

Камеры существуют уже давно. Когда камеры были впервые представлены, они были дорогими, и для их приобретения требовалось много денег. Однако в конце 20 века люди придумали камеры-обскуры.Эти камеры были недорогими и стали обычным явлением в нашей повседневной жизни. К сожалению, как и в случае с любым другим компромиссом, это удобство имеет свою цену. Эти камеры-обскуры имеют значительные искажения! Хорошо, что эти искажения постоянны и их можно исправить. Здесь на первый план выходит калибровка камеры. Так о чем все это? Как мы можем справиться с этим искажением?

Поприветствуйте калибровку камеры

Мы можем исправить искажение камеры с помощью калибровки и некоторого переназначения.Кроме того, с помощью калибровки вы также можете определить соотношение между естественными единицами измерения камеры (пикселями) и единицами измерения реального мира (например, миллиметрами или дюймами). Калибровка камеры - важный шаг к получению высокоточного представления реального мира на захваченных изображениях. Калибровка камеры на самом деле может относиться к двум вещам: геометрической калибровке и калибровке цвета. Этот пост о геометрической калибровке. О калибровке цвета мы поговорим в другом посте.

Что он делает?

В первую очередь, калибровка камеры заключается в обнаружении внутренних величин камеры, которые влияют на процесс формирования изображения. Вот некоторые из факторов, о которых необходимо позаботиться:

  • Центр изображения: нам нужно найти положение центра изображения на изображении. Подождите, разве центр изображения не находится в (ширина / 2, высота / 2)? Ну не совсем! Если мы не откалибруем камеру, изображение почти всегда будет выглядеть не по центру.
  • Фокусное расстояние: это очень важный параметр. Помните, как люди, использующие цифровые зеркальные камеры, «сосредотачиваются» на вещах перед тем, как сделать снимок? Этот параметр напрямую связан с «фокусом» камеры и очень важен.
  • Коэффициенты масштабирования: коэффициенты масштабирования для пикселей строки и пикселей столбца могут быть разными. Если мы не позаботимся об этом, изображение будет выглядеть растянутым (по горизонтали или вертикали).
  • Коэффициент перекоса: относится к срезанию.В противном случае изображение будет выглядеть как параллелограмм!
  • Искажение объектива: это относится к эффекту псевдозума, который мы видим около центра любого изображения.

Все эти термины станут ясны очень скоро, когда мы продолжим наше обсуждение здесь. Я просто хотел перечислить несколько вещей, которые пострадают, если вы не откалибруете камеру. Изображение на самом деле будет выглядеть ужасно, если вы не выполните калибровку камеры.

Камера-обскура Модель

Прежде чем мы начнем что-либо делать, давайте посмотрим, с чего все это началось.Когда мы захватываем изображение, мы в основном сопоставляем 3D-сцену с 2D-изображением. Это означает, что каждая точка трехмерного мира отображается на двухмерной плоскости нашего изображения. Это называется моделью камеры-обскуры. Он в основном описывает взаимосвязь между координатами 3D-точки и ее проекцией на 2D-изображение. Это, конечно, идеальный случай, когда абсолютно отсутствуют какие-либо искажения. Каждая камера моделируется на основе этого, и каждая камера стремится имитировать это как можно ближе.Но в реальном мире нам приходится иметь дело с такими вещами, как геометрические искажения, размытость, апертуры конечного размера и т. Д.

На представленном здесь рисунке изображена модель камеры-обскуры. Камера помещается в начало координат O. Точка P представляет собой точку в реальном мире. Мы пытаемся запечатлеть это на двухмерной плоскости. «Плоскость изображения» представляет собой двумерную плоскость, которую вы получаете после захвата изображения. Плоскость изображения фактически содержит изображение, которое вы видите после захвата изображения. По сути, мы пытаемся сопоставить каждую трехмерную точку с точкой на плоскости изображения.В этом случае точка P отображается на P c . Расстояние между началом координат O и этой плоскостью изображения называется фокусным расстоянием камеры. Вы, должно быть, предвидели это! Это параметр, который вы изменяете при настройке «фокуса» камеры.

Внутренние и внешние параметры

Если вы погуглите эти вещи, вы получите целую кучу статей, описывающих математическую формулировку внутренних и внешних параметров. Но мы здесь, чтобы понять, что это значит! Поэтому я постараюсь сделать это простым, не вдаваясь в математические детали.Теперь почему мы внезапно перешли от модели камеры-обскуры к внутренним и внешним параметрам? Кажется случайным, правда? Не совсем так! Посмотрим, что это значит.

На приведенном выше рисунке мы хотим оценить (u, v) из (X, Y, Z). Допустим, фокусное расстояние обозначено буквой «f». Если вы посмотрите на треугольники, сформированные с использованием исходной точки / P c / оси Z и исходной точки / P / Z-оси, вы заметите, что они похожи на треугольники. Это означает, что «u» зависит от f, X и Z. Точно так же «v» зависит от f, Y и Z:

 и = fX / Z
v = fY / Z 

Затем, если начало координат системы координат 2D-изображения не совпадает с местом пересечения оси Z с плоскостью изображения, нам нужно перевести Pc в нужное начало.Пусть этот перевод определяется как (t u , t v ). Итак, теперь u и v равны:

 u = fX / Z + t  u 
v = fY / Z + t  v  

Итак, до сих пор у нас есть кое-что, что может переводить (X, Y, Z) в (u, v). Обозначим это матрицей M. Итак, мы можем написать:

 ПК = MP 

Так как это изображение с камеры, нам нужно выразить его в дюймах. Для этого нам нужно знать разрешение камеры в пикселях на дюйм. Если пиксели квадратные, разрешение будет одинаковым в направлениях u и v координат изображения камеры.Однако для более общего случая мы предполагаем прямоугольные пиксели с разрешением m u и m v пикселей / дюйм в направлении u и v соответственно. Следовательно, чтобы измерить P c в пикселях, его координаты u и v следует умножить на m u и m v соответственно. Итак, теперь эта новая матрица преобразования зависит от f, X, Y, Z, t u , t v , m u и m v . Обозначим это как:

 P  c  = KP 

Здесь K называется матрицей внутренних параметров камеры.

Теперь, если центр проекции камеры не находится в (0, 0, 0) и она ориентирована произвольным образом (не обязательно перпендикулярно плоскости изображения по оси Z), то нам нужно вращение и перенос, чтобы координата камеры Система совпадает с конфигурацией на этой фигуре камеры-обскуры. Пусть перевод камеры в начало координат XYZ задается как T (T x , T y , T z ). Пусть вращение, применяемое для совмещения главной оси с осью Z, задается матрицей вращения 3 × 3 R.Тогда матрица, сформированная первым применением сдвига с последующим вращением, задается матрицей 3 × 4:

 E = (R | RT) 

Это называется матрицей внешних параметров камеры. Здесь символ «|» означает просто конкатенацию двух матриц с одинаковым количеством строк. Например, если вы объедините матрицу 3 × 4 и матрицу 6 × 4, вы получите матрицу 9 × 4.

Итак, полное преобразование камеры теперь можно представить как:

 К (R | RT) = (KR | KRT) = KR (I | T) 

Следовательно, Pc, проекция P определяется по формуле:

 Pc = KR (I | T) P = CP 

C - это матрица 3 × 4, которую обычно называют полной калибровочной матрицей камеры.Таким образом, в основном, матрица калибровки камеры используется для преобразования трехмерной точки в реальном мире в двухмерную точку на плоскости изображения с учетом всех таких вещей, как фокусное расстояние камеры, искажение, разрешение, смещение начала координат и т. Д. Эта матрица состоит из параметры, как внутренние, так и внешние для камеры.

—————————————————————————————————

Нравится:

Нравится Загрузка ...

Связанные

Калибровка камеры: объяснение искажений камеры :: Ori Codes

Поскольку мы используем только камеры для получения всех данных, которые мы будем использовать для управления автомобилем в реальном мире, мы уверены, что им очень доверяем.Мы надеемся, что они предоставят нам точные представления трехмерных объектов реального мира в виде двухмерных изображений, которые мы будем передавать в нашу нейронную сеть.

Но мы не должны принимать это как должное. Камеры, хотя и дешевые и простые в использовании, имеют множество проблем, когда дело доходит до правильного отображения 3D-мира на 2D-датчике / изображении. Но, к счастью, мы можем что-то с этим поделать.

Модель камеры-обскуры

Модель камеры-обскуры - это модель идеальной камеры, которая описывает математическую связь между координатами трехмерного объекта реального мира и его двухмерной проекцией на плоскость изображения.

Камеры-обскуры были самым началом фотографии и используются даже сегодня, чтобы объяснить студентам основы фотографии.

Они обладают некоторыми преимуществами перед нашими обычными фотоаппаратами:

  • У них почти бесконечная глубина резкости; все, что появляется в фокусе.
  • Для фокусировки света не используются линзы, поэтому они не искажают объектив, а широкоугольные изображения остаются абсолютно прямолинейными.

В основном, чем меньше становится точечное отверстие, тем больше увеличивается разрешение, пока мы не достигнем дифракционного предела, при котором изображение становится темнее и размытым.Кроме того, чем меньше точечное отверстие, тем меньше света попадает, поэтому необходимо увеличить время экспозиции. Это подводит нас к большой проблеме с ними:

  • Их время экспозиции действительно велико, что приводит к значительному размытию движения вокруг любых движущихся объектов или к их полному отсутствию, если они двигались слишком быстро.

Как получить маленькое отверстие, которое пропускает много света? Для начала мы можем использовать выпуклую линзу.

Почему это помогает: вместо одного луча света, освещающего одну точку изображения, теперь карандаши света освещают каждую точку изображения.Даже наши глаза используют линзы. 🙂

Но, конечно же, линзы вызывают проблемы, о которых мы упоминали ранее:

  • У них конечная диафрагма, поэтому появляется размытие несфокусированных объектов.
  • Они содержат геометрические искажения из-за линз, которые увеличиваются по мере приближения к краям линз.

Виды перекосов

Первый и наиболее распространенный тип искажения объектива камеры называется радиальным искажением .

Есть два типа этого искажения: положительное или цилиндрическое радиальное искажение и отрицательное или подушкообразное радиальное искажение.

В контексте самоуправляемых RC вы, скорее всего, будете иметь дело с бочкообразным искажением, которое, скорее всего, будет вызвано линзами «рыбий глаз», поскольку мы хотели бы получить как можно большее поле зрения. Некоторые экшн-кулачки даже имеют угол обзора от 170 до 180 градусов, что вызывает большое количество положительных радиальных искажений.

Другой тип искажения, с которым вы можете столкнуться, называется тангенциальное искажение , которое возникает, когда линза не выровнена идеально параллельно плоскости изображения (датчику).Это заставляет изображение выглядеть наклонным, что, очевидно, плохо для нас, поскольку некоторые объекты смотрят дальше, чем они есть на самом деле.

При этом мы должны ожидать, что на самом деле ни одна камера не является действительно идеальной. Большинство, если не все, имеют некоторое количество радиальных и тангенциальных искажений, поскольку линзы несовершенны в реальной жизни, и линзы не всегда идеально соответствуют плоскости изображения.

Избавляемся от искажений с помощью OpenCV

К счастью для нас, радиальные и тангенциальные искажения можно описать с помощью пары коэффициентов:

  • Коэффициенты $ k_n $ описывают радиальное искажение
  • $ p_n $ коэффициенты описывают тангенциальное искажение

Чем хуже искажение, тем больше коэффициентов необходимо для его точного описания.

OpenCV работает с шестью ($ k_1 $, $ k_2 $, $ k_3 $, $ k_4 $, $ k_5 $ и $ k_6 $) коэффициентами радиального искажения, которых должно быть более чем достаточно для нас, и с двумя ($ p_1 $, $ p_2 $) коэффициенты тангенциального искажения.

Если у нас есть тип радиального искажения ствола, $ k_1 $ обычно будет больше нуля. Если у нас есть подушкообразное искажение, $ k_1 $ обычно будет меньше нуля.

OpenCV использует модель камеры-обскуры для описания создания изображения путем проецирования трехмерных точек на плоскость изображения с использованием преобразования перспективы:

++ s \ begin {bmatrix} {u} \\ {v} \\ {1} \ end {bmatrix} = \ begin {bmatrix} {f_x} & {0} & {c_x} \\ {0} & {f_y} & {c_y} \\ {0} & {0} & {1} \ end {bmatrix} \ begin {bmatrix} r_ {11} & r_ {12} & r_ {13} & t_1 \\ r_ {21} & r_ {22} & r_ {23} & t_2 \\ r_ {31} & r_ {32} & r_ {33} & t_3 \ end {bmatrix} \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ конец {bmatrix} ++

  • $ (X, Y, Z) $ - координаты трехмерной точки, которую мы визуализируем.
  • $ (u, v) $ - 2D координаты точки проекции в пикселях
  • Первая матрица после уравнения - это матрица камеры, содержащая внутренние параметры камеры.
    • $ (c_x, c_y) $ определяет главную точку, которая обычно является центром изображения
    • $ f_x $ и $ f_y $ - фокусные расстояния, выраженные в пиксельных единицах.
  • Матрица, содержащая параметры $ r_ {mn} $, является совместной матрицей вращения-трансляции, матрицей внешних параметров, которая описывает движение камеры вокруг статической сцены.Он используется для перевода 3D-координат в 2D-систему координат, фиксированную по отношению к камере.

Поскольку мы визуализируем 2D-изображения, мы хотели бы сопоставить 3D-координаты с системой координат:

++ \ begin {bmatrix} {x} \\ {y} \\ {z} \ end {bmatrix} = R \ begin {bmatrix} {X} \\ {Y} \\ {Z} \ end {bmatrix} + t \\ х '= х / г \\ у '= у / г \\ и = f_x * x '+ c_x \\ v = f_y * y '+ c_y ++

Кроме того, поскольку мы не используем камеру-обскуру, нам нужно добавить коэффициенты искажения к нашей модели:

++ x '' = x '\ frac {1 + k_1 r ^ 2 + k_2 r ^ 4 + k_3 r ^ 6} {1 + k_4 r ^ 2 + k_5 r ^ 4 + k_6 r ^ 6} + 2 p_1 x' y '+ p_2 \\ y '' = y '\ frac {1 + k_1 r ^ 2 + k_2 r ^ 4 + k_3 r ^ 6} {1 + k_4 r ^ 2 + k_5 r ^ 4 + k_6 r ^ 6} + p_1 (r ^ 2 + 2 y '^ 2) + 2 p_2 x' y ' \\ \ text {где} \ quad r ^ 2 = x '^ 2 + y' ^ 2 \\ и = f_x * x '' + c_x \\ v = f_y * y '' + c_y ++

Поскольку мы в первую очередь заинтересованы в эффективном устранении радиального искажения, мы будем использовать модель деления Фитцгиббона в отличие от полиномиальной модели четного порядка Брауна-Конради, поскольку она требует меньшего количества членов в случаях сильного искажения.С ним также немного легче работать, поскольку инвертирование модели с разделением одного параметра требует решения полинома на одну степень меньше, чем инвертирование полиномиальной модели с одним параметром.

Определение внутренних и внешних параметров камеры

Теперь, когда мы изложили все формулы, которые мы используем для исправления радиального и тангенциального искажения, остается единственный вопрос: как получить внутренние и внешние параметры.

Для этих целей мы будем использовать функцию OpenCV calibrateCamera вместе с ее функцией findChessboardCorners .

Функция calibrateCamera основана на новой гибкой методике Чжана для калибровки камеры и наборе инструментов Caltech для калибровки камеры.

Ему нужны координаты трехмерного объекта, который мы визуализируем, и соответствующие ему двумерные координаты проекции, чтобы определять внутренние и внешние параметры камеры, которую мы используем для изображения объекта.

Чтобы легко получить эти координаты, мы будем использовать шахматную доску . Шахматная доска - это объект с известной нам геометрией и легко обнаруживаемыми характерными точками.Такие объекты называются калибровочными установками или шаблонами , а OpenCV имеет встроенную функцию, которая использует шахматную доску в качестве калибровочной установки, функцию findChessboardCorners .

Функция findChessboardCorners пытается определить, является ли входное изображение представлением шаблона шахматной доски, и автоматически определяет внутренние углы шахматной доски.

Самое замечательное в этом то, что мы можем распечатать трехмерный объект (шахматную доску), геометрия которого нам хорошо известна, и сопоставить его трехмерные координаты с нашей проекцией двумерного изображения.Трехмерные точки шахматной доски из реального мира называются объектными точками , а их двухмерные сопоставления на нашем изображении называются точками изображения .

Итак, мы распечатываем шахматную доску, делаем несколько ее снимков под разными углами, чтобы лучше уловить искажения камеры, и передаем их в функцию findChessboardCorners . Он вернет нам обнаруженные точки объекта и соответствующие точки изображения, которые мы сможем использовать для калибровки камеры.

Функция calibrateCamera, учитывая точки объекта и точки изображения с помощью функции findChessboardCorners , выполняет следующее:

  1. Вычисляет начальные внутренние параметры. Все коэффициенты искажения изначально равны нулю.
  2. Оценивает начальную позу камеры, как если бы внутренние параметры были уже известны.
  3. Запускает глобальный алгоритм оптимизации Левенберга-Марквардта для минимизации ошибки перепроецирования, то есть общей суммы квадратов расстояний между наблюдаемыми характерными точками imagePoints и проецируемыми (с использованием текущих оценок параметров камеры и поз) объектами objectPoints .

Функция возвращает матрицу с внутренними параметрами камеры и матрицу с коэффициентами искажения, которые мы можем использовать, чтобы не искажать наши изображения.

Другое, если вам нравится компьютерное зрение

Оптика - довольно интересная область физики, и если вы планируете заниматься какой-либо работой или исследованием компьютерного зрения, есть множество вещей, которые нужно изучить и прочитать, чтобы понять, как работают камеры, что поможет вам глубже погрузиться в эту область. .

Если это вас не интересует, пропустите небольшой абзац ниже.

Я бы рекомендовал хотя бы прочитать о двух наиболее важных параметрах оптических линз: фокусном расстоянии и максимальной диафрагме камеры.

Полезно знать, как разные фокусные расстояния влияют на представленный размер удаленных объектов, например:

Вы также можете многому научиться, прочитав, как фокусное расстояние определяет угол обзора, как фокусное отношение (или число f) определяет максимальную используемую диафрагму объектива и так далее. Это действительно интересно.

Как они создают спецэффекты в таких фильмах, как «Матрица», где камера вращается вокруг застывшего актера?

Этот эффект потрясающе смотреть! В одном рекламном ролике лошадь останавливается в воздухе, а камера перемещается вокруг нее. В «Матрице» техника используется всего четыре раза, но она настолько поразительна, что оставляет впечатление на весь фильм.

В рекламе и в «Затерянном в космосе» используется более простой прием. Вокруг объекта устанавливается набор фотоаппаратов (например, 30).В момент, когда действие должно остановиться, срабатывают сразу все 30 камер. Захваченные ими изображения воспроизводятся одно за другим, чтобы показать вращение.

В фильме «Матрица» создатели фильма используют чрезвычайно сложную технику для создания гораздо более сложных эффектов. Мало того, что происходит вращение , но и актер также движется в замедленном движении во время вращения (см. Первую ссылку ниже для трех очень хороших демонстраций полного движения). Для создания окончательного изображения комбинируются по крайней мере пять различных техник спецэффектов:

  • Большое количество фотоаппаратов фиксируют сцену, но они стреляют последовательно вокруг актера, а не все сразу.
  • Камеры снимают актера на фоне зеленого экрана (подробнее об этой технике см. Как работают синие экраны).
  • Актер одет в трос, подвешенный к потолку, так что он может упасть только наполовину или будто парит в воздухе.
  • После того, как сцена снята, программное обеспечение, подобное программному обеспечению морфинга, интерполирует между изображениями, чтобы обеспечить ощущение замедленного движения. Таким образом, создатель фильма может замедлять или ускорять действие по своему желанию.
  • Затем на пленку накладываются фоны, созданные компьютером.

Если вы посмотрите видео по первой ссылке ниже, вы увидите, что изображения, снятые фотоаппаратами, очень грубые. Виден провод, как и все другие камеры в сцене. Техник устраняет все эти недостатки по одному изображению за раз, используя компьютер и оцифрованные версии изображений. Когда неподвижные изображения становятся идеальными, программа морфинга выполняет интерполяцию между ними. Затем в зеленую зону накладываются фоновые изображения. Техник должен построить полную компьютерную модель 3-D сцены, созданной компьютером, а затем задать поворот этой сцены в соответствии с положением камеры в каждом кадре фильма.

Матрица: Добро пожаловать в машину

Режиссеры Ларри и Энди Вачовски вместе с кинематографистом Биллом Поупом работают над захватывающим футуристическим боевиком « Матрица».

Фотография объекта, сделанная Джейсоном Боландом, любезно предоставлена ​​Warner Bros.

Эта история была первоначально опубликована в AC в апреле 1999 года. Некоторые изображения являются дополнительными или альтернативными.

Компьютеризированные устройства играют в нашей повседневной жизни такую ​​все более важную роль - от автомобилей с микропроцессорным управлением до сверхскоростной электронной почты в Интернете и сотовых телефонов, - что можно задаться вопросом, не виляет ли собака хвостом.С приближающимся концом тысячелетия, вызывающим волны паранойи и истерии по поводу компьютерных сбоев 2000 года, неудивительно, что такие технофобные фильмы, такие как 2001: Космическая одиссея Стэнли Кубрика (1968) и Джеймс Кэмерон Терминатор (1984) кажутся когда-либо - более точные изображения микрочипов выходят из-под контроля.

«Матрица », новый фильм от братьев-сестер Ларри и Энди Вачовски, предлагает еще более мрачное видение будущего.Родившись в Чикаго в середине 1960-х, Вачовски выросли на здоровой диете из комиксов, японской анимации и всевозможных фильмов. Работая на стройке, братья начали писать комиксы и сценарии, в которых сочеталась внешне непохожая эстетика их любимых жанров. Перед своим режиссерским дебютом в 1997 году в мрачном и стильном триллере « Bound » (который они также написали в соавторстве) дуэт уже написал сценарий для «Матрица».

Сценаристы-постановщики Энди и Ларри Вачовски в Австралии.

«Наша главная цель с The Matrix заключалась в создании интеллектуального боевика», - объясняет Ларри. «Нам нравятся боевики, оружие и кунг-фу, но мы устали от конвейерных боевиков, лишенных какого-либо интеллектуального содержания. Мы были полны решимости воплотить в фильме как можно больше идей и целенаправленно пытались вывести на экран изображения, которых люди никогда раньше не видели ».


Морфеус (Лоуренс Фишберн) и Нео (Киану Ривз) принимают участие в «загрузочной программе», получившей название «Конструкция», позволяя персонажу (и зрителям) объяснить сложную природу мира Матрицы.

Out of the Void
В течение многих лет сценарий Матрица томился в подвешенном состоянии, потому что многие в Голливуде не могли уловить сложнейшего повествования и экстравагантных визуальных элементов сказки. «Едва ли кто-нибудь в городе это понимал, - говорит Ларри. «Это стало почти шуткой. Люди думали, что это слишком сложно и слишком плотно ».

«Предпосылка для The Matrix началась с идеи, что все в нашем мире, каждое волокно реальности - это фактически симуляция, созданная в цифровой вселенной», - объясняет он.«Как только вы начнете [нарративно] иметь дело с электронной реальностью, вы действительно сможете раздвинуть границы того, что может быть возможным для человека и визуально».

Чтобы преобразовать эту концепцию в более понятную форму, Вачовски наняли нескольких мастеров комиксов, в том числе популярного художника Hard Boiled Джефа Дэрроу, чтобы они вручную нарисовали весь фильм в виде высокографической библии-раскадровки. «Нам не очень нравится, как делают обычные раскадровки», - говорит Ларри. «Вместо этого мы пригласили некоторых наших друзей, чтобы они нарисовали каждый бит действия, визуальный момент и стилистический кадр в фильме.Затем в течение нескольких месяцев мы изучали каждый кадр, пытаясь понять, как атаковать каждый кадр. Это также позволило нам быть очень конкретными с точки зрения требований к бюджету и визуальным эффектам ».

Кинематографист Билл Поуп

Это графическое изображение фильма также стало бесценным инструментом для кинорежиссера Билла Поупа, чей общий интерес к комиксам ранее привел его к должности режиссера-постановщика на « Bound » Вачовских. Поуп вспоминает: «Они смотрели и любили [фильм ужасов-фэнтези 1993 года] Армия тьмы , который я снимал для режиссера Сэма Рэйми.Они позвали меня, и у нас была потрясающая встреча. Думаю, они наняли меня, потому что я читал комиксы и знал, о чем они говорят, когда упоминали конкретное название. Фактически, во время нашей встречи на их столе лежала копия фильма Фрэнка Миллера «Город грехов» , поэтому я спросил: «Вы хотите, чтобы фильм выглядел именно так?» Мы все были впечатлены тем, как Миллер использовал высококонтрастные, угольно-черные области в кадре, чтобы сфокусировать взгляд, и его крайняя стилизация реальности. Я давно хотел сделать что-то стилизованное под фильм."

Папа проверяет свою выдержку на съемочной площадке.

Не случайно «стилизация» легла в основу ранней карьеры Поупа. Киношкола, окончившая в 1977 году кинопрограмму Нью-Йоркского университета, вспоминает: «В то время киношкола была довольно напряженной, потому что лишь немногие из нас были сосредоточены на кинематографии. Все остальные хотели руководить. В моем классе это был только Кен. Келш [ASC] и я, а в классе позади нас был только [режиссер и бывший оператор] Барри Зонненфельд Мы трое снимали фильмы для всех остальных.По окончании учебы я снял несколько из тех ранних видеороликов, которые показывали только по замкнутым телевизорам в клубах. Когда в начале 1980-х появился MTV, и все начали снимать видео, люди говорили: «Берите Билла Поупа, он снимал эти вещи!» Неожиданно я стал оператором-постановщиком ».

Поуп провел остаток десятилетия, снимая несколько сотен видеороликов. Попутно он получил премию MTV за лучшую операторскую работу за свою черно-белую операторскую работу над клипом Стинга «Сегодня вечером мы будем вместе».«

Затем он перешел к рекламе и очеркам. «В 1989 году Сэм Рэйми дал мне шанс снять [научно-фантастический фэнтези] Darkman », - вспоминает Поуп. «Я получил работу только потому, что Барри Зонненфельд сказал Сэму нанять меня. К счастью, Сэм просто сказал:« Тебя наняли, поехали! » В противном случае у меня никогда бы не получился полнометражный фильм. Долгое время музыкальные видеоклипы считались незаконнорожденными детьми киноиндустрии. Только в конце восьмидесятых и начале девяностых годов кинематографисты даже считались достаточно законными, чтобы снимать. рекламные ролики.Однако после того, как я снял Darkman , я смог сконцентрироваться на съемках фильмов и рекламных роликов ». Среди других работ Поупа - The Zero Effect, Gridlock'd, Clueless и Fire in the Sky. пилот телесериала « Максимум Боб », режиссером которого был Зонненфельд.

Технологии захватывают все
Сюжетная концепция, которая движет Матрица , сложна: 2197 год, а человеческая реальность - это просто компьютерно смоделированная среда.«В какой-то момент в прошлом искусственный интеллект захватил мир», - рассказывает Поуп. «В попытке восстановить контроль люди затемнили солнце, потому что компьютеры работали на солнечной энергии. Но машины перехитрили нас и захватили наши тела, поместив их в капсулы и используя их в качестве батарей - отнимая БТЕ, которые мы Пока мы плаваем в жидкости, они проецируют в наш мозг мир, в котором мы, как мы думаем, живем, который называется Матрицей. Все, что мы делаем в нашей жизни, каждый день, является всего лишь компьютерной симуляцией реальности.

«Некоторые люди, однако, поняли это и ведут битву против компьютеров. Эти повстанцы сражаются внутри Матрицы против агентов, которые сами являются компьютерными программами. Агенты могут делать что угодно, становиться кем угодно и изменять любой естественный закон, но люди не могут. Один из главных героев, Морфеус [Лоуренс Фишберн], ищет человека, который, как сообщается, может делать то же, что и компьютеры: проходить через Матрицу и изменять реальность. Морфеус считает, что этот человек - Нео [Киану Ривз] .

Нео продолжает свое существование как анонимный компьютерный программист, невольно попавший в Матрицу. Поуп осветил все сцены этого виртуального мира зеленоватым оттенком.

«Это довольно сложная история Христа, - признает Поуп, - но для Вачовски и меня одним из лучших видов комиксов является история о происхождении», в которой описываются истоки таких супергероев, как Сорвиголова или Человек-паук. Matrix - это история происхождения Neo ».

Ларри Вачовски добавляет: «Мы хотели, чтобы фильм был путешествием сознания.Главный герой, который ведет зрителей в это путешествие, - Нео, который изначально знает о мире фильма не меньше, чем зрители. Однако вскоре мы обнаруживаем, что персонажи фильма могут мгновенно получить информацию, загруженную в их головы; Например, Нео может внезапно стать мастером кунг-фу, как Джеки Чан!

«Я знаю кунг-фу»: Морфеус и Нео спарринговались в виртуальном додзё - часть тренировочной программы, которая мгновенно загружает любые желаемые способности.

«Энди и я обожаем гонконгские боевики, и мы оба чувствуем, что они намного опережают американские боевики с точки зрения азарта, который этот боевик привносит в историю.Американские кинематографисты дошли до того, что создают свои бои в монтажной. Эти типы последовательностей просто созданы для интуитивного, мгновенного воздействия, и мозг аудитории никогда не задействуется. Есть куча быстрых сокращений - бац! бац! бац! - и тут все кончено; борьба никогда не вовлекает аудиторию на уровне истории. Режиссеры боевиков из Гонконга фактически привносят сюжетные линии в боевые действия и рассказывают небольшую историю боевых действий ».

Тринити (Кэрри-Энн Мосс) сражается с солдатом.

Балет насилия
Помня об этой восточной эстетике, Вачовски наняли известного гонконгского режиссера / постановщика трюков Юэня Во Пина, чтобы он координировал все сложные боевые сцены в Матрица, , а также служил в качестве личного боевого искусства. - тренер для четырех основных актеров. «Чтобы снять эти очень сложные боевые сцены, - говорит Ларри, - нам пришлось взять четырех западных актеров и обучить их кунг-фу в течение четырех месяцев, прежде чем мы приступили к съемкам.В Гонконге Во Пинг обычно режиссирует свои боевые сцены и выбирает все ракурсы камеры. Что касается наших боев, мы говорили с ним о фактической сюжетной линии боя, а затем он уходил и ставил ее хореографию. Как только он отыграет весь «танец» боя, мы спросим, ​​что он порекомендует для каждого выстрела. Затем мы добавляли к этому любые элементы, движения камеры или другие углы, которые хотели ».

Подвешенный на проводах, Мосс прыгает между крышами.

Неотъемлемой частью боевой хореографии Во Пина является его легендарное использование трюков с привязью.Поистине впечатляющий подвиг визуального обмана, техника позволяет актерам, казалось бы, игнорировать законы физики, прыгая, летая и кружась вокруг своих противников в бою. «Проволока Ву Пинга самая лучшая», - подтверждает Ларри. «Используя систему проводов, вы можете очень легко импровизировать. Они могут положить провод где угодно и в любой момент подключить к нему кого-нибудь. Им не нужна большая установка - просто группа парней, которые хватаются за нее и говорят: 'Пойдем!' Это очень быстро, плавно и безопасно. В гонконгских фильмах о кунг-фу люди обычно связывают все, от прыжков до вставания и даже бега.Это делает все движения очень изящными и немного сюрреалистичными. Мы думали, что это идеально подходит для The Matrix .

«Мы также пытались детализировать действие так, как это больше не принято в Голливуде», - продолжает Ларри. «В насилии есть много невероятных и красивых изображений, и я думаю, что насилие может быть отличным инструментом для повествования. [Создатели фильмов] придумали невероятный язык для обозначения насилия. Например, то, что Джон Ву [ Убийца, Face / Off ] делает с его разновидностью гипер-насилия блестяще.Он выводит жестокие образы на новый уровень. Мы пытались сделать это и с The Matrix . "

Воображая будущее
С учетом сложных требований змеевидного повествования фильма и грандиозных условий и событий, которые предвидели Вачовски, продюсеры решили снимать весь фильм в Сиднее, Австралия. Используя практически каждую сцену в городе, включая все сцены Fox в их новой студии, а также несколько переоборудованных складов, производство быстро стало заметным.Среди сотен австралийских членов команды на шоу были художник-постановщик Оуэн Патерсон, художник по костюмам Ким Барретт, гаффер Рег Гарсайд, монтажник Крейг Брайант, ключевой Рэй Браун, оператор Дэвид Уильямсон, фокусники Дэвид Элмс и Адриен Сеффррин, хлопушка / погрузчик Джейсон Бинни и погрузчик Джоди Смит, а также второй оператор-постановщик Росс Эмери и подводный оператор Роджер Бэкингем, ACS.

«Моя подготовка к The Matrix состояла из двух месяцев планирования и изменения графика», - вспоминает Поуп.«Семья Вачовски была захвачена множеством опасений из-за уровня сложности фильма. Все нужно было заранее продумать и объяснить. Ларри и Энди по своей природе сдержанные люди, поэтому им это было трудно. Обычно они не хотят говорить вам ничего, кроме они вынуждены. Во время моей подготовки к Bound , например, я попросил их сесть со мной и просмотреть каждую сцену. Вначале они пытались не обращать внимания на мои вопросы, говоря что-то вроде: « Ну, сцена - это просто два парня, сидящих и разговаривающих.Тогда я бы спросил, как они планировали это освещать. Они говорили: «О, условно». Тогда я должен был бы сказать: «Хорошо, давай вернемся назад - какой первый выстрел?» Наконец, они говорили: «Ну, мы начнем с ботинка одного парня, поднимемся по его телу, окажемся на его лице в очень крупном плане, а затем перейдем к другому человеку». Теперь мы смеемся, когда говорим «обычное» освещение. В конце концов, мы прошли все Bound по кадру. Однако в «Матрице» братья были так заняты подготовкой, что встречи такого типа не было."

Поскольку весь фильм был тщательно раскадрован по цвету, Поуп действительно понимал визуальный стиль, который хотели создать режиссеры. «Ларри и Энди хотели, чтобы в The Matrix было два разных мира, - говорит оператор. «Есть мир в будущем 2197 года, в котором у нас есть капсулы, созданные с помощью компьютеров, а также есть современный мир Матрицы, который был спроектирован так, чтобы быть немного непривлекательной реальностью.

В Матрице полиция приближается к Тринити, прежде чем она берет на себя ответственность.Выше Мосс настраивается с каскадером в униформе, а режиссеры смотрят на него.

«Будущий мир холодный, темный и пронизанный молниями, поэтому мы оставили освещение немного голубее и сделали его черным как ад. Кроме того, реальность будущего очень грязная, потому что нет причин ее чистить - стерильными должны быть только стручки. Поскольку люди фактически ничего не производили в течение ста лет, все, что было произведено, теперь устарело и заржавело.

«Мы не обязательно хотели, чтобы мир Матрицы напоминал наш нынешний мир», - добавляет Поуп.«Нам не нужны были веселые голубые небеса. В Австралии небо ярко-синее практически всегда, но мы хотели лысое, белое небо. Все наши подложки TransLight [для сценической работы] были изменены, чтобы небо стало белым. , а на реальных снимках экстерьера, на которых мы видим много неба, мы улучшили его в цифровом виде, чтобы сделать его белым.Кроме того, поскольку мы хотели, чтобы реальность Матрицы была непривлекательной, мы спросили себя: «Какой самый непривлекательный цвет?» Я думаю, мы все согласились с зеленым цветом, поэтому для этих сцен мы иногда использовали зеленые фильтры, и я бы добавил немного зеленого в цветовую синхронизацию."

Поуп сфотографировал The Matrix , используя камеры Panavision Platinum и объективы Primo с фиксированным фокусным расстоянием, которые он привез с собой из Вудленд-Хиллз, Калифорния. (На момент производства Samuelson Film Services в Сиднее только недавно была приобретена Panavision и не могла удовлетворить потребности фильма.) Оператор снимал в формате Super 35 2.35: 1 с использованием Kodak Vision 500T 5279 и 200T. 5274 шт. «Мы снимали весь день экстерьеров и эффектов на 5274 и использовали 5279 для всех интерьеров.Мне нравится внешний вид 79, и мне нравится видеть немного зернистости. Я снимал в Super 35 частично из-за того, что у меня было слишком много камер, чтобы создать достаточно анаморфных линз, а также из-за огромных размеров наборов. Я чувствовал, что у меня, возможно, были небольшие проблемы с освещением декораций, чтобы получить остановку, которая нам нужна для анаморфизма. Тем не менее, мне нравится Super 35; Я также снимал Fire in the Sky в этом формате ».

Дополнительный важный фактор в подходе к освещению в фильме был продиктован специальной фотографической техникой, которую Вачовски решили интегрировать в съемку.Этот подход был вдохновлен новым владением Нео виртуальным временем и пространством. Ларри объясняет: «Мы хотели снимать большую часть действий в режиме сверхзамедленной съемки - до 300 кадров в секунду. Для некоторых снимков мы хотели снимать на высокой скорости, сохраняя при этом видимое движение камеры на постоянной скорости, которая в основном На подготовительной стадии мы рассмотрели идею ракетной камеры, которую мы собирались снимать на съемочной площадке со скоростью около 100 миль в час при съемке со скоростью 150 кадров в секунду, но [руководитель визуальных эффектов] Джон Гаэта придумал другой процесс, который стала основой для этих последовательностей."

(Эта экстремальная замедленная съемка, названная Вачовски "Bullet Time", подробно описана в сопровождающей истории визуальных эффектов также в этом выпуске.)

Освещение для скорости
«Наборы для Matrix были огромными - самыми большими, которые я лично когда-либо видел, - говорит Поуп. - У нас все время работали две камеры. Первый блок снимал 118 дней, а второй - 90 дней. Первые 40 дней были потрачены на съемки на крышах в центре Сиднея, где из-за проблем с безопасностью мы действительно не могли установить тщательно продуманное освещение или что-нибудь летающее.Там я в основном использовал некоторую негативную заливку, и на этом все закончилось - и это было нормально, потому что мне нравится работать естественным образом. В общем, мы использовали бы огни только для согласования целей, потому что погода в Сиднее меняется быстро и часто ».

Австралийский бригадир Рег Гарсайд продолжает: «Все эти экстерьеры были связаны с логистическими проблемами. Мы снимали в центре Сиднея, где выполнялась вся городская работа. Нам приходилось поднимать генераторы на полпути по сторонам зданий, потому что мы требовалось 200 или 300 ампер фазной мощности на некоторых крышах.Мы не только должны были обеспечить освещение, но и обеспечить электроэнергией специалистов по спецэффектам, у которых также были эти большие дымовые машины ».

Двигаясь в помещении, Поуп и Гарсайд столкнулись с огромной задачей по освещению огромных декораций, чтобы обеспечить желаемую для Вачовски частоту кадров 300 кадров в секунду для экстремально замедленных снимков. Примечания Гарсайда: «Требования к высокоскоростному освещению были большой проблемой, потому что на больших площадках, таких как метро, ​​экстерьер правительственного здания и вестибюль, нам требовалось огромное количество света, чтобы иметь возможность снимать между Т2 Билла.8 base и T16, необходимый для скоростной съёмки. Фактически, на некоторых этапах нам пришлось установить более 1000 банок Par в перманентах [для получения необходимых уровней света]. Я много использовал баллончики Par, потому что я мог легко управлять атмосферой от T2.8 до T16, просто включая и выключая дополнительные устройства. Кроме того, банки Par намного дешевле, чем Maxi-Brutes, и хотя в них используются лампы того же типа [Par 64], я обнаружил, что могу установить их в гораздо более странных или сложных местах, чем я могу установить Maxi. Иметь 1000 банок Par на самом деле все равно, что иметь 80 Maxis, но у нас в Австралии нет даже 80 Maxi-Brutes!

«Для скорости и максимального контроля, - продолжает Гарсайд, - каждый свет проходил через диммер, поэтому, если Билл сказал мне дать ему T8, я мог бы дать ему T8, отрегулировав рычаг на регуляторах».Для T2.8 вы можете использовать только одну лампу, но для T16 вам может понадобиться 32 лампы. Вы действительно имеете дело с экспоненциальным эффектом удвоения, чтобы получить дополнительные стопы. Билл на самом деле использовал много верхнего света через рассеивание световой сетки, чтобы создать атмосферу. Так что у меня был [такелажник] Крэйг Брайант, предварительно подготовивший паровые баллончики на крыше для создания атмосферы, которая могла бы поднять меня до T16. Затем нам пришлось изготовить множество нестандартных накладных платков, которые мы называем парусами, и практически вручную установить их на декорации."

Поуп поясняет: «Мы снимали большую часть этого фильма с лампами накаливания. Кроме того, используя баллончики Par, мы могли изменять уровень освещенности без изменения цветовой температуры, просто путем включения или выключения устройств. Однако мне нравится использовать Kino. Флора на лицах для интерьеров. На самом деле, я предпочитаю, чтобы вокруг актеров были Кинос, потому что они намного круче. В этом фильме мы использовали целые грузовики Wall-O-Lites и 4 'на 4' Kinos ".

После пробуждения от кибер-созданной реальности Матрицы Нео раскрывает правду о заговоре машин по сбору энергии человечества.

Harvesting Humanity
Для ключевого набора, изображающего будущую реальность человечества, художник-постановщик Оуэн Патерсон ( Приключения Присциллы, королевы пустыни; Добро пожаловать в Вуп-Вуп ) построил несколько инкубационных капсул, в которых живут люди. удерживаются в стазисе, в то время как их энергия прослушивается компьютерами. «У нас было около шести таких наполненных жидкостью капсул», - описывает Поуп. «Каждый был достаточно большим для человека и выступал из стены 30 на 60 футов, которую построил Оуэн.Каждая капсула была на высоте около 15 футов над землей, что потребовало строительства множества рабочих платформ для актеров и съемочной группы. Мы остановились на более холодном свете - 1/4 CTB на вольфрамовых лампах - и снова использовали большой мягкий верхний свет, около 200 банок Par проходили через легкую сетку. У нас также были Kino Flos, поднимавшиеся снизу [чтобы предложить бесконечное количество модулей выше и ниже шести практических опор]. У нас также были отряды Lightning Strikes, которые время от времени выскакивали, потому что в реальности будущего должно быть много статического электричества.Кроме того, Реджи, Оуэн и я много работали над тем, чтобы встроить несколько Kinos и MR-16 в сами капсулы ».

«Зажигать стручки было довольно сложно, потому что они были полны этой красной жидкой слизи», - поясняет Гарсайд. «Мы хотели, чтобы они светились, поэтому мы использовали безопасные для подводного плавания блоки Kino Flo от Hydroflex, которые мы встроили в основание каждой капсулы. Эта техника очень хорошо работала для широких снимков. Когда мы подошли ближе, мы использовали тот же интерьер. освещение, но поскольку капсулы были сделаны из прозрачного материала Perspex, мы улучшили их освещение, подсвечивая 1K младенцев снизу."


Логово повстанцев
После того, как Нео пробуждается от ограниченного пространства капсулами и показывает истинную судьбу человечества Морфеусом, он присоединяется к небольшой группе повстанцев, которые действуют вне контроля Матрицы. Члены этой фракции независимо входят и покидают киберсферу, чтобы стать более искусными в изменении виртуальной реальности Матрицы. Для этого повстанцы собрали импровизированное судно на воздушной подушке Nebuchadnezzar , которое они перемещают по канализации монолитной компьютерной сети.

В командном центре Сайфер (Джо Пантолиано) наблюдает за событиями в Матрице.

«Внутри« Навуходоносора »у мятежников есть специальные стулья, которые удерживают их тела в состоянии анабиоза, пока они питают свой разум Матрицей», - уточняет Папа. «Корабль представлял собой невероятную конструкцию. В нем была цельная стальная центральная секция, которая поддерживала кресло каждого повстанца, которое было гидравлически шарнирно. Стулья были окружены мониторами и различными механизмами, а пол представлял собой что-то вроде пористой решетки.Мы снимали резкий и мягкий свет снизу через решетку, хотя никогда не позволяли этому свету поразить актеров. Они всегда были довольно мягко освещены лампами Kino Flo, которые были либо встроены над каждым стулом, либо установлены на подставках. Мы также интегрировали в дизайн несколько банок MR-16 и Par. В целом, корабль оставался довольно темным и скользким, а поверхности намочили, чтобы получить блестящие блики на конструкции ».

Установка освещения в тесноте на съемочной площадке Навуходоносора.

добавляет Garside: «Из-за характера этого набора мы действительно не могли использовать верхний парус для создания атмосферы. Набор был разработан так, чтобы разбираться на части: крыша поднималась до сетки, а боковые стороны тянулись к стене, оставляя только центральная секция и стулья. Из-за этого ключа Рэя Брауна и мне пришлось встроить наши оснастки в набор, чтобы, если бы набор сдвинулся с места, свет был прикреплен, и это не изменило ощущения. стороны корабля, но мы не хотели видеть, что было снаружи.Поэтому мы пропустили 2K Juniors с 1/4 CTB по бокам набора, чтобы подчеркнуть рельеф и создать некоторую глубину ».


Столкновение в вестибюле
Когда Морфеус схвачен тремя агентами и удерживается в здании правительственного офиса, «Нео возвращается в Матрицу, по сути, с миссией самоубийства, чтобы спасти его», - объясняет Поуп. «Никто никогда не выжил в битве даже с одним агентом, но Нео собирается атаковать все правительственные войска, армию и трех агентов!»

«Пушки, много оружия»: Тринити и Нео входят в вестибюль.

Войдя в вестибюль здания, Нео и его напарница Тринити (Кэрри-Энн Мосс) сталкиваются с головокружительным натиском пуль и беспределом со стороны хорошо вооруженных войск. «Нео и Тринити бегут по вестибюлю, стреляя во всех», - замечает Поуп со смешком. «Каменные колонны в вестибюле буквально разрушаются, повсюду разбрызгиваются огромные куски камня. Для большей части наших высокоскоростных работ мы несли Wilcam-12 Клермонта, и большая часть перестрелок снималась со скоростью 300 кадров в секунду, что требовало Регламента. и я, чтобы осветить установку примерно до T11 [при съемке с 79, с базовой экспозицией около T2.8/4]. "

«Поскольку Вачовски использовали широкоугольные линзы, такие как 10 мм и 14,5 мм, мы действительно не могли освещать съемочную площадку с пола», - вспоминает Гарсайд. «По сути, нам приходилось освещать все это с потолка с большой атмосферой, поэтому снова у нас было около 1000 банок Par на крыше».

«Стены вестибюля были темно-зеленого цвета, - добавляет Поуп. «Многие действия происходили в двух боковых колоннадах, куда не попадал верхний свет, поэтому я использовал несколько динозавров и мини-динозавров на полу для моделирования в этих местах.В сетке размером 12 на 12 и 8 на 8 футов всегда сжигали одновременно не менее восьми или девяти динозавров. Я попытался воспроизвести весь свет с одной стороны, и мы использовали очень мало заполняющего света. Однако, если ваш основной источник света достаточно мягкий, вам действительно нужен только один источник ».

Воздушное нападение
После того, как Нео и Тринити устроили хаос в вестибюле, дуэт поднимается на лифте на крышу, где захватывает вертолет. «В вертолете Нео и Тринити спускаются вниз по стене здания и видят, как Морфеус пытают в одном из офисов», - уточняет Поуп.

Подлый агент Смит (Хьюго Уивинг) мучает Морфеуса.

«Так как весь вестибюль только что взорвали, сработали спринклерные системы здания, и вода начала заливать комнаты. У нас был полномасштабный вертолет, который управлял установкой, прикрепленной к пермам сцены; Его можно было поднимать, опускать и парить. Когда трое агентов смотрят вверх, они видят вертолет, парящий перед огромным светом TransLight. Состоит из нескольких немного измененных снимков Сиднея - с исправленным на белый цвет небом - сделанный на заказ TransLight измеренные 190 футов на 40 футов.Опять же, мы должны были иметь возможность снимать со скоростью 300 кадров в секунду, поэтому при необходимости комплект и TransLight нужно было освещать до T11. У Рега была компьютерная программа, которая сообщала нам, сколько источников света нам понадобится для этого. Я думаю, что в здание поступило в общей сложности 12 000 ампер ».

Вертолет и установка Translight.

«Только для TransLight у нас было 200 5K Skypans с диммерами», - добавляет Гарсайд. «Вдобавок у нас было 500 банок Par на крыше - опять же, нацеленных через легкий парус из сетки - чтобы создать некоторую атмосферу над вертолетом.Мы также должны были осветить вертолет, поэтому у нас было четыре Dinos, проходящих через рамы из легкой сетки размером 12 на 12 футов, которые я поставил на ножничный подъемник, потому что вертолет был подвешен на высоте 20 футов над полом сцены. Наконец, у меня было еще пять динозавров, снабженных узконаправленными лампами [NSP] и установленных в перманентной завивке, чтобы освещать нам свет через окна здания. Окна, кстати, тоже были тонированы, поэтому, когда они были задутыми, создавалось ощущение, что свет заливает их, когда они разбиваются. Затем нам пришлось осветить комнату изнутри, что мы и сделали с помощью нескольких светильников Wall-O-Lites.С появлением спринклеров мы построили собственные корпуса для Wall-O-Lites: трубки Hydroflex Kino Flo, прикрепленные к подложке отражателя, чтобы сделать водонепроницаемые блоки с 8 и 4 рядами. Затем мы использовали эти единицы через слои легкой сетки ".

Вид на вертолет изнутри офиса, где держат Морфеуса.

«В качестве последнего элемента для освещения в этой сцене, - продолжает Поуп, - я хотел создать эффект солнечного света, пробегающего по головам актеров из-за вращающихся лопастей винта вертолета, даже если лопасти будут добавлены в сцену. позже с CG.Для этого у меня было два блока Lightning Strikes 70K, которые пропускались через прецизионный фейдер, чтобы мы могли контролировать количество мигающих стробоскопов в зависимости от конкретной частоты кадров камеры. Мы нацелили их на актеров сверху. Сначала мы попробовали устройства Unilux, но светильники Lightning Strikes были намного ярче.

«Поскольку Нео выбивает окна здания из мини-пистолета на борту вертолета, - объясняет Поуп, - люди [Брайан Кокс и Стив Кортли] должны были создать эффект от попадания пули, но они не могли запорсать. стекло, потому что мы могли бы видеть провода.Перед стеклом и над ним они установили сотни минометов, которые выбрасывали песок достаточно твердо, чтобы разбить окно по заданному образцу. Стены в комнате, как и люди, тоже были расшиты по той же схеме. Затем вода должна была хлынуть из разбитых окон - и все сразу.

«Мы стреляли через плечо Киану из вертолета, - продолжает Поуп, - так что мы видели, как все это происходило прямо перед нами, когда он стрелял из мини-пушки. Это было невероятно сложно.Фактически, нам пришлось поставить его дважды, потому что с первого дубля мы могли видеть, как песок проходит через воздух, прежде чем он попадет в стекло. Чтобы скрыть это, мы отключили некоторые огни наверху - что было непросто, потому что нам все еще нужно было освещать фасад здания, как если бы это было днем ​​».

Морфеус бежит, чтобы прыгнуть к вертолету. вдоль пола расположена система массивов камер «Bullet Time», позволяющая создавать экстремальные эффекты замедленной съемки.

Когда окна здания выбиты, Морфеус совершает драматический прыжок к вертолету и свободе; его едва поймал Нео, который ныряет с вертолета вслед за своим падающим другом.Подвешенные тросом от теперь уже сломанного вертолета, Нео и Морфеус несутся через здания в центре города, в то время как Тринити ищет крышу, чтобы безопасно высадить героев. «Большая часть этой работы была выполнена вторым подразделением с земли, а вертолетное подразделение - с дополнительной камеры-вертолета», - отмечает Поуп. «В некоторых ключевых кадрах Кэрри-Энн фактически научилась управлять вертолетом. В кадре, в котором Нео и Морфеус падают на крышу, большой каскадный подъемный кран был построен на самой высокой части многоуровневой крыши, примерно на 20 этажей выше. улица.Мы использовали кран, чтобы перебросить каскадеров на нижние уровни крыши ».

Как только Нео и Морфеус благополучно приземлились, вертолет теряет управление и ныряет в сторону здания. «Когда вертолет разбивается, - рассказывает Ларри, - мы видим, как он взрывается позади них почти сверхзвуковой волной, которая вылетает из окон здания - это похоже на замедленную съемку раскрывающегося цветка».

«Крушение вертолета было своего рода сложной сценой, в которой раскадровка неоценима», - объясняет Поуп.«Ни один кадр в этом эпизоде ​​не является простым кадром реальности. Многие фоновые кинофильмы и неподвижные изображения должны были быть сняты с вертолетов, установок для мытья окон и других зданий. Затем было возведено зеленое здание с цветным ключом в четверть размера - который был сделан из гофрированного стекла - люди разбивались по образцу «расширяющегося кольца», когда макет вертолета вбрасывался в здание на специально построенной стреле крана ».

Подземная драка
«После освобождения Морфеуса агенты преследуют троицу в метро, ​​- объясняет Поуп.«Тем не менее, всем удается выбраться, кроме Нео. Именно здесь Нео и главный злодей, агент Смит [Хьюго Уивинг], проводят большую битву в решающей схватке».

Как и в предыдущих наборах, метро нужно было освещать как для обычной, так и для скоростной фотосъемки. «Внутри станции платформа имела потолочные секции площадью 8 квадратных футов, каждая из которых имела встроенный люминесцентный светильник», - отмечает Гарсайд. «Над каждой из этих секций было 72 банок Par. Встроенные светильники на самом деле были полыми, и мы просто направили банки Par сквозь них, наклоняя их таким образом, чтобы освещение ощущалось как флуоресцентный свет.Когда мы снимали на обычных скоростях, через каждое поддельное приспособление проходило около 12 банок Par, покрытых слоем 1000H. Для высокоскоростной работы мы оснастили комплект таким образом, чтобы каждую из секций потолка можно было поднять и заменить рамками из легкой сетки; увеличивая яркость света, но не меняя так сильно качество света ».

«Поскольку наши наборы освещались попеременно с T2.8 или T11, - говорит Поуп, - все практические приборы должны были быть сконструированы таким образом, чтобы они могли поддерживать оба уровня освещения.Многие пришлось специально делать из термостойкой смолы. Кадры [нормальные и замедленные] не всегда идеально совпадают, но они достаточно близки, чтобы средний зритель не заметил никакой разницы. Когда вы долгое время работаете на Т2,8, а затем внезапно стреляете в Т11, легко ошибиться. При таком уровне освещенности вы должны доверять своему измерителю больше, чем своему глазу ».

Завтра ярче
Интересно, что 150 выставочных отпечатков Matrix были обработаны с помощью обновленного процесса переноса красителя Technicolor.(См. "Soup du Jour" AC ноябрь 1998 г.) Остальные 4350 отпечатков были отчеканены на новой ложе Kodak Vision.

Поуп только хвалит свою австралийскую команду: «Реджи, его команда и главный герой Рэй Браун и вся его команда невероятно усердно работали над этим фильмом. Они были твердыми, как скала, и справились с любой задачей. об освещении и физических требованиях для этого фильма они сказали: «Ты шутишь!» Но когда они поняли, что это не так, они сказали: «Ну ладно, давай сделаем это!» »

Семья Вачовски с одинаковым энтузиазмом относится к своему оператору-постановщику, заявляя: «Билл Поуп - из тех кинематографистов, которым действительно нравится использовать черный цвет на экране.В глубоких, темных тонах есть определенная [композиционная] сила. Но помимо этого Биллу нравится перемещать камеру, что нам очень нравится. Эти два элемента действительно хорошо вписываются в то, как мы хотели снять наш фильм ».


Поуп впоследствии сфотографировал два сиквела Matrix , а также такие фильмы, как Team America: World Police, Scott Pilgrim vs. the World, The World's End, The Jungle Book и Baby Driver.

Матрица была выбрана в качестве одного из фильмов ASC 100 Milestone в кинематографии 20-го века .

Автор Кристофер Пробст стал членом ASC в 2018 году.

Если вам нравятся архивные и ретроспективные статьи о классических и влиятельных фильмах, вы найдете больше AC исторический обзор здесь.

Чтобы получить доступ к 100-летнему отчету American Cinematographer , подписчики могут посетить архив AC. Не подписчик? Сделай это сегодня.

[HACKED] матричное представление и проекции - Проблемы со сценариями

Я пишу процедуру калибровки проектора для отображения на физических 3D-моделях, таких как лампа или манекен.эта процедура является двойным алгоритмом калибровки камеры золотого стандарта, описанным Хартли и Зиссерманом в геометрии нескольких ракурсов.

краткий план состоит в том, что ряд точек на физической модели зарегистрирован с их местоположением в пространстве изображения (скажем, координатной плоскости ЖК-дисплея проектора), и из этого соответствия может быть получена матрица 3x4. эта матрица, «матрица камеры», переводит однородные точки в 3D полностью в однородные координаты в 2d, эффективно преобразуя пространство модели в пространство окна.Я думаю, что полностью перейти к оконному пространству - это запрет в текущих графических API. обычно мы доходим до места для клипа, а затем просим оборудование сделать все остальное. Я могу получить преобразование в пространство обрезки, преобразовав точки пространства изображения в пространство обрезки до разрешения соответствия.

, насколько я могу судить, матрица "работает". то есть, если я спроектирую точки мирового пространства с помощью матрицы, возвращаемые точки будут иметь точность до 3 знаков после запятой.

матрица может быть разложена для получения вектора сдвига и матрицы вращения, представляющих внешние параметры камеры.матрицу вращения можно размотать, чтобы определить hpr камеры, и это приятно. Если я применяю (1) эти внешние параметры к base.camera и отображаю виртуальную модель объекта, который я использовал для калибровки, все в довольно хорошем состоянии. все кажется идеальным, за исключением того, что мир смещен на несколько пикселей в каждом направлении.

хорошо, хорошо. матрица камеры знает об этом. Мы нашли матрицу вращения, взяв первые три столбца матрицы камеры и выполнив разложение RQ с вращением Гивенса.матрица Q - это матрица вращения, а матрица R - это правая (верхняя) треугольная матрица, которая является матрицей проекции камеры. вектор (R [0,2], R [1,2]) называется центром камеры. обычно это центр изображения ((ширина / 2, высота / 2) для начала углов или (0,0) для начала центра). моя матрица имеет ненулевые значения в этих записях, и они соответствуют смещениям, которые я вижу, когда использую стандартную матрицу проекции PerspectiveLens. но я не знаю, как сказать панде использовать это смещение (1).

(1) большая проблема здесь в том, что мне очень трудно справляться с системой координат / матрицей преобразования панды:

мой вывод вектора трансляции прошел правильно - (x / w, y / w, z / w) == camera.getPos () == camera.getMat (). GetCol (3). но почему вектор перевода находится в последнем столбце, а не в последней строке? ой. потому что Mat4.xform () умножает v M, а не M v_transpose. Ok.

матрица вращения была более проблематичной. чтобы попасть из моей матрицы Q в верхние 3x3 камеры.getMat () мне пришлось 1) поменять местами строки 1 и 2, 2) транспонировать и 3) масштабировать на -1. транспонирование согласуется с моим опытом работы с вектором перевода. Я предполагаю, что замена строки (теперь столбца) связана с разницей между координатными пространствами y-up и z-up? и я потерял волю, прежде чем исследовать отрицание.

есть аналогичная проблема с матрицей проекции. camera.getChild (0) .node (). getLens (). getProjectionMat () имеет строки 1 и 2, поменяемые местами с точки зрения матриц проекции opengl или direct3d.Я предполагаю, что важно только соотношение фокусных расстояний, не так ли? не сами значения фокусного расстояния? Кроме того, моя матрица проекции R равна 3x3. я не знаю, как преобразовать его в однородные координаты. Кроме того, очевидно, что он содержит параметры, которые обычно не являются частью матрицы проекции (например, этот вектор смещения), и я не уверен, стоит ли мне пытаться включить их в матрицу проекции виртуальной камеры или нет. Меня не интересуют ближний и дальний самолеты камеры. отключит ли отключение теста глубины отсечение? наконец, центр камеры на самом деле является однородной точкой, состоящей из третьего столбца матрицы проекции, поэтому эти смещения подходят только после деления на R [2,2].

по сути, ничего из того, что я сделал, не дало мне желаемых результатов. вот что я пробовал:

- установка вручную pos и hpr камеры (как описано выше). это привело меня к проблеме смещения
- перемещению камеры в исходную точку и установке userMat MatrixLens с моей матрицей камеры следующим образом:

  camera.setPos (Vec3 (0))
camera.setHpr (Vec3 (0))
lensMat = Mat4 ()
lensMat.setRow (0, camMat.getRow (0))
lensMat.setRow (1, camMat.getRow (1))
линзаМат.setRow (2, lensMat.getRow (3)) #wbuffer
lensMat.setRow (3, camMat.getRow (2))
newLens = MatrixLens ()
newLens.setUserMat (lensMat)
camera.getChild (0) .node (). setLens (newLens)  

это сильно провалилось, когда моя матрица преобразовывалась в пространство окна. Я больше не пробовал этот трюк с матрицей камеры, которая преобразуется в пространство для клипа.
- передача матрицы камеры в программу шейдера и замена ее использования вместо матрицы проекции вида модели (я заменяю матрицу модели, а также вид и проекцию, потому что я предполагаю, что объект, на который я проецирую, находится на этапе рендеринга источник).это не сработало, но я не уверен, что правильно передал параметр. я пробовал:

  равномерный float4x4 k_camera_mat  

с

  myCam = NodePath ('cam')
myCam.setMat (lensMat) # или myCam.setMat (camMat)
render.setShaderInput ('camera_mat', myCam)  

Я не пытался использовать параметр trans_x_to_y_z, потому что думаю, это вернет меня к проблемам, с которыми я сталкивался раньше с камерами.
- в последнее время я потратил кучу времени в интерактивном режиме, пытаясь умножить преобразования (преобразование NodePath камеры, матрицу проекции и т. Д.) Вместе, чтобы получить преобразование, которое выполняет то же действие, что и матрица камеры, но это не удалось.вот фундаментальный вопрос: если Ax = a и Bx = b, где a и b эквивалентны по модулю перспективного деления, какова связь между A и B?

мои эксперименты не были исчерпывающими, хотя и утомили меня. Следующее, что я попробую, - это вернуться к ручной настройке pos и hpr камеры NodePath, а затем передать вектор смещения из внутренней матрицы R в программу вершин, которая будет регулировать координаты вершины равномерно по этому смещению после стандартного преобразования проекции вида модели.Я надеюсь, что этот прием пока принесет мне хорошие результаты, но я действительно хотел бы знать, как правильно работать с этими данными, чтобы я мог делать все правильно.

Джереми

.

alexxlab

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *