Строение цифрового фотоаппарата — PhotoDzen.com

23 Февраля 2015

Фотография – это техника рисования светом, получение и сохранение изображения при помощи светочувствительного материала (светочувствительной матрицы, пленки) в фотокамере. Чтобы делать хорошие снимки необходимо понимание, какие процессы происходят при фотографировании и как можно на них повлиять. А для этого нам немного знать о свете, об устройстве фотоаппарата, а также как это работает.

Разобраться нам поможет следующая схема (на примере цифрового зеркального фотоаппарата):

Отражение света от предмета, проходя через объектив проектируется на светочувствительный сенсор – матрицу.

Фотоаппарат снимает не сами объекты, а свет, который отражается от них. Свет и умение работать с источниками света – одна из ключевых основ получения хороших кадров.

Матрица — это множество светочувствительных элементов, которые улавливают отражение света от предмета и передают эту информацию уже в электронном виде в

Такой принцип работы используется во всех современных цифровых фотокамерах с небольшими отличиями.

Но не все так просто в устройстве цифрового фотоаппарата — прежде чем дойти до матрицы, свету необходимо пройти через диафрагму и затвор, створки которого открываются и тут же закрываются. Время, на которое этот затвор открывается, называется выдержка. А выдержка – это один из трех китов фотографии, трех основных настроек, которые регулируют количество света, попадающее на матрицу. Выдержка, диафрагма и ISO (светочувствительность) и составляют экспозицию в фотографии. Наша задача  при помощи этих настроек сделать правильный, нужный нам, выбор экспозиции в каждой фотографии, и как следствие, получить хорошую фотографию.

Посмотрите видео про устройство цифрового аппарата от Discovery, в котором показано, что происходит во время сьемки:

Замена и ремонт матрицы фотоаппарата в Санкт-Петербурге

Замена и ремонт матрицы фотоаппарата является на сегодняшний день одной из самых распространенных причин обращения пользователей в центр «Мастер Плюс».

Неисправность такого рода зачастую возникает из-за неосторожного обращения, некачественной заводской сборки или механического повреждения, и самым непосредственным образом влияет на процесс эксплуатации фотоаппарата и качество съемки. 

Признаки того, что нужно делать замену и ремонт матрицы фотоаппарата

К основным признакам того, что необходим ремонт или замена матрицы фотоаппарата, относится появление на дисплее розовых полосок, которые хорошо заметны даже невооруженным глазом. Готовые фотографии при таком дефекте теряют свою четкость, а изображение «размывается». Зачастую розовые полоски пропадают при выключении и повторном включении фотокамеры, а также, если ее как следует встряхнуть. Однако такой «народный» способ, безусловно, может сработать раз или два, а на третий – фотоаппарат попросту откажется работать. Поэтому при появлении даже незначительных неисправностей, цифровой фотоаппарат необходимо показать специалисту и сделать замену или

Замену матрицы фотоаппарата следует доверить квалифицированным специалистам

Замена матрицы фотоаппарата – достаточно сложная процедура, сопряженная с рядом тонкостей, знаниями о которых обладают только квалифицированные специалисты Ремонтного центра «Мастер Плюс». 

При появлении признаков, указывающих на наличие технической проблемы, ни в коем случае не следует пытаться сделать ремонт и замену матрицы фотоаппарата самостоятельно, руководствуясь советами, услышанными от знакомых или прочитанными в Интернете. Также не стоит доверять ремонт матрицы фотоаппарата, дисплея или, например, чистку объектива от песка неквалифицированному мастеру, обратитесь к настоящим профессионалам, т.е. в центр «Мастер Плюс»!

сенсоры / Фото и видео

Сенсор — это кремниевый полупроводник, предназначенный для восприятия фотонов (света) и для трансформации фотонов в электроны. Сенсоры являются важнейшей частью цифровой камеры. Кроме того, сенсоры используются в сканерах, в астрономических приборах, в различных научных, военных и медицинских устройствах. Полученные электроны приводят к появлению напряжения. Затем оно измеряется и преобразуется в цифровые данные.

Для выполнения таких операций требуются очень сложные вычисления на микроскопическом уровне. Сенсоры стали разрабатывать в конце 60х — начале 70х годов. Их роль в современных цифровых видеоустройствах, ставших популярными последнее время, настолько велика, что дизайн сенсоров постоянно совершенствуется.

Несмотря на то, что ПЗС (прибор с зарядовой связью) был изобретен больше трёх десятков лет назад, он до сих пор остаётся золотым стандартом, эталоном, с которым сравниваются новые сенсоры. Мы подробно расскажем о том, как работают ПЗС сенсоры, и лишь немного коснемся работы КМОП.

Сенсоры стали разрабатывать для правительственных разведывательных и космических программам (правительства США, конечно же). Для шпионажа во время холодной войны требовались совершенные методы наблюдения. В частности, были запущены секретные спутники ЦРУ и ВВС США — Corona. Эти спутники были оснащены современнейшим по тому времени оборудованием — камерами серии KH, использующими специальные линзы и новые типы пленок. (Что интересно, в результате в массовое производство поступили пленки «майлар» — лавсан, Mylar).

Чтобы определить масштаб фотографии, использовались кукурузные поля Среднего Запада США, которые были специальным образом покошены. На них выкашивали довольно большие геометрические фигуры — чтобы можно было распознать из космоса. (Теперь понятно, откуда возникли эти таинственные круги, десятилетиями волновавшие читателей желтой прессы? Да, они имели отношение к космосу, но природу они имели вполне человеческую)

Как только пленка была отснята целиком, она в керамическом контейнере на парашюте катапультировалась на Землю — в районе Гавайев. Эти контейнеры подбирались ещё в воздухе самолетами C-119 ВВС США (так называемые «Летающие товарные вагоны» — Flying Boxcar). Специально для этого самолеты оснащались длинными крючками, прикрепленными к хвостовому оперению. Если пилот промахивался и не ловил контейнер, пленка попадала в Тихий Океан, где могла плавать ещё пару дней. Если в течение двух дней ВМС США не находили контейнер, под воздействием морской воды соляные пробки растворялись и контейнер вместе с содержимым погружался в океан — чтобы не нашел неприятель. Министерство обороны считало, что под водой шпионов нет. Но даже при таких мерах безопасности, по крайней мере один такой контейнер попал во вражеские руки.

Несмотря на такие случайные инциденты, спутниковое слежение было намного безопаснее, чем шпионаж с использованием самолетов или воздушных шаров — ведь спутник не так-то легко подстрелить. (Помните, в 1960 году над Уралом сбили американский разведывательный самолет У-2, пилотируемый Фрэнсисом Гэри Пауэрсом? Урал — уже далеко не граница) Так вот, процесс возвращения пленки — самый небезопасный из всей этой цепочки операций. Понятно, что надо было придумать какой-то выход из этой ситуации, и придумать как можно скорее.

Следующим технологическим новшеством в спутниковой фотографии стали обработка пленки на борту спутника, сканирование её с помощью светового луча, преобразование световых волн в аналоговый электрический сигнал, и последующая его передача на специальную приемную станцию на Земле. Как только сигналы оказывался на Земле, они преобразовывались назад в изображения. (Аналоговая система была похожа на ту, которой пользовались в Associated Press и в United Press International для передачи новостей и фотографий по проводам)

Но до сих пор доподлинно не известно, где, когда, и как в правительственных разведывательных и космических программах на смену аналоговым системам пришла цифровая фотография. До сих пор часть информации находится под грифом «секретно». Где-то с начала 70-х вся космическая фотография постепенно начала переходить на цифру. При этом разрешение фотографий и качество улучшалось по экспоненте. Создавались действительно впечатляющие снимки вселенной. А качество цифровых фотографий, вроде тех, что получены на Земле с помощью усовершенствованной модели космического телескопа Hubble, было исключительным.

У цифровой фотографии нет точной даты рождения. Обычно считают, что цифровая фотография появилась в конце 60х, когда ученые обнаружили, что КМОП (комплементарный металло-оксидный полупроводник) может быть светочувствительным. Прибор с зарядовой связью (ПЗС, CCD) был изобретён в конце 1969 года Вильямом Бойлем (William S. Boyle) и Джорджем Смитом (George E. Smith), работавшими в лабораториях Bell. Так как качество изображения было очень высоким, эти приборы быстро вытеснили КМОП из цифрового обработки изображений. Однако отметим, ПЗС более чувствителен к излучению, нежели КМОП. А чем выше вы находитесь от поверхности Земли, тем больше излучение. Именно поэтому КМОП сенсоры не были забыты, и правительство штатов оплачивало исследования в этой области.

В нашей статье мы обратимся к этим удивительным технологиям и объясним с физической точки зрения, как с помощью кусочка кремния можно воссоздать изображение.

Несмотря на всё разнообразие технологий, в большинстве случаев в цифровых камерах используются либо КМОП, либо ПЗС сенсоры. Самым важным отличием между этими системами является способ перенесения электронов с сенсора. Кроме того, КМОП может осуществлять большее количество функций прямо на чипе. Тем не менее, начало у этих технологий общее, и что самое примечательное, первоначально, ни та, ни другая технология не имели никакого отношения к цифровой фотографии. Оба устройства представляли собой полупроводниковую память.

В 1966 году в лабораториях Bell была изобретена ЦМД-память (память на цилиндрических магнитных доменах, пузырьковая память, bubble memory). Предполагалось, что она будет энергонезависимой (то есть при выключения питания компьютера данные не теряются). Воодушевленные потенциалом этих устройств, ученые продолжили опыты с технологией ПЗС как с последовательными запоминающими устройствами. Но эта технология быстро устарела — стоило появиться более эффективной и быстрой энергонезависимой памяти, например, EEPROM (electrically erasable programmable read-only memory — электронно-перепрограммируемая постоянная память). Тем не менее, как обнаружилось, ПЗС память обладает впечатляющими возможностями по переносу заряда, что сделало ее идеальным для сенсоров. Впервые в массовое производство ПЗС сенсоры были запущены в 1973 году. КМОП технология продолжала использоваться в памяти, обрабатывающих и других цифровых устройствах, что связано с ее низким энергопотреблением и высокой функциональностью. Технологии КМОП и ПЗС отличаются своей ценой, процессом производства и дальнейшими перспективами развития.

ПЗС являются специализированными чипами и используются только для получения изображения. Производят эти чипы всего несколько фирм — дочерние компании таких гигантов как Sony, Philips, Kodak, Matsushita, Fuji и Sharp. В отличие от ПЗС, область применения КМОП устройств намного шире. Они используются как в процессорах персональных компьютеров, так и в подавляющем большинстве потребительской электроники. Так как в основном КМОП устройства изготавливаются большими партиями и по стандартному технологическому процессу, их производство обходится значительно дешевле.

Кроме дешевизны производства, КМОП устройства обладают целым рядом преимуществ. Так как архитектура КМОП позволяет производить обработку изображений и аналого-цифровые преобразования (АЦП — ADC) непосредственно на чипе, цифровые камеры и другие устройства, использующие КМОП технологию вместо ПЗС, в итоге оказываются значительно дешевле. КМОП сенсоры требуют меньше энергии, чем ПЗС, поэтому они более эффективны и не так дороги в эксплуатации. Кроме того, КМОП камерам не нужно столько лишних схем и плат — поэтому они могут быть величиной буквально с наперсток (или даже меньше).

Тем не менее, в системах, где самым важным считается качество, всё же используются ПЗС, так как они чувствительнее к свету, степень градации у них выше, а лишних шумов меньше.

В начале девяностых технология КМОП была существенно улучшена. Частично, причиной тому послужило развитие технологии вообще и технологии производства КМОП чипов в частности. Например, достижения сверхтонкой литографии и последующая миниатюризация транзисторов в интегральных схемах позволили соединять транзисторы в КМОП сенсорах более тонкими металлическими проводниками. При этом увеличилось количество кремния, на который попадают фотоны, что, в свою очередь, увеличило чувствительность сенсоров. Кроме того, уменьшилась и потребляемая мощность.

До недавних пор было мало шансов добиться высокого качества КМОП фотоаппаратов. Когда мы тестировали первые КМОП камеры Sound Vision and Vivitar, посторонние шумы на фотографиях были настолько заметны, что ровные вертикальные кромки небоскребов плыли, и создавалось ощущение, что здания таяли. Тем не менее, новая модель Canon D30, использовавшая корпус профессионального однообъективного зеркального фотоаппарата, показала, что КМОП технология уже достаточно хороша, чтобы заменить дорогую ПЗС. Вероятно, в ближайшие годы в любительских и в профессиональных камерах на смену ПЗС матрицам придут КМОП матрицы. Технология ПЗС, скорее всего ещё просуществует некоторое время на high-end рынке.

Большинство сенсоров созданы на основе кремния. Когда фотоны ударяются о кремний, электроны в кремнии возбуждаются и ковалентная связь, удерживающая электроны в атомах кремния, нарушается. Количество высвободившихся электронов прямо пропорционально энергии или интенсивности света. В зависимости от способов контроля и измерения этого фотоэлектрического эффекта, существует несколько различных дизайнов сенсоров. Они различаются эффективностью и аккуратностью учета электронов.

Заметим, фотоны должны обладать достаточной энергией, чтобы разрушить ковалентные связи в атомах кремния, чтобы появились свободные электроны (или электронно-дырочные пары) То есть энергия фотонов должна быть больше, чем ширина запрещенной зоны кремния — 1,1 эВ. Это значит, что волны должны быть из видимой части спектра (400-750 нм) или близкие к инфракрасным (до 1100 нм) — только фотоны этих волн способны разрушить связи. Именно поэтому в качестве основы сенсоров для фотоаппаратов был выбран кремний. Волны длиной менее 400 нм могут быть поглощены структурой сенсора (подробнее об этом — ниже). Если фотоны не обладают требуемой энергией (длина таких волн обычно больше 1100 нм), то свободных электронов не возникает и фотоны не вызывают никакой реакции.

В идеальных условиях зависимость между фотонами и электронами была бы прямой, и один фотон высвобождал бы ровно один электрон. В результате квантовый выход бы составлял сто процентов. Тем не менее, обычные сенсоры, используемые в цифровых камерах, не столь эффективны — один фотон высвобождает не один электрон, а меньше. (Хотя бывает, что фотоны невидимых волн могут высвободить даже более одного электрона) Но даже после того, как электроны освобождаются, нет гарантии того, что они будут учтены сенсором. Поэтому у сенсоров цифровых камер квантовая эффективность ниже ста процентов.

Ещё один важный фактор в достижении большей квантовой интенсивности — это качество и чистота кремниевой пластины. Кристаллы кремния «выращиваются», и в зависимости от условий его производства определяется его качество. Если все кристаллические решетки расположены в одном направлении, то кремний лучше проводит электроны. (В будущем, возможно, кремний будут выращивать в космосе и тем самым негативный эффект от силы тяжести, которая мешает идеальному росту кристалла, исчезнет. Вероятнее всего, кристаллы в космосе будут производиться в ограниченных количествах — специально для тех случаев, когда требуется очень высокое качество. Кремниевые пластины, произведенные в космосе, скорее всего, будут дорогими и редкими).

Получение полупроводников из кремния — довольно сложный процесс, требующий чистоты и микроскопической точности. Точность необходима в наложении на кремний фоторезистных масок. Затем кремний подвергается световой и температурной обработке, ионному легированию, дополнительным наслоениям и травлению.

«Легирование» кремния повышает его способность проводить электроны. Достигается это аккуратным внедрением примесей, создающих полюса зарядов. В качестве примесей используются бор (имеющий одним электроном меньше) и фосфор (имеющий на один электрон больше). Таким образом, бор создаёт на кремниевой решетке положительный заряд (или «дырки») — такой полупроводник называется полупроводником p-типа или положительный метал-оксид-полупроводник (positive metal oxide semiconductor, PMOS). С примесью фосфора заряд проводника становится отрицательным — такой полупроводник называется полупроводником n-типа (negative metal oxide semiconductor NMOS). В различных архитектурах сенсоров полупроводники этих двух типов могут использоваться по-разному. Полупроводники p-типа притягивают отрицательно заряженные электроны, а n-типа — отталкивают. Такое взаимодействие создаёт ток электронов.

В КМОП устройствах имеются транзисторы обоих типов (p и n). Ключевой характеристикой КМОП устройств является незначительное потребление энергии, при простаивании (хранении единички или нолика) и высокое потребление энергии при переключении из одного состояния в другое.

Сенсор состоит из пикселей, то есть из множества светочувствительных элементов (photosites). Они обычно расположены в сетке — из столбцов и колонок. Структура этих элементов зависит от типа сенсора, но принцип их работы везде одинаков.

Светочувствительные области пикселя получают свет (фотоны) и преобразуют его в электроны. Такая светочувствительная область в английском языке имеет множество названий — photocapacitor, photogate или photodiode. По-русски она называется фотодиодом. Электроны, полученные в этом фотодиоде, накапливаются в зарядовом кармане (potential pixel well). Величина накопленного заряда зависит от интенсивности падающего на поверхность фотодиода света. Количество времени, в течение которого накапливается заряд, называется временем интеграции (integration time). Таким образом, светочувствительная область содержит частичку информации изображения в виде электрического заряда, полученного из падающего света.

В производстве сенсоров светочувствительная область определяется примесями, использующимися для того, чтобы воспользоваться преимуществом зарядной емкости легированного кремния. Например, пиксель может состоять из кармана p-типа на подложке n-типа. Чем меньшее количество примесей использовано, тем больше разница потенциалов.

Пиксели что в КМОП, что в ПЗС матрицах — одинаковы, основные различия начинаются после того, как фотоны преобразуются в электроны. Отметим все же, что архитектура пикселей у различных производителей может быть неодинаковой. Например, Philips наносит на светочувствительный элемент очень тонкий слой кремния с примесями из мышьяка. У получившейся смеси, как и у бора, количество электронов меньше на один. Цель подобного рода операций — увеличение зарядной емкости пикселя.

В обычной фотопленке на пластиковую основу наносятся галоиды серебра — именно они реагируют на любой свет, падающий под любым углом. В отличие них, кремниевые пиксели реагируют на свет только в том случае, когда он падает под прямым углом (или близким к прямому). Это требуется для того, чтобы пиксели получали больший электрический заряд. Для обеспечения требуемого угла над каждым пикселем сенсора помещается специальная выпуклая микролинза. Именно таким образом корректируется угол падения света и увеличивается светочувствительность сенсора.

Во многих случаях, стоимость объектива фотоаппарата может быть значительно выше стоимости сенсора. Преимущество использования микролинз заключается в том, что при большой угловой чувствительности сенсора можно использовать дешевый небольшой объектив. Однако микролинзы используются далеко не во всех сенсорах.

Обычно микролинзы создаются путем нанесения резистного материала на сенсор. Затем относительно пикселей в этом материале протравливается сетка. При нагревании остатки оплавляются и принимают куполообразную форму. Форма и характеристики микролинзы зависят от толщины резистного слоя, температуры процесса и от подложки. Сенсор должен выполнять по меньшей мере пять основных операций — поглощать фотоны, преобразовывать их в заряд, накапливать его, передавать, и преобразовывать в напряжение. Оба типа сенсоров — и КМОП, и ПЗС — выполняют все пять операций. Первые три операции выполняются везде одинаково, но технологии отличаются передачей заряда и преобразованием заряда в напряжение.

ПЗС, в отличие от КМОП, не способен совершать некоторые операции прямо на чипе, но то простое изящество, с которым ПЗС выполняет операции, обеспечивает изображению очень высокое качество. Но не думайте, что если на вашем фотоаппарате используется ПЗС матрица, качество картинки будет неподражаемым. Изображение из цифровой камеры — результат работы всех компонентов этой камеры, включая оптику, АЦП, обработку изображений, сенсор и все другие компоненты и процессы цифрового фотоаппарата. Отметим также, что многое зависит и от того, как все эти компоненты взаимодействуют между собой.

Прибор с зарядовой связью (ПЗС) назван так из-за способа передачи заряда между светочувствительными элементами и в конечном итоге выводе заряда из сенсора. Заряды сдвигаются по матрице строчками сверху вниз. Это так называемая архитектура с параллельным (вертикальным) сдвиговым регистром. Таким образом, заряд передвигается вниз по строчкам сразу по множеству регистров. Заряды перемещаются «в связке» — когда перемещается одна из строчек зарядов, на освобождающееся место передвигаются все заряды из верхней строчки. Отсюда и такое название.

Что же происходит со строчкой, находящейся в нижней позиции? В действительности, последняя строчка представляет собой горизонтальный сдвиговый регистр (serial shift register) — при этом используется архитектура с последовательным выводом. В этой строчке все заряды последовательно покидают сенсор, при этом используется метод зарядовой связи (что указывает на порядок зарядов) и при этом освобождается место для новой строчки зарядов. Часто такой метод сравнивают с пожарной цепочкой — как в старинных пожарных командах.

Перед тем, как покинуть ПЗС сенсор, заряд каждого пикселя усиливается и на выходе получается аналоговый сигнал с различным напряжением. Перед обработкой этот сигнал пересылается на отдельный (вне чипа) аналого-цифровой преобразователь и получившиеся цифровые данные преобразуются в байты, представляющие строчку изображения, полученного сенсором. В отличие от ОЗУ компьютера, где единичка или нолик представлены наличием или отсутствием заряда, ПЗС сохраняет этот заряд в аналоговой форме до тех пор, пока он не преобразуется АЦП.

Так как ПЗС лишь передает электрический заряд, используя процесс зарядовой связи, который обладает низким сопротивлением и меньше подвержен помехам других электронных компонентов, результирующий сигнал, как правило, содержит меньше различных шумов, по сравнению с сигналом КМОП сенсоров. Тем не менее, передаются далеко не все заряды — часть электронов безвозвратно теряется на пути между светочувствительными областями и выходом сенсора. Эффективность переноса заряда — это определяющая характеристика сенсора. Обычно, она предоставляется производителями сенсоров.

Электроды — это проводники, по которым ток либо поступает, либо покидает электронное устройство. Они играют роль электронных ворот. В зависимости от того, какие функции электроды выполняют в ПЗС, они имеют различное название — пропускающие затворы (transfer gates), затворы управления экспозицией (exposure control gates) или затворы переполнения (overflow gates). В пропускающих затворах электроды получают тактовые импульсы различного напряжения, в результате чего заряд способен перемещаться от одной светочувствительной области к следующей. Это и перемещение строчки зарядов вниз на следующую строчку, и последовательное считывание зарядов с последней строчки. Электронный затвор, влияющий на время экспозиции — время интеграции электронного затвора сенсора (когда пиксель получает фотоны и вырабатывает электроны) управляется напряжением. А затворы переполнения используются для того, чтобы не допустить рассеивания электронов и уменьшить воздействие зарядов соседних пикселей.

Чаще всего электроды создаются из поликристаллического кремния. Компания Kodak представила новый тип электродов — из сплава индия и оксида олова (indium tin oxide, ITO). Считается, что такая технология позволяет улучшить процесс захвата электронов в светочувствительных областях, так как этот сплав прозрачнее поликристаллического кремния. Кроме того, избегается ещё один эффект — поликристаллический кремний может отражать или поглощать фотоны волн определенной длины.

Так как заряд в КМОП и в ПЗС устройствах передаётся по-разному, по-разному функционируют и электроды в этих матрицах. То есть в технологии КМОП не используется метод переноса с зарядовой связью. Поэтому и электроды в КМОП технологии применяются несколько иначе, чем в ПЗС. В КМОП матрицах электроды используются в пропускающих затворах у транзисторов на выходе сенсора и для уменьшения помех.

Как было упомянуто выше, основной функцией электродов является управление передачей заряда в ПЗС. Чтобы лучше вникнуть в суть дела и разобраться в их работе, мы сперва рассмотрим четырехфазный прибор с зарядовой связью, то есть прибор, где на каждый пиксель имеется четыре электрода. (В большинстве ПЗС используется несколько электродов/фаз, их число зависит от модели сенсора)

На первом электроде, как и на всех остальных, каждый пиксель получает одинаковое напряжение. Если электрод получает большое напряжение, под ним на кремниевой подложке, создаётся потенциальная яма. Если же электрод получает малое напряжение, то создаётся потенциальный барьер, который позволяет удерживать в потенциальной яме захваченные электроны (данные элемента изображения). Таким образом, при изменении напряжения, подаваемого на соседние электроды в определенные моменты времени, потенциальные ямы перемещаются с одного пикселя на другой. Таким образом и создаётся эффект «пожарной бригады», описанный выше.

Четырехфазный процесс на самом деле прост, другое дело, что описать его словами бывает трудно.

В первый такт выключаются первый и второй электроды, и включаются третий и четвертый. Во второй такт включается первый электрод и выключается третий. Следом включается второй и выключается четвертый. На четвертом такте включается третий и выключается первый (в том числе и на следующем пикселе). Процесс затем повторяется вновь для передвижения заряда по сенсору.

Такая четырехфазная технология довольно популярна, так как при этом используется всего два слоя материала. Кроме того, компания Philips утверждает, что при таком решении используется, по крайней мере, половина зарядной емкости пикселя. К примеру, в трехфазовой архитектуре на хранение заряда отводится лишь 33 процента пикселя. Четырехфазная технология приводит и к большей емкости пикселя (общее число электронов, которые могут храниться в каждом пикселе, прежде чем он будет насыщен) по сравнению с устройствами с другими архитектурами.

ПЗС бывают четырёх типов: линейные (Linear), чересстрочные (Interline), полноформатные (Full-frame) и с покадровым переносом (Frame-Transfer).

Линейные ПЗС состоят из одной строчки пикселей. Для получения изображения ПЗС должна сосканировать каждую строчку изображения, последовательно выстраивая картину. Понятно, что в этом случае на получение изображения уйдет намного больше времени, чем если получать изображение сразу. Кроме того, в таких приборах понадобится дискретный электропривод, что ещё больше усложнит устройство системы и её эксплуатацию и может исказить изображение. Поэтому линейные ПЗС остались уже в прошлом, хотя некоторые до сих пор используются в планшетных сканерах и в сканерах цифровых камер.

Остальные ПЗС (чересстрочного, полноформатного типа и с покадровым переносом) относятся к матричным ПЗС — все они состоят из нескольких рядов и колонок, создающих прямоугольную матрицу.

Чересстрочная развертка позволяет электрическому заряду пикселя быстро перемещаться на соседствующую затененную область, по которой он строчка за строчкой двигался бы к горизонтальному сдвиговому регистру. Такое быстрое перемещение заряда из светочувствительной области позволяет ей быстрее принимать следующую порцию фотонов. В цифровых камерах такая быстрая готовность апертуры пикселя принимать следующую порцию данных изображения позволяет получать видеоизображение. Минусом в такой технологии, безусловно, можно считать значительное уменьшение светочувствительной области. По этой причине ограничивается возможная плотность пикселей (пресловутое разрешение). Для обеспечения более высокого разрешения, в ПЗС функционируют микролинзы, позволяющие лучшим образом направлять фотоны в светочувствительные области. Кроме этого, сенсоры с такой архитектурой довольно сложны в производстве. Обычно, чересстрочные сенсоры используются в потребительских цифровых камерах.

ПЗС с покадровым переносом заряда

ПЗС этого типа очень похожи на полноформатные ПЗС, отличие заключается в том, что они отводят половину матрицы для временного хранения электрического заряда. Такая затененная область называется ещё «матрицей хранения» («Storage array»). Как только заканчивается период интеграции и в светочувствительных областях накапливается заряд, он быстро перемещается в матрицу хранения. Такие матрицы могут работать без задержки на использование механического затвора, что обеспечивает им очень высокую скорость захвата изображения. Но заряд не полностью успевает переместиться в матрицу хранения до наступления следующего периода интеграции. Вследствие такой нахлестки изображение получается размытым. Еще одни минусом таких ПЗС является значительно больший размер (а, значит, и более высокая цена), так как на кристалле необходимо кроме светочувствительных элементов располагать и матрицу хранения. Поэтому в некоторых случаях лучше использовать чересстрочные сенсоры, которые могут выполнять одновременную съемку и передачу информации с минимальным размытием изображения.

Хотя фирм, производящих ПЗС матрицы очень мало, конкуренция на этом рынке развернулась очень жестокая. И своих покупателей фирмы привлекают именно различиями в сенсорах. Поэтому не удивительно, что каждая из этих фирм работает над изменением и улучшением имеющихся архитектур ПЗС. Приведем несколько примеров.

Супер ПЗС (Super CCD) от Fuji использует уникальную сотовую архитектуру, в которой применяются восьмиугольные пиксели. Таким образом, увеличивается рабочая поверхность кремния и увеличивается плотность пикселей (количество пикселей в ПЗС). Кроме этого, восьмиугольная форма пикселей увеличивает и площадь светочувствительной поверхности. По утверждениям Fuji, в такой архитектуре кроме всего прочего становится лучше соотношение сигнал/шум, а также улучшается динамический диапазон. Отметим всё же, что когда в прошлом году мы протестировали первую модель фотоаппарата Fujifilm 4700 с сенсором Super CCD, мы были крайне разочарованы качеством полученных фотографий. Но последние модели камер Fujifilm были разработаны специально под сенсор Super CCD. По нашему мнению, изображения получились четче, чем у других подобных устройств, и мы остались довольны качеством фотографий.

Данные считываются с сенсора одним из двух методов — прогрессивным или чересстрочным. Это очень напоминает типы развертки в видеотехнике. Методы отличаются порядком поступления колонок данных ПЗС на горизонтальный сдвиговый регистр.

В построчном (прогрессивном) режиме колонки считываются точно друг за другом — так, как они считывались с изображения. Чересстрочные ПЗС считывают сначала все четные колонки, а затем нечетные. После этого, они восстанавливаются уже в устройстве обработки изображений.

Чересстрочные ПЗС, содержащие более одного мегапикселя (как правило, такие ПЗС используются в сенсорах цифровых камер) обычно считывают колонки чересстрочным методом — здесь один ряд электродов управляет вертикальной передачей заряда из двух строчек пикселей.

В идеале было бы неплохо получить сенсоры с качеством изображения как у ПЗС и с интеллектом как у КМОП. На данном этапе развития технологий это не представляется возможным. Тем не менее, компании Kodak удалось создать чересстрочный ПЗС (с чипом KAI 2020), который производит некоторую обработку изображений непосредственно на чипе. Для этого на сенсор помещены формирователи тактовых импульсов — чтобы производить двукратный коррелированный семплинг (double correlated sampling). Компания не называет такой сенсор интеллектуальным — ведь аналого-цифровые преобразования, равно как и обработка изображений — все же прерогатива КМОП сенсоров. Тем не менее, он вычисляет значение темнового тока (тот уровень шумов, существующий даже когда свет не попадает на сенсор), и вычитает его из имеющегося изображения. Это популярный метод, используемый в КМОП сенсорах для нейтрализации шумов и артефактов. В настоящее время, KAI 2020 — единственный серийно производящийся сенсор, который не используется в цифровых камерах. Он нашел себе применение в автоматизированном контроле или в управлении трафиком.

Технология ПЗС с покадровым переносом ядра от Philips была названа архитектурой True Frame. Кроме Philips данной архитектурой пользовалась Sanyo. В этих сенсорах область хранения закрывалась от света металлическим слоем и могла хранить лишь пятую часть зарядной емкости пикселя. Технология использовалась только для предварительного просмотра изображения в видоискателе и для получения общей информации о сцене, чтобы можно было определить выдержку и другие настройки. Если камера находилась в режиме предварительного просмотра или в режиме отслеживания, электроны быстро перемещались в область хранения. При этом большая их часть (точнее сказать, четыре пятых) попадала на кремниевую подложку и пропадала там. Но когда камера находилась в режиме съемки, все электроны быстро считывались, и ни один не перемещался на область хранения. Считывание производилось последовательным методом, а не чересстрочным, поэтому такое устройство выигрывало в скорости. Тогда как обычный чересстрочный ПЗС считывал изображение со скоростью 5-10 кадров в секунду, сенсор Philips, созданный по технологии с покадровым переносом работал со скоростью 30-60 кадров в секунду. Это соответствует скорости видео. Однако если бы не было затвора, мы бы наблюдали размытое изображение — сенсор бы не успевал отдавать заряд до поступления новой порции фотонов.

Технология КМОП, в отличие от ПЗС, позволяет осуществлять большее количество операций прямо на чипе. Кроме высвобождения электронов и их передачи, КМОП сенсоры могут также обрабатывать изображения, выделять контуры изображения, уменьшать помехи и производить аналого-цифровые преобразования. Более того, производители могут создавать программируемые КМОП сенсоры, то есть можно создать очень гибкое многофункциональное устройство.

Такой набор функций на одном чипе — основное преимущество технологии КМОП над ПЗС. При этом также сокращается количество различных внешних компонентов. Использование в цифровой камере КМОП сенсора позволяет в оставшееся место устанавливать другие чипы — например, цифровые сигнальные процессоры DSP и аналого-цифровые преобразователи. А так как КМОП устройства потребляют меньше энергии по сравнению с ПЗС, то выделяется меньше тепла, следовательно, появляется меньше различных помех тепловой природы.

Бум КМОП технологий начался в начале 90-х, когда впервые лаборатория ракетных двигателей NASA (Jet Propulsion Laboratory — JPL) успешно внедрила активные пиксельные сенсоры (Active Pixel Sensors — APS). Идея витала в воздухе ещё давно, но воплотить её в жизнь получилось лишь в 1993 году. В этой технологии у каждого пикселя появлялся свой считывающий транзисторный усилитель (readout amplifier transistor), что позволяло преобразовывать заряд в напряжение непосредственно на пикселе. Кроме того, появилась возможность для произвольного доступа к каждому пикселю сенсора — подобно тому, как работает оперативное запоминающее устройство.

Считывание заряда с активных пикселей КМОП сенсора производится по параллельной схеме. Это позволяет считывать сигнал с каждого пикселя или колонки пикселей напрямую. Такой произвольный доступ позволяет КМОП сенсору считывать не всю матрицу целиком, а лишь некоторые области. Этот метод называется методом оконного считывания (window-of-interest, windowing readout). КМОП сенсор способен также уменьшить размер изображения. По сравнению с ПЗС при этом также увеличивается скорость считывания (в ПЗС весь заряд выходит через единственный сдвиговый регистр).

Усиливающие схемы могут быть расположены в любом месте чипа, а не только на светочувствительной области. Это позволяет создавать несколько каскадов усиления по всему сенсору. Так, например, в темных условиях усилители могут «вытягивать» изображение целиком, а в иных случаях могут усиливать лишь определенные цвета — для баланса белого или для специальных художественных эффектов.

Из-за добавления дополнительных схем на чип, у КМОП сенсоров появляется существенный недостаток — создаются помехи — это и транзисторные, и диодные рассеивания, и эффект остаточного заряда. Устранением таких помех исследователи занимаются уже довольно долго. Но при этом нельзя недооценить главное достоинство КМОП сенсоров — они позволяют непосредственно на чипе устранять шум теневого тока из заряда перед тем, как передать его с сенсора.

Разнообразие КМОП архитектур объясняется возможностью сенсоров выполнять большое число различных функций.

Сенсоры — это устройства, определяющие лишь градации серого (градации интенсивности света — от полностью белого до полностью черного). Чтобы камера могла различать цвета, на кремний с помощью процесса фотолитографии накладывается массив цветных фильтров. В тех сенсорах, где используются микролинзы, фильтры помещаются между линзами и фотоприемником. В сканерах, где используются трилинейные ПЗС (рядом расположенные три ПЗС, реагирующие соответственно на красный, синий и зеленый цвета), или в high-end цифровых камерах, где также используются три сенсора, на каждый сенсор фильтруется свет своего определенного цвета. (Заметим, что в некоторых камерах с несколькими сенсорами используются комбинации нескольких цветов в фильтрах, а не три стандартных). Но для устройств с одним сенсором, каковыми является большинство потребительских цифровых фотоаппаратов, для обработки различных цветов используются массивы цветных фильтров (color filter arrays, CFA).

Для того чтобы каждому пикселю соответствовал свой основной цвет, над ним помещается фильтр соответствующего цвета. Фотоны, прежде чем попасть на пиксель, сначала проходят через фильтр, который пропускает только волны своего цвета. Света другой длины будет просто поглощаться фильтром. Ученые определили, что любой цвет в спектре можно получить смешением всего нескольких основных цветов. В модели RGB таких цвета три.

Для каждого применения разрабатываются свои массивы цветных фильтров. Но в большинстве сенсоров цифровых камер наиболее популярными являются массивы фильтров цветовой модели Байера (Bayer pattern). Эта технология была изобретена в 70-х компанией Kodak, когда проводились исследования в области пространственного разделения. В этой системе фильтры расположены вперемежку, в шахматном порядке, а количество зеленых фильтров в два раза больше, чем красных или синих. Порядок расположения таков, что красные и синие фильтры расположены между зелеными.

Такое количественное соотношение объясняется строением человеческого глаза — он более чувствителен к зеленому свету. А шахматный порядок обеспечивает одинаковые по цвету изображения независимо от того, как вы держите камеру (вертикально или горизонтально). При чтении информации с такого сенсора, цвета записываются последовательно в строчках. Первая строчка должна быть BGBGBG, следующая — GRGRGR и т.д. Такая технология называется последовательной RGB (sequential RGB).

В ПЗС камерах совмещение всех трех сигналов воедино происходит не на сенсоре, а в устройстве формирования изображения, уже после того, как сигнал преобразован из аналогового вида в цифровой. В КМОП сенсорах это совмещение может происходить непосредственно на чипе. В любом случае, первичные цвета каждого фильтра математически интерполируются с учетом цветов соседних фильтров. Заметим, что в любом изображении большинство точек — это смешение основных цветов, и лишь немногие действительно представляют чистый красный, синий или зеленый цвет.

Например, чтобы определить, влияние соседних пикселей на цвет центрального при линейной интерполяции будет обрабатываться матрица пикселей размером 3х3. Возьмем, к примеру, простейший случай — три пикселя — с синим, красным и синим фильтрами, расположены в одной строчке (BRB). Предположим, вы пытаетесь получить результирующее значение цвета красного пикселя. Если все цвета равноправны, то цвет центрального пикселя вычисляется математически как две части синего к одной части красного. На самом же деле, алгоритмы даже простой линейной интерполяции намного более сложны, они учитывают значения всех окружающих пикселей. Если интерполяция происходит плохо, то получаются зубцы на границах смены цветов (или появляются цветовые артефакты).

Отметим, что слово «разрешение» в области цифровой графики употребляется некорректно. Пуристы (или педанты — кому как больше нравится), знакомые с фотографией и оптикой, знают, что разрешение — это мера способности человеческого глаза или прибора различать отдельные линии на сетке разрешений, например, на сетке ISO, показанной ниже. Но в компьютерной индустрии принято разрешением называть количество пикселей, и раз уж так повелось, мы также последуем этой конвенции. Ведь даже разработчики называют разрешением количество пикселей в сенсоре.

Размер файла изображения зависит от количества пикселей (разрешения). Чем больше пикселей, тем больше файл. Например, изображение сенсоров стандарта VGA (640х480 или 307200 активных пикселей) будет занимать в несжатом виде около 900 килобайт. (307200 пикселей по 3 байта (R-G-B) = 921600 байт, что примерно равно 900 килобайтам) Изображение 16 MP сенсора будет занимать около 48 мегабайт.

Казалось бы, что такого — сосчитать количество пикселей в сенсоре, чтобы определить размер получающегося изображения. Тем не менее, производители камер представляют кучу разных цифр, и каждый раз утверждают, что это и есть истинное разрешение камеры.

В общее число пикселей входят все пиксели, физически существующие в сенсоре. Но активными считаются только те, которые участвуют в получении изображения. Около пяти процентов всех пикселей не будут участвовать в получении изображения. Это либо дефектные пиксели, либо пиксели, использующиеся камерой по другому назначению. Например, могут существовать маски для определения уровня темнового тока или для определения формата кадра.

Формат кадра — соотношения между шириной и высотой сенсора. В некоторых сенсорах, например, с разрешением 640х480, это соотношение равно 1,34:1, что соответствует формату кадра большинства компьютерных мониторов. Это означает, что изображения, созданные такими сенсорами, будут точно укладываться в экран монитора, без предварительного кадрирования. Во многих аппаратах формат кадра соответствует формату традиционной 35-милиметровой пленки, где соотношение равно 1:1,5. Это позволяет делать снимки стандартного размера и формы.

Кроме оптического разрешения (реальная способность пикселей реагировать на фотоны), существует также разрешение, увеличенное программно-аппаратным комплексом, с помощью интерполирующих алгоритмов. Как и в интерполяции цветов, в интерполяции разрешения математически анализируются данные соседних пикселей. При этом в результате интерполяции создаются промежуточные значения. Такое «внедрение» новых данных может производиться довольно гладко, при этом интерполированные данные будут чем-то средними, между реальными оптическими данными. Но иногда при такой операции могут возникать различные помехи, артефакты, появляться искажения, в результате которых качество изображения лишь ухудшится. Поэтому многие пессимисты считают, что интерполяция разрешения — это вовсе не способ улучшения качества изображений, а лишь метод увеличения файлов. При выборе устройства обращайте внимание, какое разрешение указано. Не стоит сильно радоваться высокому интерполированному разрешению. (Оно помечается как interpolated или enhanced).

Ещё один процесс обработки изображения на программном уровне — это субдискретизация (Sub-sampling). По сути, это процесс, обратный интерполяции. Этот процесс производится на стадии обработки изображения, уже после того, как данные преобразованы из аналогового цифровой вид. При этом удаляются данные различных пикселей. В КМОП сенсорах эту операцию можно провести на самом чипе, временно отключив считывание определенных строчек пикселей, или считывая данные лишь с избранных пикселей.

Субдискретизация выполняет две функции. Во-первых, для уплотнения данных — чтобы хранить больше снимков в памяти определенного размера. Чем меньше количество пикселей, тем меньше получается размер файла, и тем больше снимков вы сможете уместить на карточке памяти или во внутренней памяти устройства и тем реже вам придется скачивать фотографии на компьютер или менять карточки памяти.

Вторая функция этого процесса — создание изображений определенного размера для определенных целей. Камеры с 2MP сенсором вполне по зубам сделать снимок стандартной фотографии размером 8х10 дюймов. Но если вы попытаетесь переслать такую фотографию по почте, то это заметно увеличит размер письма. Субдискретизация позволяет обработать изображение так, чтобы оно нормально смотрелось на мониторах ваших друзей (если не ставить целью детализацию) и при этом отправлялось достаточно быстро даже на машинах с медленным соединением.

Теперь, когда мы ознакомились с принципами работы сенсоров, знаем, как получается изображение, давайте заглянем несколько глубже и затронем более сложные ситуации, возникающие при цифровой фотографии.

Коллизии фотонов

Электроны, вырабатываемые в результате фотоэлектрического эффекта, перемещаются по сенсору практически хаотически. На движение электронов влияет множество факторов — это и угол попадания фотона, и энергия фотона, и длина волны фотона, и расположение атомов кремния, и качество кремния, и количество слоев на матрице. Кроме того, влияют ещё и другие законы физики. В итоге электроны перемещаются беспорядочно, а не прямолинейно. Также факт высвобождения электрона вовсе не означает попадание этого электрона на пиксель — электрон может снова вернуться в кремний, а может направиться совершенно в другом направлении.

В зависимости от угла падения фотона, при прохождении массива цветных фильтров траектория может измениться, и фотон может попасть на фотодиод соседнего пикселя, а не на свой фотодиод. Это может привести к искажению заряда соседнего пикселя — такой эффект называется оптической перекрестной помехой (cross-pixel talk или optical crosstalk). К примеру, фотон, летевший на красный фильтр, после его прохождения попал на пиксель с зеленым фильтром. В результате искажается изображение (см. рисунок).

Результат такого эффекта нельзя устранить на стадии обработки изображения. Но с помощью специальных стенок между фильтрами этот эффект можно нейтрализовать. Например, Kodak и другие производители, для того, чтобы избежать такого эффекта, в массивах цветных фильтров используют черные перегородки. В других технологиях (к примеру, Philips) используют металлические щиты, которые расположены за фильтрами. Считается, что этот метод надежнее, чем черные границы в фильтрах. Но, во-первых, металл дороже стоит, во-вторых, занимает больше места, а в третьих, добавляет вес.

Электрические помехи объясняются свойствами света. Глубина проникновения фотона в кремний (прежде чем высвободится электрон) зависит от длины световой волны. (Помните, мы говорили, что если длина волны слишком большая, свет просто не задержится в кремнии) Чем короче волна, тем большей энергией обладают фотоны и тем скорее они высвободят электроны. Конечно, если длина волны не слишком коротка. В этом случае, фотоны просто отразятся от поверхности сенсора. Из основных цветов системы Байера, красный обладает максимальной диной волны (соответственно фотоны красного света обладают меньшей энергией), а длина синего цвета — самая короткая. Поэтому, когда фотоны проходят через красный фильтр, они проникают глубже в кремний, перед тем как высвободить электроны. Это может привести к неадекватной реакции на различные цвета, потерю заряда на подложке, а также к переходу электронов в другие пиксели. Как и оптические помехи, электрические помехи нельзя откорректировать на стадии обработки изображений, и посему должны быть предотвращены дизайном сенсора.

Помутнение — это самый распространенный побочный эффект. Пиксели могут накопить лишь ограниченное количество заряда. Этот параметр называется коэффициентом заполнения. При очень ярком свете электроны переполняют пиксель и попадают в соседние. По этой причине на изображении возникает яркое пятно или полоса, которые мы и называем расплыванием или помутнением.

Чтобы избавиться от этого эффекта создаются специальные перегородки и пиксели, способные забрать избыточные электроны и не допустить их дальнейшую обработку. К сожалению, перегородки занимают более 30 процентов полезной площади, при этом уменьшается чувствительность сенсора и квантовая эффективность. А так как цена — это главный сдерживающий фактор, то в некоторых случаях приходится мириться с такими недостатками.

Способность сенсора детализовать изображение при различных условиях освещенности определяется динамическим диапазоном. Чем шире этот диапазон, тем лучше сенсор.

Соотношение сигнал/шум — также является важной характеристикой сенсора. Это соотношение можно определить по динамическому диапазону. Другими словами, не зная, как много посторонних помех или шумов возникает на сенсоре, вычислить динамический диапазон невозможно. Самое интересное, чтобы обеспечить ту же степень детализации при различной освещенности, что и у обыкновенной фотопленки, динамический диапазон сенсора должен быть больше, чем динамический диапазон пленки.

Итак, помехи в изображениях могут возникать по целому ряду вышеописанных причин. Кроме того, часто пиксели неравномерно реагируют на свет, таким образом, создаются зоны с разной чувствительностью. Это также можно рассматривать как помеху. Из всех этих шумов, пожалуй, самую негативную роль, особенно в связи с динамическим диапазоном, играют темновые токи. Темновой ток — это те нежелательные сигналы, вырабатываемые камерой в полной темноте — без всякого освещения, своеобразный фон.

Основная причина возникновения темнового тока — это примеси в кремниевой пластине или повреждение кристаллической решетки кремния. Чем чище кремний, тем меньше темновой ток. Отметим, однако, что при этом и камера становится дороже. Также, ток может возникать вследствие некорректного производственного процесса (например, от неправильного ионного легирования). Ток возникает и от нагревания (при увеличении температуры на 6-8 градусов, значение темнового тока удваивается)

При продолжительной работе любой цифровой фотоаппарат нагревается. Поэтому в профессиональных цифровых камерах сенсор активно охлаждается — либо с помощью конвекции, либо элементом Пельтье, либо вентиляторами. В high-end сенсорах, предназначенных для высокоточных научных и астрономических наблюдений, используется жидкостное охлаждение.

Интересный компромисс наблюдается в фотоаппаратах с ЖК видоискателями, крепящимися к камере на шарнирах. Это решение удобно и для пользователей — так проще наводить фотоаппарат, но самое главное — таким образом от сенсора отдаляется негативный шум и тепло от ЖК экрана, а соответственно снижается и темновой ток.

Ещё один способ сокращения темнового тока — технология синхронизации режимов накопления (Accumulation Mode Clocking, также эту технологию называют MultiPinned Phase — MPP). При этом с помощью изменения напряжения «дырки» (положительные заряды) передвигаются по поверхности кремния и притягивают «заблудшие» свободные электроны — так предотвращается появление теневого тока. Подобным образом работают и диоды с накоплением «дырок» (Hole Accumulation Diode — HAD), добавляющие еще один слой к пикселю, притягивающий дырки.

Различные производители вычисляют динамический диапазон немного по-разному. Но вообще принято считать, что динамический диапазон (в децибелах) равен количеству электронов, которое может хранить пиксель (емкость пикселя, или глубина пикселя), деленному на темновой ток и шумы при считывании (также выраженные количеством электронов)

Компания Philips Semiconductors вполне разумно утверждает, что нельзя говорить о динамическом диапазоне, не упоминая при этом температуры. Иначе нетрудно запутать потребителя, так как нельзя будет сравнить динамические диапазоны двух разных производителей в связи с разными методами их расчета. Однако все производители могут использовать значение динамического диапазона в децибелах для определения битовой глубины сенсора. Например, если динамический диапазон равен 72 дБ, это означает, что отношение полной зарядной емкости к помехам — около 4096, и 12-битный АЦП может точно обработать такой сигнал (2 в 12 степени — как раз равно 4096) .

Обратимся к формуле. Предположим, что полная зарядная емкость составляет 40960 электронов, пусть помехи будут составлять 10 электронов. Поделив первое число на второе, получим 4096. Десятичный логарифм означает, в какую степень нужно возвести число 10, чтобы получить число искомое значение (в нашем случае — 4096). Итак, вычислив логарифм, получим, что показатель степени равен 3,61236. Помножив его на 20, мы получим динамический диапазон в 72,25 дБ, что приближенно равно 72 дБ.

Идея заключается в семплировании выходного сигнала сенсора с помощью АЦП с глубиной 8, 10, 12 бит и так далее, при этом можно получить столько оттенков серого, сколько позволяет динамический диапазон сигнала. При 10-битном семплировании таких градаций будет 1024, а при 12-битном — 4096. Но если динамический диапазон сигнала составляет всего 60 дБ, что примерно соответствует значению полная зарядная емкость/шум = 1024, или двойке в десятой степени, использовать 12-битный АЦП, способный определить 4096 градаций — все равно, что стрелять из пушки по воробьям. А при сэмплировании такого сигнала с динамическим диапазоном 60 дБ с помощью 8-битного АЦП какие-то оттенки будут отброшены — с восемью битами можно указать лишь 256 градаций. Следовательно, 10-битный АЦП окажется в самый раз.

Чем меньше размер пикселя, тем меньше его зарядная емкость, следовательно, тем меньше будет его возможный динамический диапазон. С другой стороны, слишком большие пиксели (с большей зарядной емкостью) далеко не всегда означают больший динамический диапазон, если только не нейтрализованы помехи. Ведь больший размер пикселей означает увеличение вероятности возникновения различных помех, шумов и артефактов. (Помехи возникают при неправильной интерпретации изображения пикселем или группой пикселей, при этом изображение искажается, например, на синем небе появляются красные точки. Каким бы ни был источник помех, результат всегда одинаков — искажается изображение).

Отношение размера сенсора к числу пикселей также влияет на величину шума. Если вы будете плотнее располагать пиксели на сенсоре, то вам придется уменьшать их размер, соответственно увеличивается вероятность электрических помех, что снижает динамический диапазон. Именно поэтому в высококлассных камерах используются сенсоры большего размера. Соответственно увеличивается и цена.

Сенсорам сейчас уделяется особое внимание — множество лабораторий разрабатывают все новые и новые дизайны этих устройств. Конечно же, люди желают, чтобы фотоаппараты были дешевле. При этом они также требуют и высокого качества изображений. Поэтому новые архитектуры сенсоров должны обладать повышенной чувствительностью и меньшим уровнем помех — чтобы был выше динамический диапазон. При этом размер пикселей должен быть минимальным.

О корпусе стоит поговорить отдельно — ведь он составляет третью часть от стоимости всего сенсора. В настоящее время сенсоры помещаются на керамическую подложку, а сверху закрываются стеклом. Эта технология довольно дорога. Кроме этого, такие сенсоры занимают в камере немало места. Производители понимают, что для корпусов необходимы более дешевые материалы, а размер сенсоров должен быть меньше. Но материалов с соответствующими характеристиками крайне мало, а создавать новые — не так-то просто.

В ближайшее время должны появиться новые технологии сенсоров. Такими разработками параллельно занимается несколько различных лабораторий, и все они решают одни и те же проблемы, используя различные вариации ПЗС и КМОП сенсоров.

Например, MOSAD-чип (Multiplexed OverSample AID), разработанный JPL по технологии Amain Technology является гибридом КМОП/ПЗС чипа. Пиксель выдает уже оцифрованное значение, полученное с помощью семплирования с высокой частотой (oversampling) на АЦП. По существу, измеряется избыток электронов на пикселе, а не их общее количество. Если существует избыток, чип ставит единичку, в противном случае — нолик. Это и называется оцифрованным видом. При этом не учитываются градации яркости, изображение получается черно-белым, но компания утверждает, что при большом значении модуляции монитора (то есть когда происходит быстрое мерцание черного и белого цветов) человеческий глаз будет добавлять к черно-белому изображению оттенки серого (или оттенки цвета, если изображение цветное). Кроме того, по утверждениям компании, получившееся таким образом изображение будет равномерным, в отличие от изображений с неравномерными шумами от КМОП сенсоров.

Сенсоры компании Pixim (Pixim’s Digital Pixel Sensor — CMOS DPS), разработанные в Стэнфордском университете (Stanford University), также считывают цифровые данные с каждого пикселя, используя параллельный АЦП на каждом пикселе. Компания утверждает, что при размещении АЦП в области формирования заряда постоянный шум практически устраняется. Кроме того, достигается большая скорость и меньшее потребление энергии по сравнению с традиционными КМОП сенсорами с активными пикселями.

Обе компании довольно молоды и их продукты пока что находятся лишь в стадии разработки. И что самое интересное, они не желают работать совместно, хотя и проводят исследования в одной области — считывании с пикселя цифрового сигнала. Явного преимущества какой-либо из них пока не наблюдается. Быть может, на смену этой технологии придут новые, а эта так и останется незамеченной.

Размер пикселя и общий размер всего сенсора сильно влияют на стоимость камеры.

Чем больше светочувствительная область пикселя, тем больше света он может собрать и преобразовать в электроны. Но чем больше пиксели, тем больше места они занимают на сенсоре, тем меньше число пикселей на сенсоре и тем меньше разрешение камеры. С другой стороны, если меньший размер пикселей и увеличивает разрешение камеры, то их зарядная емкость снижается, что в свою очередь означает меньшую светочувствительность. Кроме того, увеличение количества пикселей в сенсоре может привести к возникновению помех.

Размер самого маленького на сегодняшний день ПЗС пикселя — 2,5 квадратных микрона. Но такие размеры больше подходят для цифровых видеокамер, а не для фотоаппаратов. Отметим, что на динамический диапазон влияет не только размер пикселя, но и его дизайн. Цифровой фотоаппарат должен обладать, по крайней мере, 10-битной глубиной цветопередачи, а это означает, что пиксели должны быть немногим больше, чем у существующих дизайнов. В настоящее время размер самых маленьких ПЗС пикселей для цифровых камер составляет 3,3 микрона, а в КМОП — около четырех микрон. Размер пикселей популярного сенсора Sony 3,3 MP составляет 3,45 микрона. Во многих бытовых цифровых аппаратах размер составляет в среднем 5 микрон. В новом ПЗС сенсоре Kodak 16,6 MP размер пикселя — 9 микрон, что обеспечивает ему больший динамический диапазон. Но такой сенсор отличается очень большим размером. В некоторых профессиональных сенсорах используются пиксели размером 12 микрон или даже больше.

Производители должны учитывать не только влияние размера пикселя на качество сенсора, но и количество чипов, которое можно вырезать из одной кремниевой пластины. Из одной 8» кремниевой вафли компания Philips получает буквально тысячи 0,25» VGA КМОП сенсоров. С другой стороны, из 6» пластины Kodak получает только 5 16MP сенсоров размером 33,6 х 37,8 мм. При этом увеличивается пустой расход кремния. (Представьте пять квадратных или прямоугольных чипов в круге — поймете, почему такой большой расход).

К тому же, большой размер сенсора влечет также увеличение размера объектива, а следовательно и всей камеры. А чем больше объектив, тем дороже камера. Подводя итог, отметим, что на цену и на размер камеры влияют характеристики используемого сенсора — число и размер пикселей, светочувствительность и разрешение.

Большинство камер оснащены ручной настройкой светочувствительности, которую иногда называют ISO, а иногда усилением (gain).

Светочувствительность пленки измеряется числами, определенными Международной организацией по стандартизации ISO. Было бы логично оценивать чувствительность сенсоров по этой же шкале несмотря на различия в технологиях. На светочувствительность сенсора влияют квантовая эффективность и размер пикселя (его емкость).

Чем больше число ISO, тем выше светочувствительность пленки или сенсора. Часто его называют «скоростью» ISO пленки, — ведь на самом деле пленка или сенсор с большим числом может быстрее захватывать изображение при меньшем свете. Если число недостаточно велико для данного освещения, придется увеличивать выдержку. При этом изображение может размываться или увеличиваться количество помех.

Но часто, когда мы упоминаем эквивалент ISO у сенсора, на самом деле мы имеем в виду усиление — способность сенсора электронным образом усиливать сигнал. Также как в фотопленке при увеличении этого числа увеличивается и зернистость, в сенсорах увеличивается вероятность появления помех. Поэтому приходится искать компромисс между светочувствительностью и качеством изображения.

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Как работает цифровая камера | KV.by

В этом номере я собираюсь начать «долгоиграющую» тему о том, как устроена и как работает цифровая камера, что значат всякие умные слова вроде «брэкетинг» и «экспокоррекция» и, главное, как всем этим целенаправленно пользоваться.

Вообще, цифровая камера — это аппарат, позволяющий получать изображения объектов в цифровой форме. По большому счету, разница между обычным и цифровым фотоаппаратом — только в приемнике изображения. В первом случае это фотоэмульсия, требующая затем химической обработки. Во втором — специальный электронный датчик, преобразующий падающий свет в электрический сигнал. Датчик этот называется сенсором или матрицей и действительно представляет из себя прямоугольную матрицу светочувствительных ячеек, помещенных на одном полупроводниковом кристалле.

При попадании света на элемент матрицы он вырабатывает электрический сигнал, пропорциональный количеству попавшего света. Затем сигналы (пока что это аналоговые сигналы) с элементов матрицы считываются и преобразуются в цифровую форму аналогово-цифровым (АЦП) преобразователем. Дальше цифровые данные обрабатываются процессором камеры (да, в ней тоже есть процессор) и сохраняются уже в виде, собственно, картинки.

Итак, сердцем любой цифровой камеры является сенсор. Сейчас существуют две основные технологии производства сенсоров — ПЗС (CCD, charge coupled device — устройство с зарядовой связью) и КМОП. В ПЗС-матрице во время экспозиции (то есть в момент, собственно, фотографирования) в светочувствительных элементах накапливается заряд, пропорциональный интенсивности падающего света. При считывании данных эти заряды сдвигаются из ячейки в ячейку, пока не будет считана вся матрица (фактически, чтение происходит построчно). Данный процесс в популярной литературе любят сравнивать с передачей ведер с водой по цепочке. Производятся ПЗС-матрицы по МОП-технологии и для получения качественного изображения требуют высокой однородности параметров по всей площади чипа. Соответственно, они достаточно дороги.

Альтернативой ПЗС являются CMOS (то бишь, по-русски, КМОП) матрицы. По сути своей, КМОП-сенсор достаточно похож на микросхему оперативной памяти — DRAM. Тоже прямоугольная матрица, тоже конденсаторы, тоже считывание с произвольным доступом. В качестве светочувствительных элементов в КМОП-матрицах используются фотодиоды. В общем, КМОП-матрицы намного лучше подходят для производства по хорошо разработанным нынче техпроцессам. К тому же, помимо всего прочего (большая плотность упаковки элементов, меньшее энергопотребление, более низкая цена), это позволяет интегрировать сопутствующую электронику на один кристалл с матрицей. Правда, до недавнего времени CMOS не выдерживал конкуренции с CCD в смысле качества, так что на основе CMOS-сенсоров делались, в основном, дешевые устройства вроде веб-камер. Однако в последнее время сразу несколько крупных компаний (в частности, такой монстр индустрии, как Kodak) разрабатывали технологии производства CMOS-матриц высокого разрешения и высокого качества. Первая «серьезная» (трехмегапиксельная цифровая зеркалка) камера на КМОП — Canon EOS-D30 — появилась почти два года назад. А объявленные на последней Photokina полноформатные камеры Canon EOS 1Ds и Kodak Pro DCS-14n окончательно продемонстрировали потенциал КМОП-сенсоров. Впрочем, большинство камер пока все-таки выпускаются на основе ПЗС-матриц.

Желающие более подробно познакомиться с обеими технологиями могут начать вот с этого адреса www.eecg.toronto.edu/~kphang/ece1352f/papers/ng_CCD.pdf, а мы пойдем дальше.

Следующий момент — элементы матрицы (любого из вышеописанных типов) воспринимают только интенсивность падающего света (то есть, дают черно-белое изображение). Откуда берется цвет? Для получения цветного изображения между объективом и матрицей располагается специальный светофильтр, состоящий из ячеек основных цветов (GRGB, либо CMYG), находящихся над соответствующими пикселами. Причем, для зеленого цвета используются два пиксела (в RGB, или один в CMY), поскольку глаз наиболее чувствителен именно к этому цвету. Окончательный цвет пиксела на картинке в такой системе высчитывается с учетом интенсивностей соседних элементов разных цветов, так что в результате каждому одноцветному пикселу матрицы соответствует цветной пиксел на картинке. Таким образом, окончательная картинка всегда в той или иной степени интерполирована (то есть рассчитана, а не получена непосредственным фотографированием объекта, что неминуемо сказывается на качестве мелких деталей снимка). Что касается конкретных фильтров, то в большинстве случаев используется прямоугольная матрица GRGB (фильтр Байера).

Существует еще такая штука, как SuperCCD, изобретенная Fuji Photo Film и использующаяся в камерах Fuji с 2000 года. Суть этой технологии в том, что пикселы (и элементы светофильтра — тоже GRGB) расположены в виде своеобразной диагональной матрицы.

Причем камера интерполирует не только цвета самих пикселов, но и цвета точек, расположенных между ними. Таким образом, на фотоаппаратах Fuji всегда указывается разрешение, в два раза превосходящее даже количество физических (одноцветных) пикселов, что не есть правда. Впрочем, технология Fuji все же получилась достаточно удачной — большинство людей, сравнивавших качество снимков с SuperCCD и обычных камер, сходится в том, что качество картинки с SuperCCD соответствует обычной матрице с разрешением, примерно в 1.5 раза большим, чем физическое разрешение SuperCCD. Но не в 2 раза, как это заявлено Fuji.

Заканчивая разговор о фильтрах, самое время упомянуть о третьей альтернативной технологии производства сенсоров, а именно — Foveon X3. Она разрабатывалась фирмой Foveon и была объявлена весной этого года. Суть технологии — физическое считывание всех трех цветов для каждого пиксела (по идее, разрешение такого сенсора будет эквивалентно разрешению обычного сенсора с в три раза большим количеством пикселов). При этом для деления падающего света на цветовые компоненты используется свойство кремния (из которого изготовлен сенсор) пропускать свет с разной длиной волны (то есть, цветом) на разную глубину. Фактически, каждый пиксел Foveon представляет собой трехслойную структуру, причем глубина залегания активных элементов соответствует максимуму пропускания кремнием света для основных цветов (RGB). По-моему, весьма перспективная идея. По крайней мере, в теории. Потому что на практике первая объявленная камера на основе Foveon X3 пока так и остается единственной. Да и ее поставки пока толком так и не начались. Более подробно об этой технологии мы писали в шестом номере газеты за этот год.

Однако вернемся к сенсорам. Основной характеристикой любой матрицы, с точки зрения конечного пользователя, является ее разрешение — то есть количество светочувствительных элементов. Большинство камер сейчас делается на основе матриц в 2-4 мегапиксела (миллион пикселов). Естественно, чем больше разрешение матрицы, тем более детализированный снимок можно на ней получить. Конечно, чем больше матрица, тем она дороже. Но за качество всегда приходится платить. Разрешение матрицы и размер получаемого снимка в пикселах связаны напрямую, например, на мегапиксельной камере мы получим картинку размером 1024х960 = 983040. Надо сказать, что увеличение разрешения матриц — одна из главных задач, с которой сейчас борются производители цифровых камер. Скажем, года три назад большинство камер среднего ценового диапазона снабжалось мегапиксельными матрицами. Два года назад это число увеличилось до двух мегапикселов. Год назад оно уже стало равно трем-четырем мегапикселам. Сейчас же большинство последних моделей камер комплектуется сенсорами с разрешением 4-5 мегапикселов. И уже существует несколько полупрофессиональных моделей, снабженных матрицами больше 10 мегапикселов. Видимо, где-то на этом уровне гонка и остановится, поскольку снимок с 10-мегапиксельной матрицы примерно соответствует по детализации снимку на стандартную 35-миллиметровую пленку.

Кстати, не надо путать разрешение матрицы в том виде, как мы определили его выше, и разрешающую способность. Последняя определяется как способность камеры разделить изображение двух объектов и обычно измеряется по снимку штриховой миры с известным расстоянием между штрихами. Разрешающая способность описывает свойства всей оптической системы камеры — то есть матрицы и объектива. В принципе, разрешение и разрешающая способность связаны между собой, но связь эта определяется не только параметрами матрицы, но и качеством использованной в камере оптики.

Следующая характеристика цифровой камеры, напрямую связанная с матрицей, — это чувствительность. Или, точнее, светочувствительность. Этот параметр, как и следует из названия, описывает чувствительность матрицы к падающему свету и, в принципе, полностью аналогичен светочувствительности обычных фотоматериалов. Например, вы можете купить в магазине пленку чувствительностью 100, 200 или 400 единиц. Точно так же можно выставить чувствительность матрицы, но полюс цифрового фотоаппарата в том, что чувствительность выставляется индивидуально для каждого кадра. Скажем, при ярком солнечном свете можно снимать с чувствительностью 100 или 50, а для ночной съемки можно переключиться на 400 (а в некоторых фотоаппаратах и на 1400). Большинство цифровых камер позволяет выставлять стандартные значения чувствительности — 50, 100, 200 и 400. Кроме того, система автоэкспозиции может менять чувствительность плавно. Поскольку физически регулировка чувствительности осуществляется изменением коэффициента усиления сигнала с матрицы, то в камере это реализовать достаточно просто.

Измеряется чувствительность в единицах ISO (по крайней мере, для цифровых камер они уже стали стандартом). Как они переводятся в единицы DIN и ГОСТ, вы можете посмотреть в таблице.

Впрочем, у регулируемой чувствительности есть свои недостатки. Поскольку физически при этом свойства матрицы не меняются, а просто усиливается существующий сигнал, то на изображении начинают все больше и больше проявляться шумы, свойственные любому электронному устройству. Это очень сильно снижает рабочий динамический диапазон камеры, так что при высокой чувствительности вы хорошей картинки не получите. С аналогичной проблемой, кстати, можно столкнуться и при больших экспозициях — любая матрица шумит, а со временем шум накапливается. Сейчас во многих камерах реализуются специальные алгоритмы шумоподавления при больших экспозициях, однако они склонны сглаживать изображение и размывать мелкие детали. В общем, против законов физики не попрешь, но все-таки возможность регулировать чувствительность — большой плюс цифровых камер.

Константин АФАНАСЬЕВ

CCD или CMOS? Что лучше?

В рубрику «Видеонаблюдение (CCTV)» | К списку рубрик  |  К списку авторов  |  К списку публикаций

Сенсор изображения является важнейшим элементом любой видеокамеры. Сегодня практически во всех камерах используются датчики изображения CCD или CMOS. Оба типа датчика выполняют задачу преобразования изображения, построенного на сенсоре объективом, в электрический сигнал. Однако вопрос, какой датчик лучше, до сих пор остается открытым

Н.И. Чура
Технический консультант
ООО «Микровидео Группа»

CCD является аналоговым датчиком, несмотря на дискретность светочувствительной структуры. Когда свет попадает на матрицу, в каждом пикселе накапливается заряд или пакет электронов, преобразуемый при считывании на нагрузке в напряжение видеосигнала, пропорциональное освещенности пикселей. Минимальное количество промежуточных переходов этого заряда и отсутствие активных устройств обеспечивают высокую идентичность чувствительных элементов CCD.

CMOS-матрица является цифровым устройством с активными чувствительными элементами (Active Pixel Sensor). С каждым пикселем работает свой усилитель, преобразующий заряд чувствительного элемента в напряжение. Это дает возможность практически индивидуально управлять каждым пикселем.

Эволюция CCD

С момента изобретения CCD лабораторией Белла (Bell Laboratories, или Bell Labs) в 1969 г. размеры сенсора изображения непрерывно уменьшались. Одновременно увеличивалось число чувствительных элементов. Это естественно вело к уменьшению размеров единичного чувствительного элемента (пикселя), а соответственно и его чувствительности. Например, с 1987 г. эти размеры сократились в 100 раз. Но благодаря новым технологиям чувствительность одного элемента (а следовательно, и всей матрицы) даже увеличилась.

Что позволило доминировать
С самого начала CCD стали доминирующими сенсорами, поскольку обеспечивали лучшее качество изображения, меньший шум, более высокую чувствительность и большую равномерность параметров пикселей. Основные усилия по совершенствованию технологии были направлены на улучшение характеристик CCD.

Как растет чувствительность
По сравнению с популярной матрицей Sony HAD стандартного разрешения (500х582) конца 1990-х гг. (ICX055) чувствительность моделей более совершенной технологии Super HAD выросла почти в 3 раза (ICX405) и Ex-view HAD – в 4 раза (ICX255). Причем для черно-белого и цветного варианта.

Для матриц высокого разрешения (752х582) успехи несколько менее впечатляющие, но если сопоставлять модели цветного изображения Super HAD с самыми современными технологиями Ex-view HAD II и Super HAD II, то рост чувствительности составит в 2,5 и 2,4 раза соответственно. И это несмотря на уменьшение размеров пикселя почти на 30%, поскольку речь идет о матрицах самого современного формата 960H с увеличенным количеством пикселей до 976х582 для стандарта PAL. Для обработки такого сигнала Sony предлагает ряд сигнальных процессоров Effio.

Добавилась ИК-составляющая
Одним из эффективных методов роста интегральной чувствительности является расширение спектральных характеристик чувствительности в область инфракрасного диапазона. Это особенно характерно для матрицы Ex-view. Добавление ИК-составляющей несколько искажает передачу относительной яркости цветов, но для черно-белого варианта это не критично. Единственная проблема возникает с цветопередачей в камерах «день/ночь» с постоянной ИК-чувствительностью, то есть без механического ИК-фильтра.

Развитие этой технологии в моделях Ex-view HAD II (ICX658AKA) в сравнении с предыдущим вариантом (ICX258AK) обеспечивает рост интегральной чувствительности всего на 0,8 дБ (с 1100 до 1200 мВ) с одновременным увеличением чувствительности на длине волны 950 нм на 4,5 дБ. На рис. 1 приведены характеристики спектральной чувствительности этих матриц, а на рис. 2 – отношение их интегральной чувствительности.

Оптические инновации
Другим методом роста чувствительности CCD являются увеличение эффективности пиксельных микролинз, светочувствительной области и оптимизация цветовых фильтров. На рис. 3 представлено устройство матриц Super HAD и Super HAD II, показывающее увеличение площади линзы и светочувствительной области последней модификации.

Дополнительно в матрицах Super HAD II значительно увеличено пропускание светофильтров и их устойчивость к выцветанию. Кроме того, расширено пропускание в коротковолновой области спектра (голубой), что улучшило цветопередачу и баланс белого.

На рис. 4 представлены спектральные характеристики чувствительности матриц Sony 1/3″ Super HAD (ICX229AK) и Super HAD II (ICX649AKA).

CCD: уникальная чувствительность

В совокупности перечисленных мер удалось добиться значительных результатов по улучшению характеристик CCD.

Сравнить характеристики современных моделей с более ранними вариантами не представляется возможным, поскольку тогда не производились цветные матрицы широкого применения даже типового высокого разрешения. В свою очередь, сейчас не производятся черно-белые матрицы стандартного разрешения по новейшим технологиям Ex-view HAD II и Super HAD II.

В любом случае по чувствительности CCD до сих пор являются пока недостижимым ориентиром для CMOS, поэтому они все еще широко используются за исключением мегапиксельных вариантов, которые очень дорого стоят и применяются в основном для специальных задач.

CMOS: достоинства и недостатки

Сенсоры CMOS были изобретены в конце 1970-х гг., но их производство удалось начать только в 1990-е по причине технологических проблем. И сразу наметились их основные достоинства и недостатки, которые и сейчас остаются актуальными.

К достоинствам можно отнести большую интеграцию и экономичность сенсора, более широкий динамический диапазон, простоту производства и меньшую стоимость, особенно мегапиксельных вариантов.

С другой стороны, CMOS-сенсоры обладают меньшей чувствительностью, обусловленной, при прочих равных условиях, большими потерями в фильтрах структуры RGB, меньшей полезной площадью светочувствительного элемента. В результате множества переходных элементов, включая усилители в тракте каждого пикселя, обеспечить равномерность параметров всех чувствительных элементов значительно сложнее в сравнении с CCD. Но совершенствование технологий позволило приблизить чувствительность CMOS к лучшим образцам CCD, особенно в мегапиксельных вариантах.

Ранние сторонники CMOS утверждали, что эти структуры будут гораздо дешевле, потому что могут быть произведены на том же оборудовании и по тем же технологиям, что и микросхемы памяти и логики. Во многом данное предположение подтвердилось, но не полностью, поскольку совершенствование технологии привело к практически идентичному по сложности производственному процессу, как и для CCD.

С расширением круга потребителей за рамки стандартного телевидения разрешение матриц стало непрерывно расти. Это бытовые видеокамеры, электронные фотоаппараты и камеры, встроенные в средства коммуникации. Кстати, для мобильных устройств вопрос экономичности довольно важный, и здесь у CMOS-сенсора нет конкурентов. Например, с середины 1990-х гг. разрешение матриц ежегодно вырастало на 1–2 млн элементов и теперь достигает 10–12 Мпкс. Причем спрос на CMOS-сенсоры стал доминирующим и сегодня превышает 100 млн единиц.

CMOS: улучшение чувствительности

Первые образцы камер наблюдения конца 1990-х – начала 2000-х с CMOS-матрицами имели разрешение 352х288 пкс и чувствительность даже для черно-белого варианта около 1 лк. Цветные варианты уже стандартного разрешения отличались чувствительностью около 7–10 лк.

Что предлагают поставщики
В настоящее время чувствительность CMOS-матриц, безусловно, выросла, но не превышает для типовых вариантов цветного изображения величины порядка нескольких люксов при разумных величинах F числа объектива (1,2– 1,4). Это подтверждают данные технических характеристик брендов IP-видеонаблюдения, в которых применяются CMOS-матрицы с прогрессивной разверткой. Те производители, которые заявляют чувствительность около десятых долей люкса, обычно уточняют, что это данные для меньшей частоты кадров, режима накопления или по крайней мере включенной и достаточно глубокой АРУ (AGC). Причем у некоторых производителей IP-камер максимальная АРУ достигает умопомрачительной величины –120 дБ (1 млн раз). Можно надеяться, что чувствительность для этого случая в представлении производителей предполагает пристойное отношение «сигнал/шум», позволяющее наблюдать не один только «снег» на экране.

Инновации улучшают качество видео
В стремлении улучшить характеристики CMOS-матриц компания Sony предложила ряд новых технологий, обеспечивающих практическое сравнение CMOS-матриц с CCD по чувствительности, отношению «сигнал/шум» в мегапиксельных вариантах.

Новая технология производства матриц Exmor основана на изменении направления падения светового потока на матрицу. В типовой архитектуре свет падает на фронтальную поверхность кремниевой пластины через и мимо проводников схемы матрицы. Свет рассеивается и перекрывается этими элементами. В новой модификации свет поступает на тыльную сторону кремниевой пластины. Это привело к существенному росту чувствительности и снижению шума CMOS-матрицы. На рис. 5 поясняется различие структур типовой матрицы и матрицы Exmor, показанных в разрезе.

На фото 1 приведены изображения тестового объекта, полученные при освещенности 100 лк (F4.0 и 1/30 с) камерой с CCD (фронтальное освещение) и CMOS Exmor, имеющих одинаковый формат и разрешение 10 Мпкс. Очевидно, что изображение камеры с CMOS по крайней мере не хуже изображения с CCD.

Другим способом улучшения чувствительности CMOS-сенсоров является отказ от прямоугольного расположения пикселей с построчным сдвигом красного и синего элементов. При этом в построении одного элемента разрешения используются по два зеленых пикселя – синий и красный из разных строк. Взамен предлагается диагональное расположение элементов с использованием шести соседних зеленых элементов для построения одного элемента разрешения. Такая технология получила название ClearVid CMOS. Для обработки предполагается более мощный сигнальный процессор изображений. Различие структур расположения цветных элементов иллюстрируются рис. 6.

Считывание информации осуществляется быстродействующим параллельным аналого-цифровым преобразователем. При этом частота кадров прогрессивной развертки может достигать 180 и даже 240 кадр/с. При параллельном съеме информации устраняется диагональный сдвиг кадра, привычный для CMOS-камер с последовательным экспонированием и считыванием сигнала, так называемый эффект Rolling Shutter – когда полностью отсутствует характерный смаз быстро движущихся объектов. 

На фото 2 приведены изображения вращающегося вентилятора, полученные CMOS-камерой с частотой кадров 45 и 180 кадр/с.

Полноценная конкуренция

В качестве примеров мы приводили технологии Sony. Естественно, CMOS-матрицы, как и CCD, производят и другие компании, хотя не в таких масштабах и не столь известные. В любом случае все так или иначе идут примерно одним путем и используют похожие технические решения.

В частности, известная технология матриц Panasonic Live-MOS также существенно улучшает характеристики CMOS-матриц и, естественно, похожими методами. В матрицах Panasonic уменьшено расстояние от фотодиода до микролинзы. Упрощена передача сигналов с поверхности фотодиода. Уменьшено количество управляющих сигналов с 3 (стандартные CMOS) до 2 (как в CCD), что увеличило фоточувствительную область пикселя. Применен малошумящий усилитель фотодиода. Используется более тонкая структура слоя датчиков. Сниженное напряжение питания уменьшает шум и нагрев матрицы.

Можно констатировать, что мегапиксельные матрицы CMOS уже могут успешно конкурировать с CCD не только по цене, но и по таким проблемным для этой технологии характеристикам, как чувствительность и уровень шума. Однако в традиционном CCTV телевизионных форматов CCD-матрицы остаются пока вне конкуренции.

Опубликовано: Журнал «Системы безопасности» #5, 2011
Посещений: 98733

В рубрику «Видеонаблюдение (CCTV)» | К списку рубрик  |  К списку авторов  |  К списку публикаций

Неисправности, которые приходят сами по себе (типовые неисправности компактных камер

В предыдущей статье мы уже рассматривали неисправности, в которых виноват конструктор фотоаппарата. Как бы пользователь не берег камеру, неисправность всё же приходит.

Время идет и некоторые фотоаппараты из прошлого обзора уже не попадают в ремонт (не осталось у населения или настолько устарели, что их не ремонтируют). На полках в сервисных центрах появились новые завсегдатаи.

Что ж тенденции таковы, что современный фотоаппарат становится дешевле и работает меньше. «Косяков» в производстве всё больше и больше. Некоторые фотоаппараты поражают обилием одновременно встречающихся поломок, и все они происходят не по вине пользователя.

Рейтинг возглавляет фотоаппарат Olympus FE340, он же Olympus C560, Olympus X855.

Шлейф затвора Olympus FE340, переломан.

Три дефекта.

• Перелом шлейфа объектива (упоминали в прошлой статье, неверно уложили шлейф на заводе). К слову этим же дефектом страдает еще ряд моделей: Olympus FE330, Olympus mju840, Olympus mju820 и некоторые другие.
• Перелом шлейфа затвора. Шлейф длиннее на 2мм, чем нужно, и механизм его ломает. Этот дефект преследует фотоаппараты Olympus FE46, Olympus FE47, Pentax M50, M60, L50.
• Брак матрицы —  совершенно новый дефект. Проявился сравнительно недавно, но имеет массовый характер. На изображении появляются вертикальные потеки, искажаются цвета или изображение пропадает полностью. Причем последнее может быть вызвано и дефектом шлейфа затвора. Виноват производитель матриц Panasonic, нами выявлено уже около 5 моделей матриц, которые с трудом доживают до сегодняшних дней. Моделей матриц пять, а моделей фотоаппаратов более 3х десятков.

В связи с последним дефектом ремонт и диагностика данной модели затруднен, иногда приходится устранить последовательно две первых неисправности, чтобы понять, что уже вышла из строя матрица. Её замена заметно дороже, чем замена шлейфов.

Сразу за Olympus FE340 следует Olympus SP-560. Снова три дефекта, никак не связанные между собой.

• Раньше всего проявился дефект пьезо-стабилизатора матрицы. Матрицу по горизонтали и вертикали перемещают т.н. пьезоактуаторы (хрупкие кристаллы, генерирующие ультразвуковую волну, которая и перемещает матрицу). Кристаллы раскалываются, система перестает работать должным образом, фотоаппарат говорит «ошибка зума», «lens error». Его братья по конструкции (Olympus SP550, SP565, SP570, SP590) аналогично страдают от данного дефекта.
• Выход из строя матрицы. Еще бы, матрица там стоит такая же, как и на FE-340. Обидно, что с неисправностью №1 диагностировать неисправность №2 невозможно.
• Крышка отсека батарей раскалывается пополам ровно в том месте, где инженеры решили сэкономить на металлической пластине.

Вот такая трещина рассекает крышку отсека батарей у фотоаппарата Olympus SP-560.

Olympus mju840, три дефекта:

• Шлейф объектива передавливается рамкой дисплея (где-то мы это слышали…)
• Отлетает кронштейн рамки стабилизатора
• Дефектная матрица (да, да, такая-же как и на первых двух аппаратах)

Анализируя нашу базу данных по учету ремонта, можно видеть забавную картину: самый популярный аппарат в ремонте – как раз Olympus FE-340. 52 попадания в ремонт за один год. Следом за ним – Olympus mju700, с 51 заходом.

Далее в нашем обзоре «свежачки»: фотоаппараты новые, дефекты свежие.

Nikon S3100, Nikon S4100, Nikon S4150, Nikon S2600 и некоторые другие, которым достался один и тот же объектив. О чем думали те, кто его проектировал – неизвестно.

Объектив крайне компактен, но диапазон трансфокации («зума») – 5 раз. Устроен он как матрешка. Много баррелей — и все двигаются поступательно. Много точек трения — и при попадании пыли проворачивать кольца мотору становится всё тяжелее и тяжелее. Объектив другой конструкции в такой ситуации просто заклинит, тут же последствия хуже.  В данном объективе зубчатый венец зачем-то сделан из крайне мягкой пластмассы, при возрастании нагрузки срезаются два зубца. В результате объектив уже не может выйти на рабочее положение, громко стрекочет, тубусы дергаются в положении 1 см от сложенного состояния. Если в момент включения потянуть за объектив, фотоаппарат нормально заработает до следующего выключения.

Дефектное кольцо объектива Nikon S3100. Хорошо видно два отсутствующих зубца.

В итоге вместо чистки – замена внешнего кольца или объектива целиком. Установка нового кольца прилично удорожает ремонт, а установка нового объектива и вовсе нецелесообразна, стоимость ремонта будет составлять более 50% стоимости нового фотоаппарата.

Печально то, что к такому развитию событий приводит вполне рядовая эксплуатация — просто немного пыли при съемке на улице.

Canon A3200, A3300.

Новые аппараты доступной ценовой категории, с прекрасными потребительскими качествами. Но и тут экономия «на спичках» привела к обширным отказам данных камер.

В редукторе этого объектива использовано меньше шестерней, чем обычно (всего 3 штуки, вместо 4-5). При этом коэффициент передачи необходимо было оставить прежним, для чего у одной шестерни сделали очень маленький радиус с малым количеством зубьев. Нагрузка возросла, и это стало самым хрупким местом в фотоаппарате. Достаточно придержать объектив рукой в момент его выдвижения, и шестерня начинает проскакивать (держать объектив не обязательно – пыль и песок сделают это за вас).  На второй-третий раз зубья уже слизываются напрочь.  Объектив уже не может выйти на рабочее положение, громко стрекочет, тубусы дергаются.

Милая, и пока целая пара шестерен для объективов Canon A3200, A3300

Canon A1000, Canon A1100, Canon A3000 и некоторые другие.

Неисправность снова связана со шлейфом. Фотоаппарат делает засвеченные снимки, снимки в полоску, через минуту возникает ошибка E32 даже в режиме просмотра.

Причина – шлейф затвора/стабилизатора, который со временем теряет эластичность, и попадает между подвижными частями объектива, пережимается и разрывается. Неисправность пока не массовая, но с течением времени с данной проблемой ожидается большое количество фотоаппаратов не только старых (А1000), но и сравнительно «свежих» (А3100). Ремонт состоит в замене шлейфа целиком.

Sony h20, h4, h30 – дефект вспышки.

Шлейф вспышки на Sony DSC-h20 в «обнаженном» состоянии. Вроде бы всё нормально..

Со временем у данных фотоаппаратов отказывает встроенная вспышка. Головка с лампой там «отстреливается», с этим и связано появление дефекта. Лампу с аппаратом соединяет шлейф, который имеет склонность переламываться. Усугубляет ситуацию огромные значения тока, проходящего через данный шлейф (десятки ампер!). При появлении малейшей трещинки на шлейфе слегка возрастает сопротивление этого участка цепи, ток разряда лампы разогревает участок повышенного сопротивления, трещинка оплавляется, сопротивление еще возрастает… Так продолжается пока трещинка не обгорает совсем и полностью прерывает контакт.

А вот и трещинка. Всё как надо, обгоревшая, контакт полностью отсутствует.

Ремонт – замена шлейфа на новый, или восстановление участка цепи гибкими проводниками.

Дрожание стабилизатора на тонких фотокамерах Sony.

Дефект встречается на компактных фотоаппаратах Sony с объективом шахтного типа таких как Sony T70, Sony T2, Sony T10, Sony T50 и многих других.

Во время съемки фотоаппарат начинает вибрировать, чем-то напоминая звонящий мобильный. Снимки получаются крайне смазанные даже в солнечный день. Иногда дефект перерастает в ошибку E62:10.

Причина – старение узла стабилизации изображения. Механические параметры узла стабилизации занесены в прошивку аппарата, но чем больше проходит времени, тем больше реальные показатели подвижности узла отличаются от расчетных, и вместо удержания линзы на месте происходят её колебания около центра.

Ремонт заключается в замене узла целиком или в замене некоторых компонентов блока стабилизации.

Неисправность матриц, вторая волна.

Мастера (и пользователи проблемных моделей) еще хорошо помнят массовый брак матриц производителя Sony, тогда страдали в основном 5-и мегапиксельные сенсоры.

Отличная иллюстрация дефекта из бюллетеня Sony. Именно так и проявляется дефект матрицы.

Фотоаппараты Sony T1, Canon A95, Nikon E8700 попадают в ремонт до сих пор.

Изображение на дисплее фотоаппарата принимает фиолетовый оттенок, с вертикальными потеками. На снимке обнаруживаются горизонтальные или радиальные полосы. Иногда неисправность проявляется в сильных помехах на изображении, а иногда изображения и вовсе нет.

Но не успели отойти в прошлое проблемы матриц Sony, как другой производитель, Panasonic «обрадовал» нас огромными сериями дефектных матриц.

Что же происходит с фотосенсором от времени?

Матрица представляет собой полупроводниковый кристалл с массивом светочувствительных элементов, который упакован в керамический корпус с прозрачным окном. Контактные площадки на матрице соединяются с выводами корпуса при помощи тончайших проводников, прихваченных точечной сваркой.

Отрыв токоведущих проводников от кристалла матрицы, фото с увеличением 20х.

Сварка в месте соединения кристалла и «волосинки» и стала причиной выхода из строя такого большого количества матриц. Со временем металлизация на подложке в месте сварки вывода отлетает вместе с проводником. Проявление данного дефекта ускоряют температурные перепады.  По нашей статистике чаще всего матрицы «умирают» летом.

Всего нами замечено 4-5 типов дефектных матриц, это матрицы на 7, 8, 12 мегапикселей 2007-2008 года выпуска.

Самая массовая серия MN39670, 8 МП, размер 1/2.5”. Данная матрица стоит в таких крайне популярных аппаратах, как Olympus FE340, Olympus SP-560 и многих других. Полный список моделей можно посмотреть в нашей базе данных. Матрица была перевыпущена в 2008 году, уже без дефекта, и мы имеем возможность менять дефектные матрицы на новые, оригинальные.

12-ти мегапиксельный сенсор MN39690, размером 1/1.7”. Более современная, и очень качественная с точки зрения получения изображения фото, матрица. Стоит в Kodak V1233, Kodak V1253, Kodak Z1285, Nikon S700, Panasonic FX100, Pentax A40, Samsung NV20; К сожалению, новых матриц на рынке практически не осталось. По видимому, в скором времени, ремонт данных аппаратов будет невозможен.

7-и мегапиксельные сенсоры MN39840, MN39843, MN39601. Используются в аппаратах Olympus mju760, mju750, mju780, mju700, Panasonic TZ2, Olympus SP-550. Для этих аппаратов шансов на ремонт практически нет. Данные матрицы самые старые, и даже новые, не использованные матрицы на складах уже неисправны. 

Есть также статистика по выходу из строя еще 2-3 типов матриц Panasonic, но они пока не имеют массового характера.

Фотоаппараты Sony W35-W70 любят терять кнопку спуска, слишком тонкий сделали у неё стебелек. Тот же дефект присущий Sony h3, H5. Кроме того на них со временем портится угольный шлейф кнопки спуска, перестает работать «полунажатие».

В фотоаппаратах Canon A610, A620, A630, A640 отказывает вспышка, перестает освещать кадр в автоматических режимах. Причина – неисправный транзистор IGBT, который теряет способность резко отсекать большой ток разряда. Почему транзистор выходит из строя – остается вопросом.

Nikon S200, S210, S220 – шлейф объектива уложен неправильно, переламывается со временем.

Возможно, производители заготовили еще больше неприятных сюрпризов, но будем надеяться что наши с Вами фотоаппараты прослужат долго.

_{При копировании статьи индексируемая ссылка на первоисточник обязательна: photo-parts.com.ua}

Мир запечатленный

Фотокамера и цифровые изображения существовали параллельно на протяжении не менее ста лет. Но только с развитием электроники и информатики эти процессы удалось слить в единый способ фиксации того, что мы видим вокруг себя

То, что изображение можно создавать однородными цветными элементами, стало известно в незапамятные времена. Первая такая техника — мозаика. В храме шумерского Урука сохранилась выполненная около 3400 года до н. э. отделка колонн узорами из подобранных по гамме керамических шестигранников. В эпоху античности и эллинизма (V–I века до н. э.) техника мозаики достигла совершенства. Начиная с 200 до н. э. тессеры (четырехугольные элементы) изготовлялись не только из керамики и камня, но и из разноцветного стекла. В церковных мозаиках Византии тессеры для изображений святых и императора делали трехслойными, прокладывая между двумя слоями стекла фольгу из золота, — такие мозаики сияли ярче, чем сусальное золото. В будущем стеклянные мозаики Равенны и тессеры, из которых они изготавливались, станут идейным прототипом квадратных «пикселей» первого цифрового изображения в истории.

В античности появилась и первая известная нам развертка изображения — это ранняя криптографическая техника «скитала». По описанию Плутарха, спартанские цари якобы кодировали переписку, оборачивая специальный граненый жезл (греч. Σκυτάλη — «скитала») лентой пергамена и делая на нем запись. Гонец вез распущенный пергамен, буквы на котором шли без видимого порядка, а получатель расшифровывал сообщение, используя точно такую же «скиталу». Стойкость такой криптографии была низкой — она ломалась простым перебором, — но сам метод предвосхищает много иных техник вплоть до телевизионной развертки и, как ни удивительно, сенсоров цифровых камер.

Оцифровка изображений была, вероятно, первым решением для программируемых устройств. В 1725 году лионский ткач Базиль Бушон впервые использовал перфоленту, для того чтобы задавать ткацкому станку определенный узор. Через несколько десятилетий на основе механизма Бушона Жозеф Мари Жаккард создал первый промышленный программируемый механизм — ткацкий станок Жаккарда. Станком Жаккарда управляли более стойкие к износу элементы — перфокарты.

По описанию Плутарха, спартанские цари якобы кодировали переписку, оборачивая специальный граненый жезл (греч. Σκυτάλη — «скитала») лентой пергамена и делая на нем запись

Wikipedia

Как фотографии попасть в газету

Возникшая в середине XIX века фотография, в свою очередь, влияла на развитие техник дигитализации изображений — в немалой степени благодаря тому, что этого требовала индустрия новостей. Первой войной, получившей свою фотолетопись, стала Крымская война. Фотографии Роджера Фентона, снятые в новейшей технике «коллоидных пластин» в 1855 году под Балаклавой и Севастополем, впервые показали невоюющей публике войну не в виде парадных картин и диспозиций, а с фронтовой стороны, глазами простых солдат. Фотографии Фентона шли почтой по нескольку недель. На Гражданской войне в США уже работали десятки фотографов, поднявших искусство репортажного снимка и военной фотографии на новый уровень. Публика требовала новых снимков как можно скорее.

Роджер Фентон. Балаклавская бухта. Крым, 1856 год

Wikipedia

В 1856 году профессор физики из Флорентийского университета Джованни Казелли создал прототип телеграфа, способного передавать фотографии. При энергичной поддержке герцога Тосканы Леопольда II и французского императора Наполеона III Казелли переехал в Париж, где доработал изобретение под названием «Пантелеграф» (в чем ему наперебой помогали почти все французские академики). В 1860-е годы Наполеон III провел три фототелеграфные линии во Франции. Второй страной, ставшей пионером использования фототелеграфа, стала Российская империя, где по решению Александра II линию провели между Петербургом и Москвой. Фототелеграф Канелли мог передавать фотографии — сохранился портрет Канелли, переданный по пантелеграфу, — но для этого их нужно было вручную перерисовать специальным составом. В результате пантелеграф использовали в основном для факсимильной передачи подписей на документах.

 При энергичной поддержке герцога Тосканы Леопольда II и французского императора Наполеона III Казелли переехал в Париж, где доработал изобретение под названием «Пантелеграф»

Пока фототелеграф делал первые шаги, между 1870 и 1895 годами печать в результате ряда последовательных инноваций освоила технику «полутонов», которая позволила тиражировать фотографии в газетах. В этой технике фотографии переводилась в металлическое клише с помощью процесса, который транслировал оттенки серого на фотоотпечатке в точечный растр. Точки были тем крупнее и чаще, чем темнее был в этом месте оригинал. Аналогичный процесс был разработан и для книжной печати, тогда по большей части основанной на литографии. Фотографии стали тиражироваться, а к дигитализации изображений был сделан следующий шаг.

Картинка становится электронной

С 1873 по 1890 год усилиями Уиллоби Смита, Генриха Герца и Александра Столетова была решена задача создания селенового фотоэлемента (фотоэффект и первые фотоэлементы иного типа были известны с 1830-х годов). На основе селенового фотоэлемента немецкий физик Артур Корн (1870–1945) создал первый сканирующий фототелеграф, который преобразовывал фотографию в последовательность электрических импульсов. «Бильдтелеграф» Корна массово распространился в Европе и стал основой для ряда других моделей фототелеграфов, созданных в Европе и США. Все эти фототелеграфы имели невысокую скорость из-за латентности селеновых элементов — примерно семь минут на страницу формата А4.

Скорость сканирования была качественно увеличена открытием Владимира Зворыкина, который при участии Эрла Девитта Уилсона разработал к 1928 году фотоэлемент на основе магния и цезия. Фотоэлемент Зворыкина ускорил сканирование до одной страницы в минуту. После этого улучшения фототелеграфы стали повседневным устройством во всех новостных агентствах, издательствах, крупных корпорациях и правительствах. Через несколько лет Зворыкин разработал знаменитый «Иконоскоп» — первый в ряду многих электронных сенсоров для телекамер, сделавших возможным телевещание.

Владимир Зворыкин у приемного блока факсимильного передатчика Westinghouse

Gettyimages

Фотография: царство химии

Фотография все это время оставалась химическим процессом. К фотопластинам в 1888 году добавилась целлулоидная фотопленка Джорджа Истмена. Истмен создал и первую пленочную камеру «Кодак». Джеймс Клерк Максвелл разработал практичный процесс цветной фотографии с использованием трех светофильтров (процесс Максвелла знаком нам по фотографиям Прокудина-Горского). Габриэль Липпман получил в 1908 году Нобелевскую премию по физике за процесс цветной фотографии в одно экспонирование, через несколько лет его способ вытеснили братья Луи и Огюст Люмьер, чьи фотопластинки «Автохром», покрытые эмульсией из аморфного углерода с мельчайшими шариками пигментов желтого, голубого и фиолетового цветов (модель CMYK) доминировали с 1910 по 1935 год. Затем появилась цветные фото- и кинопленки с диффундирующими цветообразующими компонентами (Kodachrome в США и Agfacolor в Германии). Но все решения, позволяющие получить изображение высокого качества и разрешения, оставались строго в области химии.

Сергей Михайлович Прокудин-Горский. Торжок, 1910 год. Вид на Спасо-Преображенский собор и Входоиерусалимскую церковь

old.pikabu.ru

Фотография в цифровом виде

С появлением компьютеров первого поколения возникла возможность сканирования фотографий не в аналоговый сигнал, а непосредственно в цифровой вид. Можно было бы даже сказать, что в 1957 году был создан первый «графический файл» если бы возникшее в 1950 году понятие «файл» в это время означало еще не «именованный блок информации в электронной памяти», а «блок перфокарт».

Первую цифровую фотографию изготовил Рассел Кирш, сотрудник Национального бюро стандартов США и программист компьютера SEAC, использовав для эксперимента фотографию своего новорожденного сына Уолдена. SEAC имел частоту около 1 МГц и память в 1024 45-битных слов. К SEAC был подключен барабанный сканер, способный распознавать только черный и белый цвета с разрешением 176 × 176 пикселей (термин pixel возник, вероятно, на несколько лет позже как адаптация немецкого термина Bildpunkt, бывшего в ходу с конца XIX века). Получившаяся картинка имела размер 30976 бит и была записана просто как bitmap (матрица нулей и единиц) без обработки и сжатия. Как писал Кирш, постоянная память была настолько дефицитной, что никто не думал о том, что цифровые изображения нужно будет хранить.

 Первую цифровую фотографию изготовил Рассел Кирш, сотрудник Национального бюро стандартов США и программист компьютера SEAC, использовав для эксперимента фотографию своего новорожденного сына Уолдена

Но так как скан, в отличие от оригинала, не передавал оттенки серого, Кирш и его коллеги сделали второй прогон на другом пороге чувствительности сканера, получив другое соотношение черного и белого, а затем программно совместили оба изображения и получили синтетический образ, в котором уже можно было узнать Кирша-младшего. С этой программной операцией родилась дисциплина компьютерной графики и обработки изображений.

После этих первых шагов компьютерная графика стала развиваться очень быстро. Появление компьютеров следующего поколения, оснащенных видеомониторами, особенно линейки DEC PDP, еще более ускорило процесс. В 1960-х годах шла интенсивная фундаментальная работа по созданию математических методов и алгоритмов обработки изображений и распознавания образов. Практически весь арсенал, в настоящее время доступный «Фотошопу», библиотекам машинного зрения, спецэффектам для видео и множеству других приложений, был принципиально разработан уже в это время.

В 1959 году специалисты IBM использовали прорись «пинап-девушки» для обучения работе со световым пером военных авиадиспетчеров центра SAGE

theatlantic.com

Одним из главных двигателей прогресса в области компьютерных изображений была оборона. В 1959 году специалисты IBM использовали прорись «пинап-девушки» для обучения работе со световым пером военных авиадиспетчеров центра SAGE, а стилизованное изображение полуобнаженной гавайской танцовщицы — как тестовое изображение при загрузке. Картинки записывались на перфокарты, которых требовалось около 100 на изображение. Эротические изображения должны были стимулировать интерес молодых солдат к освоению новой техники. Но и самые фундаментальными исследования в области математики цифровых образов тоже шли в оборонных центрах — одним из главных бенефициаров анализа изображений была спутниковая разведка.

Космос, пленка и видео

Видеоаппаратура 1950-х годов не могла конкурировать по качеству с фотографией 1950-х годов. Пока фотографии изготовлялись в земных условиях, эта проблема была не особенно критичной. Но вот в ходе холодной войны сверхдержавы перешли к спутниковой разведке, и в космос стали взлетать спутники-фотоаппараты. И ограничения фотопленки сразу стали серьезной проблемой. Спутниковой разведке на пленочных носителях не хватало оперативности, а космические лучи портили фотопленку. Да и размер зерна фотоэмульсии нельзя было уменьшать до бесконечности, а значит, страдала детализация.

Фотографии Луны в большом приближении (Ranger-7, США), 1964 год

nasa.gov

Патрик Норрис, много лет бывший ведущим конструктором программного обеспечения спутников наблюдения, отмечал, что спутники были способны фотографировать и передавать изображения по радиоканалу уже в момент первых запусков — так были сделаны фотографии обратной стороны Луны в 1959 году («Луна-2», СССР) и Луны в большом приближении в 1964 году (Ranger-7, США). Но качество этих изображений было непригодно для разведывательных целей — и разрешающая способность телекамеры на электронно-лучевых трубках, и пропускная способность радиопередачи были слишком низкими.

Низкое качество снимков, искаженное передачей, вполне отчетливо видно при просмотре этих необработанных снимков. Разрешение снимков американского зонда Ranger-7, запущенного в июле 1964 года, составляло 300 × 300 пикселей. Для сравнения: принятый в 1963 году стандарт PAL имел 576 линий по вертикали, а более ранний стандарт NTSC 1953 года — 480 линий.

Ограничение на пропускную способность было преодолимо путем увеличения времени трансляции и улучшения алгоритмов сжатия. Но сенсор камеры был нерешаемой проблемой, пока решение не нашлось совсем в другой области науки — физике твердого тела.

Белл и Смит: CCD и Нобель за полчаса

В 1968 году научные сотрудники Bell Labs Уиллард Бойл и Джордж Смит, работавшие на проекте создания магнитоэлектронных устройств, разработали за полчаса «мозгового штурма» у грифельной доски (так впоследствии рассказывал Бойл) принципиальную схему CCD (couple charged device). В русской технической терминологии часто применяется сокращение ПЗС — «прибор с зарядовой связью». Если эта история верна, то, возможно, это было самое быстрое нобелевское открытие.

C инженерно-физической точки зрения CCD представляет собой каскад триггеров, работающий по принципу перемещения заряда по полупроводнику. Его самый простой аналог — «бегущая строка», создающая визуальную иллюзию перемещения изображения по горизонтали. В CCD сходным образом перемещается заряд или «дыра» от одной потенциальной ямы к другой. Первый теоретический CCD Бойла—Смита был основан на дырочной p-проводимости, современные CCD в основном n-электронные. Это был «сэндвич» из поликремния, кремния и проводника. Впервые CCD-матрица была представлена публично в марте 1970 года на конференции в Сиэтле — выступление Смита продолжалось пять минут. На нобелевскую лекцию об истории открытия 8 декабря 2009 года Бойлу отвели уже целых 19 минут, а Смиту о принципе работы CCD — 28 минут.

 В 1968 году научные сотрудники Bell Labs Уиллард Бойл и Джордж Смит, работавшие на проекте создания магнитоэлектронных устройств, разработали за полчаса «мозгового штурма» у грифельной доски принципиальную схему CCD

Бойл и Смит изначально видели потенциал устройства и как модуля памяти, и как оптического сенсора — чтобы фиксировать световой поток, проводник должен быть фотоэлектриком. Такой фотосенсор очень скоро изготовили другие сотрудники Bell Labs — Майкл Томсетт и Джил Амелио; в нем было всего восемь монохромных ячеек, расположенных по одной линии. Свет, попадавший на фоточувствительные элементы, создавал потенциал тем больший, чем больше была интенсивность попадавшего на элемент светового потока. После экспозиции каждого кадра потенциал считывался попиксельно с одного конца сенсора и записывался в виде цифровой последовательности, по которой можно было бы восстановить изображение, а очищенная считыванием от заряда матрица была готова к записи нового «кадра». Этот метод очень напоминал древнегреческую «скиталу».

Первой цифровой фотографией (если можно так назвать последовательность импульсов) в истории, сделанной летом 1970 года Томсеттом, Амелио, Бойлом и Смитом, были три буквы — CCD.

Уиллард Бойл (слева) и Джордж Смит с видеокамерой телевизионного качества

BELL LABORATORIES

Хотя CCD-матрица разрабатывалась для возможного использования в раннем видеотелефоне Bell Labs на возможную замену светодиодного видеосенсора, антимонопольное регулирование запрещало AT&T самостоятельно продавать устройства связи и обязывало ее лицензировать всю продукцию Bell Labs на общих условиях всем желающим. Проект видеотелефона конвертировали в разработку прототипа видеокамеры, которую Bell Labs через некоторое время разработал и демонстрировал заказчикам. Датировка знаменитого фото Смита и Бойла с видеокамерой телевизионного качества неизвестна. Лекция самого Смита датирует ее 1970 годом, но такой сенсор в это время еще не существовал, и сами Смит и Бойл выглядят там старше — скорее всего, верна версия, что снимок постановочный и сделан около 1975 года.

Джил Амелио перешел на работу в Fairchild Semiconductors и уже в 1974–1975 годах предложил линейный сенсор на 500 пикселей и матрицу 100 × 100 пикселей. Такую же матрицу 100 × 100 пикселей разработала и Texas Instruments. В конце 1970-х уже шли работы над сенсором 800 × 800 пикселей.

Первая цифровая видеокамера Cyclops Cromemco

Новости о разработке CCD привлекали хоббистов-«хакеров». Летом 1974 года научный сотрудник Стэнфорда Роджер Мелен и студенты Стэнфорда Терри Уокер и Харри Гарланд начали работу над фотовидеокамерой Cyclops, где в качестве сенсора использовался не CCD, а модуль памяти MOS.

Первая цифровая видеокамера Cyclops Cromemco и модуль емкостью один килобит изготовленный в виде квадратного массива 32 × 32 ячейки

Wikipedia

Модуль емкостью один килобит был изготовлен в виде квадратного массива 32 × 32 ячейки. Разработчики сняли с него корпус и подложку, обнажив ячейки, и закрыли их прозрачным материалом. При освещении заряд ячеек менялся тем быстрее, чем ярче был свет. Исходное состояние разработчики приняли за 1, после экспонирования — за 0. Такой сенсор был легко доступен на рынке и стоил всего 55 долларов, в несколько раз меньше CCD. Схема Cyclops была опубликована в феврале 1975 года в журнале Popular Electronics. Cyclops работал только от сетевого подключения и мог отдавать изображение только на внешнее устройство.

В конце 1975 года разработчики Cyclops познакомились с компанией MITS, приступавшей к производству очень популярного у хоббистов США микрокомпьютера Altair. По итогам этого знакомства Мелен, Уокер и Гарланд разработали плату видеозахвата Dazzler для шины S-100 и стали продавать весь комплекс под названием Cromemco (аббревиатура общежития, где шла разработка). В последующем Cromemco перешла к выпуску своих компьютеров, которые были особенно популярны у телестудий как станции трансляции прогнозов погоды.

Первый CCD-фотоаппарат Сассона

Используя матрицу Fairchild CCD-201 (100 × 100), молодой инженер Стивен Сассон, работавший на Eastman Kodak, в 1975 году собрал первый в истории полноценный ручной цифровой фотоаппарат, который делал кадр за 50 миллисекунд и еще полминуты записывал его на обычную магнитофонную кассету. На кассету помещалось 30 кадров. Себестоимость этого проекта составила около 200 долларов США.

Стивен Сассон c первым полноценным ручным цифровым фотоаппаратом, 1975 год

focusfoto.com.br

Как сообщал Сассон много лет спустя, руководство Kodak встретило прототип скептически: «Они были убеждены, что никто никогда не захочет рассматривать свои фотографии на телевизоре». Руководство попросило Сассона дать прогноз, когда цифровая камера сможет обеспечить качество, равноценное фотопленке с ISO 110: зернистость 35-миллиметровой пленки по размеру эквивалентна примерно двум мегапикселям. Сассон применил закон Мура и дал прогноз в 15–18 лет. Камеру запатентовали (US Patent 4131919 26/12/1978), а Сассон получил указание не обсуждать камеру публично.

Много лет спустя Kodak потерял рынок и закрылся именно из-за того, что не успел охватить рынок цифровых камер, держась за умирающие пленочные.

KH-11

После отказа Kodak производить цифровые камеры история первых CCD-камер начинает исчезать под завесой секретности. Некоторый свет на события 1974–1976 годов проливает некролог Джеймса Вестфала, профессора Калтеха, который сообщает о заслугах покойного по созданию «широкоугольной планетарной камеры» WFPS для телескопа Hubble. «Хаббл», как известно, был задуман в середине 1970-х, запущен в 1990 году с фотокамерой с матрицей из четырех сенсоров 800 × 800 пикселей, несколько раз чинился и апгрейдился на орбите (в том числе получал камеру с новыми сенсорами). Но из оговорок в раскрытых документах можно понять, что «Хаббл» был в значительной мере гражданским вариантом военного спутника из проекта Keyhole — KH-11 Kennan» 1976 года. В этот период участники проектов спутниковой разведки и разработки CCD (и так давно близкие) активно обсуждали возможности применения CCD в разведке и лоббировали финансирование спутника с CCD-камерой, особенно активен был Эдвин Ланд, глава Polaroid. Спутники с CCD-камерой могли бы передавать фотографии на Землю в режиме вплоть до реального времени.

Телескоп «Хаббл» был в значительной мере гражданским вариантом военного спутника из проекта Keyhole — KH-11 Kennan

bangla.daily-sun.com

Интересно, что в 1984–1985 годах флотский аналитик Сэмюэл Моррисон был арестован и приговорен к двум годам лишения свободы за шпионаж — он опубликовал в редактируемом им военно-морском альманахе два снимка с KH-11. Это единственный случай, когда за утечку материалов наказали настолько сурово. Когда президент Клинтон в 1995 году подписывал указ о рассекречивании снимков по программам «Корона» и ее наследным программам, рассекречивание остановилось на KH-11. Это также говорит нам о том, что на борту KH-11 Kennan находилось что-то, что было и остается особо охраняемой государственной тайной США.

«Адмирал Кузнецов», на стапелях в 1984 году. Снимок из космоса

Wikipedia

Единственный известный документ, который мог бы сейчас пролить свет на то, была ли на борту KH-11 CCD-камера, находится в собственности Российской Федерации. В 1978 году младший аналитик Уильям Кампайлс, уволенный из ЦРУ «за пьянство и половой разврат», продал с целью наживы советскому дипломату в посольстве СССР в Греции за пять тысяч долларов США полный технический мануал KH-11 и был осужден к 40 годам лишения свободы (освобожден через 19 лет). Где сейчас этот мануал и был ли он — неизвестно; ни СССР, ни Россия никогда не комментировали этот инцидент публично.

Во всяком случае, есть серьезные основания полагать, что первая рабочая CCD-камера в мире взлетела в космос 19 декабря 1976 года на борту ракеты Titan-3D в составе KH-11 версии 1.1 и находилась там до 28 января 1979 года. С этого момента можно вести отчет практической цифровой фотографии.

В СССР спутники с цифровыми фотоаппаратами появились на несколько лет позже. Первым таким аппаратом был, вероятно, «Янтарь 4KC1» («Терилен») с фотокамерой «Жемчуг» производства ЦКБ «Красногорский завод», запущенный 28 декабря 1982 года.

Гражданские цифровые камеры

В гражданском обороте CCD-камеры появились намного позже, чем у разведки. На рубеже 1970–1980 годов президент Sony Кацуо Ивама, двоюродный брат основателя этой корпорации Акио Морита, пытался создать потребительскую CCD-видеокамеру, но его смерть от рака прервала эти работы. В 1990–1991 годах швейцарский стартап Logitech (сейчас всемирно известный производитель всевозможной компьютерной периферии) выпустил портативную фотокамеру Logitech PhotoMan с матрицей 320 × 240 пикселей и 256 оттенков серого, которую производила уже не существующая компания Dycam — это была первая коммерческая камера. В Японии примерно в то же время была создана камера Fuji DS-X, информация о которой противоречива (включая то, была ли она в продаже).

В 1994–1996 годах компания Apple Computers вывела на рынок последовательно три модели цветных фотокамер QuickTake 100, 150 и 200 с матрицей 640 × 480 и 24-битным цветом

Wikipedia

Наконец, в 1994–1996 годах компания Apple Computers (в то время ее возглавлял Майкл Спиндлер), уже в предбанкротном состоянии, вывела на рынок последовательно три модели цветных фотокамер QuickTake 100, 150 и 200 с матрицей 640 × 480 и 24-битным цветом. Первую модель 100 изготавливала Kodak, две последующих, 150 и 200, — Fuji. Камеры 150 и 200 записывали снимки на съемные карты флеш-памяти SmartMedia производства Toshiba. Apple QuickTake можно считать первой цифровой камерой современного типа. В 1996 году Apple Computers возглавил уже известный нам создатель CCD-матрицы Джил Амелио; его главным достижением на этой должности, скорее всего, было не расширение бизнеса на цифровых камерах, а возвращение в компанию ее основателя Стива Джобса перед лицом угрозы ее окончательной гибели. Джобс и снял Apple QuickTake с продажи.

 В 2003 году объем продаж портативных камер с CCD и зеркальных со CMOS-сенсорами превзошел объем продаж пленочных камер, и всего за несколько последующих лет цифровые камеры вытеснили пленочные

Производство и разработка цифровых камер — и профессиональных, и потребительских — стагнировало до рубежа столетий, но затем оживилось. В 2003 году объем продаж портативных камер с CCD и зеркальных со CMOS-сенсорами превзошел объем продаж пленочных камер, и всего за несколько последующих лет цифровые камеры вытеснили пленочные. К концу первого десятилетия XXI века CMOS почти полностью вытеснили CCD и в потребительском сегменте, а портативные камеры, в свою очередь, были вытеснены смартфонами. Этому способствовало создание стандартного компонентного фотовидеосенсора в габаритном формате 8 × 8 мм, производство которых освоил тайваньский производитель Omnivision Technologies, до настоящего времени доминирующий в этом сегменте рынка.

CMOS

В начале 1990-х CCD-сенсор уступил позиции по качеству сенсорам на основе CMOS (англ. complementary metal-oxide-semiconductor — комплементарная структура металл-оксид-полупроводник). Главное преимущество CMOS-сенсора — это «активный» сенсор, в отличие от «пассивного» CCD. CMOS-сенсор сочетает в себе низкое энергопотребление, преобразование и усиление сигнала прямо в светочувствительной ячейке, и при этом имеет более низкую стоимость изготовления. Саму технологию CMOS создал в Fairchild Semiconductor в 1963 году Фрэнк Уонласс (US Patent 3,356,858). Но ключевое изобретение, которое позволило использовать CMOS для создания фотосенсоров, было сделано только в 1993 году в NASA Jet Propulsion Lab — его сделал Эрик Фоссум (на время написания — профессор инженерной школы Дартмурского университета).

CMOS-сенсор на материнской плате фотоаппарата Nikon Coolpix L2 6 MP

Wikipedia

CMOS-сенсор был создан в известной мере при противоположных обстоятельствах: после окончания холодной войны финансирование NASA резко сократилось, и руководители NASA поставили перед учеными задачу «Быстрее, лучше, дешевле». Несмотря на это, NASA не спешило внедрять технологию, и Фоссум сам коммерциализировал ее, создав стартап Photobit (через несколько лет его купила Micron Technologies).

В 2000–2010 годах CMOS-сенсоры стали стандартными в профессиональных «зеркальных» камерах, а после 2010 года CMOS-сенсоры стали вытеснять CCD-сенсоры и в низшем сегменте — потребительских фотоаппаратов и смартфонов. Один из первых CMOS-смартфонов Nokia N8 в 2010–2011 годах рекламировалась как смартфон с профессиональным качеством снимков.

Камерафоны

Работа над совмещением телефонов и камер шла все 1990-е годы в фирмах-фотопроизводителях США и Японии. Один из ключевых патентов (US 5,666,159) получили сотрудники Kodak Кеннет Парулски и Джеймс Шуклер, описавшие принципиальные конфигурации интеграции камер в телефон. Первую цифровую фотографию в интернете расшарил предприниматель из Калифорнии Филипп Кан 11 июня 1997 года, используя самодельную цифровую камеру, — и это тоже была фотография его новорожденного ребенка (дочери Софи).

Первый японский камерафон J-SH04, Sharp/JPhone-Softbank

Wikipedia

Впервые на рынок камерафоны вышли в 2000 году в Корее (Samsung SGH-2000) и Японии (J-SH04, Sharp/JPhone-Softbank). В середине 2000-х крупнейшим мировым производителем телефонов с камерами стала Nokia. Наконец, в 2007 году устройства с камерами вновь появились в продуктовой линейке Apple — это был iPhone с камерой в два мегапиксела, то есть эквивалентный 35-миллиметровой пленке. На iPhone в целом завершился процесс формирования современного смартфона, цифровой фотоаппарат которого — неотъемлемая часть потребительского опыта и поведения.

Будущее цифровой фотографии

Возможно, в ближайшем будущем нас ждет очередной скачок в технологии фотоматриц. Эрик Фоссум, когда-то создавший CMOS-сенсор, с 2011 года работает со своими учениками над принципиально новым типом сенсора — квантовым (quantum image sensor, QIS). QIS, по замыслу Фоссума, должен был улавливать единичные фотоны (причем все без исключения) и позволять создание матриц в миллиарды пикселей. Вместо пикселей QIS оперирует «джотами» — фотоноулавливающими точками. В феврале 2018 года Фоссум опубликовал сообщение, что ему удалось реализовать прототип QIS-сенсора на 1 мегаджот. Если замысел QIS будет доведен до промышленных образцов, в распоряжении человечества впервые появятся устройства, превышающие по чувствительности человеческий глаз: QIS не только позволит создавать картинки запредельного разрешения и точности, но и видеть в практически полной темноте без подсветки и вспышки.

opengl — Матрица представления, наконец, объяснена

Пространства и матрицы

Прежде всего, как вы знаете, мы используем матрицы для представления и преобразования координат. Это могут быть любые аффинные преобразования. Сюда входят преобразования смещения, масштабирования, поворота, сдвига и отражения.

У нас (традиционно) есть следующие системы координат для работы:

• Пространство модели (иногда называемое «пространством объекта»): координаты внутри модели.
• Мировое пространство: координаты в мире.
• Пространство камеры: координаты относительно камеры.
• Пространство экрана (иногда называется «Пространство окна» или «Пространство устройства»): координаты экрана.

И, конечно же, есть матрицы для преобразования между ними:

• Матрица модели (иногда называемая «Матрицей объекта»): от пространства модели к пространству мира. Вы используете эту матрицу для размещения объектов в мире.
• Матрица просмотра (иногда называемая «матрицей преобразования камеры»): из мирового пространства в пространство камеры.
Матрица проекции
• (иногда ее называют «матрицей проекции камеры»): из пространства камеры в пространство клипа.

Подождите, место для клипа? Вернемся к этому.

Конечно, как вы знаете, мы можем составлять матрицы, умножая их. Мы также можем инвертировать их, чтобы получить матрицу, используемую для преобразования в противоположном направлении.

Чтобы применить преобразование к вектору, вы выполняете умножение матрицы на вектор. Это матричное умножение, в котором одна из матриц является вектором. И да, код выглядит как набор точечных произведений, все это умножение и сложение, что очень быстро для компьютера. Кроме того, да, значения в матрицах вращения берутся из тригонометрических операций.

Примечание : Помните, что умножение матриц не коммутативно. Порядок операндов имеет значение.

Фактически, мы используем квадратные (4D) матрицы вместо расширенных 3D-матриц. Это гарантирует, что всегда существует инверсия . Таким образом, мы дополняем трехмерные векторы компонентом w (обычно со значением 1 ), а затем применяем преобразование.Это оставляет результат с координатой w , которая управляет переводом. Наш 3D-перевод — это аффинное преобразование в 3D, но это линейное преобразование в 4D.

Обычно мы не хотим иметь w или использовать его для масштабированных переводов. Итак, мы нормализуем, умножая вектор на 1 / w , затем отбрасываем w , оставляя нам трехмерный вектор. По сути, это проекция из 4D в 3D.

Однако, если мы не хотим, чтобы преобразование выполняло какое-либо преобразование, мы можем вместо этого дополнить вектор компонентом w со значением 0 .

См. Также Однородные координаты и матрицы преобразования.

Итак, как вы понимаете, результатом преобразования в пространство клипа будет 4D. Мы выполняем вышеуказанную нормализацию по на , и это дает нам трехмерное пространство. Это называется нормализованным пространством устройства (иногда называемым «нормализованным пространством экрана»).

Наконец, преобразование из нормализованного пространства устройства в пространство экрана контролируется портом просмотра (и диапазоном глубины). Наконец, у нас осталось 2D-пространство в пикселях.

Виртуальная камера

Мы также хотим смоделировать виртуальную камеру. У простейших перспективных виртуальных камер есть положение в мире, ориентация, поле зрения (об этом мы поговорим позже).

• Должность:

  Мы собираемся представить положение камеры с помощью вектора в мировом пространстве.

• Вращение:

  Использование режиссерских углов (Эйлера) станет более легким для управления в играх от первого лица. В особенности для тех игр, где есть четкий верх и низ. Каких их большинство.

  Если нам нужно составить повороты, интерполировать повороты или нам нужны элементы управления для открытого пространства (без четких движений вверх и вниз), нам нужны кватернионы. И да, вы можете ввести углы директора, а затем создать кватернион из этих углов. Примечание : Подобно матрицам, вы также составляете кватернионы путем умножения. Как и в случае с матрицами, порядок имеет значение.

  Если вам нужна камера, которая смотрит на что-то (например, камера от третьего лица), вы можете использовать матрицу просмотра. Вы можете преобразовать его в кватернионы для интерполяции, если нужно анимировать вращение камеры, чтобы на что-то смотреть.

  Вы строите свою матрицу просмотра с прямым вектором, который указывает в направлении, куда смотрит камера, и вектором вверх. Если бы у вас был только прямой вектор, вращение камеры все еще имело бы одну степень свободы (вращение вокруг прямого вектора) … Вектор вверх исправляет это. Таким образом, помните, что вектор вверх и вектор вперед не должны быть в одном направлении. В идеале они перпендикулярны.

Для удобства вы выбираете, что вы используете для представления положения и поворота камеры. Независимо от того, что вы используете. Вы собираетесь преобразовать их в матрицы, чтобы мы могли скомпоновать их для нашего конвейера рендеринга.

Итак, у нас будет матрица положения камеры и матрица поворота камеры. Если вы используете матрицу просмотра для поворота камеры, то есть матрицу поворота камеры, ничего преобразовывать не нужно.

Мы собираемся объединить матрицу положения камеры и матрицу поворота камеры в нашу матрицу преобразования камеры (матрицу просмотра).

Нам все еще нужно преобразовать пространство камеры в пространство клипа экрана. То есть нам еще нужна матрица Camera Projection. Матрица проекции камеры — это матрица, которая будет представлять собой пирамиду камеры… то есть это матрица, которая реализует перспективу. И это тот, который мы создаем с помощью поля зрения камеры.

Конечно, камера не обязательно должна быть перспективной.Это просто обычный случай.

Вершинный шейдер — это возможность применить нашу матрицу модели, матрицу представления и матрицу проекции. Которые вы можете предварительно скомпоновать в единую матрицу Модель-Вид-Проекция.

Если вы напишете свой вершинный шейдер… вы можете решить не использовать матрицу модели, матрицу представления и матрицу проекции. Вы можете поступить иначе. Например, для трассировки лучей.

Ваши вопросы

Во-первых, есть 3 термина: матрица просмотра, матрица просмотра и матрица преобразования камеры.

Матрица просмотра преобразует пространство мира в пространство камеры. Матрица просмотра обычно используется для матрицы поворота камеры. Матрица преобразования камеры — это матрица положения камеры, составленная из матрицы поворота камеры.

Меня также смущает тот факт, что иногда кажется, что матрица представления построена с помощью перевода и скалярных произведений, а в других случаях она построена с помощью перевода и вращения (с cos и sin).

Иногда матрица поворота камеры (матрица просмотра, если вы ее используете) является матрицей идентичности, что приводит к матрице просмотра без поворота.

Есть еще кватернионы. Что это за матрица при преобразовании кватерниона в матрицу?

В конце вы собираетесь преобразовать в матрицы любое представление вращения, которое у вас есть, чтобы вы могли применить преобразование вращения к векторам. Однако вы можете захотеть выполнить некоторые операции между кватернионами. В частности композиция вращений и интерполяция вращений.

Что это за матрица? Это матрица вращения. Если это какая-либо из (переходных) названных матриц, зависит от того, как вы ее используете.

Бонусная болтовня

Если вы хотите сделать скелетную анимацию, вы должны использовать преобразование для перемещения частей относительно других. Это также делается с матрицами, кватернионами и т. Д. Возможно, матрица просмотра может оказаться полезной, чтобы заставить персонажа указывать свою руку в определенном направлении. Вас также может заинтересовать обратная кинематика.

Учебный материал

На OGLdev вы найдете хорошее введение в современный OpenGL для начинающих.

Я учился по старинке, по красной книге.Он должен служить вам хорошим справочником и прояснять концепции.

Я также хочу порекомендовать Learn OpenGL и opengl-tutorial.

Для обучения кодированию шейдеров, помимо вышеперечисленного, я нашел полезными Shadertoy и Shaderific.

Кстати, вам понадобится библиотека, которая обрабатывает настройку порта просмотра (оконный или полноэкранный) и обработку ввода … во многих (старых) руководствах используется перенасыщение . Если вы видите перенасыщение (и вы собираетесь), используйте freeglut , это прямая замена… Почему?

Исходная библиотека GLUT, похоже, была заброшена в самой последней версии (3.7), датируемой августом 1998 года. Ее лицензия не позволяет никому распространять модифицированный код библиотеки. Это было бы нормально, если бы не тот факт, что GLUT стареет и действительно нуждается в доработке. Кроме того, лицензия GLUT несовместима с некоторыми дистрибутивами программного обеспечения (например, XFree86).

— источник.

Другие альтернативы: glfw или sdl .См. GLUT-подобные инструменты для работы с окнами, GUI и Media Control. Я сейчас нахожусь в лагере glfw .

Примечание : код OpenGL относительно легко перевести с одного языка на другой. В частности, если вы используете переносную библиотеку для настройки порта просмотра. Не бойтесь читать учебник для другого языка программирования, чем тот, который вы используете. На самом деле, я бы сказал, что изучение WebGL — хорошая идея. Несмотря на то, что это другой API, он очень близок.Я рекомендую учебник MDN WebGl.

— Какова логика 3D-проекции «Перспектива камеры»?

Я предполагаю, что вы знаете, как работает основная матричная математика, поэтому я не собираюсь говорить об этом в своем ответе.

Что вы в конечном итоге захотите сделать, так это преобразовать вершины объекта, который вы хотите визуализировать, из виртуального 3D-мира в «реальный» 2D-мир (экран вашего монитора). Вы делаете это, умножая вершины объекта на матрицу камеры (некоторые люди могут использовать для этого другие термины, но все сводится в основном к одному и тому же).Эта матрица камеры состоит из двух частей: внешней (внешней) и внутренней (внутренней) части.

Внешняя часть — это матрица, которая преобразует вершину из мировой системы координат 3D в систему координат камеры 3D. Думайте об этом как о размещении камеры внутри вашего трехмерного мира. Перед преобразованием вершина просматривается из начала координат трехмерного мира, а после преобразования вершина просматривается из начала координат камеры. Так что это в основном часть ответа на ваш вопрос.Если вы хотите переместить камеру, вы манипулируете внешним параметром матрицы камеры (я вернусь к этому позже).

Неотъемлемой частью матрицы камеры является матрица, которая преобразует систему координат камеры в систему координат изображения. Вот где и происходит перспективная проекция.

Матрица просмотра

Внешняя часть матрицы камеры часто называется матрицей просмотра (матрицы мира и модели связаны, но не являются частью матрицы просмотра).Матрица представления — это матрица 4X4, которая состоит из матрицы вращения 3×3 и матрицы трансляции 1×4 (как показано ниже). Матрица вращения определяет ориентацию камеры, а перемещение матрицы описывает исходную точку камеры (так что это положение камеры в виртуальном трехмерном мире).

Матрица проекции

Внутренняя часть матрицы камеры часто называется проекционной матрицей. Это матрица, которая выполняет фактическую проекцию из трехмерной системы координат в двухмерную систему координат.Он проецирует все, что находится в зоне обзора камеры, на 2D-плоскость (ваш монитор).

Теперь перспективное преобразование определяется следующим образом:

Где: Xim и Yim — координаты вашего экрана, Fx и Fy определяют соотношение сторон, S — параметр перекоса, а Xo и Yo определяют фокусное расстояние (пожалуйста, поправьте меня, если я ошибаюсь, мои знания немного ржавые для этих параметров).

Вершина к экрану

Итак, в конце, если вы хотите преобразовать координату вершины в координату экрана, вы получите это:

Итак, в конце, если вы хотите вращать и перемещать камеру, вам необходимо изменить матрицу обзора камеры.

P.S .: С точки зрения кодирования: если вы хотите узнать, как построить матрицу просмотра, я отсылаю вас на этот сайт, который отлично объясняет, как создать матрицу LookAt с использованием OpenGL и C ++.

Общие сведения о калибровке камеры | ВЕЧНАЯ ЗАГАДКА

Камеры существуют уже давно. Когда камеры были впервые представлены, они были дорогими, и для их приобретения требовалось много денег. Однако в конце 20 века люди придумали камеры-обскуры.Эти камеры были недорогими и стали обычным явлением в нашей повседневной жизни. К сожалению, как и в случае с любым другим компромиссом, это удобство имеет свою цену. Эти камеры-обскуры имеют значительные искажения! Хорошо, что эти искажения постоянны и их можно исправить. Здесь на первый план выходит калибровка камеры. Так о чем все это? Как мы можем справиться с этим искажением?

Поприветствуйте калибровку камеры

Мы можем исправить искажение камеры с помощью калибровки и некоторого переназначения.Кроме того, с помощью калибровки вы также можете определить соотношение между естественными единицами измерения камеры (пикселями) и единицами измерения реального мира (например, миллиметрами или дюймами). Калибровка камеры — важный шаг к получению высокоточного представления реального мира на захваченных изображениях. Калибровка камеры на самом деле может относиться к двум вещам: геометрической калибровке и калибровке цвета. Этот пост о геометрической калибровке. О калибровке цвета мы поговорим в другом посте.

Что он делает?

В первую очередь, калибровка камеры заключается в обнаружении внутренних величин камеры, которые влияют на процесс формирования изображения. Вот некоторые из факторов, о которых необходимо позаботиться:

• Центр изображения: нам нужно найти положение центра изображения на изображении. Подождите, разве центр изображения не находится в (ширина / 2, высота / 2)? Ну не совсем! Если мы не откалибруем камеру, изображение почти всегда будет выглядеть не по центру.
• Фокусное расстояние: это очень важный параметр. Помните, как люди, использующие цифровые зеркальные камеры, «сосредотачиваются» на вещах перед тем, как сделать снимок? Этот параметр напрямую связан с «фокусом» камеры и очень важен.
• Коэффициенты масштабирования: коэффициенты масштабирования для пикселей строки и пикселей столбца могут быть разными. Если мы не позаботимся об этом, изображение будет выглядеть растянутым (по горизонтали или вертикали).
• Коэффициент перекоса: относится к срезанию.В противном случае изображение будет выглядеть как параллелограмм!
• Искажение объектива: это относится к эффекту псевдозума, который мы видим около центра любого изображения.

Все эти термины станут ясны очень скоро, когда мы продолжим наше обсуждение здесь. Я просто хотел перечислить несколько вещей, которые пострадают, если вы не откалибруете камеру. Изображение на самом деле будет выглядеть ужасно, если вы не выполните калибровку камеры.

Камера-обскура Модель

Прежде чем мы начнем что-либо делать, давайте посмотрим, с чего все это началось.Когда мы захватываем изображение, мы в основном сопоставляем 3D-сцену с 2D-изображением. Это означает, что каждая точка трехмерного мира отображается на двухмерной плоскости нашего изображения. Это называется моделью камеры-обскуры. Он в основном описывает взаимосвязь между координатами 3D-точки и ее проекцией на 2D-изображение. Это, конечно, идеальный случай, когда абсолютно отсутствуют какие-либо искажения. Каждая камера моделируется на основе этого, и каждая камера стремится имитировать это как можно ближе.Но в реальном мире нам приходится иметь дело с такими вещами, как геометрические искажения, размытость, апертуры конечного размера и т. Д.

На представленном здесь рисунке изображена модель камеры-обскуры. Камера помещается в начало координат O. Точка P представляет собой точку в реальном мире. Мы пытаемся запечатлеть это на двухмерной плоскости. «Плоскость изображения» представляет собой двумерную плоскость, которую вы получаете после захвата изображения. Плоскость изображения фактически содержит изображение, которое вы видите после захвата изображения. По сути, мы пытаемся сопоставить каждую трехмерную точку с точкой на плоскости изображения.В этом случае точка P отображается на P _c . Расстояние между началом координат O и этой плоскостью изображения называется фокусным расстоянием камеры. Вы, должно быть, предвидели это! Это параметр, который вы изменяете при настройке «фокуса» камеры.

Внутренние и внешние параметры

Если вы погуглите эти вещи, вы получите целую кучу статей, описывающих математическую формулировку внутренних и внешних параметров. Но мы здесь, чтобы понять, что это значит! Поэтому я постараюсь сделать это простым, не вдаваясь в математические детали.Теперь почему мы внезапно перешли от модели камеры-обскуры к внутренним и внешним параметрам? Кажется случайным, правда? Не совсем так! Посмотрим, что это значит.

На приведенном выше рисунке мы хотим оценить (u, v) из (X, Y, Z). Допустим, фокусное расстояние обозначено буквой «f». Если вы посмотрите на треугольники, сформированные с использованием исходной точки / P _c / оси Z и исходной точки / P / Z-оси, вы заметите, что они похожи на треугольники. Это означает, что «u» зависит от f, X и Z. Точно так же «v» зависит от f, Y и Z:

 и = fX / Z
v = fY / Z 

Затем, если начало координат системы координат 2D-изображения не совпадает с местом пересечения оси Z с плоскостью изображения, нам нужно перевести Pc в нужное начало.Пусть этот перевод определяется как (t _u , t _v ). Итак, теперь u и v равны:

 u = fX / Z + t  u 
v = fY / Z + t  v  

Итак, до сих пор у нас есть кое-что, что может переводить (X, Y, Z) в (u, v). Обозначим это матрицей M. Итак, мы можем написать:

 ПК = MP 

Так как это изображение с камеры, нам нужно выразить его в дюймах. Для этого нам нужно знать разрешение камеры в пикселях на дюйм. Если пиксели квадратные, разрешение будет одинаковым в направлениях u и v координат изображения камеры.Однако для более общего случая мы предполагаем прямоугольные пиксели с разрешением m _u и m _v пикселей / дюйм в направлении u и v соответственно. Следовательно, чтобы измерить P _c в пикселях, его координаты u и v следует умножить на m _u и m _v соответственно. Итак, теперь эта новая матрица преобразования зависит от f, X, Y, Z, t _u , t _v , m _u и m _v . Обозначим это как:

 P  c  = KP 

Здесь K называется матрицей внутренних параметров камеры.

Теперь, если центр проекции камеры не находится в (0, 0, 0) и она ориентирована произвольным образом (не обязательно перпендикулярно плоскости изображения по оси Z), то нам нужно вращение и перенос, чтобы координата камеры Система совпадает с конфигурацией на этой фигуре камеры-обскуры. Пусть перевод камеры в начало координат XYZ задается как T (T _x , T _y , T _z ). Пусть вращение, применяемое для совмещения главной оси с осью Z, задается матрицей вращения 3 × 3 R.Тогда матрица, сформированная первым применением сдвига с последующим вращением, задается матрицей 3 × 4:

 E = (R | RT) 

Это называется матрицей внешних параметров камеры. Здесь символ «|» означает просто конкатенацию двух матриц с одинаковым количеством строк. Например, если вы объедините матрицу 3 × 4 и матрицу 6 × 4, вы получите матрицу 9 × 4.

Итак, полное преобразование камеры теперь можно представить как:

 К (R | RT) = (KR | KRT) = KR (I | T) 

Следовательно, Pc, проекция P определяется по формуле:

 Pc = KR (I | T) P = CP 

C — это матрица 3 × 4, которую обычно называют полной калибровочной матрицей камеры.Таким образом, в основном, матрица калибровки камеры используется для преобразования трехмерной точки в реальном мире в двухмерную точку на плоскости изображения с учетом всех таких вещей, как фокусное расстояние камеры, искажение, разрешение, смещение начала координат и т. Д. Эта матрица состоит из параметры, как внутренние, так и внешние для камеры.

—————————————————————————————————

Нравится:

Нравится Загрузка …

Калибровка камеры: объяснение искажений камеры :: Ori Codes

Поскольку мы используем только камеры для получения всех данных, которые мы будем использовать для управления автомобилем в реальном мире, мы уверены, что им очень доверяем.Мы надеемся, что они предоставят нам точные представления трехмерных объектов реального мира в виде двухмерных изображений, которые мы будем передавать в нашу нейронную сеть.

Но мы не должны принимать это как должное. Камеры, хотя и дешевые и простые в использовании, имеют множество проблем, когда дело доходит до правильного отображения 3D-мира на 2D-датчике / изображении. Но, к счастью, мы можем что-то с этим поделать.

Модель камеры-обскуры

Модель камеры-обскуры — это модель идеальной камеры, которая описывает математическую связь между координатами трехмерного объекта реального мира и его двухмерной проекцией на плоскость изображения.

Камеры-обскуры были самым началом фотографии ^{и используются даже сегодня, чтобы объяснить студентам основы фотографии.}

Они обладают некоторыми преимуществами перед нашими обычными фотоаппаратами:

• У них почти бесконечная глубина резкости; все, что появляется в фокусе.
• Для фокусировки света не используются линзы, поэтому они не искажают объектив, а широкоугольные изображения остаются абсолютно прямолинейными.

В основном, чем меньше становится точечное отверстие, тем больше увеличивается разрешение, пока мы не достигнем дифракционного предела, при котором изображение становится темнее и размытым.Кроме того, чем меньше точечное отверстие, тем меньше света попадает, поэтому необходимо увеличить время экспозиции. Это подводит нас к большой проблеме с ними:

• Их время экспозиции действительно велико, что приводит к значительному размытию движения вокруг любых движущихся объектов или к их полному отсутствию, если они двигались слишком быстро.

Как получить маленькое отверстие, которое пропускает много света? Для начала мы можем использовать выпуклую линзу.

Почему это помогает: вместо одного луча света, освещающего одну точку изображения, теперь карандаши света освещают каждую точку изображения.Даже наши глаза используют линзы. 🙂

Но, конечно же, линзы вызывают проблемы, о которых мы упоминали ранее:

• У них конечная диафрагма, поэтому появляется размытие несфокусированных объектов.
• Они содержат геометрические искажения из-за линз, которые увеличиваются по мере приближения к краям линз.

Виды перекосов

Первый и наиболее распространенный тип искажения объектива камеры называется радиальным искажением .

Есть два типа этого искажения: положительное или цилиндрическое радиальное искажение и отрицательное или подушкообразное радиальное искажение.

В контексте самоуправляемых RC вы, скорее всего, будете иметь дело с бочкообразным искажением, которое, скорее всего, будет вызвано линзами «рыбий глаз», поскольку мы хотели бы получить как можно большее поле зрения. Некоторые экшн-кулачки даже имеют угол обзора от 170 до 180 градусов, что вызывает большое количество положительных радиальных искажений.

Другой тип искажения, с которым вы можете столкнуться, называется тангенциальное искажение , которое возникает, когда линза не выровнена идеально параллельно плоскости изображения (датчику).Это заставляет изображение выглядеть наклонным, что, очевидно, плохо для нас, поскольку некоторые объекты смотрят дальше, чем они есть на самом деле.

При этом мы должны ожидать, что на самом деле ни одна камера не является действительно идеальной. Большинство, если не все, имеют некоторое количество радиальных и тангенциальных искажений, поскольку линзы несовершенны в реальной жизни, и линзы не всегда идеально соответствуют плоскости изображения.

Избавляемся от искажений с помощью OpenCV

К счастью для нас, радиальные и тангенциальные искажения можно описать с помощью пары коэффициентов:

• Коэффициенты $ k_n $ описывают радиальное искажение
• $ p_n $ коэффициенты описывают тангенциальное искажение

Чем хуже искажение, тем больше коэффициентов необходимо для его точного описания.

OpenCV работает с шестью ($ k_1 $, $ k_2 $, $ k_3 $, $ k_4 $, $ k_5 $ и $ k_6 $) коэффициентами радиального искажения, которых должно быть более чем достаточно для нас, и с двумя ($ p_1 $, $ p_2 $) коэффициенты тангенциального искажения.

Если у нас есть тип радиального искажения ствола, $ k_1 $ обычно будет больше нуля. Если у нас есть подушкообразное искажение, $ k_1 $ обычно будет меньше нуля.

OpenCV использует модель камеры-обскуры для описания создания изображения путем проецирования трехмерных точек на плоскость изображения с использованием преобразования перспективы:

++ s \ begin {bmatrix} {u} \\ {v} \\ {1} \ end {bmatrix} = \ begin {bmatrix} {f_x} & {0} & {c_x} \\ {0} & {f_y} & {c_y} \\ {0} & {0} & {1} \ end {bmatrix} \ begin {bmatrix} r_ {11} & r_ {12} & r_ {13} & t_1 \\ r_ {21} & r_ {22} & r_ {23} & t_2 \\ r_ {31} & r_ {32} & r_ {33} & t_3 \ end {bmatrix} \ begin {bmatrix} X \\ Y \\ Z \\ 1 \ конец {bmatrix} ++

• $ (X, Y, Z) $ — координаты трехмерной точки, которую мы визуализируем.
• $ (u, v) $ — 2D координаты точки проекции в пикселях
• Первая матрица после уравнения — это матрица камеры, содержащая внутренние параметры камеры.
  • $ (c_x, c_y) $ определяет главную точку, которая обычно является центром изображения
  • $ f_x $ и $ f_y $ — фокусные расстояния, выраженные в пиксельных единицах.
• Матрица, содержащая параметры $ r_ {mn} $, является совместной матрицей вращения-трансляции, матрицей внешних параметров, которая описывает движение камеры вокруг статической сцены.Он используется для перевода 3D-координат в 2D-систему координат, фиксированную по отношению к камере.

Поскольку мы визуализируем 2D-изображения, мы хотели бы сопоставить 3D-координаты с системой координат:

++ \ begin {bmatrix} {x} \\ {y} \\ {z} \ end {bmatrix} = R \ begin {bmatrix} {X} \\ {Y} \\ {Z} \ end {bmatrix} + t \\ х ‘= х / г \\ у ‘= у / г \\ и = f_x * x ‘+ c_x \\ v = f_y * y ‘+ c_y ++

Кроме того, поскольку мы не используем камеру-обскуру, нам нужно добавить коэффициенты искажения к нашей модели:

++ x » = x ‘\ frac {1 + k_1 r ^ 2 + k_2 r ^ 4 + k_3 r ^ 6} {1 + k_4 r ^ 2 + k_5 r ^ 4 + k_6 r ^ 6} + 2 p_1 x’ y ‘+ p_2 \\ y » = y ‘\ frac {1 + k_1 r ^ 2 + k_2 r ^ 4 + k_3 r ^ 6} {1 + k_4 r ^ 2 + k_5 r ^ 4 + k_6 r ^ 6} + p_1 (r ^ 2 + 2 y ‘^ 2) + 2 p_2 x’ y ‘ \\ \ text {где} \ quad r ^ 2 = x ‘^ 2 + y’ ^ 2 \\ и = f_x * x » + c_x \\ v = f_y * y » + c_y ++

Поскольку мы в первую очередь заинтересованы в эффективном устранении радиального искажения, мы будем использовать модель деления Фитцгиббона в отличие от полиномиальной модели четного порядка Брауна-Конради, поскольку она требует меньшего количества членов в случаях сильного искажения.С ним также немного легче работать, поскольку инвертирование модели с разделением одного параметра требует решения полинома на одну степень меньше, чем инвертирование полиномиальной модели с одним параметром.

Определение внутренних и внешних параметров камеры

Теперь, когда мы изложили все формулы, которые мы используем для исправления радиального и тангенциального искажения, остается единственный вопрос: как получить внутренние и внешние параметры.

Для этих целей мы будем использовать функцию OpenCV calibrateCamera вместе с ее функцией findChessboardCorners .

Функция calibrateCamera основана на новой гибкой методике Чжана для калибровки камеры и наборе инструментов Caltech для калибровки камеры.

Ему нужны координаты трехмерного объекта, который мы визуализируем, и соответствующие ему двумерные координаты проекции, чтобы определять внутренние и внешние параметры камеры, которую мы используем для изображения объекта.

Чтобы легко получить эти координаты, мы будем использовать шахматную доску . Шахматная доска — это объект с известной нам геометрией и легко обнаруживаемыми характерными точками.Такие объекты называются калибровочными установками или шаблонами , а OpenCV имеет встроенную функцию, которая использует шахматную доску в качестве калибровочной установки, функцию findChessboardCorners .

Функция findChessboardCorners пытается определить, является ли входное изображение представлением шаблона шахматной доски, и автоматически определяет внутренние углы шахматной доски.

Самое замечательное в этом то, что мы можем распечатать трехмерный объект (шахматную доску), геометрия которого нам хорошо известна, и сопоставить его трехмерные координаты с нашей проекцией двумерного изображения.Трехмерные точки шахматной доски из реального мира называются объектными точками , а их двухмерные сопоставления на нашем изображении называются точками изображения .

Итак, мы распечатываем шахматную доску, делаем несколько ее снимков под разными углами, чтобы лучше уловить искажения камеры, и передаем их в функцию findChessboardCorners . Он вернет нам обнаруженные точки объекта и соответствующие точки изображения, которые мы сможем использовать для калибровки камеры.

Функция calibrateCamera, учитывая точки объекта и точки изображения с помощью функции findChessboardCorners , выполняет следующее:

1. Вычисляет начальные внутренние параметры. Все коэффициенты искажения изначально равны нулю.
2. Оценивает начальную позу камеры, как если бы внутренние параметры были уже известны.
3. Запускает глобальный алгоритм оптимизации Левенберга-Марквардта для минимизации ошибки перепроецирования, то есть общей суммы квадратов расстояний между наблюдаемыми характерными точками imagePoints и проецируемыми (с использованием текущих оценок параметров камеры и поз) объектами objectPoints .

Функция возвращает матрицу с внутренними параметрами камеры и матрицу с коэффициентами искажения, которые мы можем использовать, чтобы не искажать наши изображения.

Другое, если вам нравится компьютерное зрение

Оптика — довольно интересная область физики, и если вы планируете заниматься какой-либо работой или исследованием компьютерного зрения, есть множество вещей, которые нужно изучить и прочитать, чтобы понять, как работают камеры, что поможет вам глубже погрузиться в эту область. .

Если это вас не интересует, пропустите небольшой абзац ниже.

Я бы рекомендовал хотя бы прочитать о двух наиболее важных параметрах оптических линз: фокусном расстоянии и максимальной диафрагме камеры.

Полезно знать, как разные фокусные расстояния влияют на представленный размер удаленных объектов, например:

Вы также можете многому научиться, прочитав, как фокусное расстояние определяет угол обзора, как фокусное отношение (или число f) определяет максимальную используемую диафрагму объектива и так далее. Это действительно интересно.

Как они создают спецэффекты в таких фильмах, как «Матрица», где камера вращается вокруг застывшего актера?

Этот эффект потрясающе смотреть! В одном рекламном ролике лошадь останавливается в воздухе, а камера перемещается вокруг нее. В «Матрице» техника используется всего четыре раза, но она настолько поразительна, что оставляет впечатление на весь фильм.

В рекламе и в «Затерянном в космосе» используется более простой прием. Вокруг объекта устанавливается набор фотоаппаратов (например, 30).В момент, когда действие должно остановиться, срабатывают сразу все 30 камер. Захваченные ими изображения воспроизводятся одно за другим, чтобы показать вращение.

В фильме «Матрица» создатели фильма используют чрезвычайно сложную технику для создания гораздо более сложных эффектов. Мало того, что происходит вращение , но и актер также движется в замедленном движении во время вращения (см. Первую ссылку ниже для трех очень хороших демонстраций полного движения). Для создания окончательного изображения комбинируются по крайней мере пять различных техник спецэффектов:

• Большое количество фотоаппаратов фиксируют сцену, но они стреляют последовательно вокруг актера, а не все сразу.
• Камеры снимают актера на фоне зеленого экрана (подробнее об этой технике см. Как работают синие экраны).
• Актер одет в трос, подвешенный к потолку, так что он может упасть только наполовину или будто парит в воздухе.
• После того, как сцена снята, программное обеспечение, подобное программному обеспечению морфинга, интерполирует между изображениями, чтобы обеспечить ощущение замедленного движения. Таким образом, создатель фильма может замедлять или ускорять действие по своему желанию.
• Затем на пленку накладываются фоны, созданные компьютером.

Если вы посмотрите видео по первой ссылке ниже, вы увидите, что изображения, снятые фотоаппаратами, очень грубые. Виден провод, как и все другие камеры в сцене. Техник устраняет все эти недостатки по одному изображению за раз, используя компьютер и оцифрованные версии изображений. Когда неподвижные изображения становятся идеальными, программа морфинга выполняет интерполяцию между ними. Затем в зеленую зону накладываются фоновые изображения. Техник должен построить полную компьютерную модель 3-D сцены, созданной компьютером, а затем задать поворот этой сцены в соответствии с положением камеры в каждом кадре фильма.

Матрица: Добро пожаловать в машину

Режиссеры Ларри и Энди Вачовски вместе с кинематографистом Биллом Поупом работают над захватывающим футуристическим боевиком « Матрица».

Фотография объекта, сделанная Джейсоном Боландом, любезно предоставлена ​​Warner Bros.

Компьютеризированные устройства играют в нашей повседневной жизни такую ​​все более важную роль — от автомобилей с микропроцессорным управлением до сверхскоростной электронной почты в Интернете и сотовых телефонов, — что можно задаться вопросом, не виляет ли собака хвостом.С приближающимся концом тысячелетия, вызывающим волны паранойи и истерии по поводу компьютерных сбоев 2000 года, неудивительно, что такие технофобные фильмы, такие как 2001: Космическая одиссея Стэнли Кубрика (1968) и Джеймс Кэмерон Терминатор (1984) кажутся когда-либо — более точные изображения микрочипов выходят из-под контроля.

«Матрица », новый фильм от братьев-сестер Ларри и Энди Вачовски, предлагает еще более мрачное видение будущего.Родившись в Чикаго в середине 1960-х, Вачовски выросли на здоровой диете из комиксов, японской анимации и всевозможных фильмов. Работая на стройке, братья начали писать комиксы и сценарии, в которых сочеталась внешне непохожая эстетика их любимых жанров. Перед своим режиссерским дебютом в 1997 году в мрачном и стильном триллере « Bound » (который они также написали в соавторстве) дуэт уже написал сценарий для «Матрица».

«Наша главная цель с The Matrix заключалась в создании интеллектуального боевика», — объясняет Ларри. «Нам нравятся боевики, оружие и кунг-фу, но мы устали от конвейерных боевиков, лишенных какого-либо интеллектуального содержания. Мы были полны решимости воплотить в фильме как можно больше идей и целенаправленно пытались вывести на экран изображения, которых люди никогда раньше не видели ».

Out of the Void
В течение многих лет сценарий Матрица томился в подвешенном состоянии, потому что многие в Голливуде не могли уловить сложнейшего повествования и экстравагантных визуальных элементов сказки. «Едва ли кто-нибудь в городе это понимал, — говорит Ларри. «Это стало почти шуткой. Люди думали, что это слишком сложно и слишком плотно ».

«Предпосылка для The Matrix началась с идеи, что все в нашем мире, каждое волокно реальности — это фактически симуляция, созданная в цифровой вселенной», — объясняет он.«Как только вы начнете [нарративно] иметь дело с электронной реальностью, вы действительно сможете раздвинуть границы того, что может быть возможным для человека и визуально».

Чтобы преобразовать эту концепцию в более понятную форму, Вачовски наняли нескольких мастеров комиксов, в том числе популярного художника Hard Boiled Джефа Дэрроу, чтобы они вручную нарисовали весь фильм в виде высокографической библии-раскадровки. «Нам не очень нравится, как делают обычные раскадровки», — говорит Ларри. «Вместо этого мы пригласили некоторых наших друзей, чтобы они нарисовали каждый бит действия, визуальный момент и стилистический кадр в фильме.Затем в течение нескольких месяцев мы изучали каждый кадр, пытаясь понять, как атаковать каждый кадр. Это также позволило нам быть очень конкретными с точки зрения требований к бюджету и визуальным эффектам ».

Это графическое изображение фильма также стало бесценным инструментом для кинорежиссера Билла Поупа, чей общий интерес к комиксам ранее привел его к должности режиссера-постановщика на « Bound » Вачовских. Поуп вспоминает: «Они смотрели и любили [фильм ужасов-фэнтези 1993 года] Армия тьмы , который я снимал для режиссера Сэма Рэйми.Они позвали меня, и у нас была потрясающая встреча. Думаю, они наняли меня, потому что я читал комиксы и знал, о чем они говорят, когда упоминали конкретное название. Фактически, во время нашей встречи на их столе лежала копия фильма Фрэнка Миллера «Город грехов» , поэтому я спросил: «Вы хотите, чтобы фильм выглядел именно так?» Мы все были впечатлены тем, как Миллер использовал высококонтрастные, угольно-черные области в кадре, чтобы сфокусировать взгляд, и его крайняя стилизация реальности. Я давно хотел сделать что-то стилизованное под фильм.»

Не случайно «стилизация» легла в основу ранней карьеры Поупа. Киношкола, окончившая в 1977 году кинопрограмму Нью-Йоркского университета, вспоминает: «В то время киношкола была довольно напряженной, потому что лишь немногие из нас были сосредоточены на кинематографии. Все остальные хотели руководить. В моем классе это был только Кен. Келш [ASC] и я, а в классе позади нас был только [режиссер и бывший оператор] Барри Зонненфельд Мы трое снимали фильмы для всех остальных.По окончании учебы я снял несколько из тех ранних видеороликов, которые показывали только по замкнутым телевизорам в клубах. Когда в начале 1980-х появился MTV, и все начали снимать видео, люди говорили: «Берите Билла Поупа, он снимал эти вещи!» Неожиданно я стал оператором-постановщиком ».

Поуп провел остаток десятилетия, снимая несколько сотен видеороликов. Попутно он получил премию MTV за лучшую операторскую работу за свою черно-белую операторскую работу над клипом Стинга «Сегодня вечером мы будем вместе».«

Затем он перешел к рекламе и очеркам. «В 1989 году Сэм Рэйми дал мне шанс снять [научно-фантастический фэнтези] Darkman », — вспоминает Поуп. «Я получил работу только потому, что Барри Зонненфельд сказал Сэму нанять меня. К счастью, Сэм просто сказал:« Тебя наняли, поехали! » В противном случае у меня никогда бы не получился полнометражный фильм. Долгое время музыкальные видеоклипы считались незаконнорожденными детьми киноиндустрии. Только в конце восьмидесятых и начале девяностых годов кинематографисты даже считались достаточно законными, чтобы снимать. рекламные ролики.Однако после того, как я снял Darkman , я смог сконцентрироваться на съемках фильмов и рекламных роликов ». Среди других работ Поупа — The Zero Effect, Gridlock’d, Clueless и Fire in the Sky. пилот телесериала « Максимум Боб », режиссером которого был Зонненфельд.

Технологии захватывают все
Сюжетная концепция, которая движет Матрица , сложна: 2197 год, а человеческая реальность — это просто компьютерно смоделированная среда.«В какой-то момент в прошлом искусственный интеллект захватил мир», — рассказывает Поуп. «В попытке восстановить контроль люди затемнили солнце, потому что компьютеры работали на солнечной энергии. Но машины перехитрили нас и захватили наши тела, поместив их в капсулы и используя их в качестве батарей — отнимая БТЕ, которые мы Пока мы плаваем в жидкости, они проецируют в наш мозг мир, в котором мы, как мы думаем, живем, который называется Матрицей. Все, что мы делаем в нашей жизни, каждый день, является всего лишь компьютерной симуляцией реальности.

«Некоторые люди, однако, поняли это и ведут битву против компьютеров. Эти повстанцы сражаются внутри Матрицы против агентов, которые сами являются компьютерными программами. Агенты могут делать что угодно, становиться кем угодно и изменять любой естественный закон, но люди не могут. Один из главных героев, Морфеус [Лоуренс Фишберн], ищет человека, который, как сообщается, может делать то же, что и компьютеры: проходить через Матрицу и изменять реальность. Морфеус считает, что этот человек — Нео [Киану Ривз] .

  camera.setPos (Vec3 (0))
camera.setHpr (Vec3 (0))
lensMat = Mat4 ()
lensMat.setRow (0, camMat.getRow (0))
lensMat.setRow (1, camMat.getRow (1))
линзаМат.setRow (2, lensMat.getRow (3)) #wbuffer
lensMat.setRow (3, camMat.getRow (2))
newLens = MatrixLens ()
newLens.setUserMat (lensMat)
camera.getChild (0) .node (). setLens (newLens)  

  равномерный float4x4 k_camera_mat  

  myCam = NodePath ('cam')
myCam.setMat (lensMat) # или myCam.setMat (camMat)
render.setShaderInput ('camera_mat', myCam)