Типы матриц фотоаппаратов: Виды матриц фотоаппарата и их отличия

Содержание

Типы матриц фотоаппаратов — какая лучше? Матрица фотоаппарата — что это и где находится

Ещё совсем недавно фотоаппараты были плёночными и процедура печати фотокарточек была увлекательным, хотя кропотливым и трудоёмким процессом. С тех пор прошло не особо много времени, но устройства стали совершенно иными. Вместо плёнки, они обзавелись съёмными носителями данных, а за формирование изображения стала отвечать матрица. Давайте попробуем разобраться, что такое матрица и где она располагается в современных фотографических аппаратах.

Матрица фотоаппарата — что это и где находится

Как уже говорилось выше, основной элемент любого цифрового фотоаппарата — матрица. Именно она формирует изображение. Её очень часто в литературе ещё называют сенсором либо датчиком. С технической стороны — это обычная микросхема, состоящая из множества фотодиодов, чувствительных к свету. Эти светодиоды создают электрический сигнал, величина которого напрямую зависит от интенсивности света, падающего на них. Электрические сигналы затем преобразуются в цифровые, посредством отдельного центрального процессора или процессора, внедрённого в матрицу.

Матрица улавливает падающий на неё свет и преобразует его в битовую последовательность. Другими словами, в набор нулей и единичек. Уже из них создаётся изображение.

Внешне устройство выглядит как на фотографии.

Типы матриц фотоаппаратов — какая лучше?

Так как матрица, это основная деталь в устройстве фотоаппарата, стало быть, от её типа и качества зависит уровень получаемой фотографии. В современных фотоаппаратах встречаются следующие типы устройств:

ПЗС;
КМОП;
Live-MOS;
Super CCD;
QuantumFilm.

ПЗС матрица

Это аналоговая микросхема, которая сделана из кремниевых диодов.

Этот сенсор изначально создавался для применения в:

камерах мобильных аппаратов;
фотоаппаратах;
медицинском оборудовании.

Плюсы:

низкий уровень шума в полученных снимках;
естественные и неискажённые цвета;
простота производства;
не греются при длительном использовании.

Основной её минус — большое потребление энергии. А также большие размеры, из-за чего устройства, в которых она применяется — достаточно массивны.

КМОП матрица

Работа этого типа устройства основывается на CMOS-технологии. Этот вид применяется уже не первый год, но так и не устарел.

Используют их, чаще всего, в системах видеонаблюдения. Каждый год выпускаются новые варианты сенсоров, основанные на технологии КМОП.

Среди положительных свойств:

малое потребление энергии;
низкая цена;
небольшие габариты микросхемы;
применяя разные усилители, можно увеличить чувствительность;
дешёвое и простое.

Отрицательные свойства:

довольно низкое разрешение;
большая шумность снимков;
прибор сильно нагревается.

Live-MOS

Разработчик этого вида датчиков фирма Panasonic — они же и применяют их в своих устройствах. В основу работы положена всё та же КМОП-технология, но доработанная, чтобы потреблять меньше энергии.

Основной «фишкой» является получение изображения на жидкокристаллическом экране в режиме реального времени. Другими словами, мы видим то, что получим в итоге. При этом нет излишнего нагрева и больших шумов.

Положительные качества:

небольшие затраты энергии;
малые габариты камеры;
фотограф сам может усилить цвета, отрегулировав тем самым передачу цветов.

Отрицательные качества:

возможно появление шума на снимках. Он возникает потому, что каждый пиксель имеет собственную электрическую цепь и свою зависимость экспозиции и выходного заряда;
электрокомпоненты помимо шума влияют и на нагревание устройства. Часто возникает перегрев аппаратуры.

Super CCD

Этот вариант используется в аппаратах от компании Fujifilm. Матрица оснащена пикселями зелёного цвета, которые имеют различные размеры. За счёт этого получается большая фотографическая широта. В отличие от других типов матриц, в этой модели пиксели в виде восьмиугольников, а не прямоугольные.

Положительной и характерной особенность этого типа матрицы является наличие лишь вертикальных или горизонтальных линий в готовом изображении, матрица обладает высокой чувствительностью, широкий динамический диапазон.

Отрицательное свойство этой модели то, что она пропускает идущие диагонально линии. А ведь именно такие линии и составляют все объекты.

QuantumFilm

В основе этой модели лежат квантовые точки.

Это очень удивительная и необычная технология. Она позволяет захватывать свет почти на сто процентов. Благодаря чему имеется возможность получить отличную чувствительность к свету, даже в условиях недостатка света.

О модели:

низкая стоимость;
небольшой размер датчика;
ширина динамического диапазона этой матрица, практически в два раза больше других моделей. Это также достигается использованием квантовых точек;
материал, из которого изготавливаются квантовые точки, одновременно выступает линзой и усилителем.

Типы матриц фотоаппаратов. Матрицы цифровых фотоаппаратов: матрицы CCD и CMOS

Сенсор изображения является важнейшим элементом любой видеокамеры. Сегодня практически во всех камерах используются датчики изображения CCD или CMOS. Оба типа датчика выполняют задачу преобразования изображения, построенного на сенсоре объективом, в электрический сигнал. Однако вопрос, какой датчик лучше, до сих пор остается открытым

Н.И. Чура
Технический консультант
ООО «Микровидео Группа»

CCD является аналоговым датчиком, несмотря на дискретность светочувствительной структуры. Когда свет попадает на матрицу, в каждом пикселе накапливается заряд или пакет электронов, преобразуемый при считывании на нагрузке в напряжение видеосигнала, пропорциональное освещенности пикселей. Минимальное количество промежуточных переходов этого заряда и отсутствие активных устройств обеспечивают высокую идентичность чувствительных элементов CCD.

CMOS-матрица является цифровым устройством с активными чувствительными элементами (Active Pixel Sensor). С каждым пикселем работает свой усилитель, преобразующий заряд чувствительного элемента в напряжение. Это дает возможность практически индивидуально управлять каждым пикселем.

Эволюция CCD

С момента изобретения CCD лабораторией Белла (Bell Laboratories, или Bell Labs) в 1969 г. размеры сенсора изображения непрерывно уменьшались. Одновременно увеличивалось число чувствительных элементов. Это естественно вело к уменьшению размеров единичного чувствительного элемента (пикселя), а соответственно и его чувствительности. Например, с 1987 г. эти размеры сократились в 100 раз. Но благодаря новым технологиям чувствительность одного элемента (а следовательно, и всей матрицы) даже увеличилась.

Что позволило доминировать
С самого начала CCD стали доминирующими сенсорами, поскольку обеспечивали лучшее качество изображения, меньший шум, более высокую чувствительность и большую равномерность параметров пикселей. Основные усилия по совершенствованию технологии были направлены на улучшение характеристик CCD.

Как растет чувствительность
По сравнению с популярной матрицей Sony HAD стандартного разрешения (500х582) конца 1990-х гг. (ICX055) чувствительность моделей более совершенной технологии Super HAD выросла почти в 3 раза (ICX405) и Ex-view HAD – в 4 раза (ICX255). Причем для черно-белого и цветного варианта.

Для матриц высокого разрешения (752х582) успехи несколько менее впечатляющие, но если сопоставлять модели цветного изображения Super HAD с самыми современными технологиями Ex-view HAD II и Super HAD II, то рост чувствительности составит в 2,5 и 2,4 раза соответственно. И это несмотря на уменьшение размеров пикселя почти на 30%, поскольку речь идет о матрицах самого современного формата 960H с увеличенным количеством пикселей до 976х582 для стандарта PAL. Для обработки такого сигнала Sony предлагает ряд сигнальных процессоров Effio.

Добавилась ИК-составляющая
Одним из эффективных методов роста интегральной чувствительности является расширение спектральных характеристик чувствительности в область инфракрасного диапазона. Это особенно характерно для матрицы Ex-view. Добавление ИК-составляющей несколько искажает передачу относительной яркости цветов, но для черно-белого варианта это не критично. Единственная проблема возникает с цветопередачей в камерах «день/ночь» с постоянной ИК-чувствительностью, то есть без механического ИК-фильтра.

Развитие этой технологии в моделях Ex-view HAD II (ICX658AKA) в сравнении с предыдущим вариантом (ICX258AK) обеспечивает рост интегральной чувствительности всего на 0,8 дБ (с 1100 до 1200 мВ) с одновременным увеличением чувствительности на длине волны 950 нм на 4,5 дБ. На рис. 1 приведены характеристики спектральной чувствительности этих матриц, а на рис. 2 – отношение их интегральной чувствительности.

Оптические инновации
Другим методом роста чувствительности CCD являются увеличение эффективности пиксельных микролинз, светочувствительной области и оптимизация цветовых фильтров. На рис. 3 представлено устройство матриц Super HAD и Super HAD II, показывающее увеличение площади линзы и светочувствительной области последней модификации.

Дополнительно в матрицах Super HAD II значительно увеличено пропускание светофильтров и их устойчивость к выцветанию. Кроме того, расширено пропускание в коротковолновой области спектра (голубой), что улучшило цветопередачу и баланс белого.

На рис. 4 представлены спектральные характеристики чувствительности матриц Sony 1/3″ Super HAD (ICX229AK) и Super HAD II (ICX649AKA).

CCD: уникальная чувствительность

В совокупности перечисленных мер удалось добиться значительных результатов по улучшению характеристик CCD.

Сравнить характеристики современных моделей с более ранними вариантами не представляется возможным, поскольку тогда не производились цветные матрицы широкого применения даже типового высокого разрешения. В свою очередь, сейчас не производятся черно-белые матрицы стандартного разрешения по новейшим технологиям Ex-view HAD II и Super HAD II.

В любом случае по чувствительности CCD до сих пор являются пока недостижимым ориентиром для CMOS, поэтому они все еще широко используются за исключением мегапиксельных вариантов, которые очень дорого стоят и применяются в основном для специальных задач.

CMOS: достоинства и недостатки

Сенсоры CMOS были изобретены в конце 1970-х гг., но их производство удалось начать только в 1990-е по причине технологических проблем. И сразу наметились их основные достоинства и недостатки, которые и сейчас остаются актуальными.

К достоинствам можно отнести большую интеграцию и экономичность сенсора, более широкий динамический диапазон, простоту производства и меньшую стоимость, особенно мегапиксельных вариантов.

С другой стороны, CMOS-сенсоры обладают меньшей чувствительностью, обусловленной, при прочих равных условиях, большими потерями в фильтрах структуры RGB, меньшей полезной площадью светочувствительного элемента. В результате множества переходных элементов, включая усилители в тракте каждого пикселя, обеспечить равномерность параметров всех чувствительных элементов значительно сложнее в сравнении с CCD. Но совершенствование технологий позволило приблизить чувствительность CMOS к лучшим образцам CCD, особенно в мегапиксельных вариантах.

Ранние сторонники CMOS утверждали, что эти структуры будут гораздо дешевле, потому что могут быть произведены на том же оборудовании и по тем же технологиям, что и микросхемы памяти и логики. Во многом данное предположение подтвердилось, но не полностью, поскольку совершенствование технологии привело к практически идентичному по сложности производственному процессу, как и для CCD.

С расширением круга потребителей за рамки стандартного телевидения разрешение матриц стало непрерывно расти. Это бытовые видеокамеры, электронные фотоаппараты и камеры, встроенные в средства коммуникации. Кстати, для мобильных устройств вопрос экономичности довольно важный, и здесь у CMOS-сенсора нет конкурентов. Например, с середины 1990-х гг. разрешение матриц ежегодно вырастало на 1–2 млн элементов и теперь достигает 10–12 Мпкс. Причем спрос на CMOS-сенсоры стал доминирующим и сегодня превышает 100 млн единиц.

CMOS: улучшение чувствительности

Первые образцы камер наблюдения конца 1990-х – начала 2000-х с CMOS-матрицами имели разрешение 352х288 пкс и чувствительность даже для черно-белого варианта около 1 лк. Цветные варианты уже стандартного разрешения отличались чувствительностью около 7–10 лк.

Что предлагают поставщики
В настоящее время чувствительность CMOS-матриц, безусловно, выросла, но не превышает для типовых вариантов цветного изображения величины порядка нескольких люксов при разумных величинах F числа объектива (1,2– 1,4). Это подтверждают данные технических характеристик брендов IP-видеонаблюдения, в которых применяются CMOS-матрицы с прогрессивной разверткой. Те производители, которые заявляют чувствительность около десятых долей люкса, обычно уточняют, что это данные для меньшей частоты кадров, режима накопления или по крайней мере включенной и достаточно глубокой АРУ (AGC). Причем у некоторых производителей IP-камер максимальная АРУ достигает умопомрачительной величины –120 дБ (1 млн раз). Можно надеяться, что чувствительность для этого случая в представлении производителей предполагает пристойное отношение «сигнал/шум», позволяющее наблюдать не один только «снег» на экране.

Инновации улучшают качество видео
В стремлении улучшить характеристики CMOS-матриц компания Sony предложила ряд новых технологий, обеспечивающих практическое сравнение CMOS-матриц с CCD по чувствительности, отношению «сигнал/шум» в мегапиксельных вариантах.

Новая технология производства матриц Exmor основана на изменении направления падения светового потока на матрицу. В типовой архитектуре свет падает на фронтальную поверхность кремниевой пластины через и мимо проводников схемы матрицы. Свет рассеивается и перекрывается этими элементами. В новой модификации свет поступает на тыльную сторону кремниевой пластины. Это привело к существенному росту чувствительности и снижению шума CMOS-матрицы. На рис. 5 поясняется различие структур типовой матрицы и матрицы Exmor, показанных в разрезе.

На фото 1 приведены изображения тестового объекта, полученные при освещенности 100 лк (F4.0 и 1/30 с) камерой с CCD (фронтальное освещение) и CMOS Exmor, имеющих одинаковый формат и разрешение 10 Мпкс. Очевидно, что изображение камеры с CMOS по крайней мере не хуже изображения с CCD.

Другим способом улучшения чувствительности CMOS-сенсоров является отказ от прямоугольного расположения пикселей с построчным сдвигом красного и синего элементов. При этом в построении одного элемента разрешения используются по два зеленых пикселя – синий и красный из разных строк. Взамен предлагается диагональное расположение элементов с использованием шести соседних зеленых элементов для построения одного элемента разрешения. Такая технология получила название ClearVid CMOS. Для обработки предполагается более мощный сигнальный процессор изображений. Различие структур расположения цветных элементов иллюстрируются рис. 6.

Считывание информации осуществляется быстродействующим параллельным аналого-цифровым преобразователем. При этом частота кадров прогрессивной развертки может достигать 180 и даже 240 кадр/с. При параллельном съеме информации устраняется диагональный сдвиг кадра, привычный для CMOS-камер с последовательным экспонированием и считыванием сигнала, так называемый эффект Rolling Shutter – когда полностью отсутствует характерный смаз быстро движущихся объектов.

На фото 2 приведены изображения вращающегося вентилятора, полученные CMOS-камерой с частотой кадров 45 и 180 кадр/с.

Полноценная конкуренция

В качестве примеров мы приводили технологии Sony. Естественно, CMOS-матрицы, как и CCD, производят и другие компании, хотя не в таких масштабах и не столь известные. В любом случае все так или иначе идут примерно одним путем и используют похожие технические решения.

В частности, известная технология матриц Panasonic Live-MOS также существенно улучшает характеристики CMOS-матриц и, естественно, похожими методами. В матрицах Panasonic уменьшено расстояние от фотодиода до микролинзы. Упрощена передача сигналов с поверхности фотодиода. Уменьшено количество управляющих сигналов с 3 (стандартные CMOS) до 2 (как в CCD), что увеличило фоточувствительную область пикселя. Применен малошумящий усилитель фотодиода. Используется более тонкая структура слоя датчиков. Сниженное напряжение питания уменьшает шум и нагрев матрицы.

Можно констатировать, что мегапиксельные матрицы CMOS уже могут успешно конкурировать с CCD не только по цене, но и по таким проблемным для этой технологии характеристикам, как чувствительность и уровень шума. Однако в традиционном CCTV телевизионных форматов CCD-матрицы остаются пока вне конкуренции.

К этому времени стало очевидным, что CCD обеспечивает лучшие показатели при съемке динамичных и мелких объектов, поэтому ее предлагалось использовать для построения систем, требующих высокого качества изображения: цифровых фото- и видеокамер, медицинского оборудования и т. д. CMOS же отводилась ниша устройств, для которых критична конечная стоимость — недорогие фотоаппараты, бытовая, офисная техника и игрушки.

Опыт производства, накопленный за годы развития CMOS, позволил с каждым новым поколением этих сенсоров существенно снижать фиксированные и случайные шумы, влияющие на качество картинки. Еще одно слабое место CMOS — искажения, появляющиеся при захвате динамического изображения вследствие слабой чувствительности сенсора. В современных устройствах их удается избежать, а захват изображения без особых артефактов возможен со скоростью 15—30 кадров/с, и уже 0,3-мегапиксельные CMOS-сенсоры фактически были избавлены от этой проблемы.

Однако победа в конкуренции технологий, скорее всего, лежит в плоскости уменьшения площади пиксела. Для успеха на рынке 1-мегапиксельных при диагонали 1/4 дюйма площадь пиксела должна составлять не более 3 мкм2. При всех усилиях производителей CMOS удовлетворить таким требованиям они пока не могут, поэтому, как считают эксперты, по крайней мере в ближайшее время в данной нише будет господствовать CCD.

Многие крупные производители компонентов выпускают и CMOS-сенсоры, и CCD-матрицы. Например, Sharp, крупнейший в мире поставщик модулей захвата изображения (и CCD, и CMOS), считает 2003 год эпохой настоящего расцвета технологии CCD.

К преимуществам CCD матриц относятся:

1. Низкий уровень шумов.

2. Высокий коэффициент заполнения пикселов (около 100%).

3. Высокая эффективность (отношение числа зарегистрированных фотонов к их общему числу, попавшему на светочувствительную область матрицы, для CCD — 95%).

4. Высокий динамический диапазон (чувствительность).

К недостаткам CCD матриц относятся:

1. Сложный принцип считывания сигнала, а следовательно и технология.

2. Высокий уровень энергопотребления (до 2-5Вт).

3. Дороже в производстве.

Преимущества CMOS матриц:

1. Высокое быстродействие(до 500 кадров/с).

2. Низкое энергопотребление(почти в 100 раз по сравнению с CCD).

3. Дешевле и проще в производстве.

4. Перспективность технологии(на том же кристалле в принципе ничего не стоит реализовать все необходимые дополнительные схемы: аналого-цифровые преобразователи, процессор, память, получив, таким образом, законченную цифровую камеру на одном кристалле. Созданием такого устройства, кстати, с 2002 года занимаются совместно Samsung Electronics и Mitsubishi Electric).

К недостаткам CMOS матриц относятся

1. Низкий коэффициент заполнения пикселов, что снижает чувствительность(эффективная поверхность пиксела ~75%,остальное занимают транзисторы).

2. Высокий уровень шума (он обусловлен так называемыми темповыми токами — даже в отсутствие освещения через фотодиод течет довольно значительный ток)борьба с которым усложняет и удорожает технологию.

3. Невысокий динамический диапазон.

Общие сведения о камерах с матрицей SONY

Корпорация Sony была первой, кто применил в CCTV камере видеонаблюдения (видеокамере) принцип оцифровки сигнала ПЗС (CCD) матрицы с последующей его цифровой обработкой при помощи процессора — DSP (Digital Signal Processor — Процессор цифровой обработки сигнала ). Произошло это 1997 г. с выпуском первого DSP серии SS. Благодаря высокому качеству и надежности которого, камеры на его основе завоевали популярность во всем мире, а новый принцип обработки цветного изображения за многие годы превратился в стандарт построения камер видеонаблюдения. Сердцем таких камер видеонаблюдения является ПЗС (англ. CCD) матрица формата 760H с количеством эффективных пикселей 752х582 по горизонтали и вертикали соответственно. Указанный формат матрицы уже давно используются в камерах высокого разрешения, включая камеры разрешений 480 ТВЛ, 500 ТВЛ, 520 ТВЛ и 540 ТВЛ. Каким же образом на классической матрице получено более высокое, 600 ТВЛ горизонтальное разрешение? Ответ простой — как и все предшествующие увеличения разрешения начиная с 480 ТВЛ и заканчивая 540ТВЛ осуществлялись за счет использования более эффективного процессора обработки сигналов видеоизображения — ISP (Image Signal Processor). В камерах с разрешением 600 ТВЛ, используется видеопроцессор IV поколения, отличающийся увеличенной разрядностью оцифровки видеосигнала снимаемого с цветной ПЗС матрицы, расширенной частотной характеристикой трактов видеообработки и возможностью формирования выходных сигналов CSVB или S-Video при помощи встроенных в процессор цифро-аналоговых преобразователей (ЦАП). Как и все предыдущие процессора новый ISP выполняет обработку изображения в цифровом коде и реализует ряд уже традиционных для камер видеонаблюдения функций, а именно:

DN (Day-Night) — «день-ночь» — формирование черно-белого изображения при низкой освещенности с возможностью настройки порогов и задержек перехода между черно-белым и цветным режимами
AE (Automatic Exposition) — электронный затвор позволяет поддерживать постоянную яркость изображения независимо от освещенности наблюдаемой сцены
AGC (Automatic Gain Control) — автоматическая регулировка усиление в ночном режима обеспечивает формирования светлой и распознаваемой картинки при низкой освещенности и работе ночью
BLC (Back Light Compensation) — компенсация задней засветки с возможностью настройки до 4 зон, с заданием уровня яркости в каждой из них относительно общего уровня яркости изображения (для камер с OSD), что позволяет, например, компенсировать избыточную яркость окон на общем фоне помещения настройка контраста и четкости изображения

Широкий набор параметров видеообработки позволяет настроить камеру и получить идеальное изображение при любых условиях ее эксплуатации: в темных и светлых помещениях, на улице и внутри помещений, при работе на встречную засветку и в сценах с широким диапазоном яркостей, а также в полной темное при использовании инфракрасной (ИК) подсветки.

На сегодняшний день корпорация SONY производит следующий номенклатурный ряд ПЗС матриц для цветных аналоговых телекамер охранного назначения, предназначенных для работы в стандарте PAL.

Цветные ПЗС матрицы SONY:

Наименование изделия	Диагональный размер изображения дюйм — мм	Кол-во эффективных пикселей (Ш x В)	Чувствительность (мВ)	Корпус	Кол-во выводов	Технология изготовления
ICX419AKL	1/2″ — 8 мм	752 x 582	1300	Керамический DIP	20	—
ICX429AKL	1/2″ — 8 мм	752 x 582	1600	Керамический DIP	20	EXview
ICX419AKB	1/2″ — 8 мм	752 x 582	1300	Малый керамический цилиндр	16	—
ICX259AK	1/3″ — 6 мм	752 x 582	1100	Пластиковый DIP	16	EXview
ICX-NEW-09	1/3″ — 6 мм	752 x 582	2250	Пластиковый DIP	16	Super HAD
ICX409AK	1/3″ — 6 мм	752 x 582	950	Пластиковый DIP	16	Super HAD
ICX255AK	1/3″ — 6 мм	500 x 582	2000	Пластиковый DIP	16	EXview
ICX405AK	1/3″ — 6 мм	500 x 582	1700	Пластиковый DIP	16	Super HAD
ICX279AK	1/4″ — 4,5мм	752 x 582	800	Пластиковый DIP	14	EXview
ICX229AK	1/4″ — 4,5мм	752 x 582	440	Пластиковый DIP	14	—
ICX207AK	1/4″ — 4,5мм	500 x 582	800	Пластиковый DIP	14	Super HAD
ICX227AK	1/4″ — 4,5мм	500 x 582	880	Пластиковый DIP	14	—
ICX207AKB	1/4″ — 4,5мм	500 x 582	880	Малый керамический цилиндр	13	Super HAD
ICX239AKE	1/6″ — 3мм	752 x 582	300	Керамический SON (LCC)	12	—

Матрица — это основа любого фото- или видеоустройства. Она определяет качество и размер получаемого изображения. На сегодняшний день в изготовлении матриц используются два разных технологичных принципа — CCD и CMOS. Очень часто можно услышать вопрос: «Какую матрицу выбрать: CCD или CMOS?» Среди любителей фото- и видеотехники по этому поводу идут жаркие споры. В этой статье мы проведем обзор этих двух типов и попробуем разобраться, какая матрица лучше — CCD или CMOS.

Общая информация

Матрицы предназначены для оцифровки параметров световых лучей на их поверхности. Говорить о явном преимуществе одной из технологий не представляется возможным. Можно проводить сравнение по конкретным параметрам и выявлять лидера в том или ином аспекте. Что касается предпочтений пользователей, то зачастую для них главным критерием является стоимость изделия, даже если оно будет уступать по качеству или техническим характеристикам своему конкуренту.

Итак, давайте разберемся, что представляют собой оба типа устройств. CCD-матрица — это микросхема, которая состоит из светочувствительных фотодиодов; она создана на кремниевой основе. Особенность ее работы заключается в принципе действия устройства с зарядовой связью. CMOS-матрица — это прибор, созданный на основе полупроводниковых имеющих изолированный затвор с каналами различной проводимости.

Принцип работы

Перейдем к выявлению отличий, которые помогут определиться в выборе: что же лучше — матрица CMOS или CCD? Главным различием этих двух технологий является принцип их работы. CCD-устройства заряд от пикселей преобразуют в электрический потенциал, который усиливается за пределами светочувствительных сенсоров. В результате получается изображение в аналоговом виде. После этого проводится оцифровка всей картинки в АЦП. То есть прибор состоит из двух частей — непосредственно матрицы и преобразователя. CMOS-технология характеризуются тем, что производит оцифровывание каждого пикселя в отдельности. На выходе получается уже готовая цифровая картинка. То есть электрический заряд в пикселе матрицы накапливается в конденсаторе, с которого снимается электрический потенциал. Он передается на аналоговый усилитель (встроенный непосредственно в пикселе), после чего оцифровывается в преобразователе.

Что же выбрать: CCD или CMOS?

Одним из немаловажных параметров, которые определяют выбор между этими технологиями, является количество усилителей матрицы. CMOS-устройства имеют большее количество этих приборов (в каждой точке), поэтому при прохождении сигнала несколько снижается качество картинки. Поэтому CCD-матрицы используют для создания изображений с высокой степенью детализации, например, в медицинских, исследовательских, промышленных целях. А вот CMOS-технологии применяют в основном в бытовой технике: веб-камерах, смартфонах, планшетах, ноутбуках и т. п.

Следующим параметром, который определяет, какой тип лучше — CCD или CMOS, — является плотность фотодиодов. Чем она выше, тем меньше фотонов «пропадет вхолостую», соответственно, изображение будет лучше. В этом параметре CCD-матрицы обходят своих конкурентов, так как предлагают макет, не имеющий таких зазоров, в то время как у CMOS они присутствуют (в них расположены транзисторы).

Тем не менее, когда перед пользователем встает выбор: какой — CMOS или CCD — приобрести, всплывает главный параметр — цена устройства. CCD-технология значительно дороже своего конкурента и энергозатратнее. Поэтому устанавливать их там, где достаточно изображения среднего качества, нецелесообразно.

CCD — это charge-coupled device (ПЗС — прибор c обратной зарядной связью). Этот тип матриц изначально считался более качественным, однако и более дорогим и энергозатратным. Если представить основной принцип работы матрицы CCD в двух словах, то они собрают всю картину в аналоговой версии, и только потом оцифровывают.

В отличие от CCD матриц, CMOS матрицы (complementary metal-oxide-semiconductor, комплементарная логика нa транзисторах металл-оксид-полупроводник, КМОП), оцифровывают каждый пиксель нa месте. CMOS матрицы были изначально менее энергопотребляющие и дешевыми, особенно в производстве больших размеров матриц, однако уступали CCD матрицам по качеству.

К преимуществам CCD матриц относятся:

Низкий уровень шумов.
Высокий коэффициент заполнения пикселов (около 100%).
Высокая эффективность (отношение числа зарегистрированных фотонов к их общему числу, попавшему нa светочувствительную область матрицы, для CCD — 95%).
Высокий динамический диапазон (чувствительность).

К недостаткам CCD матриц относятся:

Сложный принцип считывания сигнала, а следовательно и технология.
Высокий уровень энергопотребления (до 2-5Вт).
Дороже в производстве.

Преимущества CMOS матриц:

Высокое быстродействие(до 500 кадров/с).
Низкое энергопотребление(почти в 100 раз по сравнению c CCD).
Дешевле и проще в производстве.
Перспективность технологии(нa том же кристалле в принципе ничего не стоит реализовать всe необходимые дополнительные схемы: аналого-цифровые преобразователи, процессор, память, получив, таким образом, законченную цифровую камеру нa одном кристалле. Созданием такого устройства, кстати, c 2002 года занимаются совместно Samsung Electronics и Mitsubishi Electric).

К недостаткам CMOS матриц относятся

Низкий коэффициент заполнения пикселов, что снижает чувствительность(эффективная поверхность пиксела ~75%,остальное занимают транзисторы).
Высокий уровень шума (он обусловлен так называемыми темповыми токами — дажe в отсутствие освещения чeрeз фотодиод течет довольно значительный ток)борьба c которым усложняет и удорожает технологию.
Невысокий динамический диапазон.

Введение в датчики изображений

Когда изображение объективом видеокамеры, свет проходит чeрeз линзы и падает нa датчик изображения. Датчик изображения, или матрица, состоит из множества элементов, тaкжe называемых пикселями, которые регистрируют количество света, упавшего нa них. Полученное количество света пиксели преобразуют в соответствующее количество электронов. Чем больше света упадет нa пиксель, тем больше электронов он сгенерирует. Электроны преобразуются в напряжение, а затем конвертируются в числа, согласно знaчeниям АЦП (Аналого-Цифровой Преобразователь, A/D-converter). Сигнал, составленный из таких чисел, обрабатывается электронными цепями внутри видеокамеры.

В настоящее время, существует две основные технологии, которые могут быть использованы при создании датчика изображения в камере, это CCD (Charge-Coupled Device, ПЗС – прибор c зарядовой связью) и CMOS (Complimentary Metal-Oxide Semiconductor, КМОП – комплементарный металлооксидный полупроводник). Их характеристики, достоинства и недостатки будут рассмотрены в данной статье. Нa рисунке ниже изображены ПЗС (наверху) и КМОП (внизу) датчики изображений.

Цветовая фильтрация . Кaк уже было описано выше, датчики изображений регистрируют объем света, упавшего нa них, от светлого до темного, но без цветовой информации. Поскольку КМОП и ПЗС датчики изображений «не видят цвет», перед каждым из датчиков ставится фильтр, позволяющий присвоить каждому пикселю в датчике цветовой тон. Два основных метода цветовой регистрации это RGB (Red-Greed-Blue, Красный-Зеленый-Синий) и CMYG (Cyan-Magenta-Yellow-Green, Голубой-Пурпурный-Желтый-Зеленый). Красный, зеленый и синий являются основными цветами, различные комбинации которых могут составить большинство цветов, воспринимаемых глазом человека.

Фильтр Байера (или массив Байера, англ. Bayer array), состоящий из сменяющих друг друга строк красно-зеленых и сине-зеленых фильтров, является наиболее распространенным RGB-цветовым фильтром (см. Рис. 2). Фильтр Байера содержит удвоенное количество зеленых «ячеек», т.к. человеческий глаз более чувствителен к зеленому цвету, а не красному или синему. Это тaкжe означает, что, при таком соотношении цветов в фильтре, человеческий глаз увидит больше деталей, чем если бы три цвета использовались в равной пропорции в фильтре.

Другой способ фильтровать (или регистрировать) цвет – использовать дополнительные цвета – голубой, пурпурный и желтый. Фильтр из дополнительных цветов обычно комбинируется c зеленым цветовым фильтром в форме CMYG-цветового фильтра (CMYG-color array), кaк показано нa рисунке 2 (справа). CMYG-цветовой фильтр обычно предлагает более высокий сигнал пикселя, т.к. облaдaeт более широкой спектральной полосой пропускания. Тем не менее, сигнал должен быть преобразован в RGB для использования в итоговом изображении, а это влечем за собой дополнительную обработку, и вносит шумы. Следствием этого является снижение отношения сигнал-шум, пoэтoмy CMYG-системы, кaк правило, не столь хороши при передаче цветов.

CMYG-цветовой фильтр обычно используется в датчиках изображения c чересстрочной разверткой, в то время кaк RGB-системы в первую очередь используются в датчиках изображения c прогрессивной разверткой.

Светочувствительная матрица – важнейший элемент фотоаппарата. Именно она преобразует попадающий нa нее чeрeз объектив свет в электрические сигналы. Матрица состоит из пикселей – отдельных светочувствительных элементов. Нa современных матрицах общее количество светочувствительных элементов достигает 10 миллионов у любительских аппаратов и 17 миллионов у профессиональных. Матрица в N мегапикселей содержит N миллионов пикселей. Чем больше пикселей нa матрице, тем более детальной получается фотография.

Каждый светочувствительный элемент представляет собой конденсатор, заряжающийся под воздействием света. Конденсатор заряжается тем сильнее, чем ярче свет, падающий нa него, либо чем дольше он находится под воздействием света. Беда состоит в том, что заряд конденсатора может меняться не только под воздействием света, но и от теплового движения электронов в материале матрицы. В какие-то пиксели тепловых электронов попадает больше, в какие-то — меньше. В результате образуется цифровой шум. Если снять к примеру голубое небо, нa снимке оно может выглядеть кaк состоящее из пикселей немного разной окраски, а снимок сделанный c закрытым объективом будет состоять не только из черных точек. Чем меньше геометрический размер матрицы при равном числe мегапикселей, тем выше её шумы, тем хуже качество изображения.

Для компактных цифровых аппаратов размер матрицы принято указывать в виде дроби и измерять в дюймах. Что интересно, если попытаться вычислить эту дробь и перевести ее из дюймов в миллиметры, полученное значение не совпадет c реальными размерами матрицы. Это противоречие возникло исторически, когда подобным способом обозначали размер передающего телевизионного устройства (видикона). Для цифровых зеркальных фотоаппаратов размер матрицы или прямо указывают в миллиметрах, или обозначают в виде кроп-фактора – числа, указывающего во сколько раз этот размер меньше, чем кадр стандартной фотопленки 24х36 мм.

Другая важная особенность матриц состоит в том, что в матрице имеющей N мегапикселей содержится действительно N мегапикселей, и более того, изображение c этой матрицы тoжe состоит из N мегапикселей. Вы скажете, что же тут странного? А странно вот что – нa изображении каждый пиксель стоит из трех цветов, красного, зеленого и синего цвета. Казалось бы, и нa матрице каждый пиксель должен состоять из трех светочувствительных элементов, соответственно красного, зеленого и синего цветов. Однако нa деле это не так. Каждый пиксель состоит только из одного элемента. Откуда же тогда берется цвет? Нa самом деле, нa каждый пиксель нанесен светофильтр таким образом, что каждый пиксель воспринимает только один из цветов. Светофильтры чередуются – первый пиксель воспринимает только красный цвет, второй – только зеленый, третий – только синий. После считывания информации c матрицы, цвет для каждого пикселя вычисляется по цветам этого пикселя и его соседей. Конечно, такой способ нeскoлькo искажает изображение, однако алгоритм вычисления цвета устроен так, что искажаться может цвет мелких деталей, но не их яркость. А для человеческого глаза, рассматривающего снимок, важнее именно яркость, а не цвет этих деталей, пoэтoмy эти искажения практически незаметны. Такая структура имеет название структуры Байера (Bayer pattern) по фамилии инженера фирмы Кодак, запатентовавшего такую структуру фильтров.

Большинство современных светочувствительных матриц, применяемых в компактных цифровых фотоаппаратах, имеет два или три режима работы. Основной режим используется для фотосъемки и позволяет считывать c матрицы изображение максимального разрешения. Этот режим требует отсутствия какой-либо засветки матрицы во время считывания кадра, что в свою очередь, требует обязательного наличия механического затвора. Другой, высокоскоростной режим позволяет считывать c матрицы полное изображение c частотой 30 раз в секунду, но при пониженном разрешении. Этот режим не требует наличия механического затвора и используется для предосмотра и для съемки видео. Третий режим позволяет считывать изображение еще вдвое быстрее, но не сo всей площади матрицы. Этот режим используется для работы автофокуса. Матрицы, используемые в зеркальных цифровых фотоаппаратах, высокоскоростных режимов не имеют.

Но не всe светочувствительные матрицы устроены именно так. Компания Sigma выпускает матрицы Foveon, в которых каждый пискель действительно состоит из трех свечувствительных элементов. Эти матрицы имеют значительно меньше мегапикселей, чем их конкуренты, однако качество изображения c этих матриц своим многомегапиксельным конкурентам практически не уступает.

Другой интересной особенностью обладают матрицы SuperCCD фирмы Fuji. Пиксели в этих матрицах имеют шестиугольную форму и расположены подобно пчелиным сотам. С однoй стороны, в этом случае увеличивается чувствительность за счeт большей площади пикселя, а c другой – при помощи специального алгоритма интерполяции мoжнo получить лучшую детализацию изображения.

В этом случае интерполяция действительно позволяет улучшить детализацию снимка, в отличие от аппаратов других производителей, где интерполируется изображение c матрицы, имеющей обычное расположение пикселей. Принципиальное отличие этих матриц состоит в том, что шаг расположения пикселей вдвое меньше, чем сами пиксели. Это позволяет увеличить детализацию изображения по вертикальным и горизонтальным линиям. В то же время у обычных матриц лучше детализация по диагонали, но нa реальных снимках диагональных линий обычно меньше, чем вертикальных или горизонтальных.

Интерполяция – алгоритм вычисления недостающих значений по соседним значениям. Если мы знаем, что в 8 утра температура нa улице была +16 градусов, а в 10 поднялась до +20, мы не сильно ошибемся, если предположим, что в 9 утра температура была около +18.

В CCD-сенсоре, свет (заряд), падающий нa пиксель сенсора, передается от микросхемы чeрeз один выходной узел, или чeрeз всeгo лишь нeскoлькo выходных узлов. Заряды преобразуются в уровень напряжения, накапливаются и рассылаются кaк аналоговый сигнал. Этот сигнал затем суммируется и преобразуется в числа аналого-цифровым преобразователем, вне сенсора (см. рис. 3).

CCD-технология была изобретена специально для использования в видеокамерах, и CCD-сенсоры используются нa протяжении 30 лет. Традиционно, у CCD-сенсоров есть ряд преимуществ перед CMOS-сенсорами, а именно лучшая светочувствительность и низкий уровень шумов. В последнее время, однако, различия едва заметны.

Недостатки CCD-сенсоров заключаются в том, что они являются аналоговыми компонентами, что требует наличия большего числа электроники «около» сенсора, они дороже в производстве и могут потреблять до 100 раз больше энергии, чем CMOS-сенсоры. Повышенное энергопотребление может тaкжe привести к повышению температуры в самой камере, что негативно сказывается не только нa качестве изображения и увеличивает стоимость конечного продукта, но и степень воздействия нa окружающую среду.

CCD-сенсоры тaкжe требуют более скоростную передачу данных, т.к. всe данные проходят чeрeз всeгo лишь чeрeз один или нeскoлькo выходных усилителей. Сравните рисунки 4 и 6, показывающие платы c CCD-сенсором и CMOS-сенсором соответственно.

На ранней стадии, обычные CMOS-чипы использовались для отображения, однако качество картинки было низким, в связи c низкой световой чувствительностью КМОП-элементов. Современные CMOS-сенсоры изготавливаются по более специализированной технологии, что привело к стремительному росту качества изображения и светочувствительности за последние годы.

CMOS-чипы обладают рядом преимуществ. В отличие от CCD-сенсоров, CMOS-сенсоры содержат в сeбe усилители и аналого-цифровые преобразователи, что значительно снижает стоимость конечного продукта, т.к. он уже содержит всe необходимые элементы для получения изображения. Каждый CMOS-пиксель содержит электронные преобразователи. По сравнению c CCD-сенсорами, CMOS-сенсоры обладают большим функционалом и более широкими возможностями интеграции. Из других преимуществ следует тaкжe отметить более быстрое считывание, меньшее потребление энергии, высокую сопротивляемость шумам и меньший размер системы.

Тем не менее, наличие электронных схем внутри чипа приводит к риску появления более структурированного шума, например полос. Калибровка CMOS-сенсоров при производстве тaкжe более сложна, по сравнению в CCD-сенсорами. К счастью, современные технологии позволяют производить самокалибрующиеся CMOS-сенсоры.

В CMOS-сенсорах существует возможность считывания изображения c отдельных пикселей, что позволяет «оконизировать» изображение, т.е. считывать показание не всeгo сенсора, а лишь его определенного участка. Таким образом, мoжнo получить большую частоту кадров c части сенсора для последующей цифровой PTZ (англ. pan/tilt/zoom, панорама/наклон/масштаб) обработки. Кроме того, это дает возможность передавать нeскoлькo видеопотоков c одного CMOS-сенсора, имитируя нeскoлькo «виртуальных камер»

HDTV и мегапиксельные камеры

Мегапиксельные сенсоры и телевиденье высoкoй четкости позволяет цифровым IP-камерам обеспечивать более высокое разрешение изображения, чем аналоговые CCTV-камеры, т.е. они дают большую возможность различить детали и идентифицировать людей и объекты – ключевой фактор в видеонаблюдении. Мегапиксельная IP-камера облaдaeт кaк минимум вдвое большей разрешающей способностью, по сравнению c аналоговой CCTV-камерой. Мегапиксельные сенсоры являются ключевым моментов в телевидении высoкoй четкости, мегапиксельных и мульти-мегапиксельных камерах. И могут быть использованы для обеспечения экстремально высoкoй детализации изображения и многопотокового видео.

Мегапиксельные CMOS-сенсоры более широко распространены и гораздо дешевле чем мегапиксельные CCD-сенсоры, несмотря нa то, что есть и довольно дорогие CMOS-сенсоры.

Сложно изготовить быстрый мегапиксельный CCD-сенсор, что конечно же является недостатком, и следовательно слoжно изготовить мульти-мегапиксельную камеру c использованием CCD-технологии.

Большинство сенсоров в мегапиксельных камерах в целом аналогичны по размеру изображения VGA-сенсорам, c разрешением 640х480 пикселей. Однако мегапиксельный сенсор содержит больше пикселей, чем VGA-сенсор, соответственно размер каждого пикселя в мегапиксельном сенсоре меньше размера пикселя в VGA-сенсоре. Следствием этого является меньшая светочувствительность каждого пикселя в мегапиксельном сенсоре.

Так или иначе, прогресс не стоит нa месте. Идет стремительное развитие мегапиксельных сенсоров, и их светочувствительность постоянно возрастает.

Основные отличия CMOS от CCD

CMOS-сенсоры содержат в сeбe усилители, А/Ц-преобразователи и часто микросхемы дл дополнительной обработки, в то время кaк в камере c CCD-сенсором большинство функций по обработке сигнала проводятся за пределами сенсора. CMOS-сенсоры потребляют меньше энергии в отличие от CCD-сенсоров, что означает, что внутри камеры может поддерживаться более низкая температура. Повышенная температура CCD-сенсоров может увеличить интерференцию. С другой стороны CMOS-сенсоры могут страдать от структурированного шума (полосы и т.д.).

CMOS-сенсоры поддерживают «оконизацию» изображения и многопотоковое видео, что невозможно в CCD-сенсорах. CCD-сенсоры обладают кaк правило одним А/Ц-преобразователем, в то время кaк в CMOS-сенсорах им облaдaeт каждый пиксель. Более быстрое считывание в CMOS-сенсорах позволяет их использовать при изготовлении мульти-мегапиксельных камер.

Современные технологические достижения стирают разницу в светочувствительности между CCD- и CMOS-сенсорами.

Заключение

CCD и CMOS-сенсоры обладают различными преимуществами и недостатками, но технологии стремительно развиваются и ситуация постоянно меняется. Вопрос о том выбрать ли камеру c CCD-сенсором или c CMOS-сенсором становится несущественным. Это выбор зависит лишь от требований, предъявляемых клиентом, к качеству изображения системы видеонаблюдения.

1. Введение в датчики изображений

Когда изображение объективом видеокамеры, свет проходит через линзы и падает на датчик изображения. Датчик изображения, или матрица, состоит из множества элементов, также называемых пикселями, которые регистрируют количество света, упавшего на них. Полученное количество света пиксели преобразуют в соответствующее количество электронов. Чем больше света упадет на пиксель, тем больше электронов он сгенерирует. Электроны преобразуются в напряжение, а затем конвертируются в числа, согласно значениям АЦП (Аналого-Цифровой Преобразователь, A/D-converter). Сигнал, составленный из таких чисел, обрабатывается электронными цепями внутри видеокамеры.

В настоящее время, существует две основные технологии, которые могут быть использованы при создании датчика изображения в камере, это CCD (Charge-Coupled Device, ПЗС — прибор с зарядовой связью) и CMOS (Complimentary Metal-Oxide Semiconductor, КМОП — комплементарный металлооксидный полупроводник). Их характеристики, достоинства и недостатки будут рассмотрены в данной статье. На рисунке ниже изображены ПЗС (наверху) и КМОП (внизу) датчики изображений.

Цветовая фильтрация . Как уже было описано выше, датчики изображений регистрируют объем света, упавшего на них, от светлого до темного, но без цветовой информации. Поскольку КМОП и ПЗС датчики изображений «не видят цвет», перед каждым из датчиков ставится фильтр, позволяющий присвоить каждому пикселю в датчике цветовой тон. Два основных метода цветовой регистрации это RGB (Red-Greed-Blue, Красный-Зеленый-Синий) и CMYG (Cyan-Magenta-Yellow-Green, Голубой-Пурпурный-Желтый-Зеленый). Красный, зеленый и синий являются основными цветами, различные комбинации которых могут составить большинство цветов, воспринимаемых глазом человека.

Фильтр Байера (или массив Байера, англ. Bayer array), состоящий из сменяющих друг друга строк красно-зеленых и сине-зеленых фильтров, является наиболее распространенным RGB-цветовым фильтром (см. Рис. 2). Фильтр Байера содержит удвоенное количество зеленых «ячеек», т.к. человеческий глаз более чувствителен к зеленому цвету, а не красному или синему. Это также означает, что, при таком соотношении цветов в фильтре, человеческий глаз увидит больше деталей, чем если бы три цвета использовались в равной пропорции в фильтре.

Другой способ фильтровать (или регистрировать) цвет — использовать дополнительные цвета — голубой, пурпурный и желтый. Фильтр из дополнительных цветов обычно комбинируется с зеленым цветовым фильтром в форме CMYG-цветового фильтра (CMYG-color array), как показано на рисунке 2 (справа). CMYG-цветовой фильтр обычно предлагает более высокий сигнал пикселя, т.к. обладает более широкой спектральной полосой пропускания. Тем не менее, сигнал должен быть преобразован в RGB для использования в итоговом изображении, а это влечем за собой дополнительную обработку, и вносит шумы. Следствием этого является снижение отношения сигнал-шум, поэтому CMYG-системы, как правило, не столь хороши при передаче цветов.

CMYG-цветовой фильтр обычно используется в датчиках изображения с чересстрочной разверткой, в то время как RGB-системы в первую очередь используются в датчиках изображения с прогрессивной разверткой.

2. CCD-технология

В CCD-сенсоре, свет (заряд), падающий на пиксель сенсора, передается от микросхемы через один выходной узел, или через всего лишь несколько выходных узлов. Заряды преобразуются в уровень напряжения, накапливаются и рассылаются как аналоговый сигнал. Этот сигнал затем суммируется и преобразуется в числа аналого-цифровым преобразователем, вне сенсора (см. рис. 3).

CCD-технология была изобретена специально для использования в видеокамерах, и CCD-сенсоры используются на протяжении 30 лет. Традиционно, у CCD-сенсоров есть ряд преимуществ перед CMOS-сенсорами, а именно лучшая светочувствительность и низкий уровень шумов. В последнее время, однако, различия едва заметны.

Недостатки CCD-сенсоров заключаются в том, что они являются аналоговыми компонентами, что требует наличия большего числа электроники «около» сенсора, они дороже в производстве и могут потреблять до 100 раз больше энергии, чем CMOS-сенсоры. Повышенное энергопотребление может также привести к повышению температуры в самой камере, что негативно сказывается не только на качестве изображения и увеличивает стоимость конечного продукта, но и степень воздействия на окружающую среду.

CCD-сенсоры также требуют более скоростную передачу данных, т.к. все данные проходят через всего лишь через один или несколько выходных усилителей. Сравните рисунки 4 и 6, показывающие платы с CCD-сенсором и CMOS-сенсором соответственно.

3. CMOS-технология

На ранней стадии, обычные CMOS-чипы использовались для отображения, однако качество картинки было низким, в связи с низкой световой чувствительностью КМОП-элементов. Современные CMOS-сенсоры изготавливаются по более специализированной технологии, что привело к стремительному росту качества изображения и светочувствительности за последние годы.

CMOS-чипы обладают рядом преимуществ. В отличие от CCD-сенсоров, CMOS-сенсоры содержат в себе усилители и аналого-цифровые преобразователи, что значительно снижает стоимость конечного продукта, т.к. он уже содержит все необходимые элементы для получения изображения. Каждый CMOS-пиксель содержит электронные преобразователи. По сравнению с CCD-сенсорами, CMOS-сенсоры обладают большим функционалом и более широкими возможностями интеграции. Из других преимуществ следует также отметить более быстрое считывание, меньшее потребление энергии, высокую сопротивляемость шумам и меньший размер системы.

Тем не менее, наличие электронных схем внутри чипа приводит к риску появления более структурированного шума, например полос. Калибровка CMOS-сенсоров при производстве также более сложна, по сравнению в CCD-сенсорами. К счастью, современные технологии позволяют производить самокалибрующиеся CMOS-сенсоры.

В CMOS-сенсорах существует возможность считывания изображения с отдельных пикселей, что позволяет «оконизировать» изображение, т.е. считывать показание не всего сенсора, а лишь его определенного участка. Таким образом, можно получить большую частоту кадров с части сенсора для последующей цифровой PTZ (англ. pan/tilt/zoom, панорама/наклон/масштаб) обработки. Кроме того, это дает возможность передавать несколько видеопотоков с одного CMOS-сенсора, имитируя несколько «виртуальных камер»

4. HDTV и мегапиксельные камеры

Мегапиксельные сенсоры и телевиденье высокой четкости позволяет цифровым IP-камерам обеспечивать более высокое разрешение изображения, чем аналоговые CCTV-камеры, т.е. они дают большую возможность различить детали и идентифицировать людей и объекты — ключевой фактор в видеонаблюдении. Мегапиксельная IP-камера обладает как минимум вдвое большей разрешающей способностью, по сравнению с аналоговой CCTV-камерой. Мегапиксельные сенсоры являются ключевым моментов в телевидении высокой четкости, мегапиксельных и мульти-мегапиксельных камерах. И могут быть использованы для обеспечения экстремально высокой детализации изображения и многопотокового видео.

Мегапиксельные CMOS-сенсоры более широко распространены и гораздо дешевле чем мегапиксельные CCD-сенсоры, несмотря на то, что есть и довольно дорогие CMOS-сенсоры.

Сложно изготовить быстрый мегапиксельный CCD-сенсор, что конечно же является недостатком, и следовательно сложно изготовить мульти-мегапиксельную камеру с использованием CCD-технологии.

Большинство сенсоров в мегапиксельных камерах в целом аналогичны по размеру изображения VGA-сенсорам, с разрешением 640х480 пикселей. Однако мегапиксельный сенсор содержит больше пикселей, чем VGA-сенсор, соответственно размер каждого пикселя в мегапиксельном сенсоре меньше размера пикселя в VGA-сенсоре. Следствием этого является меньшая светочувствительность каждого пикселя в мегапиксельном сенсоре.

Так или иначе, прогресс не стоит на месте. Идет стремительное развитие мегапиксельных сенсоров, и их светочувствительность постоянно возрастает.

5. Основные отличия

CMOS-сенсоры содержат в себе усилители, А/Ц-преобразователи и часто микросхемы дл дополнительной обработки, в то время как в камере с CCD-сенсором большинство функций по обработке сигнала проводятся за пределами сенсора. CMOS-сенсоры потребляют меньше энергии в отличие от CCD-сенсоров, что означает, что внутри камеры может поддерживаться более низкая температура. Повышенная температура CCD-сенсоров может увеличить интерференцию. С другой стороны CMOS-сенсоры могут страдать от структурированного шума (полосы и т.д.).

CMOS-сенсоры поддерживают «оконизацию» изображения и многопотоковое видео, что невозможно в CCD-сенсорах. CCD-сенсоры обладают как правило одним А/Ц-преобразователем, в то время как в CMOS-сенсорах им обладает каждый пиксель. Более быстрое считывание в CMOS-сенсорах позволяет их использовать при изготовлении мульти-мегапиксельных камер.

Современные технологические достижения стирают разницу в светочувствительности между CCD- и CMOS-сенсорами.

6. Заключение

CCD и CMOS-сенсоры обладают различными преимуществами и недостатками, но технологии стремительно развиваются и ситуация постоянно меняется. Вопрос о том выбрать ли камеру с CCD-сенсором или с CMOS-сенсором становится несущественным. Это выбор зависит лишь от требований, предъявляемых клиентом, к качеству изображения системы видеонаблюдения.

какие лучше? CCD против CMOS

Недавно в нашей статье о выборе видеокамеры для семьи мы писали о матрицах. Там мы коснулись этого вопроса легко, однако сегодня постараемся более детально описать обе технологии.

Что же такое матрица в видеокамере? Это микросхема, которая преобразовывает световой сигнал в электрический. На сегодняшний день существует 2 технологии, то есть 2 типа матриц – CCD (ПЗС) и CMOS (КМОП). Они отличаются друг от друга, каждая имеет свои плюсы и минусы. Нельзя точно сказать, какая из них лучше, а какая – хуже. Они развиваются параллельно. Вдаваться с технические детали мы не будем, т.к. они будут банально непонятны, но общими словами определим их главные плюсы и минусы.

Технология CMOS (КМОП)

CMOS-матрицы в первую очередь хвастаются низким энергопотреблением, что плюс. Видеокамера с этой технологией будет работать чуть дольше (зависит от емкости аккумулятора). Но это мелочи.

Главное отличие и достоинство – это произвольное считывание ячеек (в CCD считывание осуществляется одновременно), благодаря чему исключается размазывание картинки. Возможно, вы когда-нибудь видели «вертикальные столбы света» от точечных ярких объектов? Так вот CMOS-матрицы исключают возможность их появления. И еще камеры на их основе дешевле.

Недостатки также есть. Первый из них – небольшой размер светочувствительного элемента (в соотношении к размеру пикселя). Здесь большая часть площади пикселя занята под электронику, поэтому и площадь светочувствительного элемента уменьшена. Следовательно, чувствительность матрицы уменьшается.

Т.к. электронная обработка осуществляется на пикселе, то и количество помех на картинке возрастает. Это также является недостатком, как и низкое время сканирования. Из-за этого возникает эффект «бегущего затвора»: при движении оператора возможно искажение объекта в кадре.

Технология CCD (ПЗС)

Видеокамеры с CCD-матрицами позволяют получить высококачественное изображение. Визуально легко заметить меньшее количество шумов на видео, отснятом с помощью видеокамеры на основе CCD-матрицы по сравнению с видео, отснятым на камеру CMOS. Это самое первое и важное преимущество. И еще: эффективность CCD-матриц просто потрясающая: коэффициент заполнения приближается к 100%, соотношение зарегистрированных фотонов равен 95%. Возьмите обычный человеческий глаз – здесь соотношение равно приблизительно 1%.

ПЗС-матрица камеры

Высокая цена и большое энергопотребление – это недостатки данных матриц. Дело в том, что здесь процесс записи невероятно труден. Фиксация изображения осуществляется благодаря многим дополнительным механизмам, которых нет в CMOS-матрицах, поэтому технология CCD существенно дороже.

CCD-матрицы используются в устройствах, от которых требуется получение цветного и качественного изображения, и которыми, возможно, будут снимать динамические сцены. Это профессиональны видеокамеры в своем большинстве, хотя и бытовые тоже. Это также системы наблюдения, цифровые фотоаппараты и т.д.

CMOS-матрицам применяются там, где нет особо высоких требований к качестве картинки: датчики движения, недорогих смартфонах…Впрочем, так было ранее. Современные матрицы CMOS имеют разные модификации, что делает их весьма качественными и достойными с точки зрения составления конкуренции матрицам CCD.

Сейчас сложно судить о том, какая технология лучше, ведь обе демонстрируют прекрасные результаты. Поэтому ставить тип матрицы как единственный критерий выбора, как минимум, глупо. Важно учитывать многие характеристики.

Пожалуйста, оцените статью:

матрицы CCD и CMOS. Типы матриц фотоаппаратов

Матрица фотоаппарата выполняет функцию оцифровки параметров света на ее поверхности. На сегодняшний день рынок фототехники разделился на два лагеря: устройства, использующие матрицу CMOS и устройства, использующие матрицу CCD. Говорить о приоритете одной технологии над другой не представляется возможным, хотя доля CMOS в отчетах о продажах несколько выше, однако это объясняется объективными требованиями пользователя, а не свойствами непосредственно матриц. Зачастую в процессе выбора решающую роль играет стоимость.

Определение

Матрица CCD — микросхема, состоящая из светочувствительных фотодиодов и созданная на кремниевой основе. В основе работы лежит принцип действия прибора с зарядовой связью.

Матрица CMOS — микросхема, созданная на основе полевых транзисторов с изолированным затвором с каналами разной проводимости.

Сравнение

Ключевая разница между матрицами CMOS и CCD состоит в совершенно разных принципах работы. CCD оцифровывает полученную аналоговую картинку, CMOS — сразу каждый пиксель изображения. Чуть подробнее: электрический заряд в пикселях (светодиодах) CCD-матрицы преобразуется в электрический потенциал, усиливается в аналоговом усилителе за пределами светочувствительного сенсора и только потом оцифровывается посредством аналогово-цифрового преобразователя. Электрический заряд в пикселях CMOS-матрицы накапливается в конденсаторах, с которых снимается электрический потенциал, передается в аналоговый усилитель и оцифровывается посредством такого же преобразователя. Некоторые новые CMOS-матрицы снабжены усилителями аналогового сигнала, встроенными непосредственно в пиксель.

Еще один важный момент: количество усилителей для матриц CCD и CMOS разное. В последних усилителей больше, потому качество изображения при прохождении сигнала несколько снижается. Поэтому именно CCD применяется в создании фототехники, предназначенной для создания изображений высокой степени детализации, к примеру, в исследовательских, медицинских, промышленных целях. С CMOS мы сталкиваемся ежедневно: большинство камер в мобильной электронике выполнены на основе именно таких матриц.

Качество полученного изображения зависит еще от одного обстоятельства — плотности фотодиодов. Чем они расположены ближе, тем меньше участков матрицы, где фотоны пропадают вхолостую. CCD как раз предлагает макет без зазоров между фотодиодами, тогда как в CMOS они существуют — там расположены транзисторы.

Матрицы CCD намного дороже CMOS и энергозатратнее, поэтому установка их там, где достаточно качества изображения, приближенного к среднему, нецелесообразна. CCD-матрицы обладают высокой чувствительностью, процент заполнения пикселей у них выше и достигает практически 100%, уровень шумов демонстрируют низкий. Матрицы CMOS обеспечивают высокий уровень быстродействия, однако уступают CCD по показателям чувствительности и шума. CCD-технология, в отличие от CMOS, не позволяет выполнять серийную съемку или запись видео. Поэтому их применение в мобильной электронике, например, не оправдывается назначением самих устройств. Скажем так, CCD — матрица для профессиональной фототехники.

Выводы сайт

CCD — матрица на кремниевой основе, действующая как прибор с зарядовой связью, CMOS — матрица на основе полевых транзисторов.
Аналоговый сигнал в матрице CCD преобразуется за пределами светочувствительного сенсора, в матрице CMOS — непосредственно в пикселе.
Качество изображения, получаемого от CCD, выше, чем от CMOS.
CCD энергозатратнее.
CMOS позволяет снимать видео и делать серийные фото.
CMOS получила распространение в мобильной электронике.

Сравнение матриц в видеокамерах и фотоаппаратах (CMOS, CCD)

Что же такое матрица в видеокамере? Это микросхема, которая преобразовывает световой сигнал в электрический. На сегодняшний день существует 2 технологии, то есть2 типа матриц – CCD (ПЗС) и CMOS (КМОП) . Они отличаются друг от друга, каждая имеет свои плюсы и минусы. Нельзя точно сказать, какая из них лучше, а какая – хуже. Они развиваются параллельно. Вдаваться с технические детали мы не будем, т.к. они будут банально непонятны, но общими словами определим их главные плюсы и минусы.

Технология CMOS (КМОП)

Технология CCD (ПЗС)

ПЗС-матрица камеры

Светочувствительная матрица — это «глаз» вашей видеокамеры безопасности. Она захватывает свет, попавший в объектив видеокамеры безопасности, и преобразовывает его в электронный сигнал.

Формат, или размер, матрицы определяет охват ваших камер безопасности. Самыми популярными форматами являются следующие: 2/3″, 1/2″ и 1/3″.

Матрица с диагональю 2/3″ позволяет вести видеонаблюдение на больших расстояниях в условиях очень низкой освещенности.
Матрица с диагональю 1/2″ — в большинстве случаев, представляет собой оптимальное решение с приемлемой светочувствительностью.
Матрица с диагональю 1/3″ обеспечивает хорошую производительность при низкой освещенности и высокой частоте кадров.

Самыми популярными типами матриц по применяемой технологии являются CMOS (КМОП-матрица) и CCD (ПЗС-матрица).

1. Видеокамеры наблюдения с КМОП-матрицей: за и против

КМОП (CMOS) означает комплементарный металл-оксид-полупроводник (Complementary Metal Oxide Semiconductor). В с матрицей CMOS используется технология прогрессивного сканирования.

Преимущества и недостатки видеокамеры наблюдения с CMOS-матрицей

Преимущества видеокамеры наблюдения с CMOS-матрицей

Высокое разрешение
Отличная цветопередача
Высокая кадровая частота
Низкое энергопотребление
Экономическая эффективность

Недостатки видеокамеры наблюдения с CMOS-матрицей

Высокий уровень шума
Умеренная светочувствительность

2. Видеокамеры наблюдения с ПЗС-матрицей: за и против

Аббревиатура ПЗС (CCD) означает прибор с зарядовой связью (Charge Coupled Device). Видеокамеры наблюдения с ПЗС-матрицами имеют отличный WDR (широкий динамический диапазон), поэтому часто используются в условиях низкой освещенности. Камеры безопасности с матрицами CCD, как правило, менее подвержены влиянию вибраций по сравнению с камерами безопасности с матрицами CMOS.

Сильные и слабые стороны видеокамеры наблюдения с CCD-матрицей

Сильные стороны видеокамеры наблюдения с CCD-матрицей

Хорошая производительность в условиях низкой освещенности
Хорошая технология WDR
Меньшая восприимчивость к вибрационному эффекту
Низкий уровень шума
Высокая чувствительность
Высокое разрешение

Недостатки видеокамеры наблюдения с CCD-матрицей

Высокое энергопотребление
Низкая кадровая частота
Дороговизна

CMOS или CCD — что лучше?

Раунд 1: Кадровая частота и потребляемая мощность

Камера безопасности с CMOS-датчиком является однозначным победителем по частоте кадров. Камера безопасности с CMOS-датчиком может напрямую преобразовывать фотоэлектрический сигнал в цифровой сигнал. Частота кадров и скорость процесса преобразования сигнала CMOS-датчиком гораздо больше по сравнению с CCD-датчиком.

Аналого-цифровое преобразование происходит за пределами CCD-датчиков, поэтому формирование изображений и видео происходит дольше. Кроме того, видеокамеры безопасности с датчиками изображения CCD часто страдают от проблемы перегрева.

Камеры видеонаблюдения с CMOS-датчиками поддерживают гораздо более высокую кадровую частоту и потребляют меньше энергии, а также более экономичны по сравнению с камерами безопасности с CCD-датчиками. Обычно цена камеры видеонаблюдения с CMOS-матрицей более приятная, чем цена камеры безопасности с CCD-матрицей.

Поэтому победителем первого раунда становится видеокамера с CMOS-матрицей!

Раунд 2: Качество изображения

Как правило, камеры безопасности с CCD-матрицей создают изображения с более . Тем не менее, развитие технологий может поставить качество изображений CMOS на один уровень с CCD. Например, видеокамеры безопасности с CMOS датчиками и оптическим зумом могут создавать даже более четкие изображения, чем видеокамеры с матрицами CCD.

Итак, второй раунд — ничья!

Раунд 3: Светочувствительность и шум

Традиционно, ПЗС-датчики менее подвержены искажениям изображения и имеют более высокую светочувствительность, поэтому создают гораздо меньше шума, чем камеры безопасности с датчиками CMOS. Однако, в настоящее время, в плане чувствительности, камеры видеонаблюдения с матрицами CMOS иногда даже превосходят CCD видеокамеры.

Трудно сказать, кто станет победителем в категориях светочувствительности и шума. Однако, исходя из текущего уровня развития технологии и производительности, видеокамеры с матрицей CCD становятся победителями в третьем раунде (возможно, это временная победа).

Основываясь на приведенной выше информации и подробном сравнении двух типов датчиков, можно обнаружить, что каждый тип датчика имеет свои плюсы и минусы.

В этой битве не может быть одного победителя. Все сводится к конкретному случаю:

1. Вы можете выбрать камеры безопасности с CCD-датчиками, если их использование будет происходить в условиях низкой освещенности.

Примечание: Некоторые камеры безопасности с CMOS-матрицами также могут обеспечить отличное наблюдение в темное время суток.

2. Видеокамеры наблюдения с CMOS-датчиками могут быть более компактными, поскольку размеры самих CMOS-датчиков могут быть очень маленькими. Поэтому можете выбрать их, если не хотите привлекать внимания к своей .

3. Выбирайте видеокамеры безопасности с CMOS-матрицей, если ваше интернет-подключение недостаточно качественное. Видеокамеры наблюдения с CMOS-матрицей имеют меньше требований к ширине полосы пропускания, поэтому не будут перегружать вашу сеть.

Источник reolink.com. Перевод статьи выполнила администратор сайта Елена Пономаренко.

К преимуществам CCD матриц относятся:

1. Низкий уровень шумов.

2. Высокий коэффициент заполнения пикселов (около 100%).

4. Высокий динамический диапазон (чувствительность).

К недостаткам CCD матриц относятся:

1. Сложный принцип считывания сигнала, а следовательно и технология.

2. Высокий уровень энергопотребления (до 2-5Вт).

3. Дороже в производстве.

Преимущества CMOS матриц:

1. Высокое быстродействие(до 500 кадров/с).

2. Низкое энергопотребление(почти в 100 раз по сравнению с CCD).

3. Дешевле и проще в производстве.

К недостаткам CMOS матриц относятся

3. Невысокий динамический диапазон.

Общие сведения о камерах с матрицей SONY

DN (Day-Night) — «день-ночь» — формирование черно-белого изображения при низкой освещенности с возможностью настройки порогов и задержек перехода между черно-белым и цветным режимами
AE (Automatic Exposition) — электронный затвор позволяет поддерживать постоянную яркость изображения независимо от освещенности наблюдаемой сцены
AGC (Automatic Gain Control) — автоматическая регулировка усиление в ночном режима обеспечивает формирования светлой и распознаваемой картинки при низкой освещенности и работе ночью
BLC (Back Light Compensation) — компенсация задней засветки с возможностью настройки до 4 зон, с заданием уровня яркости в каждой из них относительно общего уровня яркости изображения (для камер с OSD), что позволяет, например, компенсировать избыточную яркость окон на общем фоне помещения настройка контраста и четкости изображения

Цветные ПЗС матрицы SONY:

Наименование изделия	Диагональный размер изображения дюйм — мм	Кол-во эффективных пикселей (Ш x В)	Чувствительность (мВ)	Корпус	Кол-во выводов	Технология изготовления
ICX419AKL	1/2″ — 8 мм	752 x 582	1300	Керамический DIP	20	—
ICX429AKL	1/2″ — 8 мм	752 x 582	1600	Керамический DIP	20	EXview
ICX419AKB	1/2″ — 8 мм	752 x 582	1300	Малый керамический цилиндр	16	—
ICX259AK	1/3″ — 6 мм	752 x 582	1100	Пластиковый DIP	16	EXview
ICX-NEW-09	1/3″ — 6 мм	752 x 582	2250	Пластиковый DIP	16	Super HAD
ICX409AK	1/3″ — 6 мм	752 x 582	950	Пластиковый DIP	16	Super HAD
ICX255AK	1/3″ — 6 мм	500 x 582	2000	Пластиковый DIP	16	EXview
ICX405AK	1/3″ — 6 мм	500 x 582	1700	Пластиковый DIP	16	Super HAD
ICX279AK	1/4″ — 4,5мм	752 x 582	800	Пластиковый DIP	14	EXview
ICX229AK	1/4″ — 4,5мм	752 x 582	440	Пластиковый DIP	14	—
ICX207AK	1/4″ — 4,5мм	500 x 582	800	Пластиковый DIP	14	Super HAD
ICX227AK	1/4″ — 4,5мм	500 x 582	880	Пластиковый DIP	14	—
ICX207AKB	1/4″ — 4,5мм	500 x 582	880	Малый керамический цилиндр	13	Super HAD
ICX239AKE	1/6″ — 3мм	752 x 582	300	Керамический SON (LCC)	12	—

что это? Отвечаем на вопрос. Типы матриц

Сегодня уже практически невозможно найти человека, который бы до сих пор пользовался ЭЛТ-монитором или старым кинескопным телевизором. Эту технику быстро и успешно вытеснили ЖК-модели, в основе которых лежат жидкие кристаллы. Но не менее важны матрицы. Что такое жидкие кристаллы и матрицы? Все это вы узнаете из нашей статьи.

Предыстория

Впервые о жидких кристаллах мир узнал в 1888 году, когда известный ботаник Фридрих Райнитцер обнаружил существование странных веществ в растениях. Его изумило, что некоторые вещества, изначально обладающие кристаллическим строением, при нагревании полностью изменяют свои свойства.

Так, при температуре в 178 градусов Цельсия вещество это сначала мутнело, а затем и вовсе превращалось в жидкость. Но открытия на этом не закончились. Выяснилось, что странная жидкость в электромагнитном отношении проявляет себя как кристалл. Именно тогда появился термин «жидкий кристалл».

Принцип работы ЖК-матриц

На этом и основана работа матрицы. Что такое матрица? Это многозначный термин. Одно из его значений — дисплей ноутбука, ЖК-монитор или экран современного телевизора. Сейчас мы узнаем, на чем основан принцип их работы.

А зиждется он на обычной поляризации света. Если вы помните школьный курс физики, то там как раз рассказывается о том, что некоторые вещества способны пропускать свет только одного спектра. Именно поэтому два поляризатора под углом 90 градусов вообще могут не пропускать свет. В случае, когда между ними расположено какое-то устройство, которое может свет поворачивать, мы получим возможность регулировать яркость свечения и прочие параметры. В общем-то, это и есть простейшая матрица.

Упрощенное устройство матриц

Обычный ЖК-дисплей всегда будет состоять из нескольких постоянных частей:

Лампы подсветки.
Отражатели, которые обеспечивают равномерность упомянутой выше подсветки.
Поляризаторы.
Подложка из стекла, на которую нанесены проводящие контакты.
Некоторое количество пресловутых жидких кристаллов.
Еще один поляризатор и подложка.

Каждый пиксель такой матрицы формируется из красной, зелёной и синей точек, комбинация которых позволяет получать любой из имеющихся цветов. Если включить все одновременно, в результате получается белый. Кстати, а что такое разрешение матрицы? Это количество пикселей на ней (1280х1024, к примеру).

Какие бывают матрицы?

Если упрощенно, то они бывают пассивные (простые) и активные. Пассивные – самые простые, в них пиксели срабатывают последовательно, от строки к строке. Соответственно, при попытках наладить производство дисплеев с большой диагональю выяснилось, что приходится несоразмерно увеличивать длину проводников. В результате не только значительно повышалась стоимость, но и увеличивалось напряжение, что приводило к резкому росту числа помех. А потому пассивные матрицы могут быть использованы только лишь при производстве недорогих мониторов с небольшой диагональю.

Активные разновидности мониторов, TFT, позволяют управлять каждым (!) из миллионов пикселей по отдельности. Дело в том, что каждым пикселем управляет отдельный транзистор. Чтобы ячейка преждевременно не теряла заряд, к ней добавляют отдельный конденсатор. Разумеется, за счет подобной схемы удалось многократно уменьшить время отклика каждого пикселя.

Математическое обоснование

В математике матрицей называется объект, записанный в виде таблицы, элементы которой находятся на пересечении ее строк и столбцов. Нужно отметить, что матрицы вообще широко используются в компьютерах. Тот же дисплей можно трактовать как матрицу. Поскольку каждый пиксель обладает определенными координатами. Таким образом, любое изображение, которое образуется на дисплее ноутбука, есть матрица, в ячейках которой содержатся цвета каждого пикселя.

Каждое значение занимает ровно 1 байт памяти. Немного? Увы, но даже в этом случае один только кадр FullHD (1920×1080) будет занимать пару Мб. А сколько места потребуется для фильма на 90 минут? Именно поэтому изображение сжимают. Огромное значение при этом имеет определитель.

Кстати, а что такое определитель матрицы? Это многочлен, комбинирующий элементы квадратной матрицы таким образом, что его значение сохраняется при транспонировании и линейных комбинациях строк или столбцов. Под матрицей в этом случае понимается математическое выражение, описывающее расположение пикселей, в котором закодированы их цвета. Квадратной она называется потому, что число строк и столбцов в ней одинаково.

Почему это так важно? Дело в том, что при кодировании используется преобразование Хаара. По сути, преобразование Хаара — это поворот точек таким образом, чтобы их можно было удобно и компактно закодировать. В результате получается ортогональная матрица, для декодирования которой как раз используется определитель.

Сейчас мы рассмотрим основные типы матрицы (что такое сама матрица, мы уже выяснили).

TN+film

Одна из наиболее дешевых и распространенных сегодня моделей дисплеев. Отличается сравнительно быстрым временем отклика, но довольно плохой цветопередачей. Проблема в том, что кристаллы в этой матрице расположены так, что углы обзора получаются незначительными. Чтобы бороться с этим явлением, была разработана специальная пленка, которая позволяет несколько расширить углы обзора.

Кристаллы в этой матрице выстроены в колонну, тем самым напоминая солдат на параде. Кристаллы скручены в спираль, благодаря чему идеально плотно цепляются друг за друга. Чтобы слои хорошо прилегали к подложкам, на поверхности последних делаются специальные выемки.

К каждому кристаллу подведен электрод, регулирующий напряжение на нем. Если напряжения нет, то кристаллы поворачиваются на 90 градусов, в результате чего свет свободно проходит через них. Получается обычный белый пиксель матрицы. Что такое красный или зеленый цвет? Как он получается?

Как только подается напряжение, спираль сжимается, причем степень сжатия напрямую зависит от силы тока. Если значение максимальное, то кристаллы вообще перестают пропускать свет, в результате чего получается черный фон. Чтобы получить серый цвет и его оттенки, положение кристаллов в спирали регулируется так, чтобы некоторое количество света они пропускали.

Кстати, по умолчанию в этих матрицах всегда активированы все цвета, в результате чего пиксель белый. Именно поэтому так легко определить сгоревший пиксель, который всегда проявляется в виде яркой точки на мониторе. Учитывая, что с цветопередачей у матриц этого типа всегда проблемы, очень сложно добиться также отображения черного цвета.

Чтобы хоть как-то исправить положение, инженеры расположили кристаллы под углом 210°, в результате чего качество цветопередачи и время отклика возросли. Но и в этом случае не обошлось без накладок: в отличие от классических TN-матриц, возникла проблема с оттенками белого, цвета получались размытыми. Так появилась технология DSTN. Суть ее в том, что дисплей делится на две половины, каждая из которых управляется по отдельности. Качество отображения резко улучшилось, но вырос вес и стоимость мониторов.

Вот что такое матрица в ноутбуке TN+film типа.

S-IPS

Компания Hitachi, как следует намучившись с недостатками предыдущей технологии, решила больше не пытаться усовершенствовать ее, а попросту изобретать что-то кардинально новое. Тем более что Гюнтер Баур в 1971 году выяснил, что кристаллы можно располагать не в виде скрученных колонн, а укладывать параллельно друг другу на стеклянную подложку. Разумеется, в этом случае туда же крепятся передающие электроды.

Если на первом поляризационном фильтре нет напряжения, свет свободно проходит через него, но задерживается на второй подложке, плоскость поляризации которой всегда расположена под углом 90 градусов по отношении к первой. За счет этого не только резко увеличивается скорость срабатывания монитора, но и черный цвет — действительно черный, а не вариация темно-серого оттенка. Кроме того, большим достоинством являются развернутые углы обзора.

Недостатки технологии

Увы, но на поворот кристаллов, которые расположены параллельно друг другу, требуется намного больше времени. А потому и время отклика на старых моделях достигало поистине циклопического значения, 35-25 мс! Порой можно было наблюдать даже шлейф от курсора, а уж про динамичные сцены в игрушках и фильмах пользователям лучше было забыть.

Так как электроды расположены на одной подложке, требуется намного больше электроэнергии для разворота кристаллов в требуемом направлении. А потому все мониторы на основе IPS-матриц редко получают звезду Energy Star за экономичность. Разумеется, для подсветки подложки также требуется применять более мощные лампы, а это никак не улучшает ситуацию с повышенным потреблением электроэнергии.

Технологичность изготовления таких матриц высока, а потому до недавнего времени они были очень и очень недешевыми. Словом, со всеми достоинствами и недостатками, такие мониторы прекрасно подходят для дизайнеров: качество цветопередачи у них превосходное, а временем отклика в некоторых случаях можно пожертвовать.

Вот что такое IPS-матрица.

MVA/PVA

Так как у обоих вышеописанных типов матриц есть недостатки, которые устранить фактически невозможно, в Fujitsu была разработана новая технология. Фактически MVA/PVA является доработанной версией IPS. Главное отличие – электроды. Они располагаются на второй подложке в виде своеобразных треугольников. Такое решение позволяет быстрее реагировать кристаллам на изменение напряжения, а цветопередача становится намного качественнее.

Фотоаппараты

А что такое матрица в фотоаппарате? В этом случае так называется кристалл проводника, который также известен под названием прибора с зарядовой связью (ПЗС). Чем в матрице фотоаппарата больше ячеек, тем она лучше. Когда затвор камеры открывается, через матрицу проходит поток электронов: чем их больше, тем возникающий ток сильнее. Соответственно, в темных частях тока не образуется. Участки матрицы, чувствительные к определенным цветам, в результате и формируют полноценное изображение.

Кстати, а что такое размер матрицы, если говорить о компьютерах или ноутбуках? Все просто – так называется диагональ экрана.

Матрицы фотоаппаратов Nikon

В приведённой ниже таблице собраны некоторые сведения о матрицах, использующихся в цифровых зеркальных фотоаппаратах Nikon.

Каждая строка таблицы соответствует определённой матрице. Для каждой матрицы указаны производитель и модель (за исключением тех случаев, когда модель неизвестна). Далее перечислены фотоаппараты Nikon, в которых данный сенсор когда-либо использовался (камеры, выпускающиеся в настоящее время, выделены жирным шрифтом). Затем указан период, на протяжении которого матрица (точнее, оснащаемые ей камеры) находилась (или находится) в производстве, тип матрицы, её формат, число мегапикселей и общий рейтинг качества изображения по данным DxOMark.

Производитель и модель матрицы	Камеры	Годы выпуска	Тип матрицы	Формат	Мп	Рейтинг DxOMark
Sony IMX309AQJ	D850	с 2017	КМОП	FX	45,4	100
Sony IMX321	D500, D7500	с 2016	КМОП	DX	20,9	84-86
Sony T4K54	D5	с 2016	КМОП	FX	20,8	88
Sony IMX193AQK	D5300, D3300, D5500, D3400, D5600	с 2013	КМОП	DX	24,2	82-86
Toshiba HEZ1 TOS-5105	D5200, D7100, D7200	2012-2017	КМОП	DX	24,2	83-87
Sony IMX128AQP	D600, D610, D750	с 2012	КМОП	FX	24,3	93-94
Nikon NC81369R	D3200	2012-2014	КМОП	DX	24,2	81
Sony IMX094AQP	D800, D810	2012-2017	КМОП	FX	36,3	95-97
Nikon NC81366W	D4, D4s, Df	с 2012	КМОП	FX	16,2	89
Sony IMX071	D7000, D5100	2010-2013	КМОП	DX	16,2	80
Nikon NC81362A	D3100	2010-2012	КМОП	DX	14,2	67
Nikon NC81361A	D3s	2009-2011	КМОП	FX	12,1	82
Sony IMX028 (?)	D3X	2008-2012	КМОП	FX	24,5	88
Sony IMX038BQL	D90, D5000, D300s	2008-2014	КМОП	DX	12,3	70-73
Sony IMX038BQL	D300	2007-2009	КМОП	DX	12,3	67
Nikon NC81338L	D3, D700	2007-2012	КМОП	FX	12,1	81
Sony ICX493AQA	D80, D40x, D60, D3000	2006-2010	ПЗС	DX	10,2	61-65
Sony ICX483AQA	D200	2005-2007	ПЗС	DX	10,2	64
Sony IMX007AQ	D2X, D2Xs	2004-2008	КМОП	DX	12,2	59
Sony ICX453AK	D70, D70s, D50, D40	2004-2009	ПЗС	DX	6,1	50-56
Nikon JFET-LBCAST	D2H, D2Нs	2003-2007	LBCAST	DX	4,1	40
Sony ICX413AQ	D100	2002-2005	ПЗС	DX	6,1	—
Sony	D1X	2001-2004	ПЗС	DX	5,3	—
Sony	D1, D1H	1999-2003	ПЗС	DX	2,7	—

Очевидно, что основным поставщиком сенсоров для фотоаппаратов Nikon является компания Sony, однако время от времени Nikon использует матрицы собственного производства. Впрочем, некоторые матрицы Nikon (NC81338L, NC81361A, NC81362A, NC81366W и NC81369R) были лишь спроектированы инженерами Nikon, а их непосредственным производством занималась компания Renesas.

В фотокамерах D5200, D7100, D7200 установлен сенсор Toshiba. В 2015 году Sony скупила заводы Toshiba, занимающиеся производством фотоматриц, и потому в качестве производителя матрицы T4K54, используемой в фотоаппарате Nikon D5, указан нынешний владелец завода, на котором она выпускается, т.е. Sony, несмотря на то, что раньше этот завод принадлежал Toshiba.

Мне неизвестны модели сенсоров, использовавшихся в первых цифровых зеркальных фотоаппаратах Nikon – D1, D1H и D1X. Кроме того, я не вполне уверен: точно ли в Nikon D3X устанавливалась та же самая матрица Sony IMX028, что и в Sony α900.

Для некоторых сенсоров общий рейтинг матрицы DxOMark указан в виде диапазона. Это связано с тем, что качество изображения зависит не только от самой матрицы, но и от сопутствующей ей электроники (АЦП, процессор и пр.), а также от алгоритмов первичного шумоподавления и оцифровки сигнала. Вследствие этого у разных фотокамер, оснащённых одним и тем же сенсором, качество изображения может незначительно различаться. Например, общий рейтинг DxOMark для Nikon D810 составляет 97 баллов, а для Sony A7R – 95 баллов, хотя матрица в обеих камерах одна и та же – Sony IMX094AQP. Иными словами, Nikon ухитряется добиваться от сенсоров Sony большей производительности, чем это получается у самой Sony.

Спасибо за внимание!

Василий А.

Post scriptum

Если статья оказалась для вас полезной и познавательной, вы можете любезно поддержать проект, внеся вклад в его развитие. Если же статья вам не понравилась, но у вас есть мысли о том, как сделать её лучше, ваша критика будет принята с не меньшей благодарностью.

Не забывайте о том, что данная статья является объектом авторского права. Перепечатка и цитирование допустимы при наличии действующей ссылки на первоисточник, причём используемый текст не должен ни коим образом искажаться или модифицироваться.

Желаю удачи!

Дата публикации: 14.01.2016
Последнее обновление: 27.09.2017

Вернуться к разделу «Фотооборудование»

Перейти к полному списку статей

Виды матриц в фотоаппаратах — Знай свой компьютер

ПЗС-матрица

Описание

Другое название – CCD. Это аналоговая микросхема, которая состоит из кремниевых диодов и применяется технология ПЗС — приборов с зарядовой связью. Данные тип создан с целью внедрения в камеры сотовых телефонов, цифровые и профессиональные фотоаппараты, медицинское оборудование и т. д.

Достоинства

К достоинствам относятся такие параметры:
· Изображения получаются менее шумными;
· Естественные неискаженные цвета;
· Простые в изготовлении;
· При длительном пользовании не нагреваются.

Недостатки

Камеры с матрицей такого типа весьма энергоёмкие. Фотоаппараты имеют большой размер, что обуславливается немалым размером самой матрицы.

КМОП-матрица

Описание

По-другому – CMOS. Чувствительная матрица, в основе которой лежит КМОП-технология. Невзирая на то, что этот вид используется несколько десятков лет, он не считается устаревшим. Они отлично справляются с видеонаблюдением. Каждый год выпускают новые модели камер, которые изготовлены по технологии CMOS.

Достоинства

· Небольшое потребление энергии.
· Сниженная стоимость, миниатюрный размер из-за отсутствия дополнительных процессорных микросхем, потому что аналоговая, цифровая и обрабатывающая схемы соединены вместе.
· Можно увеличить чувствительность матрицы с помощью различных усилителей. Баланс белого улучшается посредством регулирования усиления цветов.
· Простое и дешёвое производство.

Недостатки

· Низкое разрешение, а также высокий уровень шума из-за размера диода ячейки.
· Во время того, как аппарат считывает информацию, происходит его нагрев вследствие большого количества электронных элементов.

Live-MOS

Описание

Изготовителем и пользователем является Panasonic. В основе лежит МОП-технология, но с меньшим затрачиванием напряжения. Особенность этой разновидности – картинка в режиме «live» без перегрева и повышения уровня шумов.

Достоинства

· В статичном положении затраты электроэнергии минимальны.
· Фотоаппараты минимизированы, так как используется один и тот же способ изготовления с остальными частями камеры. Поэтому можно расположить электронику пикселей в одной части.
· Пользователю под силу настраивать усиление всех цветовых ячеек, что заметно улучшает передачу цвета.

Недостатки

· Часть чувствительного к свету компонента находится в одинаковых пропорциях с чувствительностью.
· Появление шума на изображении. Причиной этому является отдельная электрическая цепь для каждого пикселя, и у каждого пикселя отдельная зависимость между экспозицией и выходным зарядом.
· Возникает перегрев и шум из-за электрических компонентов.

Super CCD-матрица

Описание

Матрицы под названием Super CCD используются в камерах Fujifilm. В них имеются большие и маленькие зелёные пиксели. Это увеличивает фотографическую широту матрицы. Пиксели в данном варианте не прямоугольные, а восьмиугольные.

Достоинства

· Сильной стороной является тот момент, когда изображение, которое находится в объективе содержит строго горизонтальные или вертикальные линии.
· Повышенная чувствительность.
· Расширенный динамический диапазон.

Недостатки

· в отличие от классической матрицы SuperCCD пропустит диагональные линии, из которых и состоят объекты в действительности.

QuantumFilm

Описание

Матрица, основным элементом которой выступают квантовые точки. Именно из-за того, что применяется уникальная технология на квантовых точках, происходит почти 100% захват света. Это позволяет обеспечить высокую чувствительность света при низкой освещённости. Это матрица будущего.

Достоинства

· Низкая цена, поскольку соединяются две технологии: традиционная с использованием кремния и новая с квантовыми точками.
· Размер сенсора значительно меньше за счёт квантовых точек.
· Эта модель, которая очень чувствительна к свету обладает в несколько раз большим действием, а её динамический диапазон в два раза превышает диапазон обычных матриц, изготовленных по технологии КМОП или CMOS, как её ещё называют. Это преимущество возникает благодаря появлению квантового эффекта.
· Материал квантовой точки, из которого она изготовлена, одновременно является своего рода линзой и усилителем. При этом свет фокусируется на кремниевом элементе, который произведён по технологии CMOS.

ПЗС-матрица

Описание

Достоинства

Недостатки

КМОП-матрица

Описание

Достоинства

Недостатки

Live-MOS

Описание

Достоинства

Недостатки

Super CCD-матрица

Описание

Достоинства

Недостатки

QuantumFilm

Описание

Достоинства

Одним из важных факторов, который имеет значение при выборе фотоаппарата, является тип матрицы, являющейся главным структурным элементом. Она представляет собой сенсорное устройство, главная черта которого – высокая чувствительность. Благодаря устройству и работе матрицы оптический сигнал переводится в иное качество – становится цифровым изображением. Тип матрицы и ее качество определяют уровень фотоснимков.

Данный элемент конструкции фотоаппарата внешне выглядит как прямоугольная пластина, которая изготовлена из полупроводникового материала. На поверхности пластины есть огромное количество пикселей (миллионы). Каждый пиксель расположен отдельно друг от друга. Назначение их – формирование одной точки изображения. Каждая матрица имеет определенные физические размеры, чем они больше, тем качество снимка лучше, даже если пикселей расположено одинаковое количество. К физическим параметрам относятся диагональ, площадь, ширина. Измеряются они в миллиметрах. Не всегда в технических характеристиках идет речь о физических параметрах, чаще указывается только количество пикселей. Размер матрицы влияет на вес фотоаппарата, а также на то, как он улавливает цифровой шум.

Таким образом, физические размеры матрицы определяют уровень качества фотоснимков, а уже максимальная величина снимка зависит от количества пикселей. Поэтому не стоит, покупая фотоаппарат, основным параметром делать именно объем мегапикселей.

Существуют разные типы матриц в зависимости от вида светофильтра – матрица RGB (она представляет собой самый распространенный вид), RGBW (дарят прекрасные снимки даже при плохой освещенности), и с фильтрами Баера RGBE (их особенность – максимальная приближенность цветов к естественным, это достигается благодаря большому количеству зеленых пикселей).
По применяемой технологии разделяют два вида матрицы, одного из самых важных элементов фотоаппаратов и видеокамер. Первая группа – это ПЗС матрицы (CCD), вторая – КМОП матрицы (CMOS). Первая группа устанавливается именно в фотоаппаратах, а вторая характерна и для конструкций телескопов и микроскопов.

Различаются две группы по способу считывания информации из ячеек. В матрице CCD фотоаппаратов эта информация считывается последовательно, а в матрицах телескопов – отдельно из каждой ячейки. Разницу можно проследить даже на самом простом примере. При типе ПЗС нельзя делать снимки очень быстро, необходимо время для сформирования предыдущих фото. А вот особенности КМОП матрицы отлично подходят для действия автофокуса, для проведения экспонометрии, а также и для обычной фотосъемки. Матрицы типа CMOS требуют меньшего объема энергии для своей работы, да и их производство гораздо экономнее, а цена доступнее.

Существуют еще и трехслойные матрицы, обычно каждый слой – это CCD тип. Их ячейки отличаются тем, что могут воспринимать сразу три цвета. Эти три цвета образуются при попадании света на дихроидные призмы. Потом каждый пучок попадает на матрицу (каждый на отдельную). В результате яркость трех цветов (синего, красного и зеленого) определяется на фотоэлементе сразу. Трехмерные матрицы используются при производстве видеокамер высокого уровня. И аппаратура с такой матрицей имеет специальное обозначение – 3CCD.

ПЗС матрицы изготавливаются из поликремневых фотодиодов, они имеют небольшие размеры и позволяют осуществлять достаточно качественные фотосъемки в условиях с нормальным освещением. А для производства КМОП матрицы применяются комплементарные металлооксидные полупроводниковые материалы. При высоких достоинствах снимков с помощью данного элемента, отмечается и недостаток матрицы – относительно большие размеры. Если в фотооборудовании установлены именно CMOS матрицы, оно будет отличаться большим весом и размером.

Изучив особенности различных видов матрицы, можно теперь, даже не будучи сильным знатоком фототехники, понимать, почему профессиональная техника, которая обеспечивает высокий уровень съемок, имеет большие габариты и вес. И выбор фотоаппарата следует производить не по привычному критерию, то есть по количеству пикселей, а по физическим размерам матрицы. О сайте fotomtv.

Камера-обскура

— Kornia

В этом модуле у нас есть все функции и структуры данных, необходимые для описания проекции пространства 3D-сцены на плоскость 2D-изображения.

В компьютерном зрении мы можем отображать трехмерный мир и двухмерное изображение, используя проективную геометрию . В модуле реализована простейшая модель камеры Pinhole Camera , которая является самой базовой моделью для обычных проективных камер из конечной группы камер.

Модель камеры-обскуры показана на следующем рисунке:

Используя эту модель, вид сцены может быть сформирован путем проецирования трехмерных точек на плоскость изображения с использованием преобразования перспективы.

или

\ [\ begin {split} s \ begin {bmatrix} u \\ v \\ 1 \ end {bmatrix} = \ begin {bmatrix} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 и 0 и 1 \ end {bmatrix} \ begin {bmatrix} r_ {11} & r_ {12} & r_ {13} & t_1 \\ r_ {21} & r_ {22} & r_ {23} & t_2 \\ r_ {31} & r_ {32} & r_ {33} & t_3 \ end {bmatrix} \ begin {bmatrix} ИКС \\ Y \\ Z \\ 1 \ end {bmatrix} \ end {split} \]

где:

\ (M ‘\) — трехмерная точка в пространстве с координатами \ ([X, Y, Z] ^ T \), выраженными в евклидовой системе координат, известной как мировая система координат .T \) в начале координат плоскости изображения.
\ (fx, fy \) — фокусные расстояния, выраженные в пикселях.

Вращение и перемещение камеры выражаются в евклидовой системе координат, известной как мировая система координат . Эти члены обычно выражаются объединенной матрицей вращения-сдвига \ ([R | t] \), которая также известна как внешняя матрица. Он используется для описания позы камеры вокруг статической сцены и преобразования координат трехмерной точки \ ((X, Y, Z) \) из мировой системы координат в систему координат камеры .

PinholeCamera ожидает внутренних матриц и внешних матриц иметь форму (B, 4, 4) так, чтобы каждая внутренняя матрица имела следующий формат:

\ [\ begin {split} \ begin {bmatrix} f_x & 0 & u_0 & 0 \\ 0 & f_y & v_0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \ end {bmatrix} \ end {split} \]

И каждая внешняя матрица имеет следующий формат:

\ [\ begin {split} \ begin {bmatrix} r_ {11} & r_ {12} & r_ {13} & t_1 \\ r_ {21} & r_ {22} & r_ {23} & t_2 \\ r_ {31} & r_ {32} & r_ {33} & t_3 \\ 0 & 0 & 0 & 1 \ end {bmatrix} \ end {split} \]

класс корня.geometry.camera.pinhole.PinholeCamera ( intrinsics , extrinsics , height , width ) [источник]

Класс, представляющий модель камеры-обскуры.

Параметры

intrinsics ( Tensor ) — тензор с формой \ ((B, 4, 4) \) содержащая полную калибровочную матрицу камеры 4×4.
extrinsics ( Tensor ) — тензор с формой \ ((B, 4, 4) \) содержащая полную матрицу поворота-сдвига 4×4.
height ( Tensor ) — тензор с формой \ ((B) \), содержащий высоту изображения.
width ( Tensor ) — тензор с формой \ ((B) \), содержащий ширину изображения.

Примечание

Мы предполагаем, что атрибуты класса находятся в пакетной форме, чтобы принимать преимущество параллелизма PyTorch для повышения производительности вычислений.

свойство batch_size : int

Вернуть размер пакета хранилища.

Тип возврата: внутренний
Возвращает: скаляр с размером партии.

свойство camera_matrix : torch.Tensor

Вернуть матрицу камеры 3×3, содержащую внутренние компоненты.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 3, 3) \).

clone () [источник]

Вернуть полную копию текущего экземпляра объекта.

Тип возврата: Пинхол-камера

свойство cx : torch.Tensor

Возвращает координату x главной точки.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

свойство cy : torch.Tensor

Возвращает координату y главной точки.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

свойство внешнее : torch.Tensor

Полная матрица внешнего вида 4×4.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 4, 4) \).

свойство fx : torch.Tensor

Верните фокусное расстояние по оси x.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

недвижимость фу : torch.Tensor

Верните фокусное расстояние по оси y.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

свойство внутреннее : torch.Tensor

Полная внутренняя матрица 4×4.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 4, 4) \).

intrinsics_inverse () [источник]

Вернуть инверсию матрицы instrisics 4×4.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 4, 4) \).

свойство матрица вращения : torch.Tensor

Вернуть матрицу вращения 3×3 из внешних элементов.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 3, 3) \).

свойство rt_matrix : torch.Tensor

Вернуть матрицу вращения-сдвига 3×4.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 3, 4) \).

scale ( scale_factor ) [источник]

Масштабируйте модель крошечного отверстия.

Параметры: scale_factor — тензор с масштабным коэффициентом. Она имеет быть транслируемым с учениками. Ожидаемая форма \ ((B) \) или \ ((1) \).
Тип возврата: Пинхол-камера
Возвращает: модель камеры с масштабированными параметрами.

scale_ ( scale_factor ) [источник]

Масштабируйте модель точечного отверстия по месту.

Параметры: scale_factor — тензор с масштабным коэффициентом. Она имеет быть транслируемым с учениками. Ожидаемая форма \ ((B) \) или \ ((1) \).
Тип возврата: Пинхол-камера
Возвращает: модель камеры с масштабированными параметрами.

свойство translation_vector : torch.Tensor

Вернуть вектор трансляции из внешних элементов.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B, 3, 1) \).

свойство tx : torch.Tensor

Вернуть координату x вектора смещения.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

недвижимость ты : торч.Тенсор

Вернуть y-координату вектора перемещения.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

недвижимость тз : факел.Тензор

Возвращает координату z вектора перемещения.

Тип возврата: Тензор
Возвращает: тензор формы \ ((B) \).

kornia.geometry.camera.pinhole.cam2pixel ( cam_coords_src , dst_proj_src , eps = 1e-12 ) [источник]

Преобразовать координаты в кадре камеры в пиксельный кадр.

Параметры

cam_coords — координаты (x, y, z), определенные в системе координат первой камеры. Форма должна быть BxHxWx3.
dst_proj_src ( Tensor ) — матрица проекции между эталонный и не эталонный кадр камеры. Форма должна быть Bx4x4.
eps ( float , опционально ) — небольшое значение, чтобы избежать ошибки деления на ноль.По умолчанию: 1e-12

Тип возврата

Тензор

Возвращает

тензор формы BxHxWx2 с пиксельными координатами (u, v).

kornia.geometry.camera.pinhole.pixel2cam ( depth , intrinsics_inv , pixel_coords ) [источник]

Преобразование координат в пиксельном кадре в кадр камеры.

Параметры

depth ( Tensor ) — исходные карты глубины.Форма должна быть Bx1xHxW.
intrinsics_inv ( Tensor ) — инверсная внутренняя матрица камеры. Форма должна быть Bx4x4.
pixel_coords ( Tensor ) — сетка с координатами (u, v, 1) пикселей. Форма должна быть BxHxWx3.

Тип возврата

Тензор

Возвращает

тензор формы BxHxWx3 с координатами кулачка (x, y, z).

Калибровка камеры: принципы и процедуры

Использование многокамерной системы для метрологии и точных измерений требует калибровки этих камер. Математически они могут быть представлены моделью проекции в форме матрицы, позволяющей передавать положение 3D-точек в их проекцию в пространстве 2D-изображения. Процесс оценки параметров модели камеры, состоящей из набора внутренних параметров и набора внешних параметров, называется калибровкой.

Далее мы сначала представим математическую модель, описывающую камеру, затем основные семейства методов калибровки, используемые в компьютерном зрении, и, наконец, меры предосторожности, которые необходимо предпринять для ограничения ошибок, допущенных во время калибровки, и обеспечения ее успеха.

Как смоделировать фотоаппарат?

Геометрическая модель камеры, показанная на рис. 1 , основана на трех элементарных преобразованиях . Их комбинация образует так называемую модель обскуры [1].

Рисунок 1 — Проекция трехмерной точки на изображение с помощью модели камеры-обскуры (адаптировано из [2]).

Положение трехмерной точки \ (M \) сцены, определенной в мировой системе отсчета \ ({\ mathcal {R_W}} \) ее координатами \ ((X_ {W}, Y_ {W}, Z_ {W}) \), выражается в локальной системе \ ({\ mathcal {R_C}} \), прикрепленной к камере \ (C \) с локальными координатами \ ((X_ {C}, Y_ {C}, Z_ {C}) \). Это изменение кадра составляет первое преобразование и зависит только от трех поворотов и трех перемещений.\ top \) представлен матрицей \ ((4 \ times 4) \), обозначенной \ ([\ boldsymbol {T}] \). Его можно разложить на матрицу вращения \ ([\ boldsymbol {R}] \) (параметризуемую, например, тремя углами поворота) и вектор переноса \ (\ {\ boldsymbol {t} \} \) (определяемый тремя компонентами ). Таким образом имеем:

$$ \ begin {уравнение}
\ begin {Bmatrix} X_C \\ Y_C \\ Z_C \\ 1
\ end {Bmatrix}
= [\ boldsymbol {T}]
\ begin {Bmatrix} X_W \\ Y_W \ \ Z_W \\ 1
\ end {Bmatrix}
= \ begin {bmatrix}
[\ boldsymbol {R}] & \ {\ boldsymbol {t} \} \\
\ {\ boldsymbol {0_ {1 \ times 3 }} \} & 1
\ end {bmatrix}
\ begin {Bmatrix} X_W \\ Y_W \\ Z_W \\ 1
\ end {Bmatrix}
= \ begin {bmatrix}
r_ {11} & r_ {12 } & r_ {13} & t_x \\
r_ {21} & r_ {22} & r_ {23} & t_y \\
r_ {31} & r_ {32} & r_ {33} & t_z \\
0 & 0 & 0 & 1
\ end {bmatrix}
\ begin {Bmatrix} X_W \\ Y_W \\ Z_W \\ 1
\ end {Bmatrix}
\ end {уравнение} $$

Эти шесть параметров (три угла, три перемещения) называются внешними параметрами и, следовательно, определяют положение камеры в трехмерном пространстве . \ top \) проецируемой точки \ (m \) в кадре датчика \ ({\ mathcal {R_S}} \) и включает характеристики датчика:

угол перекоса между горизонтальной и вертикальной осями датчика, принимаемый равным 90 °;
положение оптического центра
физический размер пикселя в обоих направлениях.;

Комбинация двух предыдущих преобразований может быть описана через матрицу проекции \ ((3 \ times 4) \) \ ([\ boldsymbol {K}] \), которая записывается:

$$ \ begin {уравнение}
[\ boldsymbol {K}] =
\ begin {bmatrix} f_x & 0 & c_x & 0 \\
0 & f_y & c_y & 0 \\
0 & 0 & 1 & 0
\ end {bmatrix}
\ end {формула} $$

Таким образом, эта матрица проекции определяется четырьмя внутренними параметрами , относящимися к откалиброванной камере: горизонтальным (\ (f_x \)) и вертикальным (\ (f_y \)) фокусным расстоянием в пикселях и положением \ ((c_x, c_y ) \) в пикселях оптического центра изображения.

Полная матрица проекции \ ([\ boldsymbol {M}] \), описывающая камеру, таким образом, состоит из матрицы внешних параметров \ ([\ boldsymbol {T}] \) и матрицы внутренних параметров \ ([\ boldsymbol {K }] \), так что:

$$ \ begin {Equation}
s \ cdot \ {\ boldsymbol {x_s} \} = [\ boldsymbol {K}] [\ boldsymbol {T}] \ {\ boldsymbol {X_W} \} = [\ boldsymbol { M}] \ {\ boldsymbol {X_W} \}
\ end {формула} $$

Матрица проекции \ ([\ boldsymbol {M}] \), таким образом, может быть выражена « неявно » как матрица \ ((3 \ times 4) \), содержащая 12 членов \ (m_ {ij} \) или « явно “, через 10 независимых внешних и внутренних параметров, представленных ранее.Тогда в явном виде \ ([\ boldsymbol {M}] \) записывается:

$$ \ begin {уравнение}
[\ boldsymbol {M}] = \ begin {bmatrix}
r_ {11} f_x + r_ {31} c_x & r_ {12} f_x + r_ {32} c_x & r_ {13 } f_x + r_ {33} c_x & t_ {x} f_x + t_ {z} c_x \\
r_ {21} f_y + r_ {31} c_y & r_ {22} f_y + r_ {32} c_y & r_ {23 } f_y + r_ {33} c_y & t_ {y} f_y + t_ {z} c_y \\
r_ {31} & r_ {32} & r_ {33} & t_ {z}
\ end {bmatrix}
\ конец {уравнение} $$

Цель калибровки камеры — оценить ее матрицу проекции \ ([\ boldsymbol {M}] \).Когда процедура направлена на определение членов \ (m_ {ij} \), она называется неявной калибровкой , а явной калибровкой (или «сильной» калибровкой), когда она идентифицирует внешние и внутренние параметры.

В представленной ранее модели камеры искажения не учитываются. Искажения, которые возникают из-за недостатков в оптической системе , таких как дефекты формы и расположения линз камеры, будут отклонять световые лучи и, таким образом, вызывать отклонение положения проецируемой точки по сравнению с идеальной моделью [2].Затем можно дополнить модель камеры, введя три искажения, которые создают наибольшее количество эффектов, а именно радиальных , децентрализованных и призматических искажений (см. Рисунок 2 ), вызванных дефектами кривизны, параллелизмом линз и соосность оптических осей.

Рисунок 2 — (a) Идеальное изображение и эффекты (b) положительного радиального, (c) отрицательного радиального, (d) децентрализации и (e) призматических искажений [3] .

В следующем разделе будут представлены основные семейства процедур калибровки, направленных на определение параметров модели камеры.

Как провести калибровку камеры?

Целью калибровки камеры является определение параметров (явных или неявных) связанной с ней матрицы проекции. Существует несколько методов, которые можно сгруппировать в три основные категории, описанные ниже:

Калибровка с помощью мишени , классический подход к калибровке камеры;
Самокалибровка , которая использует априорное знание номинальной геометрии отображаемого объекта для определения параметров камеры;
Гибридная калибровка , которая объединяет два предыдущих подхода для раздельной идентификации внутренних и внешних параметров камеры.

Калибровка с целью основана на использовании трехмерного объекта известной геометрии (называемого калибровочной мишенью ) и его изображения, полученного камерой [1, 2]. Этот калибровочный объект имеет на своей поверхности определенные трехмерные точки с известными положениями. Они могут соответствовать пересечению вертикальных и горизонтальных линий, когда целью является сетка (или шахматная доска), или центру кругов, когда объект калибровки состоит из точек.Положение этих трехмерных точек на изображении калибровочной мишени часто определяется с помощью процедур автоматического анализа изображения [4].

Рисунок 2 — Примеры трехмерных и двумерных калибровочных мишеней с сеткой и / или точечным шаблоном [5-8].

Алгоритм, используемый в этом подходе, направлен на поиск параметров модели камеры, которые минимизируют разницу между положением трехмерных точек, проецируемых с помощью модели камеры, и реальным положением этих точек на изображении.Таким образом, алгоритм заключается в оптимизации матрицы проецирования до тех пор, пока квадратичная сумма этих ошибок перепроецирования не будет минимизирована. При таком подходе матрица проекции может быть идентифицирована явно или неявно . Характеристики искажений также можно определить для наиболее сложных моделей [9, 10]. В случае системы стереозрения (, т.е. , с 2 камерами) этот подход будет независимо определять параметры (внутренние и внешние) одной из двух камер, которая станет «ведущей камерой » [5].Внутренние параметры второй камеры, называемой «подчиненная камера », будут определены с помощью калибровочной цели, а ее внешние параметры будут определены в зависимости от положения главной камеры посредством определения матрицы линейного преобразования, позволяющей перейти от камеры 1 к камере 2. Эта матрица может быть предварительно определена поставщиком системы стереозрения для систем, в которых относительное положение камер фиксировано, или повторно идентифицирована по изображениям калибровочного объекта.Поскольку мишени, используемые для калибровки, должны занимать трехмерное пространство, они должны быть трехмерными или, если они плоские, они должны перемещаться в пространстве с использованием перемещений и вращений [1, 11]. При этом типе калибровки необходимо получить не менее 50 изображений цели [12, 13], чтобы иметь возможность откалибровать систему стереозрения и минимизировать влияние шума сбора и ошибок калибровки. Кроме того, поскольку калибровочная цель является внешней, невозможно выполнить повторную калибровку камер во время эксперимента , что может потребоваться, если камеры непреднамеренно перемещаются (перемещение штатива камеры, постепенное отвинчивание камер…).

Второй тип калибровки называется самокалибровкой [14] и используется, в частности, так называемым «глобальным» стереокорреляционным подходом [15], например, предложенным EikoTwin DIC. Он использует весь испытательный образец в качестве калибровочного объекта , и это благодаря подробному описанию объекта (, т.е. , положение каждой точки образца параметризовано и может быть определено с помощью математической модели [16]). Одно из возможных описаний — сетка конечных элементов [17, 18].Следовательно, вся сетка используется в качестве конкретных точек, чтобы минимизировать ошибки перепроецирования и идентифицировать параметры моделей камер (а не только отдельные точки калибровочной цели). Вся эта сетка будет связана со всей полнотой пятнистого тестового образца, видимым на изображениях, полученных с помощью камер, и, в более широком смысле, со всей текстурой образца (спекл-узор). Цель процедуры состоит в том, чтобы одновременно находил неявные параметры, параметризующие камеры (без иерархии между камерами), путем минимизации разницы в уровне серого между проекциями трехмерных точек через каждую из камер (используя свою модель проекции для быть оптимизированным) и эталонное изображение, общее для всех камер (построенное со всех камер).Трехмерные точки соответствуют оценочным точкам, построенным для каждого элемента сетки (равнораздельные подразделения внутри элемента), где уровни серого и градиенты будут оцениваться, чтобы минимизировать ошибки перепроецирования. Таким образом, при таком подходе можно откалибровать систему стереозрения с одной парой изображений , при этом сохраняя устойчивость к шуму благодаря множеству точек оценки, вызванных плотным описанием тестируемого объекта. Кроме того, положение камер выражается в опорном кадре образца , и можно произвольно откалибровать камеры во время теста , используя полученные изображения.

Однако, одним из ограничений этого подхода путем самокалибровки является трехмерная природа испытуемого образца , что остается условием, позволяющим избежать математических особенностей калибровки камеры [9]. В случаях, когда испытываемый объект не соответствует этим геометрическим условиям (случай плоского образца или твердого тела вращения, такого как цилиндр), рекомендуется прибегнуть к гибридной калибровке , которая также является процедурой, предложенной EikoTwin DIC.Этот подход сочетает в себе использование калибровочного объекта ChAruCo (известной геометрии) и подхода глобальной стереокорреляции (путем самокалибровки). Использование цели ChAruCo позволяет явно установить некоторые параметры проекции на фиксированные значения, а именно внутренних параметров камеры (матрица \ ([\ boldsymbol {K}] \)), а для сделать идентификация внешней матрицы \ ([\ boldsymbol {T}] \) (в неявной форме ) более надежная путем самокалибровки.Более подробная информация, описание этого подхода, его преимущества и условия применения представлены в нашем блоге «Гибридная калибровка: надежная альтернатива самокалибровке».

Как избежать ошибок калибровки камеры?

Плохая калибровка камеры очень часто приводит к ошибкам при измерении перемещений и, как следствие, деформаций . Для обеспечения надлежащей калибровки может оказаться целесообразным получить изображения движений (трансляции) твердого тела с известной амплитудой и убедиться, что измерение смещения согласовано.

Кроме того, можно предпринять несколько мер предосторожности , чтобы убедиться, что этап калибровки прошел успешно :

Воспользуйтесь « Virtual Testing », предварительно подготовив тест виртуально. EikoTwin Virtual использует инструмент визуализации Blender для предварительного определения положения камеры и его оптимизации, чтобы иметь хорошую калибровку для измерения ожидаемых смещений (из моделирования методом конечных элементов). Более подробную информацию об этих аспектах можно найти в нашей статье «Подготовка теста на корреляцию цифровых изображений с помощью Blender», доступной в нашем блоге.
Если этот этап виртуализации не может быть проведен, рекомендуется предвидеть возможные проблемы , адаптируя положение камер в день эксперимента, выделяя дополнительные 3D-точки в поле зрения или используя гибридную калибровку. чтобы сделать калибровку камер более надежной. Было определено несколько критериев для оценки надежности калибровки заранее, см. Нашу статью «Освоение самокалибровки с помощью Eikotwin DIC».

Выводы

Калибровка камер — это первый шаг любого анализа путем корреляции цифровых изображений и остается этапом, который необходимо выполнять тщательно , особенно когда требуются точные измерения (формы, смещений или деформаций). Все существующие подходы нацелены на минимизацию ошибок перепроецирования между характеристикой, связанной с проекцией конкретных трехмерных точек (положение, значение уровня серого), и их реальной характеристикой на изображении.Затем эти точки могут быть заметными точками на цели калибровки или оценочными точками, связанными с поверхностной сеткой в случае глобальных подходов. EikoTwin DIC предлагает процедур калибровки с помощью самокалибровки и с помощью гибридной калибровки , чтобы идентифицировать надежным и одновременным способом проекционных матриц камер с помощью одной пары изображений (и около двадцати целевых изображений если выбрана гибридная калибровка). Эти процедуры обладают многими преимуществами (простота, калибровка в системе отсчета тестируемого образца, устойчивость к шумам, возможность одновременной калибровки системы с несколькими экранами…) и могут быть адаптированы к любому типу эксперимента .Предварительно подготовив тест с помощью виртуализации или проверив соответствие некоторым критериям, можно убедиться, что камеры правильно откалиброваны , что является предпосылкой для надежного измерения перемещений и уменьшения ошибок для кинематики измерения.

Список литературы

[1] О. Фогерас, Трехмерное компьютерное зрение: геометрическая точка зрения . Кембридж, Массачусетс (США): MIT Press, 1993.

[2] М. Саттон, Дж. Ортеу и Х. Шрайер, Корреляция изображений для измерений формы, движения и деформации: основные концепции, теория и приложения . Нью-Йорк, Нью-Йорк (США): Springer, 2009.

[3] G. Besnard, Карактеризация и количественное определение поверхностей как стереокорреляция для механических исследований квазистатического сверхбыстрого динамического . Кандидатская диссертация (на французском языке), ENS de Cachan, 2010.

[4] П. Бранд, Трехмерная реконструкция сцены с партией камеры в движении: влияние на точность .Кандидатская диссертация (на французском языке), Университет Клода Бернара (Лион I), 1995 г.

[5] Д. Гарсия, Mesure de formes et de champs deplacements tridimensionnels par stéréocorrélation d’images . Кандидатская диссертация (на французском языке), Национальный политехнический институт Тулузы (INPT), 2001.

[6] Дж. Хейккиля, «Геометрическая калибровка камеры с использованием круговых контрольных точек», IEEE Transactions on Pattern Analysis and Machine Intelligence , vol. 22. С. 1066 — 1077, 2000.

[7] Исходное изображение с: https: // dantecdynamics.ru / wp-content / uploads / 2019/11 / 2.-Calibration-target.png

[8] Исходное изображение с сайта: https://correlatedsolutions.com/wp-content/uploads/2016/09/3D-Calibration.jpg

[9] Р. Цай, «Универсальный метод калибровки камеры для высокоточной метрологии трехмерного машинного зрения с использованием стандартных телекамер и объективов», IEEE J. Robotics Autom. , т. РА-3, вып. 4. С. 323–343, 1987.

[10] Дж. Хейккиля и О. Сильвен, «Четырехэтапная процедура калибровки камеры с неявной коррекцией изображения», Международная конференция IEEE по компьютерному зрению и распознаванию образов , стр.1106–1111, 1997.

[11] З. Чжан, «Новый гибкий метод калибровки камеры», IEEE Trans. Pattern Anal. Machine Intell. , т. 22, нет. 11. С. 1330–1334, 2000.

[12] М. Саттон, «Бесконтактные измерения деформации на основе компьютерного зрения в механике: трансформация поколений», Appl. Мех. Ред. , т. 65, нет. АМР-13-1009, стр. 050802, 2013.

[13] Международное общество корреляции цифровых изображений, Руководство по передовой практике корреляции цифровых изображений , Jones, E.M.C. et Iadicola, M.A. (Eds.), 2018.

[14] O. Faugeras, Q. Luong, et S. Maybank, «Самокалибровка камеры: теория и эксперименты», dans Proc. 2nd ECCV , стр. 321–334, Springer-Verlag, 1992.

[15] Ж.-Э. Дюфур, Ф. Хильд и С. Ру, «Форма, смещение и механические свойства на основе изогеометрической многовидовой стереокорреляции», J. Анализ деформации , том. 50, нет. 7. С. 470–487, 2015.

[16] Ф. Хильд и С. Ру, «Procédé de mesures tridimensionnelles par stéréo-corrélation utilisant une représentation paramétrique de l’objet mesuré», декабрь.6 2013. Патент № FR29

[17] Ж.-Э. Дюфур, Б. Бобье, С. Ру и Ф. Хильд, «Измерение смещения с использованием стереокорреляции на основе САПР с сетками», на конференции ICEM , 2014 г.

[18] Л. Дюбрей, Ж.-Э. Дюфур, Ю. Куинсат и Ф. Хильд, «Измерения формы на основе сетки со стереокорреляцией: принцип и первые результаты», Exp. Мех. , нет. 56, стр. 1231–1242, 2016.

камер · PyTorch4D

Системы координат камеры

При работе с 3D-данными пользователям необходимо знать 4 системы координат.

Мировая система координат Это система, в которой живет объект / сцена — мир.
Система координат обзора камеры Это система, которая берет свое начало в плоскости изображения, а ось Z перпендикулярна плоскости изображения. В PyTorch4D мы предполагаем, что + X указывает влево, + Y указывает вверх и + Z указывает из плоскости изображения. Преобразование из мира в вид происходит после применения вращения ( R ) и перевода ( T ).
Система координат НДЦ Это нормализованная система координат, которая ограничивает в объеме визуализированную часть объекта / сцены.Также известен как объем просмотра. Согласно соглашению PyTorch4D, (+1, +1, znear) — это верхний левый ближний угол, а (-1, -1, zfar) — нижний правый дальний угол тома. Для неквадратных объемов сторона объема в XY с наименьшей длиной находится в диапазоне [-1, 1] , а большая сторона — от [-s, s] , где s — это аспект отношение и s> 1 (большее деление на меньшую сторону). Преобразование из вида в NDC происходит после применения матрицы проекции камеры ( P ).
Система координат экрана Это еще одно представление объема просмотра с координатами XY , определенными в пиксельном пространстве вместо нормализованного пространства.

Изображение четырех систем координат показано ниже.

Определение камер в PyTorch4D

Камеры

в PyTorch4D преобразуют объект / сцену из мира в вид, сначала преобразуя объект / сцену для просмотра (с помощью преобразований R и T ), а затем проецируя трехмерный объект / сцену в нормализованное пространство через матрицу проекции P = K [R | T] , где K — собственная матрица.Параметры камеры в K определяют нормализованное пространство. Если пользователи определяют параметры камеры в пространстве NDC, то проекты преобразования указывают на NDC. Если параметры камеры определены в пространстве экрана, преобразованные точки находятся в пространстве экрана.

Обратите внимание, что базовый класс CamerasBase не делает никаких предположений о системах координат. Все вышеупомянутые преобразования являются геометрическими преобразованиями, определяемыми исключительно R , T и K .Это означает, что пользователи могут определять камеры в любой системе координат и для любых преобразований. Метод transform_points применит K , R и T к входным точкам как простое матричное преобразование. Однако, если пользователи хотят использовать камеры с рендерером PyTorch4D, им необходимо соблюдать допущения системы координат PyTorch4D (см. Ниже).

Мы предоставляем экземпляры общих типов камер в PyTorch4D и то, как пользователи могут гибко определять пространство проекции ниже.

Взаимодействие с модулем визуализации PyTorch4D

Средство визуализации PyTorch4D как для сеток, так и для облаков точек предполагает, что преобразованные камерой точки, то есть точки, переданные в качестве входных данных в растеризатор, находятся в пространстве NDC PyTorch4D. Таким образом, чтобы получить ожидаемый результат рендеринга, пользователи должны убедиться, что их входные 3D-данные и камеры соответствуют этим предположениям системы координат PyTorch4D. Система координат PyTorch4D предполагает + X: слева , + Y: вверх и + Z: от нас до сцены (справа).Путаница в отношении систем координат является обычным явлением, поэтому мы советуем вам потратить некоторое время на понимание ваших данных и системы координат, в которой они находятся, и преобразовать их соответствующим образом, прежде чем использовать средство визуализации PyTorch4D.

Примеры камер и их взаимодействия с модулем визуализации PyTorch4D можно найти в наших руководствах.

Типы камер

Все камеры наследуются от CamerasBase , который является базовым классом для всех камер. PyTorch4D предоставляет четыре различных типа камер. CamerasBase определяет методы, общие для всех моделей камер:

get_camera_center , который возвращает оптический центр камеры в мировых координатах
get_world_to_view_transform , который возвращает трехмерное преобразование из мировых координат в координаты обзора камеры (R, T)
get_full_projection_transform , который составляет преобразование проекции ( K ) с преобразованием мира в изображение (R, T)
transform_points , который принимает набор входных точек в мировых координатах и проецирует их в координаты NDC в диапазоне от [-1, -1, znear] до [+1, +1, zfar].
get_ndc_camera_transform , который определяет преобразование в пространство NDC PyTorch4D и вызывается при взаимодействии с модулем визуализации PyTorch4D. Если камера определена в пространстве NDC, возвращается преобразование идентичности. Если камеры определены в пространстве экрана, возвращается преобразование из экрана в NDC. Если пользователи определяют свою собственную камеру в пространстве экрана, им нужно подумать о преобразовании экрана в NDC. Мы предоставляем примеры для камер PerspectiveCameras и OrthographicCameras .
transform_points_ndc , который берет набор точек в мировых координатах и проецирует их в пространство NDC PyTorch4D
transform_points_screen , который принимает набор входных точек в мировых координатах и проецирует их на экранные координаты в диапазоне от [0, 0, znear] до [W-1, H-1, zfar]

Пользователи могут легко настраивать свои собственные камеры. Для каждой новой камеры пользователи должны реализовать процедуру get_projection_transform , которая возвращает отображение P из координат обзора камеры в координаты NDC.

FoVПерспективаКамеры, FoVОртографические камеры

Эти две камеры соответствуют соглашению OpenGL для перспективных и ортогональных камер соответственно. Пользователь предоставляет поле ближнего znear и дальнего zfar , которое ограничивает объем обзора по оси Z . Объем обзора в плоскости XY определяется углом поля зрения ( fov ) в случае FoVPerspectiveCameras и min_x, min_y, max_x, max_y в случае FoVOrthographicCameras .Эти камеры по умолчанию находятся в пространстве NDC.

Перспективные камеры, Ортографические камеры

Эти две камеры следуют соглашению о многооконной геометрии для камер. Пользователь предоставляет фокусное расстояние ( fx , fy ) и главную точку ( px , py ). Например, камера = PerspectiveCameras (focal_length = ((fx, fy),), Principal_point = ((px, py),))

Проекция камерой трехмерной точки (X, Y, Z) в координатах обзора на точку (x, y, z) в пространстве проекции (NDC или экран) составляет

 
х = fx * X / Z + px
y = fy * Y / Z + py
г = 1 / Z


х = fx * X + px
y = fy * Y + py
г = Z

Пользователь может определять параметры камеры в NDC или в экранном пространстве.Параметры камеры экранного пространства являются общими, и в этом случае пользователю необходимо установить in_ndc на False , а также предоставить image_size = (высота, ширина) экрана, также известного как изображение.

get_ndc_camera_transform обеспечивает преобразование экрана в пространство NDC в PyTorch4D. Обратите внимание, что пространство экрана предполагает, что основная точка находится в пространстве с + X слева , + Y вниз и исходной точкой в верхнем левом углу изображения.Для преобразования в NDC нам необходимо учесть масштабирование нормализованного пространства, а также изменение направления XY и .

Ниже приведены примеры эквивалентных экземпляров PerspectiveCameras в NDC и пространстве экрана соответственно.

 
fcl_ndc = (1,2,)
prp_ndc = ((0,2, 0,5),)
camera_ndc = PerspectiveCameras (focal_length = fcl_ndc, Principal_point = prp_ndc)


image_size = ((128, 256),)
fcl_screen = (76,2,)
prp_screen = ((114,8, 31,75),)
camera_screen = PerspectiveCameras (focal_length = fcl_screen, Principal_point = prp_screen, in_ndc = False, image_size = image_size)

Взаимосвязь между экраном и спецификациями NDC камеры focal_length и main_point задается следующими уравнениями, где s = min (image_width, image_height) .Преобразование координат x и y между экраном и NDC точно такое же, как для px и py.

  fx_ndc = fx_screen * 2.0 / (с - 1)
fy_ndc = fy_screen * 2.0 / (с - 1)

px_ndc = - (px_screen - (image_width - 1) / 2.0) * 2.0 / (s - 1)
py_ndc = - (py_screen - (image_height - 1) / 2.0) * 2.0 / (s - 1)

Типы матриц фотоаппаратов. Матрицы цифровых фотоаппаратов: матрицы ПЗС и КМОП

Датчик изображения — важный элемент любой видеокамеры.Сегодня почти все камеры используют датчики изображения CCD или CMOS. Оба типа датчиков выполняют задачу преобразования изображения, созданного объективом на датчике, в электрический сигнал. Однако вопрос о том, какой датчик лучше, остается открытым.

Н.И. Чура
Технический консультант
ООО «Микровидео Групп»

ПЗС-матрица является аналоговым сенсором, несмотря на дискретность светочувствительной структуры. Когда свет попадает на матрицу, в каждом пикселе накапливается заряд или пакет электронов, который при считывании на нагрузке преобразуется в напряжение видеосигнала, пропорциональное освещенности пикселей.Минимальное количество промежуточных переходов этого заряда и отсутствие активных устройств обеспечивают высокую идентичность чувствительных элементов ПЗС-матрицы.

CMOS-матрица — цифровое устройство с активными чувствительными элементами (Active Pixel Sensor). У каждого пикселя есть свой усилитель, который преобразует заряд чувствительного элемента в напряжение. Это позволяет практически индивидуально управлять каждым пикселем.

Эволюция CCD

С момента изобретения ПЗС-матрицы Bell Laboratories (или Bell Labs) в 1969 году размер датчика изображения постоянно уменьшался.При этом увеличилось количество чувствительных элементов. Это, естественно, привело к уменьшению размеров отдельного чувствительного элемента (пикселя) и, соответственно, его чувствительности. Например, с 1987 года эти размеры уменьшились в 100 раз. Но благодаря новым технологиям чувствительность одного элемента (а, следовательно, и всей матрицы) даже увеличилась.

Что позволило доминировать
С самого начала ПЗС стали доминирующими датчиками, поскольку они обеспечивают лучшее качество изображения, меньше шума, более высокую чувствительность и большую однородность пикселей.Основные усилия по совершенствованию технологии были сосредоточены на улучшении характеристик ПЗС-матрицы.

Как растет чувствительность
По сравнению с популярным сенсором Sony HAD стандартного разрешения (500×582) конца 1990-х годов. (ICX055) Чувствительность более совершенной технологии Super HAD увеличилась почти в 3 раза (ICX405), а Ex-view HAD — в 4 раза (ICX255). Причем для черно-белого и цветного вариантов.

Для матриц высокого разрешения (752×582) успех несколько менее впечатляющий, но если сравнить модели цветного изображения Super HAD с самыми современными технологиями Ex-view HAD II и Super HAD II, то прирост чувствительности составит 2.В 5 и 2,4 раза соответственно. И это несмотря на уменьшение размера пикселей почти на 30%, поскольку речь идет о матрицах самого современного формата 960H с увеличенным количеством пикселей до 976×582 для стандарта PAL. Для обработки этого сигнала Sony предлагает ряд сигнальных процессоров Effio.

Добавлен ИК-компонент
Одним из эффективных методов увеличения интегральной чувствительности является расширение спектральных характеристик чувствительности до инфракрасного диапазона.Это особенно актуально для матрицы Ex-view. Добавление ИК-компоненты несколько искажает передачу относительной яркости цветов, но для черно-белой версии это не критично. Единственная проблема возникает с цветопередачей в камерах день / ночь с постоянной ИК-чувствительностью, то есть без механического ИК-фильтра.

Развитие этой технологии в моделях Ex-view HAD II (ICX658AKA) по сравнению с предыдущей версией (ICX258AK) обеспечивает увеличение интегральной чувствительности всего на 0.8 дБ (от 1100 до 1200 мВ) с одновременным увеличением чувствительности на длине волны 950 нм на 4, 5 дБ. На рис. 1 показаны характеристики спектральной чувствительности этих матриц, а на рис. 2 — отношение их интегральной чувствительности.

Оптические инновации
Другой метод увеличения чувствительности ПЗС — повышение эффективности пиксельных микролинз, светочувствительной области и оптимизация цветовых фильтров. На рис. 3 показана матрица Super HAD и Super HAD II, показывающая увеличение площади линзы и светочувствительной области последней модификации.

Кроме того, матрицы Super HAD II значительно увеличивают пропускание светофильтров и их устойчивость к выцветанию. Кроме того, было расширено пропускание в коротковолновой области спектра (голубой), что улучшает цветопередачу и баланс белого.

На рис. 4 показаны спектральные характеристики чувствительности матриц Sony 1/3 «Super HAD (ICX229AK) и Super HAD II (ICX649AKA).

CCD: уникальная чувствительность

В совокупности вышеуказанные меры позволили добиться значительных результатов в улучшении характеристик ПЗС-матриц.

Невозможно сравнить характеристики современных моделей с более ранними версиями, так как тогда не выпускались цветные матрицы широкого применения, даже типичного высокого разрешения. В свою очередь, сейчас черно-белые матрицы стандартной четкости не производятся с использованием новейших технологий Ex-view HAD II и Super HAD II.

В любом случае, с точки зрения чувствительности, ПЗС-матрицы по-прежнему являются недостижимым эталоном для КМОП, поэтому они по-прежнему широко используются, за исключением мегапиксельных версий, которые очень дороги и используются в основном для специальных задач.

CMOS: плюсы и минусы

КМОП-сенсоры

были изобретены в конце 1970-х годов, но их производство началось только в 1990-х годах из-за технологических проблем. И сразу обозначились их основные достоинства и недостатки, которые актуальны и сейчас.

Преимущества включают большую интеграцию и эффективность сенсора, более широкий динамический диапазон, простоту изготовления и более низкую стоимость, особенно для мегапиксельных опций.

С другой стороны, КМОП-сенсоры имеют меньшую чувствительность из-за, при прочих равных, больших потерь в фильтрах структуры RGB, меньшей полезной площади светочувствительного элемента.В результате наличия множества переходных элементов, включая усилители на пути каждого пикселя, гораздо сложнее обеспечить единообразие параметров всех чувствительных элементов по сравнению с ПЗС-матрицей. Но достижения в области технологий приблизили чувствительность CMOS к лучшим образцам CCD, особенно в мегапиксельных версиях.

Ранние сторонники CMOS утверждали, что эти структуры будут намного дешевле, потому что они могут быть изготовлены с использованием того же оборудования и технологий, что и память и логические микросхемы.Во многом это предположение подтвердилось, но не полностью, поскольку совершенствование технологии привело к практически идентичному производственному процессу с точки зрения сложности, что и для ПЗС-матриц.

С расширением круга потребителей за пределы стандартного телевидения разрешение матриц стало непрерывно расти. Это бытовые видеокамеры, электронные камеры и камеры, встроенные в средства связи. Кстати, для мобильных устройств очень важен вопрос эффективности, и здесь у CMOS сенсора нет конкурентов.Например, с середины 1990-х гг. разрешение матриц ежегодно росло на 1–2 млн элементов и теперь достигает 10–12 Mpx. Более того, спрос на КМОП-сенсоры стал доминирующим и сегодня превышает 100 миллионов единиц.

CMOS: улучшенная чувствительность

Первые образцы камер видеонаблюдения в конце 1990-х — начале 2000-х годов с CMOS-матрицами имели разрешение 352×288 пикселей и чувствительность около 1 люкс даже для черно-белого варианта. Цветные варианты стандартного разрешения уже имели чувствительность порядка 7-10 люкс.

Что предлагают поставщики
В настоящее время чувствительность CMOS-матриц, безусловно, увеличилась, но для типичных вариантов цветного изображения она не превышает значений порядка нескольких люкс при разумных значениях F объектива. число (1,2–1,4). Это подтверждают данные технических характеристик брендов IP-видеонаблюдения, в которых используются КМОП-сенсоры с прогрессивной разверткой. Производители, заявляющие о чувствительности около десятых долей люкса, обычно указывают, что это данные для более низкой частоты кадров, режима накопления или, по крайней мере, включенной и достаточно глубокой АРУ (AGC).Более того, для некоторых производителей IP-камер максимальная АРУ достигает ошеломляющего значения –120 дБ (1 миллион раз). Есть надежда, что чувствительность для этого случая, по мнению производителей, предполагает приличное соотношение сигнал / шум, позволяющее видеть на экране больше, чем просто «снег».

Инновации улучшают качество видео
Стремясь улучшить характеристики КМОП-сенсоров, Sony предложила ряд новых технологий, которые обеспечивают практическое сравнение КМОП-сенсоров с ПЗС-матрицами по чувствительности, соотношению сигнал / шум в мегапиксельных версиях.

Новая технология производства матриц Exmor основана на изменении направления падения светового потока на матрицу. В типичной архитектуре свет падает на переднюю поверхность кремниевой пластины через проводники схемы матрицы. Эти элементы рассеивают и блокируют свет. В новой модификации свет попадает на тыльную сторону кремниевой пластины. Это привело к значительному увеличению чувствительности и уменьшению шума КМОП-матрицы.На рис. 5 объясняет разницу между структурами типичной матрицы и матрицы Exmor, показанной в поперечном сечении.

На фото 1 показаны изображения тестового объекта, полученные при освещении 100 люкс (F4.0 и 1/30 с) с помощью ПЗС-матрицы (фронтальная подсветка) и CMOS-камеры Exmor того же формата и разрешения 10 Mpx. Очевидно, что изображение камеры CMOS не хуже, чем изображение CCD.

Еще один способ повысить чувствительность КМОП-сенсоров — отказаться от прямоугольного расположения пикселей с построчным сдвигом красных и синих элементов.В этом случае при построении одного элемента разрешения используются два зеленых пикселя — синий и красный из разных линий. Вместо этого предлагается диагональное расположение элементов с использованием шести смежных зеленых элементов для построения одного элемента разрешения. Эта технология называется ClearVid CMOS. Для обработки предполагается более мощный процессор сигналов изображения. Различие в структуре расположения цветных элементов показано на рис. 6.

Информация считывается высокоскоростным параллельным аналого-цифровым преобразователем.В этом случае частота кадров прогрессивной развертки может достигать 180 и даже 240 кадров в секунду. Параллельный сбор информации исключает диагональный сдвиг кадра, свойственный CMOS-камерам с последовательной экспозицией и считыванием сигнала, так называемый эффект Rolling Shutter — когда характерное размытие быстро движущихся объектов полностью отсутствует.

На фото 2 показаны изображения вращающегося вентилятора, сделанные CMOS-камерой со скоростью 45 и 180 кадров в секунду.

Полная конкуренция

В качестве примера мы привели технологии Sony.Естественно, что КМОП-матрицы, как и ПЗС-матрицы, производятся другими компаниями, хотя и не в таком масштабе и не так широко известны. В любом случае все так или иначе идут примерно одинаково и используют схожие технические решения.

В частности, известная технология матриц Panasonic Live-MOS также существенно улучшает характеристики CMOS-матриц, и, естественно, аналогичными методами. В матрицах Panasonic расстояние от фотодиода до микролинзы уменьшено. Упрощенная передача сигнала с поверхности фотодиода.Количество управляющих сигналов было уменьшено с 3 (стандартная CMOS) до 2 (как в CCD), что увеличило светочувствительную область пикселя. Используется малошумящий фотодиодный усилитель. Используется более тонкая структура сенсорного слоя. Пониженное напряжение питания снижает шум и нагрев матрицы.

Можно констатировать, что мегапиксельные CMOS-сенсоры уже могут успешно конкурировать с CCD не только по цене, но и по таким проблемным для этой технологии характеристикам, как чувствительность и уровень шума.Однако в традиционных телевизионных форматах CCTV матрицы CCD остаются непревзойденными.

К этому времени стало очевидно, что CCD обеспечивает лучшую производительность при съемке динамических и небольших объектов, поэтому было предложено использовать ее для создания систем, требующих высокого качества изображения: цифровых фото- и видеокамер, медицинского оборудования и т. Д. ниша устройств, для которых критична конечная стоимость — недорогие фотоаппараты, бытовая и оргтехника, игрушки.

Производственный опыт, накопленный за годы разработки КМОП, позволил в каждом новом поколении этих датчиков значительно снизить фиксированный и случайный шум, влияющий на качество изображения.Еще одним слабым местом CMOS является искажение, которое появляется при захвате динамического изображения из-за плохой чувствительности сенсора. В современных устройствах их можно избежать, а захват изображения без особых артефактов возможен на скорости 15-30 кадров / с, а уже 0,3-мегапиксельные CMOS-сенсоры практически избавлены от этой проблемы.

Однако победа в соревновании технологий, скорее всего, заключается в плоскости уменьшения площади пикселя. Чтобы добиться успеха на рынке с разрешением 1 мегапиксель 1/4 дюйма, площадь пикселя не должна превышать 3 мкм2.При всех стараниях производителей КМОП они пока не могут удовлетворить такие требования, поэтому, по мнению экспертов, по крайней мере, в ближайшем будущем ПЗС будут доминировать в этой нише.

Многие крупные производители компонентов производят как КМОП-сенсоры, так и ПЗС-матрицы. Например, Sharp, крупнейший в мире поставщик модулей захвата изображений (как CCD, так и CMOS), считает 2003 год периодом расцвета технологии CCD.

К преимуществам ПЗС-матриц можно отнести:

1. Низкий уровень шума.

2.Высокий коэффициент заполнения пикселей (около 100%).

3. Высокая эффективность (отношение количества зарегистрированных фотонов к их общему количеству, попавшему в светочувствительную область матрицы, для ПЗС — 95%).

4. Высокий динамический диапазон (чувствительность).

К недостаткам ПЗС-матриц можно отнести:

1. Сложный принцип считывания сигнала, а значит и технология.

2. Высокое энергопотребление (до 2-5Вт).

3. Дороже в производстве.

Преимущества матриц CMOS:

1. Высокая производительность (до 500 кадров / с).

2. Низкое энергопотребление (почти в 100 раз по сравнению с ПЗС).

3. Дешевле и проще в производстве.

4. Перспективность технологии (на одном кристалле в принципе ничего не стоит реализовать все необходимые дополнительные схемы: аналого-цифровые преобразователи, процессор, память, получая, таким образом, полноценную цифровую камеру на одном кристалле. Кстати, такое устройство создается с 2002 года, совместно ими занимаются Samsung Electronics и Mitsubishi Electric).

К недостаткам CMOS-матриц можно отнести

1. Низкий коэффициент заполнения пикселей, снижающий чувствительность (эффективная поверхность пикселей ~ 75%, остальное занято транзисторами).

2. Высокий уровень шума (вызывается так называемыми темповыми токами — даже при отсутствии освещения через фотодиод протекает довольно значительный ток), борьба с которым усложняет и удорожает технологию.

3. Низкий динамический диапазон.

Общие сведения о камерах с сенсором SONY

Корпорация Sony первой применила принцип оцифровки сигнала ПЗС матрицы с последующей его цифровой обработкой с использованием процессора в камере видеонаблюдения (видеокамеры) — DSP (Digital Signal Processor — Digital Signal Processor).Произошло это в 1997 году с выпуском первого DSP серии SS. Благодаря высокому качеству и надежности камеры на его основе завоевали популярность во всем мире, а новый принцип обработки цветного изображения с годами стал стандартом для создания камер видеонаблюдения. Сердцем таких камер видеонаблюдения является матрица CCD (CCD) формата 760H с количеством эффективных пикселей 752×582 по горизонтали и вертикали соответственно. Этот формат матрицы давно используется в камерах высокой четкости, включая камеры 480 ТВЛ, 500 ТВЛ, 520 ТВЛ и 540 ТВЛ.Как получить на классической матрице более высокое горизонтальное разрешение 600 ТВЛ? Ответ прост — как и все предыдущие увеличения разрешения, начиная с 480 ТВЛ и заканчивая 540 ТВЛ, производились за счет использования более производительного процессора сигналов видеоизображения — ISP (Image Signal Processor). В камерах с разрешением 600 ТВЛ используется видеопроцессор IV поколения, который отличается повышенной оцифровкой видеосигнала, снимаемого с цветной ПЗС-матрицы, расширенной частотной характеристикой трактов обработки видео и возможностью генерации CSVB или Выходные сигналы S-Video с использованием цифро-аналоговых преобразователей (ЦАП), встроенных в процессор… Как и все предыдущие процессоры, новый ISP выполняет цифровую обработку изображений и реализует ряд функций, уже традиционных для камер видеонаблюдения, а именно:

DN (День-Ночь) — «день-ночь» — формирование черно-белого изображения при низкой освещенности с возможностью регулировки пороговых значений и задержек перехода между черно-белым и цветным режимами
AE (Automatic Exposition) — электронный затвор позволяет поддерживать постоянную яркость изображения независимо от освещенности наблюдаемой сцены
AGC (Automatic Gain Control) — автоматическая регулировка усиления в ночном режиме обеспечивает формирование яркого и узнаваемого изображения при слабом освещении и ночной работе
BLC (Back Light Compensation) — компенсация задней засветки с возможностью настройки до 4 зон, с настройкой уровня яркости в каждой из них относительно общего уровня яркости изображения (для камер с OSD), что позволяет, например, , для компенсации чрезмерной яркости окон на общем фоне комнаты, регулируя контрастность и четкость изображения

Широкий спектр параметров обработки видео позволяет настроить камеру и получить идеальное изображение в любых условиях эксплуатации: в темных и светлых помещениях, на улице и в помещении, при работе с контровым освещением и в сценах с широким диапазоном яркости, т. а также в полной темноте при использовании инфракрасной (ИК) подсветки.

Сегодня корпорация SONY производит следующую линейку ПЗС-матриц для цветных аналоговых камер видеонаблюдения, предназначенных для работы в стандарте PAL.

Цветные ПЗС-матрицы SONY:

Название продуктов	Размер по диагонали Изображения дюймов — мм	Количество эффективных пикселей (Ш x В)	Чувствительность (мВ)	Рама	Количество контактов	Технологии изготовление
ICX419AKL	1/2 «- 8 мм	752 х 582	1300	Керамический DIP	20	—
ICX429AKL	1/2 «- 8 мм	752 х 582	1600	Керамический DIP	20	EXview
ICX419AKB	1/2 «- 8 мм	752 х 582	1300	Маленький керамический цилиндр	16	—
ICX259AK	1/3 дюйма — 6 мм	752 х 582	1100	Пластиковый DIP	16	EXview
ICX-NEW-09	1/3 дюйма — 6 мм	752 х 582	2250	Пластиковый DIP	16	Super HAD
ICX409AK	1/3 дюйма — 6 мм	752 х 582	950	Пластиковый DIP	16	Super HAD
ICX255AK	1/3 дюйма — 6 мм	500 х 582	2000	Пластиковый DIP	16	EXview
ICX405AK	1/3 дюйма — 6 мм	500 х 582	1700	Пластиковый DIP	16	Super HAD
ICX279AK	1/4 дюйма — 4.5 мм	752 х 582	800	Пластиковый DIP	14	EXview
ICX229AK	1/4 дюйма — 4,5 мм	752 х 582	440	Пластиковый DIP	14	—
ICX207AK	1/4 дюйма — 4,5 мм	500 х 582	800	Пластиковый DIP	14	Super HAD
ICX227AK	1/4 дюйма — 4.5 мм	500 х 582	880	Пластиковый DIP	14	—
ICX207AKB	1/4 дюйма — 4,5 мм	500 х 582	880	Маленький керамический цилиндр	13	Super HAD
ICX239AKE	1/6 дюйма — 3 мм	752 х 582	300	Керамический СОН (LCC)	12	—

Матрица — это основа любого фото- или видеоустройства.Он определяет качество и размер получаемого изображения. Сегодня при изготовлении матриц используются два разных технологических принципа — CCD и CMOS. Очень часто можно услышать вопрос: «Какую матрицу выбрать: CCD или CMOS?» По этому поводу ведутся жаркие споры среди любителей фото- и видеотехники. В этой статье мы рассмотрим эти два типа и попробуем разобраться, какая матрица лучше — CCD или CMOS.

общая информация

Матрицы предназначены для оцифровки параметров световых лучей на их поверхности.О явном преимуществе одной из технологий говорить нельзя. Сравнение может производиться по определенным параметрам, и лидер может быть идентифицирован в том или ином аспекте. Что касается предпочтений пользователей, то зачастую для них главным критерием является стоимость продукта, даже если он уступает по качеству или техническим характеристикам своему конкуренту.

Итак, давайте посмотрим, что собой представляют оба типа устройств. ПЗС — это микросхема, состоящая из светочувствительных фотодиодов; это на основе кремния.Особенность его работы заключается в принципе работы устройства с зарядовой связью. CMOS-матрица — это устройство, созданное на основе полупроводника с изолированным затвором с каналами разной проводимости.

Принцип работы

Перейдем к выявлению отличий, которые помогут определиться с выбором: что лучше — CMOS-матрица или CCD? Основное различие между этими двумя технологиями заключается в том, как они работают. ПЗС-устройства преобразуют заряд пикселей в электрический потенциал, который усиливается за пределами светочувствительных датчиков.В результате получается аналоговое изображение. После этого вся картинка оцифровывается в АЦП. То есть прибор состоит из двух частей — самой матрицы и преобразователя. Технология CMOS отличается тем, что оцифровывает каждый пиксель отдельно. На выходе получается готовая цифровая картинка. То есть электрический заряд в матричном пикселе накапливается в конденсаторе, с которого снимается электрический потенциал. Он передается на аналоговый усилитель (встроенный непосредственно в пиксель), после чего оцифровывается в преобразователе.

Что выбрать: CCD или CMOS?

Одним из важных параметров, определяющих выбор между этими технологиями, является количество матричных усилителей. КМОП-устройства имеют большее количество этих устройств (в каждой точке), поэтому при прохождении сигнала качество изображения немного снижается. Поэтому ПЗС-матрицы используются для создания изображений с высокой степенью детализации, например, в медицинских, исследовательских и промышленных целях. Но технологии CMOS используются в основном в бытовой технике: веб-камерах, смартфонах, планшетах, ноутбуках и т. Д.

Следующий параметр, определяющий, какой тип лучше — CCD или CMOS — это плотность фотодиодов. Чем он выше, тем меньше фотонов «потеряется», соответственно, изображение будет лучше. По этому параметру ПЗС-матрицы обходят своих конкурентов, так как предлагают компоновку, в которой таких зазоров нет, а в КМОП они есть (в них расположены транзисторы).

Тем не менее, когда пользователь стоит перед выбором: какую — CMOS или CCD — купить, всплывает главный параметр — цена устройства.Технология CCD значительно дороже своего конкурента и более энергоемкая. Поэтому устанавливать их там, где достаточно изображения среднего качества, нецелесообразно.

ПЗС-матрица — это устройство с зарядовой связью. Этот тип матрицы изначально считался более качественным, но при этом более дорогим и энергоемким. Если изложить в двух словах основной принцип работы ПЗС-матрицы, то в аналоговом варианте соберут всю картинку, а уже потом оцифровывают.

В отличие от матриц CCD, матрицы CMOS (комплементарный металл-оксид-полупроводник, CMOS) оцифровывают каждый пиксель на месте. КМОП-матрицы изначально были менее энергоемкими и дешевыми, особенно при производстве больших матриц, но по качеству уступали ПЗС-матрицам.

К преимуществам ПЗС-матриц можно отнести:

Низкий уровень шума.
Коэффициент заполнения высоких пикселей (около 100%).
Высокая эффективность (отношение количества зарегистрированных фотонов к их общему количеству, попавшему в светочувствительную область матрицы, для ПЗС — 95%).
Высокий динамический диапазон (чувствительность).

К недостаткам ПЗС-матриц можно отнести:

Сложный принцип считывания сигнала, а значит и технология.
Высокий уровень энергопотребления (до 2-5Вт).
Дороже в производстве.

Преимущества матриц CMOS:

Высокая производительность (до 500 кадров / с).
Низкое энергопотребление (почти в 100 раз по сравнению с ПЗС).
Дешевле и проще в производстве.
Перспективность технологии (на одном кристалле, в принципе, ничего не стоит реализовать все необходимые дополнительные схемы: аналого-цифровые преобразователи, процессор, память, получая таким образом полноценную цифровую камеру на одном кристалле. Samsung Electronics и Mitsubishi Electric).

К недостаткам CMOS-матриц можно отнести

Низкий коэффициент заполнения пикселей, снижающий чувствительность (эффективная поверхность пикселей ~ 75%, остальное занято транзисторами).
Высокий уровень шума (это связано с так называемыми темповыми токами — даже при отсутствии подсветки через фотодиод протекает довольно значительный ток), борьба с которым усложняет и удорожает технологию.
Низкий динамический диапазон.

Введение в датчики изображения

Когда изображение снимается через объектив видеокамеры, свет проходит через объектив и попадает на датчик изображения. Датчик изображения или матрица состоит из множества элементов, также называемых пикселями, которые регистрируют количество падающего на них света.Полученное количество света пикселями преобразуется в соответствующее количество электронов. Чем больше света падает на пиксель, тем больше электронов он генерирует. Электроны преобразуются в напряжение, а затем в числа в соответствии со значениями АЦП (аналого-цифровой преобразователь, аналого-цифровой преобразователь). Сигнал, состоящий из таких чисел, обрабатывается электронными схемами внутри видеокамеры.

В настоящее время существуют две основные технологии, которые можно использовать для создания датчика изображения в камере, это ПЗС (устройство с зарядовой связью) и КМОП (дополнительный металл-оксидный полупроводник)…. Об их характеристиках, достоинствах и недостатках и пойдет речь в этой статье. На рисунке ниже показаны датчики изображения CCD (вверху) и CMOS (внизу).

Цветовая фильтрация … Как описано выше, датчики изображения регистрируют количество падающего на них света, от светлого до темного, но без информации о цвете. Поскольку датчики изображения CMOS и CCD «не видят цвета», перед каждым датчиком помещается фильтр для присвоения цветового тона каждому пикселю в датчике.Двумя основными методами регистрации цвета являются RGB (красный-жадный-синий) и CMYG (голубой-пурпурный-желтый-зеленый). Красный, зеленый и синий — основные цвета, различные комбинации которых могут составлять большинство цветов, воспринимаемых человеческим глазом.

Фильтр Байера (или массив Байера), состоящий из чередующихся рядов красно-зеленых и сине-зеленых фильтров, является наиболее распространенным цветовым фильтром RGB (см. Рисунок 2). Фильтр Байера содержит вдвое больше зеленых «ячеек», потому что человеческий глаз более чувствителен к зеленому, чем к красному или синему.Это также означает, что при таком цветовом соотношении в фильтре человеческий глаз будет видеть больше деталей, чем если бы в фильтре использовались три цвета в равных пропорциях.

Другой способ фильтрации (или регистрации) цвета — использование дополнительных цветов, таких как голубой, пурпурный и желтый. Дополнительный цветной фильтр обычно комбинируется с зеленым цветным фильтром в виде массива цветов CMYG, как показано на рисунке 2 (справа). Цветовой фильтр CMYG обычно обеспечивает более высокий пиксельный сигнал, поскольку имеет более широкую спектральную полосу пропускания.Однако для использования в конечном изображении сигнал должен быть преобразован в RGB, что влечет за собой дополнительную обработку и приводит к появлению шума. Следствием этого является уменьшение отношения сигнал / шум, из-за чего системы CMYG, как правило, не очень хорошо передают цвета.

Цветовой фильтр CMYG обычно используется в датчиках изображения с чересстрочной разверткой, а системы RGB в основном используются в датчиках изображения с прогрессивной разверткой.

Светочувствительная матрица — важнейший элемент фотоаппарата.Именно она преобразует свет, падающий на нее через линзу, в электрические сигналы. Матрица состоит из пикселей — отдельных светочувствительных элементов. На современных матрицах общее количество светочувствительных элементов достигает 10 миллионов для любительских устройств и 17 миллионов для профессиональных. Датчик с разрешением N мегапикселей содержит N миллионов пикселей. Чем больше пикселей на сенсоре, тем детальнее будет фотография.

Каждый светочувствительный элемент представляет собой светозарядный конденсатор. Конденсатор заряжен тем больше, чем ярче падает на него свет или чем дольше он находится на свету.Беда в том, что заряд конденсатора может меняться не только под действием света, но и от теплового движения электронов в материале матрицы. В одни пиксели попадает больше тепловых электронов, в другие — меньше. Результат — цифровой шум. Если вы снимаете, например, голубое небо, на снимке оно может выглядеть как состоящее из пикселей немного разных цветов, а снимок, сделанный с закрытым объективом, будет состоять не только из черных точек. Чем меньше геометрический размер матрицы при том же количестве мегапикселей, чем выше ее шум, тем хуже качество изображения.

Для компактных цифровых устройств размер матрицы обычно указывается в долях и измеряется в дюймах. Интересно, что если вы попытаетесь вычислить эту дробь и перевести ее из дюймов в миллиметры, то полученное значение не будет совпадать с реальными размерами матрицы. Это противоречие возникло исторически, когда аналогичным образом обозначался размер передающего телевизионного устройства (видикона). Для цифровых зеркальных фотоаппаратов размер матрицы либо напрямую указывается в миллиметрах, либо обозначается как кроп-фактор — число, указывающее, во сколько раз этот размер меньше кадра стандартной пленки 24×36 мм.

Другой важной особенностью матриц является то, что матрица с N мегапикселями фактически содержит N мегапикселей, и, кроме того, изображение с этой матрицы также состоит из N мегапикселей. Вы говорите, что в этом странного? И странно то, что на изображении каждый пиксель состоит из трех цветов: красного, зеленого и синего. Казалось бы, на матрице каждый пиксель должен состоять из трех светочувствительных элементов соответственно красного, зеленого и синего цветов. Однако на самом деле это не так.Каждый пиксель состоит только из одного элемента. Откуда же тогда цвет? Фактически, к каждому пикселю применяется фильтр таким образом, что каждый пиксель воспринимает только один из цветов. Фильтры чередуются — первый пиксель воспринимает только красный цвет, второй только зеленый, а третий только синий. После считывания информации из матрицы цвет каждого пикселя рассчитывается на основе цветов этого пикселя и его соседей. Конечно, этот метод немного искажает изображение, но алгоритм расчета цвета устроен таким образом, что может искажаться цвет мелких деталей, но не их яркость.А для человеческого глаза, смотрящего на картинку, важнее яркость, а не цвет этих деталей, поэтому эти искажения практически незаметны. Эта структура называется паттерном Байера по имени инженера Kodak, который запатентовал эту структуру фильтра.

Большинство современных датчиков изображения, используемых в компактных цифровых камерах, имеют два или три режима работы. Основной режим предназначен для фотографирования и позволяет считывать с матрицы изображение максимального разрешения.Этот режим требует отсутствия какой-либо засветки матрицы при считывании кадра, что в свою очередь требует обязательного наличия механического затвора. Другой, скоростной режим позволяет считывать с матрицы полное изображение с частотой 30 раз в секунду, но с пониженным разрешением. Этот режим не требует механического затвора и используется для предварительного просмотра и записи видео. Третий режим позволяет читать изображение вдвое быстрее, но не со всей площади матрицы.Этот режим используется для работы автофокусировки. Матрицы, используемые в цифровых зеркальных фотокамерах, не имеют скоростных режимов.

Но не все светочувствительные матрицы сконструированы таким образом. Sigma производит матрицы Foveon, в которых каждый пиксель фактически состоит из трех элементов, чувствительных к свече. Эти матрицы имеют значительно меньше мегапикселей, чем их конкуренты, но качество изображения с этих матриц практически не уступает своим многомегапиксельным конкурентам.

У SuperCCD

Fuji есть еще одна интересная особенность.Пиксели в этих матрицах шестиугольные и расположены в виде сот. С одной стороны, в этом случае повышается чувствительность за счет большей площади пикселя, а с другой стороны, используя специальный алгоритм интерполяции, можно получить лучшую детализацию изображения.

В данном случае интерполяция действительно позволяет улучшить детализацию изображения, в отличие от устройств других производителей, где изображение интерполируется с матрицы с обычным расположением пикселей.Принципиальное различие между этими матрицами состоит в том, что шаг пикселя вдвое меньше, чем у самих пикселей. Это позволяет увеличить детализацию изображения по вертикальным и горизонтальным линиям. При этом у обычных сенсоров диагональная детализация лучше, но на реальных изображениях диагональных линий обычно меньше, чем вертикальных или горизонтальных.

Интерполяция — алгоритм вычисления пропущенных значений из соседних значений. Если мы знаем, что в 8 часов утра температура на улице была +16 градусов, а в 10 поднялась до +20, мы не сильно ошибемся, если предположим, что в 9 часов утра температура была около +18.

В ПЗС-датчике свет (заряд), падающий на пиксель датчика, передается от микросхемы через один выходной узел или всего через несколько выходных узлов. Заряды преобразуются в уровни напряжения, накапливаются и отправляются в виде аналогового сигнала. Затем этот сигнал суммируется и преобразуется в числа с помощью аналого-цифрового преобразователя вне датчика (см. Рис. 3).

Технология CCD была изобретена специально для использования в видеокамерах, а датчики CCD используются уже 30 лет.Традиционно ПЗС-сенсоры имеют ряд преимуществ перед КМОП-сенсорами, а именно лучшую светочувствительность и более низкий уровень шума. Однако в последнее время различия практически не заметны.

Недостатками ПЗС-сенсоров является то, что они являются аналоговыми компонентами, требующими большего количества электроники «рядом» с сенсором, они более дороги в производстве и могут потреблять до 100 раз больше энергии, чем КМОП-сенсоры. Повышенное потребление энергии также может привести к повышению температуры в самой камере, что отрицательно сказывается не только на качестве изображения и увеличивает стоимость конечного продукта, но и на степень воздействия на окружающую среду.

ПЗС-сенсоры

также требуют более быстрой передачи данных, поскольку все данные проходят только через один или несколько выходных усилителей. Сравните рисунки 4 и 6, на которых показаны платы датчиков CCD и CMOS соответственно.

Раньше для отображения использовались обычные чипы CMOS, но качество изображения было плохим из-за низкой светочувствительности элементов CMOS. Современные КМОП-сенсоры производятся с использованием более специализированных технологий, что привело к быстрому повышению качества изображения и светочувствительности в последние годы.

КМОП-микросхемы

имеют ряд преимуществ. В отличие от ПЗС-сенсоров, КМОП-сенсоры содержат усилители и аналого-цифровые преобразователи, что значительно снижает стоимость конечного продукта, поскольку он уже содержит все необходимые элементы для получения изображения. Каждый пиксель CMOS содержит электронные преобразователи. По сравнению с CCD-сенсорами, CMOS-сенсоры обладают большей функциональностью и более широкими возможностями интеграции. Другие преимущества включают более быстрое считывание, более низкое энергопотребление, высокую помехоустойчивость и меньший размер системы.

Однако наличие электронных схем внутри микросхемы создает риск более структурированного шума, например полос. Калибровка CMOS-сенсоров во время производства также сложнее, чем CCD-сенсоров. К счастью, современные технологии позволяют производить самокалибрующиеся КМОП-сенсоры.

В КМОП-сенсорах есть возможность считывания изображения с отдельных пикселей, что дает возможность «окна» изображения, т.е.е. считывать показания не всего датчика, а только его определенной области. Таким образом, можно получить более высокую частоту кадров от части датчика для последующей обработки цифрового PTZ (панорамирование / наклон / масштабирование, панорамирование / наклон / масштабирование). Кроме того, дает возможность передавать несколько видеопотоков с одного CMOS-сенсора, имитируя несколько «виртуальных камер»

HDTV и мегапиксельные камеры

Датчики

мегапикселей и телевидение высокой четкости позволяют цифровым IP-камерам обеспечивать более высокое разрешение изображения, чем аналоговые камеры видеонаблюдения, т.е.е. они предоставляют прекрасную возможность различать детали и идентифицировать людей и объекты — ключевой фактор в видеонаблюдении. Разрешение мегапиксельной IP-камеры как минимум в два раза выше, чем у аналоговой камеры видеонаблюдения. Мегапиксельные датчики являются ключевыми элементами в телевидении высокой четкости, мегапиксельных и многомегапиксельных камерах. И может использоваться для получения изображений с очень высокой детализацией и многопотокового видео.

Мегапиксельные КМОП-сенсоры более распространены и намного дешевле мегапиксельных ПЗС-сенсоров, хотя существуют и довольно дорогие КМОП-сенсоры.

Трудно изготовить быстродействующий мегапиксельный ПЗС-датчик, что, конечно, является недостатком, и поэтому сложно изготовить многомегапиксельную камеру с использованием технологии ПЗС.

Большинство сенсоров в мегапиксельных камерах, как правило, по размеру изображения аналогичны сенсорам VGA с разрешением 640×480 пикселей. Однако мегапиксельный сенсор содержит больше пикселей, чем сенсор VGA, поэтому размер каждого пикселя мегапиксельного сенсора меньше, чем пиксель сенсора VGA. Следствием этого является более низкая светочувствительность каждого пикселя мегапиксельного сенсора.

Так или иначе, прогресс не стоит на месте. Мегапиксельные сенсоры стремительно развиваются, и их чувствительность к свету постоянно увеличивается.

Основные отличия CMOS от CCD

КМОП-сенсоры

содержат усилители, аналого-цифровые преобразователи и часто микросхемы для дополнительной обработки, тогда как в камере с ПЗС-сенсором большинство функций обработки сигналов выполняется вне сенсора. CMOS-датчики потребляют меньше энергии, чем CCD-датчики, а это означает, что внутри камеры можно поддерживать более низкую температуру.Повышенная температура сенсоров CCD может увеличить помехи. С другой стороны, КМОП-сенсоры могут страдать от структурированного шума (полосы и т. Д.).

КМОП-сенсоры поддерживают «оконное» изображение и многопотоковое видео, что невозможно для ПЗС-сенсоров. ПЗС-сенсоры обычно имеют один аналого-цифровой преобразователь, тогда как в КМОП-сенсорах им обладает каждый пиксель. Более быстрое считывание данных в CMOS-датчиках позволяет использовать их при производстве многомегапиксельных камер.

Современные технологические достижения стирают разницу в светочувствительности между ПЗС- и КМОП-датчиками.

Заключение

ПЗС- и КМОП-сенсоры

имеют разные преимущества и недостатки, но технологии быстро развиваются, и ситуация постоянно меняется. Вопрос о том, выбирать ли камеру с датчиком CCD или датчиком CMOS, становится неактуальным. Этот выбор зависит только от требований клиента к качеству изображения системы видеонаблюдения.

1. Знакомство с датчиками изображения

Когда изображение снимается через объектив видеокамеры, свет проходит через объектив и попадает на датчик изображения.Датчик изображения или матрица состоит из множества элементов, также называемых пикселями, которые регистрируют количество падающего на них света. Полученное количество света пикселями преобразуется в соответствующее количество электронов. Чем больше света падает на пиксель, тем больше электронов он генерирует. Электроны преобразуются в напряжение, а затем в числа в соответствии со значениями АЦП (аналого-цифровой преобразователь, аналого-цифровой преобразователь). Сигнал, состоящий из таких чисел, обрабатывается электронными схемами внутри видеокамеры.

В настоящее время существуют две основные технологии, которые можно использовать для создания датчика изображения в камере, это ПЗС (устройство с зарядовой связью) и КМОП (дополнительный металл-оксидный полупроводник). … Об их характеристиках, достоинствах и недостатках и пойдет речь в этой статье. На рисунке ниже показаны датчики изображения CCD (вверху) и CMOS (внизу).

Цветовая фильтрация … Как описано выше, датчики изображения регистрируют количество падающего на них света, от светлого до темного, но без информации о цвете.Поскольку датчики изображения CMOS и CCD «не видят цвета», перед каждым датчиком помещается фильтр для присвоения цветового тона каждому пикселю в датчике. Двумя основными методами регистрации цвета являются RGB (красный-жадный-синий) и CMYG (голубой-пурпурный-желтый-зеленый). Красный, зеленый и синий являются основными цветами, и их различные комбинации могут составлять большинство цветов, воспринимаемых человеческим глазом.

Фильтр Байера (или массив Байера), состоящий из чередующихся рядов красно-зеленых и сине-зеленых фильтров, является наиболее распространенным цветовым фильтром RGB (см. Рисунок 2).Фильтр Байера содержит вдвое больше зеленых «ячеек», потому что человеческий глаз более чувствителен к зеленому, чем к красному или синему. Это также означает, что при таком цветовом соотношении в фильтре человеческий глаз будет видеть больше деталей, чем если бы в фильтре использовались три цвета в равных пропорциях.

Другой способ фильтрации (или регистрации) цвета — использование дополнительных цветов, таких как голубой, пурпурный и желтый. Дополнительный цветной фильтр обычно комбинируется с зеленым цветным фильтром в виде массива цветов CMYG, как показано на рисунке 2 (справа).Цветовой фильтр CMYG обычно обеспечивает более высокий пиксельный сигнал, поскольку имеет более широкую спектральную полосу пропускания. Однако для использования в конечном изображении сигнал должен быть преобразован в RGB, что влечет за собой дополнительную обработку и приводит к появлению шума. Это приводит к более низкому соотношению сигнал / шум, поэтому системы CMYG, как правило, не так хорошо воспроизводят цвета.

2. Технология CCD

В датчике CCD свет (заряд), падающий на пиксель датчика, передается от микросхемы через один выходной узел или всего через несколько выходных узлов. Заряды преобразуются в уровни напряжения, накапливаются и отправляются в виде аналогового сигнала. Затем этот сигнал суммируется и преобразуется в числа с помощью аналого-цифрового преобразователя вне датчика (см. Рис. 3).

Недостатками ПЗС-сенсоров является то, что они являются аналоговыми компонентами, требующими большего количества электроники «рядом» с сенсором, они более дороги в производстве и могут потреблять до 100 раз больше энергии, чем КМОП-сенсоры. Повышенное энергопотребление также может привести к повышению температуры самой камеры, что отрицательно сказывается не только на качестве изображения и увеличивает стоимость конечного продукта, но и на окружающей среде.

ПЗС-сенсоры

также требуют более быстрой передачи данных, поскольку все данные проходят только через один или несколько выходных усилителей. Сравните рисунки 4 и 6, на которых показаны платы с датчиками CCD и CMOS соответственно.

3. Технология CMOS

Раньше для отображения использовались обычные микросхемы CMOS, но качество изображения было плохим из-за низкой светочувствительности элементов CMOS. Современные КМОП-сенсоры производятся с использованием более специализированных технологий, что привело к быстрому повышению качества изображения и светочувствительности в последние годы.

КМОП-микросхемы

имеют ряд преимуществ. В отличие от датчиков CCD, датчики CMOS содержат усилители и аналого-цифровые преобразователи, что значительно снижает стоимость конечного продукта, поскольку он уже содержит все необходимые элементы для получения изображения. Каждый пиксель CMOS содержит электронные преобразователи. По сравнению с CCD-сенсорами, CMOS-сенсоры обладают большей функциональностью и более широкими возможностями интеграции. Другие преимущества включают более быстрое считывание, более низкое энергопотребление, высокую помехоустойчивость и меньший размер системы.

В КМОП-сенсорах есть возможность считывания изображения с отдельных пикселей, что дает возможность «окна» изображения, т.е.е. считывать показания не всего датчика, а только его части. Таким образом, можно получить более высокую частоту кадров от части датчика для последующей обработки цифрового PTZ (панорамирование / наклон / масштабирование, панорамирование / наклон / масштабирование). Кроме того, дает возможность передавать несколько видеопотоков с одного CMOS-сенсора, имитируя несколько «виртуальных камер»

4. HDTV и мегапиксельные камеры

Мегапиксельные датчики и телевидение высокой четкости позволяют цифровым IP-камерам обеспечивать более высокое разрешение изображения, чем аналоговые камеры видеонаблюдения, т.е.е. они предоставляют прекрасную возможность различать детали и идентифицировать людей и объекты — ключевой фактор в видеонаблюдении. Разрешение мегапиксельной IP-камеры как минимум в два раза выше, чем у аналоговой камеры видеонаблюдения. Мегапиксельные датчики являются ключом к телевидению высокой четкости, мегапиксельным и многомегапиксельным камерам. И может использоваться для обеспечения чрезвычайно высокой детализации изображения и многопоточного видео.

Мегапиксельные КМОП-сенсоры более распространены и намного дешевле, чем мегапиксельные ПЗС-матрицы, хотя есть и довольно дорогие КМОП-сенсоры.

5. Основные отличия

КМОП-сенсоры содержат усилители, аналого-цифровые преобразователи и часто микросхемы для дополнительной обработки, тогда как в камере с ПЗС-сенсором большинство функций обработки сигналов выполняется вне сенсора. CMOS-датчики потребляют меньше энергии, чем CCD-датчики, а это означает, что внутри камеры можно поддерживать более низкую температуру.Повышенная температура сенсоров CCD может увеличить помехи. С другой стороны, КМОП-сенсоры могут страдать от структурированного шума (полосы и т. Д.).

КМОП-сенсоры поддерживают «оконное» изображение и многопотоковое видео, что невозможно для ПЗС-сенсоров. ПЗС-сенсоры обычно имеют один аналого-цифровой преобразователь, тогда как в КМОП-сенсорах он есть у каждого пикселя. Более быстрое считывание данных в CMOS-датчиках позволяет использовать их при производстве многомегапиксельных камер.

6. Заключение

ПЗС- и КМОП-сенсоры имеют разные преимущества и недостатки, но технологии быстро развиваются, и ситуация постоянно меняется. Вопрос о том, выбирать ли камеру с CCD-сенсором или CMOS-сенсором, становится неактуальным. Этот выбор зависит только от требований клиента к качеству изображения системы видеонаблюдения.

Проекция вида модели

14 апреля 2019 г.

В 3D-движках сцены обычно описываются как объекты в трехмерном пространстве, причем каждый объект состоит из множества трехмерных вершин.В конечном итоге эти объекты визуализируются и отображаются на плоском экране. Визуализация сцены всегда выполняется относительно камеры, и поэтому вершины сцены также должны быть определены относительно обзора камеры.

Сцена, визуализируемая в мировом пространстве, пространстве камеры, а затем нормализованные координаты устройства, представляющие этапы преобразования в конвейере Model View Projection .

При рисовании сетки в конвейере OpenGL вершинный шейдер будет обрабатывать каждую вершину, ожидая, что положение вершины будет определено в пространстве клипа .{\ prime} = P \ cdot V \ cdot M \ cdot vv ′ = P⋅V⋅M⋅v

Положение вершины преобразуется матрицей модели , затем матрицей view , за которой следует проекция матрица, отсюда и название Model View Projection или MVP .

См. Примечания к Преобразованиям матриц для составления матриц, умножения.

Пространство модели

Модели, геометрия и сетки — это некоторые серии вершин, определенных в пространстве модели . Например, геометрия куба может быть определена как 8 вершин: (1,1,1) (1, 1, 1) (1,1,1), (−1, −1, −1) (- 1, — 1, -1) (- 1, −1, −1), (1,1, −1) (1, 1, -1) (1,1, −1) и т. Д.В результате получится куб 2x2x2 с центром в точке (0,0,0) (0, 0, 0) (0,0,0).

Вершины геометрии, определенные в пространстве модели.

Часто геометрия многократно используется в одном рендере, в разных местах или в разных размерах. Размещение уникальных вершин для каждого экземпляра модели является дорогостоящим и ненужным. Один набор геометрических вершин может совместно использоваться несколькими экземплярами, причем каждый экземпляр применяет свой собственный уникальный набор преобразований, представленный матрицей модели . Матрица модели преобразует вершины из пространства модели в мирового пространства .Куб 2x2x2 с центром в точке (0,0,0) (0, 0, 0) (0,0,0) может быть изменен, скручен и размещен в любом месте в сочетании с матрицей модели.

Множество кубов в мировом пространстве.

Матрица MMM модели состоит из трансляции объекта, преобразования TTT, вращения, преобразования RRR и масштабного преобразования SSS. Умножение положения вершины vvv на эту матрицу модели преобразует вектор в мировое пространство .

M = T⋅R⋅Svworld = M⋅vmodel \ begin {выровнено} M & = T \ cdot R \ cdot S \\ v_ {мир} & = M \ cdot v_ {модель} \\ \ end {выровнено} Mvworld = T⋅R⋅S = M⋅vmodel

View

Мировое пространство является общей глобальной трехмерной декартовой системой координат.Отрисовываемые объекты, источники света и камеры — все существуют в этом пространстве, определяемом их матрицей модели, все относительно одной и той же точки (0,0,0) (0, 0, 0) (0,0,0).

Так как все рендеры сделаны с точки зрения какой-то камеры, все вершины должны быть определены относительно камеры.

Пространство камеры — это система координат, определяемая как камера в точке (0,0,0) (0, 0, 0) (0,0,0), обращенная вниз по оси -Z. Камера также имеет матрицу модели, определяющую ее положение в мировом пространстве. Матрица модели камеры, обратная матрице , преобразует вершины из мирового пространства в пространство камеры или пространство обзора .

Сцена в пространстве камеры, где все относительно камеры, начала координат. См. Матричные преобразования # inverse-matrix для инверсных матриц.

Иногда матрица представления и матрица модели предварительно умножаются и сохраняются как матрица представления . Хотя каждый объект имеет свою собственную матрицу модели, матрица вида используется всеми объектами сцены, поскольку все они визуализируются одной и той же камерой. Учитывая матрицу модели камеры CCC, любой вектор vvv может быть преобразован из пространства модели в мировое пространство, в пространство камеры.{-1} \\ v_ {камера} & = V \ cdot M \ cdot v_ {модель} \\ \ end {выровнено} Vvcamera = C − 1 = V⋅M⋅vmodel

В системе OpenGL, где камера обращена вниз -Z, любая вершина, которая будет отображаться, должна находиться перед камерой, а в пространстве камеры будет иметь отрицательное значение Z.

Проекция

После того, как вершины окажутся в пространстве камеры , они, наконец, могут быть преобразованы в пространство клипа , применив преобразование проекции. Матрица проекции кодирует, какая часть сцены захватывается при рендеринге, определяя пределы обзора камеры.Двумя наиболее распространенными типами проекции являются перспектива и ортогональная .

Перспективная проекция приводит к тому, что объекты кажутся тем меньше, чем дальше они находятся от зрителя. Ортографические проекции не имеют этой функции, которая может быть полезна, например, для технических схем или архитектурных чертежей. Подобно тому, как разные объективы в традиционной камере могут радикально изменить поле зрения или искажение, матрица проекции аналогичным образом преобразует сцену.

Дополнительные примечания по 3D-проекции.

После применения матрицы проекции вершины сцены теперь находятся в пространстве клипа . Обратите внимание, что трехмерные вершины представлены четырехмерными векторами однородных координат с w = 1w = 1w = 1.

vclip = P⋅V⋅M⋅vv_ {clip} = P \ cdot V \ cdot M \ cdot vvclip = P⋅V⋅M⋅v

В пространстве камеры после преобразований вида модели www остается неизменным и равно 1. Однако перспективная проекция является важной причиной необходимости 4-й координаты и может больше не равняться 1 после применения проекции.

Вершинный шейдер в OpenGL ожидает, что vec4 gl_Position будет установлено для отсечения координат пространства. После завершения вершинного шейдера и определения положения пространства клипа конвейер автоматически выполняет перспективное деление, разделяя компоненты [x, y, z] [x, y, z] [x, y, z] на значение www, поворачивая 4D вектор обратно в 3D вектор, в результате чего вершина наконец оказывается в нормализованных координатах устройства .

[xndcyndczndc] = [xclip / wclipyclip / wclipzclip / wclip] \ begin {bmatrix} x_ {ndc} \\ y_ {ndc} \\ z_ {ndc} \ end {bmatrix} = \ begin {bmatrix} x_ {clip} / w_ {clip} \\ y_ {clip} / w_ {clip} \\ z_ {clip} / w_ {clip} \ end {bmatrix} ⎣⎡ xndc yndc zndc ⎦⎤ = ⎣⎡ xclip / Wclip yclip / wclip zclip / wclip ⎦⎤ Визуализация объектов в нормализованных координатах устройства.Обратите внимание, что ось Z перевернулась, и теперь камера направлена вниз по оси + Z.

В этот момент конвейер отбрасывает все вершины за пределами куба 2x2x2 с размерами (−1, −1, −1) (- 1, -1, -1) (- 1, −1, −1) и ( 1,1,1) (1, 1, 1) (1,1,1). Вся видимая сцена, определяемая матрицей проекции, теперь свернута в куб, причем размеры усеченного конуса определяют, сколько было сжато в этот куб, с ближней плоскостью, сопоставленной с z = −1z = -1z = −1 и дальней плоскостью. отображается в z = 1z = 1z = 1.

Глубина в конвейерах OpenGL отображает Z между -1 и 1, тогда как значения глубины Direct3D находятся между 0 и 1.Однако ARB_clip_control OpenGL может изменить это поведение.

Матрицы модели, вида и проекции преобразуют вершины, которые начинаются в пространстве модели , а затем мировом пространстве , пространстве камеры , а затем пространстве клипа . Затем вершины преобразуются в нормализованных координат устройства посредством неявного перспективного деления. Наконец, во время растеризации преобразование области просмотра применяется к интерполированным положениям вершин, в результате чего пространство окна занимает позицию : положение текселя по X и Y в двух измерениях, переводя некоторую точку в трехмерном пространстве относительно некоторого средства просмотра в конкретный объект. пиксель на экране.

vworld = M⋅vmodelvcamera = V⋅M⋅vmodelvclip = P⋅V⋅M⋅vmodel \ begin {выровнено} v_ {world} & = M \ cdot v_ {модель} \\ v_ {камера} & = V \ cdot M \ cdot v_ {модель} \\ v_ {clip} & = P \ cdot V \ cdot M \ cdot v_ {модель} \\ \ end {выровнено} vworld vcamera vclip = M⋅vmodel = V⋅M ⋅vmodel = P⋅V⋅M⋅vmodel

Ресурсы и ссылки

redner / camera.py at master · BachiLi / redner · GitHub

	импортная горелка
	импортный пиреднер.преобразовать как преобразовать
	импортный реднер
	импорт математики
	импортный пиреднер
	, набрав import Tuple, Optional, List

Класс	Камера:
	«» «
	Redner поддерживает четыре типа камер \: перспективные, ортогональные, «рыбий глаз» и панорамные.
	Камера смотрит на преобразование или матрицу cam_to_world в
	преобразовать из локального пространства камеры в мировое пространство. Также может опционально
	берут внутреннюю матрицу, моделирующую поле зрения и перекос камеры.

	Args
	====
	позиция: опционально [факел.Тензор]
	источник камеры, одномерный тензор с размером 3 и типом float32
	look_at: Необязательно [torch.Tensor]
	, на которую смотрит точечная камера, одномерный тензор с размером 3 и типом float32
	вверх: Дополнительно [torch.Tensor]
	вектор вверх камеры, одномерный тензор с размером 3 и типом float32
	fov: Дополнительно [torch.Тензор]
	поле зрения камеры по углам,
	без эффекта, если это камера типа «рыбий глаз» или панорамная камера,
	1-мерный тензор размера 1 и типа float32
	clip_near: float
	ближняя плоскость отсечения камеры, необходимо> 0
	разрешение: кортеж [int, int]
	размер выходного изображения в (высота, ширина)
Область просмотра	: Необязательно [Кортеж [int, int, int, int]]
	необязательный аргумент области просмотра для визуализации только области изображения в
	(left_top_y, left_top_x, bottom_right_y, bottom_right_x),
	bottom_right не включает.
	, если установлено значение None, область просмотра — это все изображение (т. Е. (0, 0, cam.height, cam.width))
	cam_to_world: Необязательно [torch.Tensor]
	переопределяет векторы position, look_at, up
	Матрица 4×4, опционально
	intrinsic_mat: Необязательно [torch.Тензор]
	матрица, преобразующая точку в пространстве камеры до точки
	проецируется на 2D экранное пространство
	используется для моделирования поля зрения и перекоса камеры
	после умножения точка должна быть в
	[-1, 1 / aspect_ratio] x [1, -1 / aspect_ratio] в однородных координатах
	затем проецирование осуществляется камерами определенного типа
	перспективная камера нормализует однородные координаты
	, в то время как ортогональная камера опускает координату Z.
	игнорируется рыбий глаз или панорамными камерами
	отменяет fov
	Матрица 3×3, опционально
	distortion_params: Необязательно [torch.Tensor]
	массив, описывающий коэффициент модели искажения линзы Брауна – Конради.
	ожидается, что массив будет 1D размером 8. Первые шесть коэффициентов описывают
	параметры рационального полинома для радиального искажения (k1 ~ k6) и
	последние два коэффициента относятся к тангенциальному искажению (p1 ~ p2).
	см. Https: // docs.opencv.org/2.4/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html
	для получения более подробной информации.
	camera_type: render.camera_type
	тип камеры (перспектива, орфография, рыбий глаз или панорама)
	рыбий глаз: bool
	является ли камера камерой «рыбий глаз»
	(устаревший параметр только для обеспечения совместимости).
	«» «
	def __init __ (self,
	позиция: Необязательно [torch.Tensor] = None,
	look_at: Необязательно [torch.Tensor] = None,
	вверх: Необязательно [torch.Tensor] = None,
	fov: Дополнительно [torch.Тензор] = Нет,
	clip_near: float = 1e-4,
Разрешение	: кортеж [int, int] = (256, 256),
Область просмотра	: необязательно [Tuple [int, int, int, int]] = None,
	cam_to_world: Необязательно [torch.Tensor] = None,
	intrinsic_mat: Необязательно [torch.Тензор] = Нет,
	distortion_params: Необязательно [torch.Tensor] = None,
	camera_type = pyredner.camera_type.perspective,
	рыбий глаз: bool = False):
	, если позиция отлична от None:
	assert (позиция.dtype == torch.float32)
	assert (len (position.shape) == 1 и position.shape [0] == 3)
	, если look_at не равен None:
	assert (look_at.dtype == torch.float32)
	assert (len (look_at.shape) == 1 и look_at.shape [0] == 3)
	, если вверх не None:
	assert (up.dtype == torch.float32)
	assert (len (up.shape) == 1 и up.shape [0] == 3)
	, если fov не равно None:
	assert (fov.dtype == torch.float32)
	assert (len (fov.shape) == 1 и fov.shape [0] == 1)
	, если cam_to_world не равно None:
	assert (cam_to_world.dtype == torch.float32)
	assert (len (cam_to_world.shape) == 2 и cam_to_world.shape [0] == 4 и cam_to_world.shape [1] == 4)
	, если intrinsic_mat не None:
	assert (intrinsic_mat.dtype == torch.float32)
	assert (len (intrinsic_mat.shape) == 2 и intrinsic_mat.shape [0] == 3 и intrinsic_mat.shape [1] == 3)
	assert (isinstance (clip_near, float))
	, если позиция — Нет, а look_at — Нет, а вверх — Нет:
	assert (cam_to_world не None)

	self.position = позиция
	сам.look_at = look_at
	self.up = вверх
	self._fov = fov
	self._cam_to_world = cam_to_world
	, если cam_to_world не равно None:
	self.world_to_cam = torch.inverse (self.cam_to_world) .contiguous ()
	еще:
	сам.world_to_cam = Нет
	, если intrinsic_mat — None:
	, если camera_type == redner.CameraType.perspective:
	fov_factor = 1.0 / torch.tan (transform.radians (0.5 * fov))
	o = torch.ones ([1], dtype = torch.float32, device = fov_factor.device)
	diag = фонарик.кошка ([fov_factor, fov_factor, o], 0)
	self._intrinsic_mat = torch.diag (diag) .contiguous ()
	еще:
	self._intrinsic_mat = torch.eye (3, dtype = torch.float32)
	еще:
	self._intrinsic_mat = intrinsic_mat
	сам.intrinsic_mat_inv = torch.inverse (self.intrinsic_mat) .contiguous ()
	self.distortion_params = distortion_params
	self.clip_near = clip_near
	self.resolution = разрешение
	self.viewport = область просмотра
	сам.camera_type = camera_type
	если рыбий глаз:
	self.camera_type = pyredner.camera_type.fisheye

	@property
	def fov (собственный):
	возврат self._fov

	@fov.сеттер
	def fov (self, value):
	self._fov = значение
	fov_factor = 1.0 / torch.tan (transform.radians (0.5 * self._fov))
	o = torch.ones ([1], dtype = torch.float32, device = fov_factor.device)
	diag = torch.cat ([fov_factor, fov_factor, o], 0)
	сам._intrinsic_mat = torch.diag (diag) .contiguous ()
	self.intrinsic_mat_inv = torch.inverse (self._intrinsic_mat) .contiguous ()

	@property
	def intrinsic_mat (сам):
	вернуть self._intrinsic_mat

	@intrinsic_mat.сеттер
	def intrinsic_mat (себя, значение):
	, если значение не равно None:
	self._intrinsic_mat = значение
	self.intrinsic_mat_inv = torch.inverse (self._intrinsic_mat) .contiguous ()
	еще:
	assert (self.fov не None)
	self.fov = self._fov

	@property
	def cam_to_world (сам):
	вернуть себя ._cam_to_world

	@cam_to_world.сеттер
	def cam_to_world (себя, значение):
	, если значение не равно None:
	self._cam_to_world = значение
	self.world_to_cam = torch.inverse (self.cam_to_world) .contiguous ()
	еще:
	сам._cam_to_world = Нет
	self.world_to_cam = Нет

	def state_dict (сам):
	возврат {
	‘position’: самопозиция,
	‘look_at’: self.look_at,
	‘вверх’: сам.вверх,
	‘fov’: self._fov,
	‘cam_to_world’: self._cam_to_world,
	‘intrinsic_mat’: self._intrinsic_mat,
	‘clip_near’: self.clip_near,
	‘разрешение’: собственное разрешение,
	‘camera_type’: self.camera_type
	}

	@classmethod
	def load_state_dict (cls, state_dict):
	out = cls .__ new __ (камера)
	out.position = state_dict [‘позиция’]
	из.look_at = state_dict [‘look_at’]
	out.up = state_dict [‘вверх’]
	out._fov = state_dict [‘fov’]
	out.cam_to_world = state_dict [‘cam_to_world’]
	out.intrinsic_mat = state_dict [‘intrinsic_mat’]
	out.clip_near = state_dict [‘clip_near’]
	из.разрешение = state_dict [‘разрешение’]
	out.camera_type = state_dict [‘camera_type’]
	возврат

	def automatic_camera_placement (формы: Список,
	разрешение: кортеж [int, int]):
	«» «
	При наличии списка объектов или форм автоматически генерирует параметры камеры.
	с использованием ограничивающих рамок фигур.Поместите камеру на
	на некотором расстоянии от фигур, чтобы он мог их все видеть.
	На основе https://github.com/mitsuba-renderer/mitsuba/blob/master/src/librender/scene.cpp#L286

	Параметры
	==========
	формы: Список
	список Redner Shape или Object
	разрешение: кортеж [int, int]
	размер выходного изображения в (высота, ширина)

	Возвращает
	=======
	pyredner.Камера
	камера, которая может видеть все объекты.
	«» «
	aabb_min = torch.tensor ((float (‘inf’), float (‘inf’), float (‘inf’)))
	aabb_max = -torch.tensor ((float (‘inf’), float (‘inf’), float (‘inf’)))
	для формы в формах:
	v = форма.вершины
	v_min = torch.min (v, 0) [0] .cpu ()
	v_max = torch.max (v, 0) [0] .cpu ()
	aabb_min = torch.min (aabb_min, v_min)
	aabb_max = torch.max (aabb_max, v_max)
	assert (torch.isfinite (aabb_min) .all () и torch.isfinite (aabb_max) .all ())
	центр = (aabb_max + aabb_min) * 0,5
	экстентов = aabb_max — aabb_min
	max_extents_xy = torch.max (экстенты [0], экстенты [1])
	расстояние = max_extents_xy / (2 * math.tan (45 * 0,5 * math.pi / 180,0))
	max_extents_xyz = фонарик.max (extents [2], max_extents_xy)
	камера возврата (позиция = torch.tensor ((center [0], center [1], aabb_min [2] — distance)),
	look_at = center,
	up = torch.tensor ((0.0, 1.0, 0.0)),
	fov = torch.tensor ([45.0]),
	clip_near = 0.001 * поплавок (расстояние),
	разрешение = разрешение)

	def generate_intrinsic_mat (FX: torch.Tensor,
	фу: torch.Tensor,
	перекос: torch.Tensor,
	x0: фонарик.Тензор,
	y0: torch.Tensor):
	«» «
	\| Сгенерируйте следующую внутреннюю матрицу 3×3 с учетом параметров.
	\| fx, перекос, x0
	\| 0, fy, y0
	\| 0, 0, 1

	Параметры
	==========
	FX: фонарик.Тензор
	Фокусное расстояние при измерении x. 1D тензор размера 1.
	фу: torch.Tensor
	Фокусное расстояние по оси y. 1D тензор размера 1.
	перекос: torch.Tensor
	Параметр наклона оси, описывающий преобразование сдвига.1D тензор размера 1.
	x0: фонарик.Тенсор
	Смещение основной точки по оси x. 1D тензор размера 1.
	y0: торч.Тенсор
	Смещение основной точки по оси y. 1D тензор размера 1.

	Возвращает
	=======
	факел.Тензор
	Внутренняя матрица 3×3
	«» «
	z = torch.zeros_like (fx)
	o = torch.ones_like (FX)
	row0 = torch.cat ([fx, skew, x0])
	row1 = torch.cat ([z, fy, y0])
	row2 = фонарик.кошка ([z, z, o])
	вернуть torch.stack ([row0, row1, row2]). Contiguous ()

Базовые матрицы — RB Whitaker’s Wiki

Обзор

В компьютерной графике и компьютерных играх матрицы часто встречаются. MonoGame сделает за нас большую часть трудностей, так что это не должно иметь большого значения. Я создал это руководство, чтобы научить вас всему, что вам нужно знать о матрицах, чтобы вы могли начать свою игру.Очевидно, что матрицы — это немного больше, чем то, что будет здесь представлено, но на данный момент этого должно быть более чем достаточно.

В этом руководстве мы сначала рассмотрим, что такое матрица, а затем рассмотрим три наиболее распространенных типа матриц в разработке игр и способы их использования в вашей игре.

Что такое матрица?

Матрица — это просто двумерная сетка чисел, как показано ниже:

Эта матрица имеет четыре строки и четыре столбца, но матрица может иметь любое количество строк или столбцов.И, конечно же, числа в матрице могут иметь любых значений, а не только единицы и нули. Более чем одна матрица называется матрицами.

С матрицами можно делать много всего. Их можно складывать, вычитать и умножать, как числа. У них также есть другие операции, которые вы можете выполнять с ними, помимо этих простых. Нам не нужно слишком подробно разбираться в деталях, но если вы хотите узнать о них больше, вы можете поискать «линейную алгебру» в Google или Википедии. О них много информации.

На самом деле, нас волнует, как использовать матрицы для создания крутых игр. Для целей наших игр матрица — это просто математическая игрушка, которая берет точки в одном координатном пространстве и преобразует их в другое координатное пространство. Например, предположим, что у нас есть модель, которую мы создали в программе 3D-моделирования. Когда мы создаем модель, все вершины центрируются вокруг начала центра модели. Однако в нашей игре мы хотим нарисовать модель в определенной точке нашего мира, а не , а не в начале координат.Матрица может использоваться для преобразования координат модели в координаты в нашем игровом мире.

В наших играх мы можем думать о матрицах как о типе преобразования. Мы увидим, что матрицы могут делать все, что угодно. И самое приятное то, что XNA построена таким образом, что нам даже не нужно действительно знать, как она это делает. Давайте теперь взглянем на несколько матриц, которые используются в компьютерной графике.

Матрицы мира, вида и проекции

Когда мы приступаем к рисованию модели на экране, обычно необходимо выполнить три различных преобразования.Этим трем преобразованиям соответствуют три разные матрицы. Стандартный путь преобразования выглядит как на изображении ниже:

Начнем с вершин в пространстве модели . Координаты наших вершин представляют, где они находятся по отношению к остальной части модели. На этом этапе мы применяем мировую матрицу . Это преобразует координаты нашего модельного пространства в мировое пространство. Мировое пространство координаты представляют, где вершины (и вся модель) находятся по отношению ко всему миру.Мировая матрица в основном сообщает нам, где находится модель в мире.

Следующий шаг — взять наши координаты в мировом пространстве и применить к ним другое преобразование. Следующее преобразование — это матрица просмотра . Эта матрица поместит наши координаты в область просмотра , где вершины находятся по отношению к зрителю. То есть там, где находится камера или глаз игрока. В некотором смысле это преобразование сообщает нам, где находится игрок в мире.

Третий и последний шаг процесса — применение матрицы проекции . Эта матрица, по сути, сообщает нам, какую камеру типа мы используем. Он дает компьютеру информацию, необходимую для определения того, где на экране должна появиться каждая из наших вершин. (Он «проецирует» точки на экран.) Это преобразование по существу переводит вершины в экранные координаты, хотя компьютеру еще предстоит проделать большую работу, поскольку он рисует модель на экране (например, растеризация).

Создание матриц в MonoGame

Теперь мы рассмотрели, как используются матрицы и как они используются в процессе фундаментального преобразования нашей игры. Теперь мы продолжим и посмотрим, как мы можем создавать матрицы в MonoGame. Как и большинство других вещей, люди из MonoGame упростили для нас эту задачу.

Мировые матрицы

Матрицы мира

могут быть самыми сложными в изготовлении матрицами, но давайте сначала обсудим их, чтобы обеспечить согласованность с порядком. Есть три основных типа мировых матриц, которые мы хотели бы использовать.Во-первых, мы можем захотеть перевести (сдвинуть или переместить) точки модели из одного места в другое. Во-вторых, мы можем захотеть повернуть точки модели. В-третьих, мы можем захотеть масштабировать точки модели, чтобы сделать ее больше или меньше. Все это можно сделать следующим образом:

Для создания матрицы перевода:

Matrix.CreateTranslation (позиция Vector3);

Для создания матрицы, вращающейся вокруг оси x:

Matrix.CreateRotationX (значение с плавающей запятой angleInRadians);

(Не забывайте, что вы можете использовать MathHelper.ToRadians (градусы с плавающей запятой) для преобразования из градусов, если хотите.)

Для создания матрицы, вращающейся вокруг оси Y:

Matrix.CreateRotationY (значение с плавающей запятой angleInRadians);

Чтобы создать матрицу, вращающуюся вокруг оси z:

Matrix.CreateRotationZ (float angleInRadians);

Или создать матрицу, вращающую точки вокруг произвольной оси:

Matrix.CreateFromAxisAngle (ось Vector3, угол с плавающей точкойInRadians);

Или для создания матрицы из рысканья, тангажа и крена (что будет обсуждаться в будущем руководстве):

Матрица.CreateFromYawPitchRoll (плавающий рыскание, плавающий шаг, плавающий крен);

Множественные трансформации мира

Важно помнить о мировых матрицах (всех матрицах в целом, но чаще всего с мировыми матрицами), что вы также можете комбинировать любые матрицы, указанные выше, чтобы создать комбинированную матрицу, которая выполняет и то, и другое. Например, вы можете сделать следующее, чтобы создать матрицу, которая будет вращать модель, а затем перемещать ее, как показано в приведенном ниже коде:

Результат матрицы = Матрица.CreateRotationX (MathHelper.ToRadians (45)) *
                                 Matrix.CreateTranslation (новый Vector3 (10, 0, 0));

Важно выполнять эти умножения в правильном порядке. В обычной математике 3 * 2 это то же самое, что 2 * 3. Порядок не имеет значения. Однако в случае с матрицами порядок имеет значение. Порядок отражает порядок, в котором мы выполняем наши операции. В качестве иллюстрации представьте, что вы стоите в определенной точке лицом к северу и собираетесь переместиться на десять футов вперед, а также повернуть направо на 90 °.Если вы двинетесь вперед, затем повернетесь направо на 90 °, то окажетесь в десяти футах к северу от того места, где были, лицом на восток. Если вы сначала повернетесь, а затем двинетесь, вы окажетесь в десяти футах к востоку от того места, где были, лицом на восток. Неправильный порядок приводит к очень странным вещам. Убедитесь, что вы получаете матрицы в правильном порядке. И правильный порядок — это порядок, обратный тому, в котором вы хотите, чтобы они были выполнены. Предыдущий пример сначала будет вращаться, а затем переводиться.

Просмотр матриц

С матрицами

работать намного проще, чем с мировыми матрицами.На самом деле есть только один метод, который вам нужно знать. Вы можете создать матрицу просмотра со следующей строкой:

Matrix.CreateLookAt (Vector3 cameraPosition, Vector3 cameraTarget, Vector3 cameraUpVector);

cameraPosition — это местоположение камеры в вашем трехмерном мире, cameraTarget — это точка в вашем мире, на которую она смотрит, а cameraUpVector — это направление, которое «вверх» для камеры. Необходимо указать вектор вверх, потому что даже если камера находится в пространстве и смотрит в определенную точку, камера все равно может вращаться.Вы действительно справитесь с вектором вверх, только если попадете в сложный симулятор полета или что-то в этом роде. По большей части вы можете использовать Vector3.Up (по оси Y) для этого значения и не беспокоиться об этом сверх этого.

Вы также должны убедиться, что вектор вверх не совпадает с направлением, в которое смотрит камера, иначе ничего не будет нарисовано.

Матрицы проекционные

С проекционными матрицами тоже не так сложно работать.Существует несколько встроенных вариантов матриц проекции в зависимости от того, как вы хотите, чтобы проекция выглядела. Двумя наиболее распространенными проекциями являются ортогональные и перспективные проекции. Основное отличие состоит в том, что у перспективных проекций есть точка схода, а у ортогональных — нет. Это означает, что удаленные объекты в перспективных проекциях будут выглядеть маленькими, в то время как в ортогональных проекциях они будут иметь одинаковый размер.

На изображениях ниже показаны различия между этими двумя проекциями.Первое изображение представляет собой перспективную проекцию и было создано в Wings3D.

Это второе изображение показывает ту же сцену с ортогональной проекцией. Это изображение также было создано в Wings3D.

Перспективные проекции обычно выглядят более реалистично, потому что они дают ощущение глубины. Однако бывают случаи, когда орфографические проекции лучше. Во многих старых стратегиях в реальном времени использовались орфографические проекции. Если все объекты относительно равноудалены от камеры, то они примерно одинаковы по внешнему виду, а использование ортогональной проекции может облегчить выполнение определенных действий как для пользователя, так и для программистов.

Ортографическую проекцию можно создать с помощью следующего кода:

Matrix.CreateOrthographic (ширина поплавка, высота поплавка, float zNearPlane, float zFarPlane);

При этом ширина — это количество единиц поперек проекции, высота — это высота проекции в единицах, а zNearPlane и zFarPlane — это ближняя и дальняя плоскости отсечения.
Вы также можете создать нецентральную ортогональную проекцию (например, левая сторона выходит дальше, чем правая).Следующий метод создает нецентральную ортогональную проекцию:

Matrix.CreateOrthographicOffCenter (плавать влево, плавать вправо,
                       float bottom, float top, float zNearPlane, float zFarPlane);

В этом случае вам необходимо указать, насколько далеко находятся все четыре направления (левое, правое, нижнее и верхнее), причем zNearPlane — это ближняя плоскость отсечения, а zFarPlane — дальняя плоскость отсечения. Возможно, для вас не станет сюрпризом, что этот метод можно также использовать для создания любой «центрированной» ортогональной проекции.Например, следующие две строки эквивалентны:

Matrix.CreateOrthographicOffCenter (-1, 1, -1, 1, 0.1f, 100f);
Matrix.CreateOrthographic (2, 2, 0.1f, 100f);

Есть три метода создания перспективных проекций. Первый, который мы обсудим, будет использоваться во многих других уроках.

Matrix.CreatePerspectiveFieldOfView (поле с плавающей запятой,
                         float aspectRatio, float nearPlaneDistance, float farPlaneDistance);

Первое значение — это угол обзора.Угол обзора представляет собой угол, который может видеть камера. На схеме ниже показаны два разных угла поля зрения.

Хотя эти числа измеряются в градусах, параметр в методе CreatePerspectiveFieldOfView () должен быть в радианах, поэтому вам, возможно, придется преобразовать градусы в радианы. Параметр aspectRatio — это соотношение сторон окна. То есть это отношение длины окна к его высоте. Соотношение сторон 1,0 означает, что он такой же высокий, как и широкий.Соотношение сторон 2,0 означает, что ширина окна в два раза превышает его высоту. Соотношение сторон 0,5 означает, что ширина в два раза меньше высоты. Во многих случаях будет полезно просто получить размер окна из системы, а не угадывать или пытаться запомнить, на что он был установлен. Это можно сделать с помощью кода, подобного следующему:

float aspectRatio = (float) graphics.PreferredBackBufferWidth /
                                         graphics.PreferredBackBufferHeight;

(Обратите внимание, что я сделал приведение от int к float там, чтобы использовать деление с плавающей запятой вместо целочисленного деления.)

Наконец, nearPlaneDistance и farPlaneDistance — это ближняя и дальняя плоскости отсечения, которые мы обсуждали ранее.

Второй метод создания перспективной проекции приведен ниже:

Matrix.CreatePerspective (ширина поплавка, высота поплавка,
                            float nearPlaneDistance, float farPlaneDistance);

В этом методе ширина — это ширина области просмотра в ближней плоскости отсечения. Высота — это высота области просмотра в ближайшей плоскости отсечения.NearPlaneDistance и farPlaneDistance снова представляют собой расстояния ближней и дальней плоскости отсечения. Как и в случае ортогональной проекции со смещением от центра, существует перспективная проекция со смещением от центра, как показано ниже:

Matrix.CreatePerspectiveOffCenter (плавать влево, плавать вправо,
                                            float bottom, float top, float nearPlaneDistance,
                                            float farPlaneDistance);

Как и в случае с ортогональной проекцией вне центра, вам необходимо указать, насколько далеко окно распространяется влево, вправо, вниз и вверх.Эти значения, опять же, являются значениями в ближней плоскости отсечения. Значения nearPlaneDistance и farPlaneDistance — это расстояние до ближней и дальней плоскости отсечения.

Пользовательские матрицы

Хотя мы обсудили множество способов создания матриц, что, если нужная нам матрица не имеет метода для ее создания? В качестве последней темы этого руководства давайте посмотрим, как создать настраиваемую матрицу. Конструктор Matrix можно использовать для создания матрицы с заданными значениями, как показано ниже:

Матрица customMatrix = новая матрица (
        поплавок м11, поплавок м12, поплавок м13, поплавок м14,
        поплавок м21, поплавок м22, поплавок м23, поплавок м24,
        поплавок м31, поплавок м32, поплавок м33, поплавок м34,
        поплавок м41, поплавок м42, поплавок м43, поплавок м44);

Это позволит вам назначить матрице все, что вы хотите.Помимо этого конструктора, вы можете изменять значения существующей матрицы, используя набор свойств, принадлежащих матрице. Например, вы можете использовать следующую строку для изменения элемента в третьей строке и первом столбце матрицы:

Вы, вероятно, обнаружите, что почти каждую матрицу, которая вам понадобится, можно создать либо с помощью фабричных методов по умолчанию, описанных ранее, либо с помощью комбинации более чем одного из них. Но эти методы дают вам возможность внести любые изменения, для которых ваше воображение может придумать применение.

Последний пример

Этот учебник, вероятно, уже достаточно длинный, но я подумал, что было бы неплохо добавить последний пример, показывающий некоторый код, который подготавливает все три стандартные матрицы:

Vector3 cameraPosition = новый Vector3 (30.0f, 30.0f, 30.0f);
Vector3 cameraTarget = новый Vector3 (0.0f, 0.0f, 0.0f);
 
float fovAngle = MathHelper.ToRadians (45);
float aspectRatio = graphics.PreferredBackBufferWidth / graphics.PreferredBackBufferHeight;
плавают рядом с = 0.01f;
float far = 100f;
 
Матричный мир = Matrix.CreateTranslation (10.0f, 0.0f, 10.0f);
Матричный вид = Matrix.CreateLookAt (cameraPosition, cameraTarget, Vector3.Up);
Матричная проекция = Matrix.CreatePerspectiveFieldOfView (fovAngle, aspectRatio, near, far);

Что дальше?

Ну, вероятно, это было довольно много информации, но, надеюсь, она помогла вам понять, что такое матрица и как она используется в играх. Как я уже сказал ранее, матрицы — это нечто большее, чем это, но этого должно быть достаточно, чтобы мы начали.