Матрица, наряду с объективом, является главной деталью камеры смартфона. Мегапиксели – это количество транзисторов, размещенных на ее поверхности. То есть, цифра в 13 МП означает, что на матрице находится около 13 миллионов эффективных светочувствительных транзисторов.

На что влияет размер матрицы

Производителям камер для смартфонов (самые известные из них – Sony, LG, Samsung, Philips, OmniVision) приходится искать компромиссы между габаритами и качеством матрицы. Дело в том, что при уменьшении размера пикселя, он начинает улавливать меньше света, становится менее чувствительным. А если оставить размеры пикселя прежними, наращивая их количество, то увеличится сам модуль камеры. В зеркалках это не страшно, а вот в смартфонах, толщиной 5-10 мм, каждый микрометр имеет значение.

В итоге в смартфонах, при увеличении мегапикселей, за счет миниатюризации транзисторов, каждый из них улавливает меньше света. Детализация картинки растет, но четкость изображения не меняется. В таких условиях камера на 8 МП не уступит камере на 16 МП, с таким же размером матрицы, а кое-где и обойдет ее.

Матрица камеры в смартфоне

Ультрапиксели

Ультрапиксели – это маркетинговый термин, введенный компанией HTC при презентации флагмана One M7. Под ним подразумевается матрица, разрешение которой специально уменьшено, с целью увеличения размеров пикселя до уровня полноценных фотоаппаратов. К примеру, упомянутый смартфон имел пиксели с размерами 2 мкм, что почти вдвое больше размеров транзисторов у традиционных матриц (1,1 мкм).

Еще в середине прошлого десятилетия, когда большинство смартфонов имели камеру на 0,3, 1,3 или 2 МП, увеличенные пиксели были обыденным делом. Таковыми обладали флагманы 2006 года Nokia N73 и N95, с пикселями на 5 мкм. Но массовая популяризация камер на 8-13 МП побудила HTC внедрить новый термин, дабы убедить клиентов, что их камера на 4 МП не хуже конкурентов на 8-13 МП.

Потом об ультрапикселях забыли, пока Samsung не выпустили на свет Galaxy S7, с технологией, которую объявили как UltraPixel, где размер пикселя был равен 1.4 мкм. Это позволило матрице захватывать больше света в темноте и делать более четкие снимки за счет увеличения матрицы, в сравнении с Galaxy S6.

Популярные размеры матриц в смартфонах

Размеры матриц цифровых фотокамер исторически принято измерять в дюймах. Но дюймы эти – не простые английские, а «видиконовые». Традиция их применения устоялась в прошлом столетии, когда кинокамеры были аналоговые. Регистрирующая ЭЛМ (электронно-лучевая мишень), именуемая видиконом, имела полезный размер, равный 2/3 от внешнего размера. Поэтому видиконовый дюйм равен 2/3 английского, или 17 мм. Матрица 1/3″ означает, что ее диагональ составляет одну третью от 17 мм, или около 5,66 мм.

1/4″

Самый маленький размер матрицы в камере смартфона, выпускаемого в современности. При таких габаритах матрица вмещает 8 миллионов транзисторов, стандартного размера 1,12 мкм. Такими камерами оснащаются бюджетные китайские смартфоны. Качество фотосъемки оставляет желать лучшего, зато достигается компактность. Поэтому подобными матрицами спереди оборудуют флагманские модели с передней камерой на 8 МП.

1/3,2″

Распространенный размер для камер с разрешением 8 МП, но увеличенным размером пикселя до 1,4 мкм. Такая матрица камеры ранее устанавливалась в Google Nexus 5, Meizu MX3, Moto G 2014. Сейчас подобная используется в бюджетных камерафонах (вроде UMI Rome X). Также она может устанавливаться в роли фронталки во флагманах, вроде ZTE Nubia Z9.

1/3″

Еще один ходовый размер матрицы, используемой во многих смартфонах. При сохранении стандартного размера пикселя 1,12 мкм, она обеспечивает разрешение 13 МП. Такими матрицами оснащены камеры Xiaomi Redmi Note 2 и 3, Mi 4c, Meizu M2 и M3 (как Mini, так и Note), Samsung Galaxy J5 2016, Samsung Galaxy S4 и многие другие. Отдельно выделяется Xiaomi Redmi Note 3 Pro, оснащенный матрицей такого размера, но с разрешением 16 МП. Уменьшение пикселя до 1 мкм позволило улучшить детализацию при ярком освещении, но сделало смартфоны хуже приспособленными к условиям средней и слабой освещенности.

Также стоит отметить iPhone 5s и 6, у которых размеры матрицы составляют 1/3″, но разрешение – всего 8 МП. За счет увеличенных пикселей эти смартфоны обеспечивают качество фото, не уступающее (а иногда и превосходящее) конкурентам с 13 и 16 МП. Такой же размер матрицы имеет и iPhone 6s, с разрешением 12 МП. Его показатели в этом плане немного превосходят конкурентов на 13 МП, так как габарит пикселя составляет 1,22 мкм (а не 1,12 мкм).

Снимок на камеру iPhone 6S

1/2,8″

Наиболее популярный размер матрицы камеры для смартфонов с 16 МП. Такие камеры встречаются у Xiaomi Max, OnePlus 3, Xiaomi Mi5. Эти смартфоны отличаются тем, что размер пикселя составляет 1,12 мкм. Почти 90 % устройств с 16 МП имеют матрицу размера 1/2,8″.

Cнимок на камеру Xiaomi Mi5

1/2,6″

Матрица 1/2,6″ – это уже «покушение» на класс реальных (а не маркетинговых) камерафонов. Такой оборудованы LG G4 (16 МП) и ZTE Nubia Z9. Также подобные матрицы встречаются в Samsung Galaxy S6 и S6 Edge, Note 5, Asus ZenFone 3 Ultra и другие флагманские устройства. Подобная камера (на 12 МП) использована в Samsung Galaxy S7, S7 Edge, Note 7, но с размером 1/2,6.

Снимок на смартфон LG G4

1/2,4″

Размер матрицы 1/2,4″ — это уже явный признак камерафона. Sony в своих 21-мегапикскльных камерах (как у Xperia Z1, Z2), а также Meizu MX4, MX5, сохраняют приемлемый размер пикселей 1,12 мкм, в угоду разрешению. Также такая матрица встречается в Moto X Force и других смартфонах.

1/2,3″

Фото с Sony Xperia Z1 Compact

Это уже «гигант» в мире мобильных камер. Наличие такой матрицы подразумевает, что производитель позаботился о разумном сочетании мегапикселей и размеров матрицы. Она встречается в Sony Xperia Z1 Compact, Xperia Z2 (оба – 21 МП). Такое сочетание позволяет добиться отличной детализации без особого ущерба четкости.

Более крупные матрицы камер

К сожалению, в прошлом остались матрицы, обладающие более крупными размерами. Сейчас они применяются только в фотоаппаратах (зеркальных, беззеркальных и мыльницах). Производители стараются поднять светочувствительность транзисторов матриц, улучшить их, но не всегда это возможно. Так как фокусное расстояние напрямую связано с размерами матрицы – увеличение оной приведет к росту высоты камеры. В век, когда превышать толщину смартфона более 10 мм становится моветоном и грешным делом – увидеть матрицы большего размера нам не суждено.

Популярный смартфон Xiaomi Redmi Note 9 Pro с отличной камерой

Полвека цифровой фотографии. Пиксели меняют мир

Сегодня мы можем сделать селфи с помощью мегапиксельной камеры мобильного телефона и не спеша, с помощью фильтров навести красоту на экране, чтобы за считанные секунды представить наши фотографии в онлайн-мире. А 50 лет назад людям приходилось подолгу ждать, чтобы получить фотографию.

В этом году отмечается 50-летие изобретения ПЗС-матрицы. Оглядываясь назад на историю цифровой фотографии, мы увидели глубокие изменения в способе коммуникации и мышления по мере развития медиа-технологий. Ключом к увеличению скорости создания изображения стал прибор с зарядовой связью (ПЗС-матрица) или CCD-матрица. Это своеобразный «электронный глаз» камеры, толкающий фотографию от эпохи кино к эпохе цифровых технологий. 

CCD  — couple charged device. CCD-матрица и более поздние CMOS являются светочувствительными элементами, встроенными в цифровые камеры и смартфоны, которые преобразуют свет, излучаемый объективом, в цифровые сигналы и в конечном итоге становятся цветными изображениями на экране.

Уиллард Бойл (слева) и Джорджа Э. Смит. 1974 год. nytimes.com

Изобретение CCD-матрицы стало неожиданным «сюрпризом». В 1969 году Уиллард Бойл и Джордж Э. Смит из Bell Labs в США случайно придумали устройство и обнаружили фотоэлектрический эффект при изучении иных технологий. Поверхность этого устройства могла генерировать заряды и формировать цифровые изображения, так родился CCD. Сам процесс этого реально великого изобретения  и «мозгового штурма» занял всего один час!

C инженерно-физической точки зрения CCD представляет собой каскад триггеров, работающий по принципу перемещения заряда по полупроводнику. Его самый простой аналог — «бегущая строка», создающая визуальную иллюзию перемещения изображения по горизонтали. В CCD сходным образом перемещается заряд или «дыра» от одной потенциальной ямы к другой. Первый теоретический CCD Бойла-Смита был основан на дырочной p-проводимости, современные CCD в основном n-электронные. Это был «сэндвич» из поликремния, кремния и проводника.

Первая портативная цифровая камера, изобретенная Стивеном Сассоном.  diyphotography.net

ПЗС-матрица прошла испытание временем. В течение десятилетий он не только проникал в повседневную жизнь каждого человека, способствовал глубоким изменениям в технологии фотографии, но также применялся во многих научных областях, таких как астрономия и медицина. От сканеров штрих-кода для супермаркетов до научных зондов для исследования вселенной и подводного мира. Теперь есть возможность  видеть быстрее, дальше и глубже благодаря использованию оптических устройств, которые включают в себя ПЗС-матрица. 

Стивен Сассон и его первая портативная цифровая камера. diyphotography.net

Используя матрицу Fairchild CCD-201 (100 × 100), молодой инженер Стивен Сассон, работавший на Eastman Kodak, в 1975 году собрал первый в истории полноценный ручной цифровой фотоаппарат, который делал кадр за 50 миллисекунд и еще полминуты записывал его на обычную магнитофонную кассету. На кассету помещалось 30 кадров. Себестоимость этого проекта составила около 200 долларов США.

Камера Сассона включает шесть пользовательских плат и датчик CCD. Для передачи изображения с датчика во временную систему хранения камеры требуется 50 миллисекунд, а для записи фотообращения на ленту требуется 23 секунды. Лента на этой камере могла содержать только 30 черно-белых фотографий — число, установленное Сассеном после рассмотрения, что аналогично количеству фотографий на рулоне пленки, что соответствует привычкам людей в то время. На самом деле магнитная лента может хранить сотни или тысячи фотографий, но с техническими средствами того времени люди не могли справиться с большим количеством. Конечно, на этой камере нет дисплея, для просмотра фотографий необходимо было подключить ленту к экрану телевизора, чтобы показать ее.

Лаборант Kodak использовал эту камеру, чтобы сделать первый снимок, но, к сожалению, этот снимок не сохранился. Хотя изобретение Сассона не было первой машиной, которая производила цифровые изображения, это была первая цифровая камера, которая могла быть в переносном и мобильном видеосъемке в истинном смысле этого слова, поэтому она оказала важное влияние на развитие технологии цифровой фотографии.

Фотографии с первой цифровой камеры были сохранены на ленте и должны были быть подключены к экрану телевизора для просмотра. Источник изображения: diyphotography.net

Как сообщал Сассон много лет спустя, руководство Kodak встретило прототип скептически: «Они были убеждены, что никто никогда не захочет рассматривать свои фотографии на телевизоре». Пленочные камеры были популярны в течение десятилетий. Пленка Kodak занимала 90% всего рынка. Выход цифровых камер, очевидно, повлияет на продажи пленки. Позднее, Kodak потерял рынок и закрылся именно из-за того, что не успел охватить рынок цифровых камер, держась за умирающие пленочные.

В 1975 году, когда Сассон изобрел мобильную цифровую камеру, инженер Motorola только что изобрел первый в мире мобильный телефон, который был размером с два кирпича, Интернет был далек от повседневной жизни человека, а компьютеру требовался целый дом.

Sony Mavica камера.

К 1980-м годам японские производители камер первыми представили цифровые камеры на рынке. В 1981 году, после 8 лет исследований в области ПЗС-матриц, корпорация Sony выпустила камеру MAVICA, которая стала первой в мире цифровой камерой, выпущенной для рынка, с пикселем датчика около 280 000. Хотя реакция рынка была скромной, эта камера была первой, которая успешно использовалась в области новостной фотографии. На Олимпиаде в Лос-Анджелесе в 1984 году репортер из Японии Асахи Симбун использовал камеру Mavica, чтобы делать фотографии игры, а затем передавал фотографии в реальном времени с помощью мобильного телефона Sony.

Широко камеры вышли на массовый рынок в 1990-х годах. В 1994 году Kodak выпустил DC40, который можно считать первой в мире зрелой коммерческой цифровой камерой. Он имел около 380 000 пикселей и был в то время оценен в 699 долл. Низкая цена была привлекательной для рынка. В следующем году Casio выпустила QV10, который был одинаково недорогим и первой коммерческой камерой, оснащенной дисплеем, что вызвало сенсацию на рынке цифровых камер в этом году. Японский национальный музей науки даже назвал это изобретение  — «Наука и техника».

На протяжении 1990-х годов технология цифровых камер постоянно обновлялась. В конце 1990-х вышли квазипрофессиональные цифровые камеры. Первое поколение зеркальных камер достигло более 2 миллионов пикселей, да и цена их была «профессиональной». 

В 2009 году Kodak объявил о приостановке производства самой культовой цветной пленки. nytimes.com

Методы хранения изображений в цифровых камерах эволюционировали от магнитных лент, дисков и компакт-дисков до карт памяти. Камеры становятся все меньше и меньше, а емкость и скорость увеличиваются. В дополнение к функции камеры, функции записи видео и беспроводной передачи, разработанные в конце 1990-х годов, постепенно улучшились. Теперь цель состоит в том, чтобы быть более умным.

ПЗС-матрица 2Мп в фотоаппарате RoverShot rs-2120.

Сассон, который изобрел первую цифровую камеру, также думал о развитии цифровой фотографии, однако он считает, что предел качества фотографий, которые нужны людям, составляет всего два мегапикселя, что уже было астрономическим числом в 1970-х годах. Сегодня цифровые камеры достигли уровня 100 миллионов пикселей, и производители смартфонов гоняются за вами, а также увеличили количество пикселей мобильных телефонов до десятков миллионов — ясно, что это больше не проблема.

Источник

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.

Новости о науке, технике, вооружении и технологиях.

Подпишитесь и будете получать свежий дайджест лучших статей за неделю!

Email*

Подписаться

Полнокадровая технология — Sony Pro

Два стандартных параметра ISO

Для эффективной работы цифрового датчика изображения необходимо использовать базовое значение ISO. Благодаря ему вы обеспечите максимально низкий уровень шума, оптимальное соотношение «сигнал — шум» и наиболее расширенный динамический диапазон. Это возможно, так как при использовании базовых настроек ISO на сигнал, исходящий от матрицы, не действует коэффициент усиления напряжения. Довольно часто при повышении этого коэффициента, например чтобы увеличить значение ISO или сделать изображение ярче, на картинке появляются шумы и снижается динамический диапазон. Ваше изображение действительно будет в два раза ярче, но при этом так же увеличится соотношение «сигнал — шум», а качество снимка значительно снизится. Если зернистый кадр, снятый на аналоговую пленку, например ASA 400, может выглядеть интересно и уникально, то шум на цифровом изображении свидетельствует о его низком качестве.

Поэтому в настройках полнокадровой матрицы, встроенной в камеры VENICE и FX9, доступны два базовых значения ISO, с помощью которых можно отрегулировать показатели чувствительности датчика изображения. Они имеют лишь небольшую разницу в качестве изображения. Цветопередача и динамический диапазон остаются практически идентичными, что можно сказать и об уровне шумов.

В камере VENICE используется базовое значение ISO 500, что обеспечивает оптимальный баланс динамического диапазона при стандартном освещении на съемочной площадке. Вспомогательное высокое базовое значение ISO равняется 2500 и отлично подходит для съемки в расширенном динамическом диапазоне в условиях низкой освещенности. Камера FX9 с чувствительностью ISO 800 обеспечивает оптимальный динамический диапазон для съемки как на улице, так и в ярко освещенных помещениях. Вспомогательное высокое базовое значение чувствительности ISO равняется 4000 и отлично подходит для работы в условиях низкой освещенности. Вы можете подобрать базовое значение ISO под свой уровень освещенности и менять его, не снижая качество изображения и не прерывая рабочий процесс.

CMOS камера (cmos матрица)

Матрицы Sony Exmor™ в камерах видеонаблюдения КАРКАМ

В наши дни на рынке существует два типа  оптических сенсоров: CCD и CMOS. Но компания «КАРКАМ Электроникс» отдает предпочтение матрице CMOS, используя компонент при создании фирменной продукции.

Первоначально популярностью пользовались CCD матрицы, созданные как аналог и замена CMOS сенсорам. Они, как и второй вид сенсоров, обеспечивали высокое качество изображения и минимально возможное количество шумов. Однако с течением времени были обнаружены недостатки в работе CCD матриц. Дело в том, что ССD сенсоры высокого разрешения требовали большое количество памяти для хранения файлов записи и это, конечно же, усложняло их использование. Помимо технических недочетов, такие матрицы были весьма дорогие в производстве, что сказывалось на конечной стоимости устройств, в которых они использовались.

В отличие от CCD сенсора, CMOS матрица отличается небольшой стоимостью. Она имеет меньшее энергопотребление и нагрев, что позволяет использовать ее практически в любых условиях. Однако CMOS матрица тоже имела свой недостаток. Она была шумной в работе, особенно в условиях недостаточного освещения. Эту проблему решила компания Sony, создав матрицы EXMOR.

Обычная матрица передает аналоговый сигнал с пикселей на аналогово-цифровой преобразователь. Аналоговые сигналы чрезвычайно восприимчивы к помехам и по этой причине появляется цифровой шум. Чем больше расстояние передачи сигнала, тем выше уровень шума.

Компания Sony устранила эту проблему, применив в матрице Sony EXMOR новый подход. Теперь аналогово-цифровые преобразователи стали располагаться максимально близко к пикселям, что помогло уменьшить внешнее воздействие и снизило количество шумов. Также продукт компании Sony получил высокое качество благодаря системе цифрового шумоподавления CDS. Таким образом, комплексный подход производителя в оптимизации сенсоров позволил решить вопрос качества изображения.

Компания «КАРКАМ Электроникс» заботится о качестве своей продукции. Именно поэтому в фирменных IP-камерах видеонаблюдения мы используем только проверенные компоненты. Высококачественные CMOS сенсоры Sony EXMOR обеспечивают достойное качество картинки и демократичную цену камер КАРКАМ.

Светочувствительная матрица – основа камеры видеонаблюдения

Руководитель группы технической поддержки Бенедикт Максименко.
 

Давно известно, что светочувствительная матрица является основополагающим фактором качества изображения, выдаваемого оборудованием, и, главным образом, от нее зависит способность камеры снимать видео при недостаточной освещенности или же на улице. Именно она является «сердцем» любой видеокамеры.

Светочувствительные матрицы или сенсоры разделяются на два основных типа – матрицы CCD (ПЗС) и матрицы CMOS (КМОП).

Матрица типа CCD (Charge-Coupled Device) изготовляется при помощи технологии «приборов с зарядной связью». В отличие от нее, при изготовлении матрицы CMOS (Complementary Metal-Oxide-Semiconductor) применяется прицип металло-оксидо-полупроводниковой структуры (КМОП).

По сравнению с CCD-матрицами, матрицы CMOS значительно дешевле. Преимуществом камеры видеонаблюдения CMOS-матричного типа является большее количество мегапикселей, и, как уже упоминалось, меньшая стоимость (секрет в том, что в CMOS-сенсорах «все» находится в одной микросхеме с цифровым качеством выхода данных). Но у CMOS-матрицы есть также и один существенный недостаток – шумы, которые не дают получить картинку сравнимого с CDD-матрицей качества.

Главными техническими характеристиками светочувствительной матрицы являются следующие: размер, разрешение телевизионных линиях (ТВЛ), разрешение в пикселях, тип матрицы, чувствительность.

Разрешение камеры видеонаблюдения непосредственно влияет на детальность изображения. Зависимость очевидна, чем выше разрешение, тем выше и информативность картинки. Физическое же разрешение практически никак не влияет на качество воспроизводимого изображения. Именно поэтому для камер видеонаблюдения более важным параметром является разрешение, отображаемое в телевизионных линиях ТВЛ. Показатель ТВЛ – это число телевизионных линий, которое возможно детально разглядеть на изображении. Данный показатель зависит не только от одного лишь количества пикселей в матрице, но также и от качества матрицы, электронной схемы и качества объектива. Обычно разрешения 400 телевизионных линий вполне достаточно для видеонаблюдения. Более высокое разрешение в 540 телевизионных линий определяет детальность картинки – здесь уже можно разобрать как номера машин, так и лица людей. Разрешение цветных камер ненамного, но хуже, чем у их черно-белых собратьев.

Недостаточная освещенность зачастую является виной недостаточного качества видеоизображений, получаемых от камеры. Светочувствительность матрицы зависит от степени ее реакции на изменение внешнего освещения. Чем меньше камера наблюдения зависит от света, тем у ее матрицы светочувствительность выше. Существуют матрицы типа «день/ночь», у которых при резком снижении освещенности происходит переход в режим черно-белой съемки, также присутствует возможность (для работы в абсолютной темноте) использования инфракрасной подсветки. Показатель освещенности, как известно, измеряется в Люксах. В технических документациях камер видеонаблюдения отдельно указывается минимальные требования к уровню освещенности, однако специалисты советуют выбирать светочувствительность камеры в несколько раз больше, чем минимально возможный уровень освещенности, для получения действительно хорошего качества изображения. Черно-белые матрицы значительно более чувствительны.

Основным недостатком цветных камер (если сравнивать с черно-белыми) является тот факт, что у них более низкая чувствительность (в 5-10 раз). Именно поэтому и возник отдельный тип камер наблюдения, который так и называется – «День-Ночь». Камеры такого типа днем работают в полноцветном режиме, а при значительном снижении освещенности – сразу же переходят в режим черно-белой видеосъемки.

Численно размеры матриц выражают в виде дроби (размерность – в дюймах), к примеру, 1/3″, 1/2″, ну и так далее. Чем выше реальные размеры матрицы (при условии, что количество пикселей — одно и то же), тем и выше, соответственно, качество изображения.

Руководитель группы технической поддержки Бенедикт Максименко.

Рассечение матрицы камеры, часть 2: Внешняя матрица ←

22 августа 2012 г.

Добро пожаловать в третий пост из серии «Камера перспективы — Интерактивный тур». В прошлом посте мы узнали, как разложить матрицу камеры на произведение внутренней и внешней матриц. В следующих двух постах мы рассмотрим внешние и внутренние матрицы более подробно. Сначала мы рассмотрим различные способы взглянуть на внешнюю матрицу с интерактивной демонстрацией в конце.

Внешняя матрица камеры

Внешняя матрица камеры описывает местоположение камеры в мире и направление, в котором она направлена. Те, кто знаком с OpenGL, знают это как «матрицу просмотра» (или свернутую в «матрицу просмотра модели»). Он состоит из двух компонентов: матрицы вращения R и вектора перемещения t , но, как мы скоро увидим, они не совсем соответствуют повороту и перемещению камеры. Сначала мы исследуем части внешней матрицы, а позже мы рассмотрим альтернативные способы описания позы камеры, которые более интуитивно понятны.

Внешняя матрица принимает форму жесткой матрицы преобразования: матрица вращения 3×3 в левом блоке и вектор-столбец переноса 3×1 справа:

\ [[R \, | \, \ boldsymbol {t}] = \ left [\ begin {array} {ccc | c} r_ {1,1} & r_ {1,2} & r_ {1,3} & t_1 \\ r_ {2,1} & r_ {2,2} & r_ {2,3} & t_2 \\ r_ {3,1} & r_ {3,2} & r_ {3,3} & t_3 \\ \ end {array} \ right] \]

Часто можно увидеть версию этой матрицы с дополнительной строкой (0,0,0,1), добавленной внизу.Это делает матрицу квадратной, что позволяет нам дополнительно разложить эту матрицу на поворот , за которым следует перевод на :

\ [ \ begin {align} \левый [ \ begin {array} {c | c} R & \ boldsymbol {t} \\ \ hline \ boldsymbol {0} & 1 \ end {массив} \ right] & = \левый [ \ begin {array} {c | c} Я & \ boldsymbol {t} \\ \ hline \ boldsymbol {0} & 1 \ end {массив} \Правильно ] \ раз \левый [ \ begin {array} {c | c} R & \ boldsymbol {0} \\ \ hline \ boldsymbol {0} & 1 \ end {массив} \Правильно ] \\ знак равно \ left [\ begin {array} {ccc | c} 1 & 0 & 0 & t_1 \\ 0 & 1 & 0 & t_2 \\ 0 & 0 & 1 & t_3 \\ \ hline 0 & 0 & 0 & 1 \ end {array} \ right] \ times \ left [\ begin {array} {ccc | c} r_ {1,1} & r_ {1,2} & r_ {1,3} & 0 \\ r_ {2,1} & r_ {2,2} & r_ {2,3} & 0 \\ r_ {3,1} & r_ {3,2} & r_ {3,3} & 0 \\ \ hline 0 & 0 & 0 & 1 \ end {array} \ right] \ end {align} \]

Эта матрица описывает, как преобразовать точки в мировых координатах в координаты камеры.Вектор t можно интерпретировать как положение начала отсчета мира в координатах камеры, а столбцы R представляют направления мировых осей в координатах камеры.

Важно помнить, что внешняя матрица описывает, как мир трансформируется относительно камеры . Это часто нелогично, потому что мы обычно хотим указать, как камера трансформируется относительно мира .Далее мы рассмотрим два альтернативных способа описания внешних параметров камеры, которые более интуитивно понятны, и способы их преобразования в форму внешней матрицы.

Построение внешней матрицы из позы камеры

Часто более естественно указать позу камеры напрямую, чем указывать, как точки мира должны преобразовываться в координаты камеры. К счастью, построить внешнюю матрицу камеры таким способом легко: просто создайте жесткую матрицу преобразования, которая описывает позу камеры, а затем возьмите ее обратную.

Пусть C — вектор-столбец, описывающий положение центра камеры в мировых координатах, и пусть \ (R_c \) — матрица вращения, описывающая ориентацию камеры относительно осей мировых координат. TC \\ \ hline \ boldsymbol {0} & 1 \\ \ end {массив} \ right] & \ text {(умножение матриц)} \ end {align}

При применении инверсии мы используем тот факт, что инверсией матрицы вращения является ее транспонирование, а инвертирование матрицы переноса просто инвертирует вектор переноса.Т \\ \ boldsymbol {t} & = -RC \ end {align} \]

Некоторые тексты пишут внешнюю матрицу, заменяя -RC на t , что смешивает мировое преобразование ( R ) и нотацию преобразования камеры ( C ).

Обзорная камера

Читатели, знакомые с OpenGL, могут предпочесть третий способ определения позы камеры с использованием (a) положения камеры, (b) того, на что она смотрит, и (c) направления «вверх».В унаследованном OpenGL это выполняется функцией gluLookAt (), поэтому мы назовем ее «обзорной» камерой. Пусть C будет центром камеры, p будет целевой точкой, а u направлен вверх. Алгоритм вычисления матрицы вращения (перефразирован из документации OpenGL):

1. Вычислить L = p — C.
2. Нормализовать L.
3. Вычислить s = L x u. (перекрестное произведение)
4. Нормализовать s.
5. Вычислить u ‘= s x L.

Тогда матрица внешнего вращения имеет следующий вид:

\ [ R = \ left [ \ begin {array} {ccc} s_1 & s_2 & s_3 \\ u_1 ‘& u_2’ & u_3 ‘\\ -L_1 и -L_2 и -L_3 \ end {массив} \Правильно] \]

(обновлено 21 мая 2014 г. — транспонированная матрица)

Вы можете получить вектор трансляции так же, как и раньше: t = -RC .

Попробуйте!

Ниже представлена ​​интерактивная демонстрация трех различных способов параметризации внешних параметров камеры.Обратите внимание на то, как камера по-разному перемещается при переключении между тремя параметрами.

Для этого требуется браузер с поддержкой WebGL и включенным Javascript.

Javascript.

Слева : сцена с камерой и просмотром объема. Виртуальная плоскость изображения отображается желтым цветом. Справа : изображение камеры.

Настройте внешние параметры, указанные выше.

Это параметризация, ориентированная на мир. Эти параметры описывают, как мир изменяется относительно камеры . Эти параметры соответствуют непосредственно записям в матрице внешней камеры.

При настройке этих параметров обратите внимание на то, как камера перемещается в мире (левая панель), и контрастируйте с параметризацией «ориентированной на камеру»:

• Вращение влияет на положение камеры (синее поле).
• Направление движения камеры зависит от текущего поворота.
• Положительное вращение перемещает камеру по часовой стрелке (или, что эквивалентно, вращает мир против часовой стрелки).

Также обратите внимание, как изменяется изображение (правая панель):

• Вращение никогда не перемещает начало мира (красный шар).
• Изменение \ (t_x \) всегда перемещает сферы по горизонтали, независимо от вращения.
• Увеличение \ (t_z \) всегда перемещает камеру ближе к началу координат мира.

Настройте внешние параметры, указанные выше.

Это параметризация, ориентированная на камеру, которая описывает, как камера изменяется относительно мира . Эти параметры соответствуют элементам матрицы внешней камеры inverse .

При настройке этих параметров обратите внимание на то, как камера перемещается в мире (левая панель), и контрастируйте с параметризацией «мир-центричность»:

• Вращение происходит относительно положения камеры (синий прямоугольник).
• Направление движения камеры не зависит от текущего поворота.
• Положительное вращение вращает камеру против часовой стрелки (или, что эквивалентно, вращает мир по часовой стрелке).
• Увеличение \ (C_y \) всегда перемещает камеру к небу, независимо от поворота.

Также обратите внимание, как изменяется изображение (правая панель):

• При вращении вокруг оси y обе сферы перемещаются по горизонтали.
• При разных поворотах изменение \ (C_x \) перемещает сферы в разных направлениях.

Настройте внешние параметры, указанные выше.

Это параметризация «взгляда», которая описывает ориентацию камеры с точки зрения того, на что она смотрит. Отрегулируйте \ (p_x \), \ (p_y \) и \ (p_z \), чтобы изменить направление взгляда камеры (оранжевая точка).Вектор вверх зафиксирован на (0,1,0) ‘. Обратите внимание, что перемещение центра камеры, * C *, приводит к повороту камеры.

Настройте внутренние параметры, указанные выше. При настройке этих параметров наблюдайте, как изменяется громкость просмотра на левой панели:

• При изменении фокусного расстояния желтая фокальная плоскость перемещается, что меняет угол поля зрения просматриваемого объема.
• Изменение главной точки влияет на то, где зеленая центральная линия пересекает фокальную плоскость.
• Установка наклона на ненулевое значение приводит к тому, что фокальная плоскость становится непрямоугольной

Внутренние параметры приводят только к двумерным преобразованиям; глубина объектов игнорируется. Чтобы убедиться в этом, посмотрите, как на изображение в правой панели влияет изменение внутренних параметров:

• Изменение фокусного расстояния одинаково масштабирует ближнюю и дальнюю сферу.
• Изменение главной точки не влияет на параллакс.
• Никакая комбинация внутренних параметров не позволит выявить закрытые части объекта.

Заключение

Мы только что изучили три различных способа параметризации внешнего состояния камеры. Какую параметризацию вы предпочитаете использовать, будет зависеть от вашего приложения. Если вы пишете шутер от первого лица в стиле Wolfenstein, вам может понравиться параметризация, ориентированная на мир, потому что движение по (t_z) всегда соответствует движению вперед.Или вы можете интерполировать камеру через путевые точки в вашей сцене, и в этом случае предпочтительна параметризация, ориентированная на камеру, поскольку вы можете напрямую указать положение своей камеры. Если вы не уверены, что предпочитаете, поиграйте с указанным выше инструментом и решите, какой подход кажется наиболее естественным.

Присоединяйтесь к нам в следующий раз, когда мы исследуем внутреннюю матрицу, и мы узнаем, почему скрытые части вашей сцены никогда не могут быть обнаружены путем увеличения вашей камеры. Тогда увидимся!

и оценка основной матрицы с помощью RANSAC

Логистика

• Шаблон: Project5_CameraCalibration
• Часть 1: Вопросы
  • Вопросы + шаблон: Сейчас в репо: questions /
  • Процесс подачи заявки: Gradescope в формате PDF.Отправляйте анонимные материалы пожалуйста!
• Часть 2: Код
  • Шаблон записи: В репо: запись /
  • Необходимые файлы: code /, writeup / writeup.pdf
  • Процесс подачи заявки: Gradescope как репозиторий GitHub. Представлять на рассмотрение анонимные материалы пожалуйста!

Обзор

Цель этого проекта — познакомить вас с геометрией камеры и сцены.Конкретно оценим камеру матрица проекции, которая сопоставляет координаты трехмерного мира с координатами изображения, а также фундаментальную матрицу, которая связывает точки в одной сцене с эпиполярными линиями в другой. Матрица проекции камеры и основная матрица каждый может быть оценен с использованием точечных соответствий. Оценить матрицу проекции — внутреннюю и внешнюю калибровка камеры — вход соответствует 3-й и 2-й точкам. Чтобы оценить фундаментальную матрицу, вход соответствует 2d точкам на двух изображениях.Вы начнете с оценки матрицы проекции и фундаментальная матрица для сцены с наземными истинными соответствиями. Затем вы перейдете к оценке фундаментальных матрица с использованием точечных соответствий из SIFT и RANSAC.

Помните эти сложные изображения епископального дворца Гауди из Проекта 2? Используя RANSAC, чтобы найти фундаментальной матрицы с наибольшим количеством инлир, мы можем отфильтровать ложные совпадения и достичь почти идеальной точки для сопоставление точек, как показано ниже:

Подробная информация и стартовый код

Этот проект состоит из трех частей:

1. Оценка матрицы проекции,
2. Оценка фундаментальной матрицы и
3. Надежная оценка фундаментальной матрицы с помощью RANSAC на основе ненадежных совпадений SIFT.

Эти три задачи можно реализовать в student.py .

Часть I: Матрица проекции камеры

Учитывая известные соответствия точек 3D и 2D, как мы можем восстановить матрицу проекции, которая преобразуется из мира 3D? координаты в координаты 2D-изображения? Напомним, что при использовании однородных координат уравнение движения из 3D мир в координаты 2D камеры:

Наша задача — найти М.Мы собираемся составить систему линейных уравнений, чтобы найти регрессию наименьших квадратов. решение для этих параметров матрицы камеры с учетом соответствия между точками трехмерного мира и точками двухмерного изображения. В класса, мы увидели два решения этой проблемы, которые требуют перестановки коэффициентов 3D и 2D точечное свидетельство:

С помощью этих перестановок мы можем настроить нашу линейную регрессию, чтобы найти элементы матрицы M.Однако в проективной геометрии матрица M определяется только до неизвестного масштаба. По сути, эти уравнения есть много разных возможных решений. В случае вырожденного решения M = все нули, что не очень помогает. в нашем контексте.

Мы рассмотрим два способа обойти это:

1. Мы можем исправить масштаб, установив последний элемент \ (m_ {34} \) в 1, а затем найти оставшиеся коэффициенты,
2. Мы можем использовать разложение по сингулярным числам для прямого решения задачи оптимизации с ограничениями, в которой масштаб установлен: $$ \ begin {align *} & \ min \ | Ax \ | \\ & s.т ~ \ | х \ | = 1 \ end {align *} $$

Восстановив вектор значений одним из этих методов, мы должны преобразовать его в предполагаемую камеру. проекционная матрица M.

Чтобы помочь вам проверить M, мы предоставляем оценочный код, который вычисляет общую «остаточную ошибку» между прогнозируемыми 2d расположение каждой трехмерной точки и фактическое расположение этой точки на 2-м изображении. Невязка — это евклидово расстояние в плоскости изображения (квадратный корень из суммы квадратов разностей u и v).Это должно быть очень small — порядка одного пикселя. Мы также предоставляем набор «нормализованных точек» в файлах. ./pts2d-norm-pic_a.txt и ./pts3d-norm.txt. Стартовый код загрузит эти 20 соответствующих нормализованных 2D и 3D-точки. Если вы решите для M, используя все точки, вы должны получить матрицу, которая является масштабированным эквивалентом следующая матрица:

Имея эту матрицу, мы можем проецировать трехмерные точки мира на плоскость нашей камеры. Например, эта матрица примет нормализованная трехмерная точка и спроецируйте его в 2D-изображение (после преобразования однородной 2D-точки к его неоднородной версии делением на s).

Как только у нас будет точная матрица проекции M, можно разделить ее на более знакомые и более полезная матрица K внутренних параметров и матрица [R | T] внешних параметров.{-1} m_4 $$

Если мы используем нормализованные трехмерные точки и M, указанные выше, мы получим центр камеры:

Мы также предоставили визуализацию, которая покажет приблизительное трехмерное расположение камеры относительно нормализованные координаты трехмерной точки.

Часть II: Оценка фундаментальной матрицы

Следующая часть этого проекта — оценить сопоставление точек на одном изображении с линиями на другом с помощью фундаментальная матрица.Это потребует от вас использования методов, аналогичных тем, которые описаны в части 1. Мы будем использовать соответствующие точки, перечисленные в pts2d-pic_a.txt и pts2d-pic_b.txt. Напомним, что определение фундаментальная матрица:

Фундаментальная матрица иногда определяется как транспонированная матрица выше с левым и правым изображением. точки поменяны местами.Обе являются действительными фундаментальными матрицами, но функции визуализации в стартовом коде предполагают, что вы используете форму выше.

Другой способ записать это матричное уравнение:

Это то же самое, что:

Благодаря этому мы можем построить линейную систему для решения с помощью регрессии наименьших квадратов.Для каждой неизвестной переменной мы нужно одно уравнение, чтобы ограничить наше решение. Пара соответствующих точек даст одно уравнение для нашего система. Однако, как и в части I, эта матрица определяется только с точностью до масштаба, и вырожденное нулевое решение решает эти уравнения. Нам нужно исправить масштаб и решить, используя те же методы, что и в части 1. Это дает нам возможность решить систему с 8-балльными соответствиями (или более, поскольку мы восстанавливаем наилучшее соответствие наименьших квадратов для всех точек).

Оценка F по методу наименьших квадратов — это полный ранг; однако фундаментальная матрица — это матрица ранга 2. Таким образом, мы должен понизить свой ранг. Для этого мы можем разложить F с помощью сингулярного разложения на матрицы U ΣV ‘ = F. Затем мы можем оценить матрицу ранга 2, установив наименьшее сингулярное значение в Σ равным нулю, таким образом создавая Σ2. Тогда фундаментальная матрица легко вычисляется как F = U Σ2 V ‘. Мы можем проверить нашу фундаментальную матрицу оценка путем построения эпиполярных линий с использованием функции построения графика, представленной в стартовом коде.

Часть III: Фундаментальная матрица с RANSAC

Учитывая две фотографии сцены, маловероятно, что наша точка соответствия, с которой нужно выполнить регрессию для фундаментальной матрицы все было бы правильно. Наша следующая задача — использовать RANSAC для надежной оценки фундаментальная матрица из ненадежных точечных соответствий, вычисленных с помощью детектора характерных точек. Мы моделируем шум (потому что мы используем наземные точки истинности) двумя видами шумовых функций.

Сначала мы просим вас написать функцию позиционного шума. Это примет интервал и добавит некоторую ценность (выбираются равномерно случайным образом) из интервала, в основном нарушая координаты совпадений некоторыми количество. Это должно быть сделано только для некоторого процента точек, указанных в аргументах функции.

Другие наши функции вносят шум в совпадения, случайным образом меняя местами некоторое подмножество совпадений.Итак, если вы набрали 100 баллов и попросили добавить шум до 30%, затем 30 баллов следует перетасовать в списке. Обратите внимание, мы хотите переключить, какие точки на изображении A совпадают с другими точками на изображении B, а не поменять местами индексы указывает на себя.

В стартовом коде используются наземные совпадения (вместе с флагом для выполнения сопоставления характерных точек с помощью ORB). дескриптор) для пары изображений. По желанию, мы будем возмущать эти совпадения шумом, используя ваши функции, которые вы только что написал.Мы будем использовать эти возможные точечные соответствия и RANSAC, чтобы попытаться найти хорошую фундаментальную матрицу. Мы итеративно выберем случайный набор точечных соответствий (например, 8, 9 или какое-то небольшое количество точек), решите фундаментальную матрицу, используя функцию, которую вы написали для части II, а затем подсчитайте количество вставок. В этом контексте Inliers будут точечными соответствиями, которые «согласуются» с оцененной фундаментальной матрицей. К посчитайте, сколько инстеров имеет фундаментальная матрица, вам понадобится метрика расстояния, основанная на фундаментальной матрице. матрица.(Подсказка: для точечного соответствия (x ‘, x) какими свойствами обладает фундаментальная матрица?). Вы будете также необходимо выбрать порог между выпадающими и выпадающими значениями. Результаты будут очень чувствительны к этому порог, поэтому изучите диапазон значений, обеспечивающий баланс между разрешением и исключением. Мы также должны принять решение о критериях остановки для RANSAC, например, учитывая тысячи итераций RANSAC. После остановки вернуть фундаментальную матрицу с наибольшим количеством вставок.8 = 0,39% шанс при оценке фундаментальной матрицы выбрать 8 неверных соответствий случайным образом. Правильная фундаментальная матрица должно иметь больше выпадающих значений, чем выбросов, созданных из ложных совпадений, иначе проблема неразрешима.

Для некоторых реальных изображений оцениваемая фундаментальная матрица может означать невозможную связь между камеры, например, эпиполь в центре одного изображения, когда камеры на самом деле имеют большую параллельную трансляцию в плоскость изображения.Расчетная фундаментальная матрица также может быть неверной, потому что мировые точки копланарны, или потому, что камеры на самом деле не являются камерами-обскурами и имеют искажения объектива. Тем не менее, эти «неправильные» фундаментальные матрицы, как правило, удаляют неправильные совпадения характерных точек (и, к сожалению, многие правильные тоже).

Оценка и визуализация

Для части I мы предоставили ожидаемый результат (матрица M и центр камеры C). Это числовые оценки, поэтому мы не будем проверять точные числа, а только приблизительно правильные местоположения.

Что касается части II, вас будут оценивать на основе вашей оценки фундаментальной матрицы. Вы можете проверить, насколько хороши ваши оценка фундаментальной матрицы выполняется путем рисования эпиполярные линии на одном изображении, которые соответствуют точке на другом изображении. Вы должны увидеть все эпиполярное линии, пересекающие соответствующую точку в другом изображение, например:

Мы предоставляем вам функцию в стартовом коде, которая рисует эпиполярную линию на изображении с учетом фундаментальных матрица и точка с другого изображения.

Часть III — самая открытая часть этого задания. Ваша цель должна состоять в том, чтобы продемонстрировать, что вы можете оценить фундаментальную матрицу для реальной пары изображений и использовать ее для отклонения ложных совпадений ключевых точек. Мы можем проверить основную матрицу, которую вы оцениваете, и вы должны визуализировать исправленное изображение в своей записи. Кроме того, мы требуем, чтобы вы реализовали функции шума и исследовали влияние шума на производительность RANSAC.

Мы не включаем оценку точности ключевых точек, используемую в проекте 2. У вас должно получиться почти идеальное точность (очень мало выбросов) среди ключевых точек, которые вы назначаете как выбросы.

Данные

Мы предоставляем 2D и 3D соответствия наземных точек для пары базовых изображений (pic_a.jpg и pic_b.jpg) и для трех использованных изображений.

Запрещенные функции

Вы должны сами построить матрицы для калибровки камеры и оценки F-матрицы, но вы можете использовать готовые линейные решатели.Вы также должны реализовать RANSAC самостоятельно. Вы также должны написать шум функционирует самостоятельно. Не стесняйтесь использовать функции numpy.

Примечания по нормализации координат

Ваша оценка фундаментальной матрицы может быть улучшена путем нормализации координат перед вычислением фундаментальная матрица. Рекомендуется выполнить нормализацию с помощью линейных преобразований, как описано ниже, чтобы среднее значение точек было равным нулю, а средняя величина — около 1.0 или другое небольшое число (квадрат также рекомендуется корень из 2).

Матрица преобразования T является произведением матриц масштаба и смещения. c_u и c_v — средние координаты.Чтобы вычислить шкалу s, вы можете оценить стандартное отклонение после вычитания средних значений. Тогда масштаб Фактор s будет обратной величиной любой оценки шкалы, которую вы используете. Или вы могли бы найти максимум абсолютная величина. Или вы можете масштабировать координаты так, чтобы средний квадрат расстояния от начала координат (после центрирование) равно 2. Вы можете использовать одну масштабную матрицу на основе статистики координат обоих изображений или вы можете сделать это для каждого изображения.{T} @ F_ {norm} @ T_ {a} $$

Это может быть реализовано в вашей функции Estimation_fundamental_matrix () , написанной для части II, но вы на самом деле не заметите разницы во второй части, потому что входные соответствия в значительной степени идеальны. В В части III (которая вызывает Estimation_fundamental_matrix () ) вы с большей вероятностью заметите улучшение. В качестве альтернативы вы можете реализовать масштабирование на основе распределения всех координат объектов, а не только горстка перешла в Estimation_fundamental_matrix () .В своей рецензии вы должны выделить один до и после случая, когда нормализация улучшила ваши результаты.

Запись

Опишите свой процесс и алгоритм, покажите свои результаты, опишите любые дополнительные баллы и сообщите нам любые другие информация, которую вы считаете актуальной. Мы предоставляем вам шаблон LaTeX writeup / writeup.tex . Пожалуйста скомпилируйте его в PDF и отправьте вместе со своим кодом.

Обязательно укажите следующие детали при написании вашего метода:

1. Ваша оценка проекционной матрицы и центра камеры.
2. Ваша оценка основной матрицы для пары базовых изображений (pic_a.jpg и pic_b.jpg).
3. Покажите нам соответствия (и исправленное изображение) с возрастающими уровнями шума обоих видов. Сравните, как Оценка RANSAC и vanilla выполняется на каждом уровне. Напишите, что думаете о том, насколько хорошо работает RANSAC.
4. Покажите нам, что произойдет, если вместо читерских совпадений будут использоваться функции ORB. Детализируйте свой выводы.

Мы проводим анонимную оценку TA, поэтому, пожалуйста, не указывайте свое имя или идентификатор в своей рецензии или коде.

Рубрика

• +10 баллов: Правильная настройка системы уравнений регрессии наименьших квадратов для проекции матрица.
• +10 баллов: Правильное решение для матрицы проекции и правильное решение для центра камеры.
• +10 баллов: Правильная настройка фундаментальной матричной регрессии.
• +10 точек: Правильное решение для фундаментальной матрицы и создание хороших эпиполей на образцах изображений.
• +8 баллов: Правильная реализация шумовых функций.
• +27 баллов: Правильное объединение RANSAC с оценкой фундаментальной матрицы и создание правильно исправленных изображений.
• +05 баллов: Запись.
• -05 * n pts: где n — количество раз, когда вы не выполняете инструкции по передаче.

Дополнительный кредит

Пожалуйста, укажите в своем письме, какой дополнительный кредит вы сделали, и подробно опишите его результат.

• до 3 точек: функция пользовательского шума.
• до 5 баллов: Улучшите код вашего проекта 2, используя методы этого проекта.
• до 10 баллов: используйте другую процедуру RANSAC (и сравните ее производительность с базовой RANSAC), например:
• до 10 баллов: обучение современному алгоритму обнаружения точек функции глубокого обучения или соответствию

Кредиты

Этот проект основан на проекте, предложенном Аароном Бобиком CS 4495 в GATech, и был расширен и под редакцией Генри Ху, Грэди Уильямса и Джеймса Хейса.Элеонора Турсман адаптировала код для Python с помощью Анна Сабель.

Централизованные решения для видеонаблюдения на базе IP

Безопасность жизненно важна, и технология наблюдения, необходимая для этого, становится все более сложной и сложной. Сегодня умным предприятиям требуются не устаревшие аналоговые системы наблюдения, а новые, динамичные автоматизированные подходы, обеспечивающие высокую безопасность и высокую ценность для бизнеса с первого дня.

предназначены для предоставления решений для видеонаблюдения мирового класса, которые могут решить проблемы безопасности малых, средних и крупных предприятий.Как признанный поставщик решений, обслуживающий широкий круг клиентов, мы понимаем уникальные потребности различных отраслей. В отличие от универсальных решений, Matrix делает упор на предоставление клиентам отраслевых решений. Независимо от того, управляете ли вы более чем 100 локациями или одним, наша эффективная централизованная система IP-видеонаблюдения может фиксировать и документировать события безопасности из бесконечных локаций.

Что дает вам матрица?

Matrix обеспечивает централизованную безопасность с решениями IP-видеонаблюдения, которые могут управлять несколькими устройствами, расположенными в разных местах.Более того, эти решения могут быть интегрированы с функциями интеллектуальной видеоаналитики, контроля доступа и сигнализации о пожаре и вторжении. Это помогает нашим клиентам получить больший контроль над своими системами, тем самым увеличивая производительность за счет использования коллекторов.

Централизованная система видеонаблюдения на базе IP, такая как Matrix, не только объединяет все функции видеонаблюдения, но и повышает эффективность этих функций, обеспечивая лучшую безопасность, безопасность, видимость и контроль.

В целом, Matrix Video Surveillance представляет собой комбинацию лучших в своем классе IP-камер, сетевых видеорегистраторов и программного обеспечения для управления видео, разработанного специально для всех типов современных организаций.

Решения для централизованного видеонаблюдения

Решения для видеонаблюдения мирового класса, которые решают проблемы безопасности малых, средних и крупных предприятий.

Продукты

Platinum Matrix IR Turret Network IP Camera 4.1MP — 6mm — Купола / турели

camera_calibration: Матрица проекции и матрица камеры не совпадают.

Провел калибровку монокулярной камеры. Эти две страницы вики были моими ссылками для интерпретации результатов

[1] http: //docs.ros.org/api/sensor_msgs/h …

[2] http://wiki.ros.org / image_pipeline / Ca …

Матрица камеры K:

  [fx 0 cx]
K = [0 fy cy]
    [0 0 1]
  

И матрица проекции P:

  [fx '0 cx' Tx]
P = [0 fy 'cy' Ty]
    [0 0 1 0]
  

В [1] написано, что для монокулярных камер с идентификатором R P [1: 3,1: 3] обычно будет равно K, потому что Tx = Ty = 0.Теперь я выполнил простую калибровку монокулярной камеры с помощью стандартного пакета калибровки камеры от ROS (http://wiki.ros.org/camera_calibration). Как видите, матрица моей камеры и матрица проекции выглядят совершенно иначе:

  image_width: 1288
image_height: 964
camera_name: камера
camera_matrix:
  ряды: 3
  cols: 3
  данные: [598.930216, 0, 659.737942, 0, 603.682487, 466.347353, 0, 0, 1]
distortion_model: plumb_bob
distortion_coefficients:
  ряды: 1
  cols: 5
  данные: [-0.220999, 0,03075, -0,00239, -0,001594, 0]
rectification_matrix:
  ряды: 3
  cols: 3
  данные: [1, 0, 0, 0, 1, 0, 0, 0, 1]
projection_matrix:
  ряды: 3
  cols: 4
  данные: [394.463257, 0, 644.75279, 0, 0, 491.095154, 450.103389, 0, 0, 0, 1, 0]
  

Кроме того, я понял, что матрица проекции изменяется, если я изменяю параметр «масштаб» внутри калибратора камеры, я читал что-то об интересующей области, но нигде не нашел этот параметр.

Моя установка следующая: я ищу маркеры AR на неискаженном изображении (image_rect с использованием пакета image_proc).ARToolKit нужна матрица проекции для вычисления трехмерных преобразований найденных маркеров, поэтому я думаю, что ему нужно знать P . Кроме того, я делаю обратную проекцию некоторых предполагаемых маркеров и получаю координаты пикселей, поэтому я также использую для этого P (поскольку мне нужна проекция на исправленное изображение). Итак, как описано в [2], image_proc использует K — D — R — K ‘, чтобы получить неискаженное изображение. Верно ли, что я могу использовать P только впоследствии, когда я работаю только с неискаженным изображением (поиск маркеров и обратная проекция), как я это делаю сейчас?

Может кто подскажет, как вычисляется матрица проекции? Или K ‘?

Окончательный вариант — Матрица

Когда мне предоставляется возможность просмотреть любой фильм, для меня очевидным выбором будет фильм, который помог мне встать на путь киномана; Матрица .Я помню, как смотрел его, когда был молод, и был очарован ярким действием и музыкой. По мере того, как я становился старше и во время последующих просмотров, я начал осознавать огромное количество контента и техник, скрытых под всем кунг-фу и оружием. Это привело меня к «падению в кроличью нору» ( The Matrix ).

«Матрица», фильм режиссера и сценария Вачовски, был выпущен в 1999 году. Многие невидимые и неопытные методы кинопроизводства были впервые применены и популяризированы этим фильмом, что привело к его актуальности сегодня.Вачовски использовали как можно меньше дублей для трюков, предпочитая вместо этого тренировать и снимать реальных актеров, исполняющих хореографию боевых искусств. Они предпочли более простой и элегантный подход к съемке боевых сцен.

Многие режиссеры, ориентированные на боевик, сегодня предпочитают использовать «шаткую камеру» и узкие близкие углы, чтобы передать элемент неистовства и клаустрофобии во время боевых сцен. Это заставляет аудиторию чувствовать, что они присутствуют и участвуют в действии. Но Вачовски предпочли этого не делать.Многие из их боевых сцен занимают средний, широкий или даже средний план. Это может заставить аудиторию почувствовать некоторую оторванность от действия, что прекрасно согласуется с содержанием этих кадров, поскольку все они происходят в ложной реальности. Эти более широкие кадры ставят движения актеров на пьедестал. Процесс обучения и подготовки к этим сценам был настолько строгим, что не показать эти движения во всей их красе было бы позором.

Камеры с замедленным движением и пулей использовались для запечатления сложных движений, которые терялись на полной скорости, давая зрителю возможность взглянуть на происходящее на экране под любым углом.Круговое замедленное и быстрое движение камеры используется в трех культовых сценах; Удар Тринити в прыжке, уклонение от пуль Нео и первый выстрел в сцене драки в метро. Кроме того, в сцене драки в метро также используется выстрел «Глаз Бога». Эти техники информируют зрителя о повышенной реальности боя. Вся битва чрезмерна и насыщена действием, но когда они поражают вас экстремальным углом или движением камеры, зритель знает, что битва достигает пика.

Matrix использует очень четкую мизансцену, чтобы тонко информировать аудиторию и манипулировать эмоциональными реакциями.Это сначала проявляется в цветовой градации пленки. Любая сцена, происходящая в Матрице, окрашена в болезненно-бледно-зеленый цвет. С самого начала фильма они связывают этот цвет с монотонным существованием в рамках заданной системы. Сцены на рабочем месте Нео делают эти связи очевидными, поскольку весь этот сегмент фильма посвящен идее о том, что Матрица пытается привить своим подопечным менталитет стада. Оставайтесь в очереди. Делай, как тебе говорят. Не выпячивайся. Не будь уникальным.Эти зеленые образы продолжаются в том виде, как Матрица представлена ​​в реальном мире; набор зеленых обыденных неоднозначных символов на черном экране, постоянно перемещающихся с постоянной скоростью. К этому добавляется резкое освещение, обильная темнота, влажная среда и отражающие образы внутри Матрицы, вызывающие у зрителя чувство беспокойства.

Когда фильм переносит нас в свою версию реального мира, цветовая градация становится синей. Он служит для того, чтобы очеловечить эту среду в моем сознании и отделить ее от Матрицы.И хотя это дает чувство надежды, что человечество все еще может выжить, это также приносит мне чувство холода и депрессии. Эти эмоции соответствуют тяжелому положению людей на протяжении всего фильма. Точно так же используется более естественная схема мягкого освещения, чтобы еще больше очеловечить персонажей, при этом многие отражающие поверхности потускнели и несовершенны, чтобы дать зрителю ощущение статуса человечества.

Любые персонажи, которые борются с монотонной системой, предпочитают носить одежду, которая отличает их от других.Темная кожа, латекс, шипы и т. Д. Агенты, агенты системы, облачены в идеально отглаженные одинаковые костюмы. А в реальном мире машины принимают чудовищный механический облик, неспособные скрыть свою природу за своей системой. Их внутренний диалог и перспектива представлены во внешнем виде; все это время их глаза скрыты под солнцезащитными очками, чтобы скрыть свои истинные мотивы.

Другая техника используется, когда Морфеус произносит монолог Нео, что составляет одну из самых длинных экспозиционных сцен, которые я когда-либо видел.Но почему-то это работает. В этой сцене зрители получают элегантное и исчерпывающее объяснение истории этого мира. Часть этой сцены состоит из недиагетического повествования над пояснительными образами, а остальная часть состоит из диагетического диалога. Это дает зрителю ощущение, что он никогда не может доверять тому, что показывают ему собственные глаза, даже во время просмотра этого фильма. Как и в случае с персонажами, вы никогда не можете быть уверены, что то, что вы видите в фильме, реально, или же это еще одна хитрость.

Фильм содержит две различные реальности, но предоставляет зрителю дополнительные реальности через идею субъективности. Обычная вымышленная реальность существует в Матрице, занимая площадь примерно 90-х годов. Когда Нео впервые удаляется из Матрицы, все меняется в сторону экспрессионистской реальности. Он начинает видеть нелепости, аномалии и искажения в своей реальности. И, проснувшись в реальном мире, он приходит к согласию со своей действительной реальностью; фантастическая реальность с элементами жанра ужасов.Сконструированные реальности создаются для обучения, и у каждого персонажа свой взгляд на свою реальность. Субъективность во всем. Существование в Матрице имеет безграничные возможности со свободным умом.

Матрица изображает битву между людьми и машинами в чрезмерном действии и напряжении, но также неявный смысл битвы между двумя философиями; свобода против контроля. Эта битва закладывает основу для сюжетной арки Нео. В основе его арки лежит повествовательная структура Rising Action.И через эту структуру мы становимся свидетелями путешествия героя. Рыба, выброшенная из воды, попадает в фантастический мир. Он должен смириться с этим новым миром, а затем что-то с этим делать. Кульминацией является не только физическое путешествие по множеству реальностей, но и эмоциональное и философское путешествие к чему-то сродни просветлению. Я думаю, что это то, к чему мы все можем относиться на каком-то уровне.

Матрица .Режиссеры Энди Вачовски и Ларри Вачовски, спектакли Киану Ривза, Лоуренса Фишберна, Кэрри-Энн Мосс и Хьюго Уивинг, Warner Bros. Pictures, 1999. Фильм.

Барсам, Ричард и Дэйв Монахан. Просмотр фильмов: введение в кино. 5 ^th Edition., W.W. Нортон, 2015. Печать.

Дополненная реальность 911 — Матрица преобразования 4×4 | Энди Джаз | Mac O’Clock

Ни при каких обстоятельствах неопытные разработчики дополненной реальности не должны думать, что матрицы — это легкая тема.Но я уверен, это легкая тема. И это также замечательно, потому что матрицы преобразования 4×4 — это гениальный и лаконичный способ хранения информации о перемещении, вращении, масштабе, сдвиге и проекции. В этой истории я расскажу вам обо всех подводных камнях и покажу, как использовать матрицы преобразования для якорей, моделей и камер в ARKit , RealityKit , SceneKit и MetalKit . Но это также незаменимая информация для тех, кто работает с ARCore , Unity , Vuforia , Maya , Nuke или Unreal .

Рассказ про Color Matrix 4×4 можно прочитать здесь.

Начнем.

Когда-то была матрица Identity 4×4. Другими словами, матрица с оператором по умолчанию.

Наиболее обычный подход к чтению матрицы преобразования 4×4 — это чтение по столбцам. Имеется 4 столбца с индексами 0, 1, 2 и 3. Эти столбцы следует воспринимать как метки осей X, Y, Z и W. Четыре строки матрицы также помечены как X, Y, Z и W.

 0 1 2 3 
 ┌ ┐ 
 | 1 0 0 0 | X 
 | 0 1 0 0 | Y 
 | 0 0 1 0 | Z 
 | 0 0 0 1 | W 
 └ ┘ 
 X Y Z W 

Итак, перевести элементов живут в столбце с индексом 3.

 ┌ ┐ 
 | 1 0 0  Tx  | 
 | 0 1 0  Ty  | 
 | 0 0 1  Tz  | 
 | 0 0 0 1 | 
 └ ┘ 

Давайте посмотрим, как мы могли бы прочитать, как ARCamera переводит значения XYZ во фреймворке ARKit на язык программирования Swift.Ниже мы видим, что каждый отдельный ARFrame из 60 кадров в секунду содержит информацию о положении камеры (столбец с индексом 3).

  @IBOutlet weak var  arView: ARSCNView! ArView.session.currentFrame? .Camera.transform.columns 3.  x  
 arView.session.currentFrame? .Camera.transform.columns 3.  y  
 arView.session.currentFrame? .Camera.transform.columns 3.  z  

Projection Каналы XYZ, однако, находятся в трех разных столбцах — 0, 1 и 2.

 ┌ ┐ 
 | 1 0 0 0 | 
 | 0 1 0 0 | 
 | 0 0 1 0 | 
 |  Px   Py   Pz  1 | 
 └ ┘ 

Единый масштаб — простейшая форма преобразования в этом типе матрицы. Попробуйте одновременно увеличить 3 значения по диагонали, и вы увидите, что 3 стороны модели стали ярче, потому что они приблизились к источникам света.

Затем попробуйте равным образом (a.к.а. пропорционально) уменьшите его. Стороны модели теперь дальше от источников света, поэтому они затемнены.

Неравномерный масштаб также очень прост. Масштабируйте объект только по одной оси или по двум осям — глобально или локально. На следующем рисунке представлен куб, растянутый по глобальной оси X.

Переворачивание — еще одна чрезвычайно популярная операция. Эта операция может быть достигнута путем инвертирования любого значения шкалы.

Давайте переместим нашу модель на 0.8 м справа, 0,5 м вверх и 1,1 м от камеры. Примите во внимание: Преобразование -Z не то же самое, что Масштабирование XYZ вниз или , перемещая камеру из .

Когда вы намереваетесь применить трансформацию сдвига, у вас есть шесть вариантов на выбор:

 сдвиг XY 
 сдвиг XZ 
 сдвиг YX 
 сдвиг YZ 
 сдвиг ZX 
 сдвиг ZY 

Преобразование сдвига вычисляется с помощью тригонометрических функций синус и косинус .Вы помните, что такое гипотенуза , и , смежная / , противоположная сторонам треугольника? Таким образом, синус -45 градусов, примененный к оси XY, равен -0,707 .

Вращение — это комбинация сдвига и масштабных преобразований . Это может быть выполнено путем вычисления тригонометрических функций sin ( ⍺ ) и cos ( ⍺ ) .

В декартовой системе координат вращение по часовой стрелке считается отрицательным вращением вокруг любой оси. В этом случае это вращение куба вокруг оси Y. Вращение по часовой стрелке выполняется, если смотреть перпендикулярно положительному направлению оси Y.

Значения вращения по часовой стрелке вокруг оси Z приобретают отрицательный знак, как и в двух предыдущих примерах.

Также для вращения вокруг оси Z по часовой стрелке можно применить следующую формулу с перевернутыми значениями:

 ┌ ┐ 
 |  -cos   ()   -sin   (⍺)  0 0 | 
 |  sin   ()   -cos   ()  0 0 | 
 | 0 0 1 0 | 
 | 0 0 0 1 | 
 └ ┘ 

Когда камера перпендикулярна положительному направлению оси Z, давайте повернем модель против часовой стрелки.

Поскольку вращение объекта, применяемое с помощью матрицы преобразования 4×4, не так просто, как могли ожидать многие разработчики, архитекторы 3D-фреймворков предоставляют нам обычные инструменты для поворота — в SceneKit, например, это SCNVector3 (он же вращение Эйлера ) и SCNVector4 (он же Quaternion Rotation ).

Теперь посмотрим, как это выглядит в проекте SceneKit.Сначала нам нужно создать узел, содержащий геометрию коробки.

  let  boxNode = SCNNode (геометрия: SCNBox (ширина: 0,25, 
 высота: 0,25, длина 
: 0,25, 
 chamferRadius: 0,02)) 

Вращение Эйлера — ориентация узла, представлены как углы наклона , рыскания и крена , выраженные в радианах . Давайте повернем его на -45 градусов вокруг оси X (по часовой стрелке).

 коробка Узел.  eulerAngles  =  SCNVector3  (x: -Float.pi / 4, y: 0, z: 0) 

Если Gimbal Lock происходит при повороте объектов с использованием вращения Эйлера , пора использовать a Quaternion Rotation , что — это ориентация узла, выраженная как четырехкомпонентный кватернион XYZW. В SceneKit SCNQuaternion — это псевдоним типа для класса SCNVector4 .

 коробка Узел.  ориентация  =  SCNQuaternion  (x: -1, y: 0, z: 0, w: Float.pi / 4) 

И если вам нравятся матрицы, используйте simdTransform свойство экземпляра с 16 значениями. По умолчанию simdTransform — это Identity Matrix .

  import  Foundation  let  a = cos (Float.pi / 4) 
  let  b = sin (Float.pi / 4) boxNode.  simdTransform  =  simd_float4x4  ([1, 0, 0, 0], // 0 
 [0,  a ,  -b , 0], // 1 
 [0,  b ,  a , 0], // 2 
 [0, 0, 0, 1]) // 3 

В этом примере мы также повернули наш куб на 45 градусов вокруг оси X по часовой стрелке.Обратите внимание, что каждый столбец этого simd_float4x4 написан в строку, а не по вертикали.

Разработчику нужна гибкость при работе с матрицами. Например, вы хотите начать с Identity Matrix , присвоить новое значение элементу translate Z , а затем умножить этот элемент на коэффициент трансляции камеры. Посмотрите на код:

  var  translation =  matrix_identity_float4x4  translation.columns.3.z = -1.0  let  transform = arView.session.currentFrame? .camera.transform  let  position = translation  *  transform!  let _  = SCNVector3 (позе.columns.3.x, 
 позе.columns.3.y, 
 позе.columns.3.z) 

Через минуту мы узнаем, как реализовать 3D-проекцию с помощью Однородные координаты switch (этот элемент матрицы 16-й расположен в самой нижней строке справа) и самая нижняя строка элементов в матрице преобразования 4×4.Однородные координаты , или так называемые проективные координаты — это система координат, используемая в проективной геометрии.

Согласно определению Википедии : « Однородные координаты s имеют то преимущество, что координаты точек, включая точки на бесконечности, могут быть представлены с использованием конечных координат. Формулы с однородными координатами часто проще и симметричнее, чем их декартовы декартовы координаты . Однородные координаты s имеют ряд приложений, включая компьютерную графику, где они позволяют легко представить в виде матрицы аффинных преобразований и в целом проективные преобразования ».

На следующем изображении показан очень грубый подход к созданию ортогональной проекционной матрицы .

Давайте посмотрим, как правильно построить ортогональную матрицу . Для этого мы должны создать четыре выражения, используя ширину и высоту значений вида (кубоид «усеченная»), а также далеко и рядом со значениями его плоскостей отсечения . .

  exp01  = -1 / ширина 
  exp02  = -1 / высота 
  exp03  = -2 / (далеко - близко) 
  exp04  = - (далеко + близко) / (далеко - близко) 

Вот где теперь должны находиться эти выражения.

 ┌ ┐ 
 |  exp01  0 0 0 | 
 | 0  exp02  0 0 | 
 | 0 0  exp03   exp04  | 
 | 0 0  0   1  | 
 └ ┘ 

Если вы хотите знать, как правильно построить матрицу перспективной проекции , следуйте тому же правилу, но с разными значениями для четырех элементов матрицы. Сначала идут выражения:

  exp01  = около / ширина 
  exp02  = около / высота 
  exp03  = - (далеко + близко) / (далеко - близко) 
  exp04  = - (2 * далеко * near) / (far - near) 

Затем вставьте эти выражения в матрицу:

 ┌ ┐ 
 |  exp01  0 0 0 | 
 | 0  exp02  0 0 | 
 | 0 0  exp03   exp04  | 
 | 0 0  -1   0  | 
 └ ┘