Расположение светочувствительных элементов в матрице SuperCCD SR

При переходе к «двухэлементному» пикселу значительно усложняется задача борьбы с блюмингом. С одной стороны, при организации вертикального дренажа фотоэлементов с совершенно разной чувствительностью дренажный потенциал, прилагаемый на подложку, для каждого из элементов должен быть своим. В свою очередь, близкое расположение фотоэлементов допускает влияние более высокого дренажного потенциала на «чужую» яму, поэтому в подложку может «утечь» информационный заряд. В то же время при организации бокового дренажа размер «потерь» светочувствительной области будет в два раза выше, чем в матрице обычной конструкции.

Помимо дренажа, часть светочувствительной площади пиксела будет «съедена» дополнительными буферными регистрами, число которых вырастет вдвое. Следует помнить, что в матрицах с буферизацией строк светочувствительная область равняется лишь 30 процентам от общей площади сенсоров. Итак, при прочих равных параметрах чувствительность «двухэлементного» пиксела будет заметно меньше, чем у «классической» конструкции.

Известно, что, помимо теплового шума и темнового тока, в генерации шума фиксированного распределения принимают участие электроды матрицы, точнее несогласованность при подаче на них управляющих потенциалов. В матрицах SuperCCD SR их количество возрастёт вдвое, причём значения потенциалов (вследствие разницы в чувствительности и в размерах потенциальных ям) будут заметно отличаться друг от друга, что, в свою очередь, так же приведёт к росту шума фиксированного распределения.

Следует помнить также, что резервы по «углублению» потенциальной ямы фотоэлемента не безграничны, поэтому накопительная способность пиксела тоже связана с его линейными размерами. А это значит, что глубина обоих потенциальных ям «двухэлементного» пиксела даже в сумме будет заметно меньше, чем у обычного пиксела тех же габаритов.

Если свести описание матриц обычной структуры и SuperCCD SR к крайне упрощенному виду, то можно говорить о ведре (потенциальной яме), выставленном под дождь (поток фотонов).

Причём в «двухэлементном» пикселе одно из вёдер («малый» фотоэлемент) накрыто крышкой с отверстиями, которая замедляет процесс его заполнения.

Однако за счёт вышеперечисленных особенностей технологии производства ПЗС-матриц необходимо помнить, что у описанных вёдер толщина стенок (дренаж и буферный регистр) достигает порядка 70 процентов от общего объёма тары. Очевидно, что при ограничении площади, предназначенной для размещения ведер, одно ведро всегда будет собирать больший объём воды, чем пара.

По результатам эксплуатации фотоаппарата с новым сенсором, Fuji Finepix F700, выяснилось, что надежды разработчиков Fuji не оправдались. Новая модель зачастую выдавала сплошные белые пятна в тех областях снимка, в которых камерам с обычным сенсором удавалось зарегистрировать оттенки вполне определенного цвета. Причём в ряде случаев Finepix F700 уступала заведомо более дешевым фотоаппаратам вроде Canon PowerShot A70.

Впрочем, неудача разработчиков Fuji не значит, что нелинейный режим накопления заряда пиксела — не решаемая задача. Ещё раньше, чем Fuji, с ней справилась фирма FillFactory, занимающая одни из ведущих позиций по проектированию и разработке КМОП-матриц для студийных и профессиональных цифровых камер.

Для начала следует вспомнить, чем КМОП-матрицы отличаются от ПЗС-матриц. В КМОП-матрицах внутренний фотоэффект, обуславливающий превращение фотонов в электроны, протекает так же, как и в ПЗС-матрицах, только вот преобразование накопленного потенциальной ямой заряда в напряжение происходит непосредственно внутри пиксела. В результате есть возможность считать данные как всей матрицы, так и отдельных столбца, строки и даже элемента, отпадает необходимость во всех регистрах сдвига и управляющих микросхемах и заметно сокращается энергопотребление.

Однако присутствующие в каждом пикселе преобразователь заряд-напряжение и компоненты, предназначенные для считывания напряжения («обвязка»), при обработке сигнала добавляют к нему помехи, именуемые электронным шумом. Причем для каждого элемента матрицы уровень электронного шума разный. Кроме того, «обвязка» размещается вокруг пикселя, что приводит к малой площади светочувствительного элемента, даже по сравнению с ПЗС-матрицами с буферизацией строк, поэтому чувствительность КМОП-матриц довольно скромная.

В итоге КМОП-сенсоры основного успеха достигли в профессиональных фотоаппаратах и студийных камерах. В данной технике, как уже было сказано выше, используются матрицы с большими габаритами, благодаря этому площадь светочувствительной области получается больше размеров «обвязки» каждого пикселя, а чувствительность достигает приемлемых значений.

Чтобы расширить динамический диапазон элементов КМОП-матрицы, разработчики FillFactory применили схему с нелинейным режимом накопления заряда. Для этого в «обвязку» пиксела в добавлен элемент, отслеживающий «объём заполнения» ямы. Как только уровень заряда достигает определённой величины, данный элемент «переключает» пиксел в режим, при котором интенсивность наполнения потенциальной ямы заметно ослаблена, а риск её переполнения заметно снижен.

Предложенное разработчиками FillFactory решение, обеспечивающее «адаптивную чувствительность», выглядит предпочтительнее, чем манипуляций с формой и размерами фотоэлементов. Так или иначе, только время в состоянии показать, чья технология более перспективна. Как показывает пример со «слоёными» матрицами Foveon, любое инженерное решение вовсе не обязательно должно быть «оригинальным» и «доступным для понимания широким массам» — главное, чтобы оно давало реальный, а не придуманный маркетологами результат.

Тенденции в цифровой фотографии. Часть 4 (пиксели) / Фото и видео

Как было сказано в статье, посвящённой основным характеристикам ПЗС-матриц, наиболее сложная задача, стоящая перед разработчиками этих устройств — расширить или хотя бы сохранить чувствительность и динамический диапазон сенсора при переходе на более высокое разрешение. Причём особенности конструкции и ограничения технологии производства заставляют каждый раз для решения этой задачи искать новые пути.

В ряде случаев разработчикам удаётся компенсировать уменьшение как светочувствительной области пиксела, так и глубины потенциальной ямы исключительно за счёт резервов технологии. Однако резервов этих хватает, как правило, ненамного — как правило, удаётся пару раз поднять разрешение примерно на мегапиксел. Затем приходится совершенствовать технологию, причём по всем направлениям.

Одно из направлений, если можно так выразиться, «химическое». Усилия, прилагаемые в этой области, своей целью имеют повышение чистоты полупроводников, используемых при производстве сенсора. Уменьшение доли нежелательных примесей позволяет уменьшить уровни как темнового тока, так и теплового шума, а также поднять квантовый выход.

Несмотря на кажущуюся простоту мероприятий, обеспечивающих чистоту полупроводников, финансовые затраты на НИОКР «химического» направления являются наиболее высокими.

Другое направление, условно именуемое «компоновочным», объединяет решения, в которых сохранение динамического диапазона и чувствительности обеспечивается изменением типа основных носителей и используемых потенциалов, формы и расположения как собственно пиксела, так и электродов, микролинз и прочих частей ПЗС-элемента и всей матрицы в целом.

Причём в ряде случаев «компоновочные» действительно обеспечивают улучшение характеристик, но иногда являются ни чем иным, как рекламным трюком, рассчитанным на неполный уровень знаний предметной аудитории.

В частности, «компоновочные» решения крупнейшего производителя ПЗС-матриц — концерна SONY — практически всегда обеспечивали улучшение характеристик сенсора.

Одним из самых удачных решений был переход на технологию HAD — Hole-Accumulation Diode. Сенсоры, выполненные по этой схеме, использовали в качестве носителей информации о заряде пиксела не электроны, а так называемые «дырки», образующиеся в полупроводнике при потере электронов. При этом отпадала необходимость в полисиликоновом электроде над светочувствительной частью пиксела, отражавшем либо поглощавшем заметную часть падавших на ПЗС-элемент фотонов. В результате значительно повысилась чувствительность ПЗС-матрицы, особенно в коротковолновой области спектра. А поскольку поглощающий «дырки» слой находился у поверхности матрицы, удалось уменьшить уровень той части шума фиксированного распределения, которая обусловлена темновым током.

Кроме того, удалось значительно повысить скорость считывания данных и упрощалось конструирование электронного затвора.

Однако у этой технологии существовали и определённые ограничения. Так как в качестве основных носителей использовались «дырки», боковой антиблюминговый дренаж использовать было нельзя. В свою очередь, схема с вертикальным дренажом приводит к некоторому ограничению динамического диапазона. Впрочем, вертикальный дренаж, помимо минусов имеет и плюсы — он не уменьшает светочувствительную область пиксела и, таким образом, не ослабляет положительный эффект, вызванный отказом от полисиликоновых электродов.

В матрицах обычного типа внутренний фотоэффект для «длинноволновых» («инфракрасных») фотонов происходил глубоко внутри кремниевой подложки, в результате генерируемые электроны не попадали в потенциальную яму ПЗС-элемента и не регистрировались. В матрице EXview HAD используется подложка повышенной толщины, что позволяет накапливать заряды, возникшие в результате внутреннего фотоэффекта, вызванного «длинноволновыми» фотонами.

В итоге есть возможность регистрировать инфракрасное излучение, поэтому чувствительность в полной темноте у этих сенсоров значительно выше.

В матрицах Super HAD используются микролинзы увеличенного диаметра, которые перекрывают более обширную область над пикселом и «собирают» больше света, попадающего на светочувствительную область. Казалось бы, схема «лежала на поверхности», однако при её разработке конструкторам пришлось решить довольно сложную задачу.

Эффективность микролинз в обычной матрице и в матрице Super HAD

Дело в том, что кривизна линз должна обеспечивать концентрацию всех лучей на сравнительно компактной «мишени». К этому следует прибавить, что отнюдь не все фотоны, падающие на поверхность матрицы, имеют траекторию, строго перпендикулярную плоскости пиксела. При широко открытой диафрагме (а при слабом освещении съёмка ведётся именно так) резко возрастает процент лучей, падающих под значительным углом к нормали (то есть линии, перпендикулярной к поверхности матрицы). Если кривизна микролинз подобрана неудачно, то «косые» лучи не будут зарегистрированы, и открытие диафрагмы будет бесполезным (и даже вредным, так как при этом уменьшается глубина резкости объектива).

Несмотря на резко возросший «КПД» микролинз у матриц, созданных по схеме Super HAD, разработчики SONY решили не останавливаться на достигнутом и разработали фактически законченную оптическую систему, расположив её над каждым пикселом. Чтобы уловить максимальное количество света, попадающего на микролинзу, разработчики Sony в матрице SIL (Single Inner Lens) Structure использовали дополнительный оптический элемент. Расположенная непосредственно над светочувствительным элементом, внутренняя линза концентрировала на нём свет, что значительно повышало шанс регистрации лучей, входящих под большими углами.

Эффективность микролинз в матрице Super HAD и в матрице SIL Structure

Ассортимент ПЗС-матриц Sony очень велик, причем с увеличением разрешения размер сенсора не изменяется, что позволяет при разработке нового фотоаппарата использовать прежнюю оптику и корпус. В большинстве любительских камер используются матрицы с тремя наиболее распространёнными форм-факторами — 1/3, 1/1,8 и 2/3 дюйма по диагонали. Именно поэтому новые образцы фотоаппаратов с сенсором большего разрешения практически идентичны по своей конструкции предыдущим моделям. Данное обстоятельство позволяет сократить расходы на проектирование и сроки разработки.

С появлением в модельном ряде матрицы ICX413 Sony заняла нишу на рынке профессиональных камер. При диагонали 28,4 мм ее размеры (23,4×15,6 мм) соответствуют кадру пленки формата APS, поэтому она идеально подходит для использования в моделях, создаваемых на базе пленочных «зеркалок». Однако главными аргументами для применения этого шестимегапиксельного сенсора в профессиональной технике являются высокие разрешение и быстродействие, так как матрица генерирует кадры размером 3032×2016, обеспечивая считывание со скоростью до 5 кадров в секунду. Именно поэтому этот сенсор был выбран фирмами Nikon и Pentax для цифровых зеркальных камер D100, D70 и *ist D.

Несмотря на колоссальную популярность матриц SONY, ряд производителей не пользуется продукцией данного концерна. Среди этих фирм можно назвать альянс Leica/Panasonic, с недавних пор использующий матрицы Matsushita, а также Fuji и Kodak, которые издавна оборудуют свои камеры сенсорами исключительно собственного изготовления.

Следует отметить, что большинство решений Kodak стали классикой (боковой антиблюминговый дренаж, матрицы с обратной засветкой) и успешно применяются всеми производителями ПЗС-матриц. В свою очередь, разработки Fuji не получили широкого распространения, хотя и вызвали поначалу повышенный интерес. В частности, в 2000 году компанией Fuji была разработана SuperCCD — ПЗС-матрица, пикселы которой имели не привычную прямоугольную, а октагональную (восьмиугольную) форму.

Расположение светочувствительных элементов и регистров сдвига в обычной матрице и в матрице SuperCCD

Размещение пикселов также было нестандартным — два зеленых, синий и красный «восьмиугольника» матрицы образовывали подобие ромба. Фактически эти элементы находились внутри повернутого на 45 градусов квадрата. При этом количество столбцов задавалось «горизонтальными» пикселами (то есть расположенными в левом и правом углах «ромба»), а строк — «вертикальными» (в верхнем и нижнем углах «ромба»). Такое расположение позволило оптимизировать форму и размеры буферных регистров и, как следствие, увеличить светочувствительную площадь пиксела.

Понятно, что стандарты компьютерного изображения «диагональное» расположение пикселов не допускают, посему необходимо перевести все «ромбы» в общепринятые «квадраты», которые и составляют столбцы и строки JPEG и TIFF файлов. Однако путей здесь два.

Наиболее очевидный — «сдвинуть» на полпиксела по горизонтали все чётные строки. На деле это подразумевает вычисление значений «виртуальных» пикселов, расположенных в центре тех «ромбов», которые «нанизаны» на чётные строки. При этом для расчёта используются пикселы в левом и правом углах «ромба» и, разумеется, в итоговое изображение не попадают непосредственные значения данных пикселов. Разработчики Fuji решили «просто повернуть» на 45 градусов каждый из «ромбов». Фактически, при этом точно также рассчитываются «виртуальные» пикселы, однако делается это для всех без исключения «ромбов» матрицы.

«Поворот ромба» в матрице SuperCCD

По заявлениям FujiFilm, после выполненного программным обеспечением камеры «поворота» образуются «дополнительные» столбцы и строки. Правда, при этом замалчивалось, что образовывались они исключительно за счет интерполяции, а сам факт преобразования преподносился как реальное удвоение вертикального и горизонтального разрешения матрицы.

Единственная ситуация, при которой преимущество структуры SuperCCD будет заметно, возможна лишь в том случае, когда изображение, формируемое объективом, содержит строго горизонтальные либо вертикальные линии, попадающие между строками либо столбцами «классической» матрицы. Да и в этом случае эти линии будут наполовину состоять из интерполированных точек.

Зато диагональные линии «классическая» матрица обнаружит, а SuperCCD пропустит, хотя как раз из них по большей части состоят реальные объекты. Однако тестовые таблицы, предназначенные для измерения разрешающей способности фотоаппаратов, содержат как раз таки сетки из горизонтальных и вертикальных линий. Кроме того, разработчики Fuji учитывали особенности восприятия человеческой зрительной системы, так как мозг более чётко воспринимает вертикальные и горизонтальные линии, составляющие объект. В конченом итоге Fuji выпустила оснащенную SuperCCD камеру FinePix 4700 с «файловым разрешением» 4,7 мегапиксела при реальном количестве элементов матрицы 2,3 мегапиксела. Следует отметить, что дополнительной причиной роста интереса к SuperCCD явилась задержка с выходом на рынок классических «прямоугольных» трехмегапиксельных матриц. Как только появились фотоаппараты, оснащенные такими сенсорами, выяснилось, что их реальное разрешение заметно выше, чем у камеры Fuji.

К концу 2001 года Fuji объявила о появлении третьего поколения матриц SuperCCD. Отличительной особенностью этого семейства является возможность суммировать заряды четырех соседних пикселей одного цвета, и за счет этого повышать эквивалентную чувствительность. Конечно же, разрешение кадра при этом уменьшается в два раза, как по вертикали, так и по горизонтали.

Очевидно, что вне зависимости от размещения и формы пикселов, истинное разрешение матрицы определяется исключительно количеством ее элементов. Ну а «восьмиугольные» матрицы могут похвастаться более высокой чувствительностью, но никак не «лишними мегапикселами». Пожалуй, наиболее убедительным доказательством данного тезиса является тот факт, что матрицы SuperCCD нашли своё применение исключительно в камерах Fuji, а у остальных производителей цифровой фототехники сенсоры данного типа спроса не вызвали.

С первых же дней цифровой фотографии выяснилось, что наиболее действенный вариант расширения динамического диапазона ПЗС-матрицы заключается в создании сенсора с «адаптивной» чувствительностью. Ведь при съёмке контрастных сцен, содержащих как яркие, так и тёмные объекты, при высокой чувствительности будет происходить постоянное переполнение «неглубоких» потенциальных ям, а при низкой чувствительности изображение будет неразличимо-тёмным. Поэтому при линейной зависимости чувствительности от интенсивности светового потока (количества упавших на светочувствительную поверхность пикселя фотонов в единицу времени) «ёмкость» потенциальной ямы должна быть относительно большой.

При больших габаритах сенсора, характерных для профессиональной и студийной техники, данное условие вполне достижимо. А вот любительская техника, в которой используются матрицы небольших размеров (максимум 2/3 дюйма по диагонали), не может похвастаться достаточными резервами для сохранения динамического диапазона при дальнейшем росте разрешения.

При «неглубокой» потенциальной яме зависимость чувствительности матрицы от интенсивности светового потока для каждого пиксела должна быть нелинейной. Это значит, что к моменту накопления ямой определённого уровня заряда ПЗС-элемент должен как бы переключиться в режим «насыщения» и уменьшить квантовый выход. Благодаря этому при «стандартной» потенциальной яме с обычной «ёмкостью» на снимке с достаточной степенью достоверности будут отображены как тени, так и яркие области. Казалось бы, идея вполне здравая, однако до недавнего времени воплощения в материале так и не получившая. Компания Fuji решила исправить это положение, выпустив в начале 2003 года четвёртое поколение сенсоров SuperCCD.

Новая линейка включала в себя как матрицы высокого разрешения (которые обозначались HR — High Resolution), так и модели с расширенным динамическим диапазоном (с индексом SR — Super Dynamic Range). Количество пикселей матрицы SR не впечатляло — при диагонали 1/1.7 дюйма не интерполированное разрешение составляло 2048×1536, то есть 3 мегапиксела, а максимальная чувствительность (без уменьшения разрешения, использованного в третьем поколении SuperCCD) — ISO 400. Для справки — матрицы SONY при тех же габаритах обеспечивали разрешение 2592×1944 (то есть 5 мегапикселов) при максимальной чувствительности ISO 800. Справедливости ради необходимо сказать, что на самом деле матрица Fuji состояла из 6 миллионов фотоэлементов, правда, их форма и расположение отличались от общепринятых.

Фактически каждый пиксел матрицы SuperCCD SR представлял собой пару фотоэлементов, «накрытых» общей микролинзой. В этой паре первый из элементов обладал небольшой светочувствительной областью, посему чувствительность у него была невысокой, а вероятность переполнения потенциальной ямы была минимальной. Второй элемент снабжался светочувствительной областью, площадь которой была в несколько раз больше, а чувствительность — значительно выше. Разумеется, заметно больше был и риск переполнения потенциальной ямы «крупногабаритного» элемента. После считывания данных матрицы сначала в усилитель, а затем в АЦП, оцифрованный снимок в памяти камеры обрабатывался микропроцессором. В процессе данной обработки данные о заряде ям «малого» и «большого» фотоэлементов пиксела суммировались, при этом за белый свет максимальной яркости принимался заряд, равный сумме предельных значений зарядов потенциальных ям обоих фотоэлементов. В итоге даже при переполнении ямы «крупногабаритного» фотоэлемента определённую часть полезной информации можно было снять с малого фотоэлемента. Считалось, что вместо яркой белой точки, наблюдаемой в матрицах классической конструкции, пиксель SuperCCD SR мог иметь вполне реальные значения цвета и яркости. Выяснилось, что так происходит далеко не всегда, а перед разработчиками возник целый ряд проблем.

Расположение светочувствительных элементов в матрице SuperCCD SR

При переходе к «двухэлементному» пикселу значительно усложняется задача борьбы с блюмингом. С одной стороны, при организации вертикального дренажа фотоэлементов с совершенно разной чувствительностью дренажный потенциал, прилагаемый на подложку, для каждого из элементов должен быть своим. В свою очередь, близкое расположение фотоэлементов допускает влияние более высокого дренажного потенциала на «чужую» яму, поэтому в подложку может «утечь» информационный заряд. В то же время при организации бокового дренажа размер «потерь» светочувствительной области будет в два раза выше, чем в матрице обычной конструкции.

Помимо дренажа, часть светочувствительной площади пиксела будет «съедена» дополнительными буферными регистрами, число которых вырастет вдвое. Следует помнить, что в матрицах с буферизацией строк светочувствительная область равняется лишь 30 процентам от общей площади сенсоров. Итак, при прочих равных параметрах чувствительность «двухэлементного» пиксела будет заметно меньше, чем у «классической» конструкции.

Известно, что, помимо теплового шума и темнового тока, в генерации шума фиксированного распределения принимают участие электроды матрицы, точнее несогласованность при подаче на них управляющих потенциалов. В матрицах SuperCCD SR их количество возрастёт вдвое, причём значения потенциалов (вследствие разницы в чувствительности и в размерах потенциальных ям) будут заметно отличаться друг от друга, что, в свою очередь, так же приведёт к росту шума фиксированного распределения.

Следует помнить также, что резервы по «углублению» потенциальной ямы фотоэлемента не безграничны, поэтому накопительная способность пиксела тоже связана с его линейными размерами. А это значит, что глубина обоих потенциальных ям «двухэлементного» пиксела даже в сумме будет заметно меньше, чем у обычного пиксела тех же габаритов.

Если свести описание матриц обычной структуры и SuperCCD SR к крайне упрощенному виду, то можно говорить о ведре (потенциальной яме), выставленном под дождь (поток фотонов). Причём в «двухэлементном» пикселе одно из вёдер («малый» фотоэлемент) накрыто крышкой с отверстиями, которая замедляет процесс его заполнения.

Однако за счёт вышеперечисленных особенностей технологии производства ПЗС-матриц необходимо помнить, что у описанных вёдер толщина стенок (дренаж и буферный регистр) достигает порядка 70 процентов от общего объёма тары. Очевидно, что при ограничении площади, предназначенной для размещения ведер, одно ведро всегда будет собирать больший объём воды, чем пара.

По результатам эксплуатации фотоаппарата с новым сенсором, Fuji Finepix F700, выяснилось, что надежды разработчиков Fuji не оправдались. Новая модель зачастую выдавала сплошные белые пятна в тех областях снимка, в которых камерам с обычным сенсором удавалось зарегистрировать оттенки вполне определенного цвета. Причём в ряде случаев Finepix F700 уступала заведомо более дешевым фотоаппаратам вроде Canon PowerShot A70.

Впрочем, неудача разработчиков Fuji не значит, что нелинейный режим накопления заряда пиксела — не решаемая задача. Ещё раньше, чем Fuji, с ней справилась фирма FillFactory, занимающая одни из ведущих позиций по проектированию и разработке КМОП-матриц для студийных и профессиональных цифровых камер.

Для начала следует вспомнить, чем КМОП-матрицы отличаются от ПЗС-матриц. В КМОП-матрицах внутренний фотоэффект, обуславливающий превращение фотонов в электроны, протекает так же, как и в ПЗС-матрицах, только вот преобразование накопленного потенциальной ямой заряда в напряжение происходит непосредственно внутри пиксела. В результате есть возможность считать данные как всей матрицы, так и отдельных столбца, строки и даже элемента, отпадает необходимость во всех регистрах сдвига и управляющих микросхемах и заметно сокращается энергопотребление.

Однако присутствующие в каждом пикселе преобразователь заряд-напряжение и компоненты, предназначенные для считывания напряжения («обвязка»), при обработке сигнала добавляют к нему помехи, именуемые электронным шумом. Причем для каждого элемента матрицы уровень электронного шума разный. Кроме того, «обвязка» размещается вокруг пикселя, что приводит к малой площади светочувствительного элемента, даже по сравнению с ПЗС-матрицами с буферизацией строк, поэтому чувствительность КМОП-матриц довольно скромная.

В итоге КМОП-сенсоры основного успеха достигли в профессиональных фотоаппаратах и студийных камерах. В данной технике, как уже было сказано выше, используются матрицы с большими габаритами, благодаря этому площадь светочувствительной области получается больше размеров «обвязки» каждого пикселя, а чувствительность достигает приемлемых значений.

Чтобы расширить динамический диапазон элементов КМОП-матрицы, разработчики FillFactory применили схему с нелинейным режимом накопления заряда. Для этого в «обвязку» пиксела в добавлен элемент, отслеживающий «объём заполнения» ямы. Как только уровень заряда достигает определённой величины, данный элемент «переключает» пиксел в режим, при котором интенсивность наполнения потенциальной ямы заметно ослаблена, а риск её переполнения заметно снижен.

Предложенное разработчиками FillFactory решение, обеспечивающее «адаптивную чувствительность», выглядит предпочтительнее, чем манипуляций с формой и размерами фотоэлементов. Так или иначе, только время в состоянии показать чья технология более перспективна. Как показывает пример со «слоёными» матрицами Foveon, любое инженерное решение вовсе не обязательно должно быть «оригинальным» и «доступным для понимания широким массам» — главное, чтобы оно давало реальный, а не придуманный маркетологами результат.

Дополнительные материалы

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Фиксация изображения в цифровой фотокамере

Главное отличие пленочного фотоаппарата от цифрового заключается в способе фиксации света, прошедшего через объектив. Там, где в традиционных пленочных фотоаппаратах располагается пленка, у цифровой камеры находится электронная матрица со светочувствительными элементами. Именно на поверхности электронно-оптического преобразователя (матрицы) создается изображение, которое затем превращается в электрические сигналы, обрабатываемые процессором камеры. От матрицы цифрового фотоаппарата напрямую зависит не только качество получаемых фотографий, но и стоимость самой камеры. Что же собой представляет светочувствительная матрица и каким образом создается цветное изображение в цифровом фотоаппарате?

 Матрица: типы и принцип работы

Светочувствительная матрица является ключевым элементом любой современной цифровой камеры. Ее можно назвать «сердцем» цифрового фотоаппарата. Если же сравнивать камеру с человеческим глазом, то матрица – это сетчатка цифрового аппарата, на которой оптический сигнал преобразуется в цифровое изображение. Матрица или сенсор представляет собой сложно структурированную пластинку из полупроводникового материала. На этой микросхеме имеется упорядоченный массив светочувствительных элементов. Миллионы таких светочувствительных элементов или пикселов изолированы друг от друга и формируют только одну точку изображения. Нужно отметить, что, несмотря на высокую точность в изготовлении матриц цифровых фотоаппаратов, каждый сенсор по своему уникален и потому двух совершенно одинаковых камер по своему характеру не существует.

Основная задача матрицы фотоаппарата заключается в том, чтобы обеспечить преобразование оптического изображения в электрическое. При спуске затвора фотоаппарата на миллионы крошечных ячеек попадает свет, на них накапливается заряд, который, естественно, разнится в зависимости от количества света, попавшего на данную ячейку матрицы. Эти заряды передаются на электрическую схему, которая призвана усилить их и преобразовать в цифровой вид. Усиление сигнала выполняется в соответствии с настройками чувствительности ISO, выбираемых камерой автоматически или самостоятельно устанавливаемых пользователем. Чем больше выбираемая чувствительность ISO отличается от реальной светочувствительности матрицы, тем сильнее сигнал. Но усиление сигнала может негативно сказаться на итоговом изображении – появляется так называемый «шум» в виде случайных помех.

Матрица фотокамеры Nikon D40

На сегодняшний день при производстве светочувствительных матриц для цифровых фотоаппаратов используются, главным образом, две технологии – CMOS (Complementary Metal Oxide Semiconductor) и CCD (Charge Coupled Device). В русском переводе эти два типа сенсоров известны как КМОП и ПЗС-матрицы.

КМОП-матрицы изготавливаются из комплементарных металлооксидных полупроводниковых материалов. Их ключевая особенность состоит в том, что они умеют считывать и усиливать световой сигнал с любой точки своей поверхности. КМОП-матрица может преобразовывать заряд в напряжение сразу в пикселе. Эта особенность позволяет значительно повысить скорость работы фотоаппарата при обработке информации с матрицы.

Кроме того, подобная технология дает возможность интегрировать матрицы непосредственно с аналогово-цифровым преобразователем (АЦП), что обеспечивает удешевление цифрового фотоаппарата за счет некоторого упрощения его конструкции. Плюс ко всему, КМОП-матрицы отличаются более низким энергопотреблением. Однако у них есть существенный недостаток – для того, чтобы повысить светочувствительность матрицы и улучшить, тем самым, качество изображения производителям приходится существенно увеличивать физические размеры сенсора.

ПЗС-матрицы получили большое распространение в современных цифровых фотоаппаратах любительского и профессионального уровня даже несмотря на то, что они отличаются чуть большей трудоемкостью в производстве. Принцип работы такой матрицы основывается на построчном перемещении накопленных электрических зарядов.  В процессе считывания заряда осуществляется перенос зарядов к краю матрицы и в сторону усилителя, который далее передает усиленный сигнал в аналогово-цифровой преобразователь (АЦП). Поскольку информация из ячеек считывается последовательно, то сделать следующий снимок можно только после того, как предыдущее изображение сформировано целиком. В то же время преимуществом ПЗС-матриц являются их сравнительно небольшие размеры.

ПЗС-матрицы, используемые в современных цифровых фотоаппаратах, по своей конструкции делятся на полнокадровые, с буферизацией кадра, буферизацией столбцов, с прогрессивной разверткой, чересстрочной разверткой и с обратной засветкой. Например, в чересстрочных ПЗС каждый пиксель обладает как приемником света, так и областью для накапливания заряда. В свою очередь, в полнокадровых матрицах весь пиксель выполняет функцию приема светового потока, а каналы передачи заряда спрятаны под пиксель.

Довольно долгое время считалось, что ПЗС-матрицы обладают большей светочувствительностью, более широким динамическим диапазоном и лучшей устойчивостью к шумам, по сравнению с КМОП-сенсорами. Поэтому цифровые фотоаппараты с ПЗС-матрицами использовались там, где требуется обеспечить высокое качество изображения, а камерам с КМОМ-сенсорами отводилась роль недорогих любительских устройств. Однако за последние годы производителям вследствие улучшения качества кремниевых пластин и схемы усилителя удалось существенно повысить характеристики КМОП-матриц. И теперь по качеству изображения камеры на основе КМОП-матриц практически ни в чем не уступают фотоаппаратам, в которых используются ПЗС-сенсоры.

Новейшие КМОП-сенсоры способны гарантировать профессиональное качество снимков. А потому с точки зрения качества фотоизображения, собственно, тип матрицы уже мало о чем говорит, гораздо более важным фактором являются конкретные характеристики данного сенсора — его физические размеры, разрешающая способность, светочувствительность, соотношение сигнал — шум.

Как мы уже выяснили, матрица цифрового фотоаппарата состоит из огромного количества светочувствительных полупроводниковых элементов прямоугольной формы, называемых пикселями. Каждый такой пиксель собирает электроны, возникающие в нем под действием фотонов, пришедших от источника света. Но как же происходит процесс формирования изображения матрицей фотоаппарата?

В упрощенном виде об этом можно рассказать на примере ПЗС-матрицы. Во время экспозиции кадра, регулируемой с помощью затвора фотоаппарата, каждый пиксель постепенно заполняется электронами пропорционально тому количеству света, которое попало на него. Далее затвор фотоаппарата закрывается, и столбцы с накопленными в пикселях электронами начинают сдвигаться к краю сенсора, где размещается аналогичный измерительный столбец.

В этом столбце заряды сдвигаются уже в перпендикулярном направлении и, в конечном счете, попадают на измерительный элемент. В нем создаются  микротоки, пропорциональныепопавшим на него зарядам. Благодаря такой схеме становится возможным определить не только значение накопленного заряда, но и какому пикселю на матрице, то есть номер строки и номер столбца, он соответствует. На основе этого строится картинка, соответствующая сфокусированному на поверхности светочувствительной матрицы изображению. В матрицах, построенных по технологии КМОП, заряд преобразуется в напряжение прямо в пикселе, после чего он может быть считан электрической схемой фотоаппарата.

Формирование цветного изображения

Сенсоры цифровых фотоаппаратов способны реагировать только на силу попадающего на них света. То есть они могут определять исключительно градации интенсивности света — от полностью белого до полностью черного. Чем больше фотонов попало на пиксель, тем, соответственно, выше яркость света. Но как в таком случае цифровой фотоаппарат распознает цветовые оттенки? В традиционных пленочных фотокамерах используется негативная пленка, состоящая из трех слоев, которые позволяет пленке сохранять различные цветовые оттенки света. В цифровых же камерах реализуются иные технические решения для формирования цветного изображения.

Для того, чтобы сенсор цифрового фотоаппарата мог различать цветовые оттенки, над его поверхностью устанавливают блок микроскопических светофильтров. Если в матрице используются микролинзы, служащие для дополнительной фокусировки света на пикселях с целью повышения их чувствительности, то фильтры размещаются между каждой микролинзой и ячейкой.

Как хорошо известно, любой цвет в спектре можно получить путем смешения всего нескольких основных цветов (красного, зеленого и синего). Распределение светофильтров по поверхности сенсора для формирования цветного изображения может быть разным, в зависимости от выбранного алгоритма. В большинстве цифровых фотоаппаратов сегодня применяется цветовая модель Байера (Bayerpattern).

В рамках этой системы цветовые фильтры над поверхностью матрицы располагаются вперемежку между собой, в шахматном порядке. Причем количество зеленых фильтров в два раза больше, чем красных или синих, поскольку человеческий глаз более чувствителен к зеленой части светового спектра. В результате, получается так, что красные и синие фильтры располагаются между зелеными. Шахматный порядок в расположении фильтров необходим для того, чтобы одинаковые по цвету изображения получались вне зависимости от того, как пользователь держит фотокамеру – вертикально или горизонтально.

Цветовая модель Байера (ист. www.figurative.ru)

Таким образом, цвет каждого пикселя определяется прикрывающим его светофильтром. В получении информации о цвете участвуют все экспонированные элементы ячейки. Само же цветное изображение строится электроникой камеры уже после того, как снимаемый с ячеек сенсора камеры электрический сигнал преобразуется в цифровой код аналого-цифровым преобразователем (АЦП). Впрочем, КМОП-сенсоры могут и самостоятельно обрабатывать цветовую составляющую сигнала.

Аналого-цифровой преобразователь (АЦП)

Как мы уже поняли, работа светочувствительной матрицы тесно связана с аналого-цифровым преобразователем камеры (АЦП). После того, как каждый из миллиона светочувствительных элементов матрицы преобразует энергию падающего на него света в электрический заряд, этот накопленный заряд усиливается до необходимого уровня для последующей его обработки аналого-цифровым преобразователем.

Аналогово-цифровой преобразователь – это устройство, отвечающее за преобразование входного аналогового сигнала в цифровой сигнал.  АЦП переводит аналоговые величины полученного каждым светочувствительным элементом электрического заряда в цифровые величины, которые далее автоматика камеры, в частности, встроенный микропроцессор, получает уже в двоичном коде.

Главной характеристикой АЦП является его разрядность, то есть количество дискретных уровней сигнала, которые кодируются преобразователем. К примеру, одноразрядный аналогово-цифровой преобразователь может классифицировать сигналы светочувствительных  датчиков только как черные (0) или белые (1). А восьмиразрядный АЦП способен построить уже 256 различных значений яркости для каждого датчика. В современных моделях цифровых фотоаппаратов с сенсорами большого размера используются 12-, 14- либо 16-разрядные аналого-цифровые преобразователи. Высокая разрядность установленного в камере АЦП может свидетельствовать о том, что данный цифровой фотоаппарат способен создавать изображения с широким тональным и динамическим диапазонами.

После того, как АЦП выполнит преобразование аналоговых напряжений, полученных с датчиков, в двоичную кодированную метку, состоящую из нулей и единиц, он передает эти оцифрованные данные нацифровой процессор сигналов камеры. В процессоре эти данные уже преобразуются в цветную картинку в соответствии с внесенными производителем алгоритмами, включающими в себя, в частности, определение координат точек изображения и присвоения им определенного цветового оттенка. При построении цветового изображения встроенная электроника камеры обеспечивает регулировку яркости, контрастности и насыщенности картинки. Также она убирает с него различные помехи и «шумы».

Безусловно, сенсор и связанный с ним аналого-цифровой преобразователь – это не единственные составляющие цифровой камеры, которые определяют ее качество. Оптика, электроника и другие элементы также очень важны для обеспечения высокого качества создаваемых фотоизображений. Тем не менее, уровень современного цифрового фотоаппарата принято определять именно исходя из технического совершенства установленной в нем светочувствительной матрицы. Более того, развитие фототехники в целом сегодня во многом определяется скоростью разработки все более совершенных сенсоров.

  Источник: Фотокомок.ру – тесты и обзоры фотоаппаратов (при цитировании или копировании активная ссылка обязательна)

Как устроен цифровой фотоаппарат? — ремонтируем фотоаппарат

Ремонт фотоаппаратов

Механическая часть его конструкции не сильно отличается от аналоговых собратьев. Все та же вспышка, объектив, светочувствительный элемент. Да вот разница только заключается в том, что он другой.

Если в обычном фотоаппарате роль светочувствительного и запоминающего элемента играла пленка, то у цифровой камеры роль светочувствительного элемента выполняет полупроводниковая матрица, а снятые снимки записываются на карту памяти.

Как устроена матрица? Это такая маленькая пластинка, на которой расположено определенное количество светочувствительных полупроводниковых фотоэлементов — фотодиодов. От их количества зависит разрешение получаемого изображения. Но не всегда количество фотодиодов гарантирует хорошее изображение. Сейчас многие производители устроили гонку за мегапикселями, что на самом деле зачастую приводит к ухудшению качества снимков в угоду цифрам. Один мегапиксель равен одному миллиону светочувствительных элементов.

Современные цифровые фотоаппараты имеют матрицы двух видов: CCD (ПЗС) и CMOS (КМОП). Каждая имеет свои достоинства и недостатки. Например, CCD обладает лучшим механизмом преобразования света, что ведет к уменьшению шумов у изображения и повышению динамического диапазона. Однако стоимость CCD матриц существенно выше чем CMOS. Поэтому, матрицы CCD ставятся только на профессиональные устройства, поскольку они позволяют получать намного более качественные фотографии. Студийные фотографии знаменитостей в глянцевых журналах это результат работы матрицы CCD. С другой стороны CMOS матрицы также устанавливаются на недорогие камеры для профессионалов и все камеры среднего ценового сегмента и смартфоны. Они относительно дешевы при массовом производстве, но создают изображение несколько более низкого качества — с большими шумами и меньшим диапазоном. Для того чтобы помочь матрице создать более качественную фотографию на помощь матрице приходит процессор фотоаппарата. С помощью специальных алгоритмов, которые разработаны с учетом возможностей матрицы, современные профессиональные CMOS фотоаппараты справляются со своим задачами зачастую не хуже матриц CDD.

Матрица цифровой фотокамеры

Сами фотодиоды на матрице расположены не вплотную, так как в самом фотоаппарате существует множество вспомогательных элементов, которые также расположены на светочувствительной пластинке. Они помогают трансформации света в электричество. Но непосредственно эту функцию выполняют фотодиоды. Каждый улавливает определенное количество фотонов, отсюда и название. Фотон — это элементарная частица света так же, как электрон — простейший элемент электричества. Фотодиоды переводят фотоны в электроны, а потом специальные микросхемы в камере интерпретируют их в двоичный код, который процессор фотоаппарата записывает как файл с изображением на карту памяти.

Матрица для создания цветного изображения

Цифровая матрица реагирует лишь на изменения силы света, а потому на выходе получается черно-белое изображение. Для того чтобы создать цветную картинку, на фотодиоды накладываются специальные светофильтры. Каждый из них пропускает лишь красные, синие или зеленые лучи света. Таким образом каждый из миллионов светодиодов накрыт светофильтром одного из трех цветов. Светофильтры настроены на то, чтобы воспринимать изображение лишь видимого светового диапазона. Чтобы не пропускались ИК-лучи, устанавливается специальный ИК-фильтр. Хотя временами создаются камеры, которые работают в невидимом диапазоне, в них ИК-фильтры не ставят.

Матрица имеет такой важный для фотографии параметр как светочувствительность. Он называется число ISO. Чем он больше, тем выше возможность снимать в темноте, но вместе с этим увеличивается количество шумов. Второй параметр любой фотографии это экспозиция — это количество света, которое попадет через объектив на матрицу и создаст электрический сигнал. Отличаются эти параметры тем, что ISO определяет процессор во время обработки светового потока, а экспозицию — диафрагма объектива и время выдержки, которые устанавливаются вручную или автоматически по выбранной программе.

С экспозицией связано понятие “динамический диапазон”. Это фактически соотношение самого маленького количества света на получившейся фотографии к самому большому. Чем шире динамический диапазон матрицы фотоаппарата, тем качественней будут снимки. Ведь на одних участках матрицы должно фокусироваться меньше света, а на других — больше. Если правильный баланс будет нарушен, то может получаться так, что света, облаков и синевы небесной на небе много будет, а в тенях — будет абсолютно черный цвет.

Как правило, чем дешевле камера, тем меньше ее динамический диапазон. Такое часто встречается на мобильных телефонах из-за ограничений на размер недорогой матрицы, а также на дешевых мыльницах, по той же причине. Компенсируется этот недостаток несколькими методами:

1. Технология HDR. Аббревиатура HDR расшифровывается, как высокий динамический диапазон. Схема очень проста. Когда вы делаете снимок, при нажатии кнопки затвора, фотокамера снимает не один кадр как обычно, а одновременно два или более изображения с разной экспозицией и самые лучшие, по мнению процессора фотокамеры, участки снимка сочетаются в один. Как следствие, получаются прекрасные снимки, сродни изображениям с дорогого фотоаппарата.

2. Фоторедакторы с алгоритмом корректировки динамического диапазона. Благо, на мобильных телефонах такие есть. В последнее время начали появляться умные камеры, которые также имеют возможность устанавливать сторонние фоторедакторы. Современное ПО для фотографов обладает большим количеством разнообразных функций и справляется с ними достаточно хорошо. Благодаря этим средствам можно убрать лишнее свечение объектов или осветить тени, а также убрать фиолетовые оттенки, которые появляются вследствие осветления теней на снимках, сделанных дешевыми камерами.

Как вы видите механизм работы цифровой фотокамеры выглядит не слишком сложно и в чем-то схож с работой человеческого глаза. Так, объектив в фотоаппарате напоминает хрусталик, светочувствительная матрица — сетчатку, фотодиоды — палочки и колбочки, а процессор в человеческой зрительной системе — мозг. Именно это делает устройство фотоаппарата простым для понимания любого человека.

Где отремонтировать фотоаппарат?

Цифровое формирование изображений – возможности микроскопии (II)

Представление приборов с зарядовой связью (ПЗС)

Несомненно, цифровые камеры с различными конфигурациями ПЗС-фотоприемников (приборов с зарядовой связью) являются наиболее распространенными устройствами получения снимков в современной оптической микроскопии. До последнего времени, для регистрации наблюдаемых в микроскоп изображений, использовались, главным образом, специализированные пленочные камеры. Этот традиционный метод, основанный на светочувствительности галогенидосеребряных фотопленок, включает в себя стадию временного хранения скрытого изображения в форме реакционно-активных участков экспонированной пленки. Видимым изображение становится только после химической обработки эмульсионного слоя пленки (проявления).

Рис. 1. Цифровые ПЗС-камеры для оптической микроскопии

В цифровой камере вместо светочувствительной пленки используется фотонный детектор (фотоприемник) — тонкая кремниевая пластина, содержащая от нескольких тысяч до нескольких миллионов светочувствительных элементов (областей), организованных в регулярную матрицу. Эти светочувствительные элементы получают и хранят информацию об изображении, в виде локализованного электрического заряда, величина которого определяется интенсивностью падающего светового излучения. Переменный электрический сигнал, связанный с каждым элементом изображения (пикселем) фотоприемника, с высокой скоростью считывается, как значение интенсивности соответствующего участка изображения. После преобразования считанных значений в цифровую форму из них воссоздается изображение, которое, практически мгновенно, можно отобразить на мониторе компьютера.

На рисунке 1 представлены некоторые цифровые камеры, созданные специально для оптической микроскопии. Цифровая камера Nikon Digital Eclipse DXM1200 формирует цифровые изображения высокого фотографического качества, обладает разрешением в 12 миллионов пикселей, низким уровнем искажений, превосходной цветопередачей и высокой чувствительностью. Управляющее ПО камеры предоставляет пользователю широкую свободу действий в отношении сбора, организации и коррекции цифровых изображений. Непосредственный контроль в цвете на экране вспомогательного компьютера со скоростью 12 кадров в секунду позволяет легко выполнять фокусировку изображений, которые можно сохранять в одном из трех (по выбору) форматов: JPG, TIF и BMP, что обеспечивает высокую гибкость в использовании информации.

На рисунке 1 представлена новейшая цифровая камера DS-5M-L1 Digital Sight от компании Nikon, предназначенная для цифровой съемки в микроскопии. По сути, камера представляет собой цифровую систему формирования изображений, созданную по принципу «все в одном», включая автономный блок управления со встроенным ЖК-монитором. Благодаря простым меню и программируемым режимам формирования изображений, в соответствии с различными методами наблюдения, система оптимизирует получение высококачественных изображений с разрешением до 5 мегапикселей. Автономная конструкция обеспечивает преимущества независимой работы, включая сохранение изображений на компактной флэш-карте памяти (CompactFlash Card), устанавливаемой в модуль «блок управления/монитор», и, при этом, предоставляет возможность, при желании, включить систему в полнофункциональную сеть. Для подключения к ПК система оборудована интерфейсом USB, а для подключения к локальной сети или к сети Интернет предусмотрен порт Ethernet. Для просмотра изображений в реальном масштабе времени и дистанционного управления камерой система поддерживает веб-браузер, а также протоколы HTTP, Telnet, сервер/клиент FTP, и совместима с протоколом DHCP. Показанная на рисунке 1 система представляет современные технологии, доступные сегодня для получения цифровых изображений в оптической микроскопии.

Пожалуй, самым важным преимуществом цифровой технологии получения изображений, что подтверждается использованием ПЗС-камер, является возможность незамедлительно убедиться в успешном получении требуемого изображения. Особенно очевидной становится ценность такой возможности, если учесть экспериментальные сложности во многих ситуациях получения изображений и преходящий характер большинства исследуемых процессов. ПЗС-фотоприемник выполняет те же функции, что и фотопленка, но во многих режимах получения изображений обладает рядом преимуществ. ПЗС-камерынаучно-исследовательского класса обладают экстраординарным динамическим диапазоном, пространственным разрешением, полосой пропускания и скоростью формирования изображений. С учетом светочувствительности и собирательной способности некоторых ПЗС-систем, для получения пленочных изображений со сравнимым отношением сигнал/шум потребовалась бы фотопленка со светочувствительностью около 100 000 единиц ISO. Пространственное разрешение современных ПЗС-фотоприемников аналогично этому параметру фотопленок, тогда как разрешение по интенсивности света на два-три порядка лучше, чем у пленочных и видеокамер. В отличие от высококачественных ПЗС-фотоприемников, которые обеспечивают значительный квантовый выход даже в ближней инфракрасной области спектра, обычные фотографические пленки нечувствительны к волнам длиной более 650 нанометров. Линейность характеристик ПЗС-камер в широком диапазоне значений освещенности обеспечивает превосходное качество и количественные характеристики, присущие спектрофотометрам с функцией регистрации изображений.

ПЗС-фотоприемник состоит из большого числа светочувствительных элементов, организованных в двумерную матрицу на тонкой кремниевой подложке. Полупроводниковые свойства кремния позволяют ПЗС-структуре, при определенных значениях электрического смещения, улавливать и удерживать индуцированные фотонами носители заряда. Отдельные элементы изображения (пиксели) разграничиваются в кремниевой матрице ортогональной решеткой узких прозрачных токопроводящих полосок (электродов), или затворов, нанесенных на кристалл. Основным светочувствительным элементом матрицы ПЗС является металл-оксид-полупроводниковый (МОП) конденсатор, работающий как фотодиод и устройство хранения. На рисунке 2 представлен отдельный МОП прибор такого типа. Под действием напряжения обратного смещения, отрицательно заряженные электроны мигрируют в область, расположенную под положительно заряженным затвором. Высвобожденные фотонами электроны накапливаются в обедненной области, пока не заполнят все накопительные ямы-емкости. При объединении в общую матрицу ПЗС отдельные фоточувствительные элементы в одном направлении разделяются при помощи напряжений, прикладываемых к поверхностным электродам, а в другом направлении электрически изолируются друг от друга изолирующими барьерами, или ограничителями каналов (охранными кольцами) в кремниевой подложке.

Светочувствительные фотодиодные элементы матрицы ПЗС поглощают бóльшую часть энергии падающих фотонов, в результате чего происходит высвобождение электронов, с образованием в кристаллической решетке кремния мест с дефицитом электронов (т. н. дырок). На каждый поглощенный фотон образуется одна пара «электрон — дырка» и соответствующий заряд, который накапливается в каждом пикселе пропорционально числу падающих фотонов. Накопление и перемещение зарядов, накапливающихся в течение заданного интервала времени, осуществляется внешними напряжениями, прикладываемыми к электродам каждого пикселя. Сначала каждый пиксель фоточувствительной матрицы работает, как потенциальная яма для хранения заряда в процессе его накопления. И хотя в потенциальной яме могут накапливаться как отрицательно заряженные электроны, так и положительно заряженные дырки (в зависимости от конструкции матрицы ПЗС), элементы заряда, создаваемые падающим светом, обычно, называют фотоэлектронами. В рамках нашего обсуждения, за носители заряда мы принимаем электроны. Фотоэлектроны могут накапливаться и храниться в течение длительных периодов времени, прежде чем будут считаны электронной системой камеры. Процесс накопления и хранения зарядов является одним из этапов формирования изображения

Вообще, процесс формирования изображения ПЗС-камерой можно разделить на четыре основных функциональных этапа: формирование заряда при взаимодействии фотонов со светочувствительной областью устройства, накопление и хранение, перенос и измерение высвободившегося заряда. На первом этапе, под действием падающих фотонов в обедненной области структуры МОП-конденсатора генерируются электроны и дырки; высвободившиеся электроны мигрируют в потенциальную яму, находящуюся под близлежащим положительно смещенным электродом затвора. Алюминиевые или поликремниевые поверхностные электроды затворов перекрывают каналы переноса заряда, расположенные в изолирующем слое окисла кремния, находящемся между структурой затворов и кремниевой подложкой, но изолированы от этих каналов. Использование поликремния в качестве материала для электродов обеспечивает зону прозрачности для падающих волн длинее 400 нанометров, что повышает долю доступной для воздействия фотонов поверхности прибора. Образующиеся в обедненной зоне электроны сначала накапливаются в положительно смещенных потенциальных ямах, связанных с каждым пикселем. В процессе считывания, накопленный заряд, под действием прикладываемых к затворам напряжений, последовательно сдвигается по каналам переноса. Рисунок 3 иллюстрирует систему электродов, образующих границы отдельного светочувствительного элемента матрицы ПЗС.

Рис. 2. Металл-оксид-полупроводниковый (МОП) конденсатор

В общем случае, хранящийся заряд прямо пропорционален световому потоку, падающему на пиксель фотоприемника, вплоть до полной емкости потенциальной ямы; следовательно, полная емкость потенциальной ямы (FWC) определяет максимально возможный сигнал, воспринимаемый пикселем, и является главным фактором, влияющим на динамический диапазон матрицы ПЗС. Зарядовая емкость потенциальной ямы элемента матрицы ПЗС определяется, главным образом, физическими размерами отдельного пикселя. С момента своего появления на рынке, самые распространенные ПЗС-фотоприемники состоят, как правило, из квадратных пикселей, собранных в прямоугольную матрицу с соотношением сторон 4:3. На рисунке 4 приведены типовые размеры некоторых, наиболее распространенных сегодня форматов фотоприемников, с их дюймовыми обозначениями, в соответствии с исторически сложившейся традицией в отношении диаметров видиконов.

Форматы матриц ПЗС

Прямоугольная форма и общепринятые размеры матриц ПЗС — результат их конкуренции на начальном этапе с видиконами, которым требовались твердотельные приемники для формирования электрического выходного сигнала, соответствующего принятым в то время видеостандартам. Отметим, что «дюймовые» обозначения не соответствуют в точности ни одному из форматов матриц ПЗС, а представляют собой размер прямоугольной области сканирования в видиконе соответствующего круглого сечения. Диагональ матрицы, обозначенной как «1-дюймовая», равна 16 миллиметрам, а размеры фотоэлемента, т. е., 9,6×12,8 мм, произошли от 1-дюймового видикона с наружным диаметром 25,4 мм и с диаметром входного окна около 18 мм. К сожалению, эта сбивающая с толку, система обозначений сохранилась, и часто используется скорее, для обозначения «типа», нежели размера матрицы ПЗС. Более того, в ней имеются форматы, определяемые комбинациями дюймово-десятичных размеров, например, широко распространенная 1/1,8-дюймовая матрица ПЗС, имеющая размер, промежуточный между ½-дюймовым и 2/3-дюймовым устройствами.

Хотя, в бытовых камерах по-прежнему используются, преимущественно, прямоугольные фотоприемники одного из «стандартных» форматов, в камерах научно-исследовательского уровня все шире применяются квадратные матрицы фотоприемников, которые лучше согласуются с круглым полем изображения в микроскопе. Сегодня производится широкий спектр типоразмеров матриц ПЗС, с пикселями различных размеров, оптимизированных для различных рабочих условий. Матрица ПЗС распространенного формата 2/3 дюйма содержит, как правило, не менее 768×480 фотодиодов и имеет размеры 8,8 мм x 6,6 мм (диагональ 11 мм). Максимальный размер (представленный диагональю) многих матриц ПЗС, значительно меньше поля зрения типового микроскопа, в результате чего получается только часть (сильно увеличенная) поля изображения. В некоторых случаях сильное увеличение может оказаться полезным, но, если урезанное поле зрения препятствует получению изображения, необходимо использовать промежуточные оптические компоненты, уменьшающие изображение. В качестве альтернативы можно использовать матрицу ПЗС большего размера, лучше согласующуюся с диаметром поля изображения, который в типовых микроскопах составляет 18–26 мм.

Приблизительная емкость хранения потенциальной ямы в матрице ПЗС равна площади диода (пикселя), умноженной на 1000. Матрицы ПЗС бытового уровня, форматом 2/3 дюйма, с размером пикселя 7–13 мкм, способны хранить от 50 000 до 100 000 электронов. Исходя из этого приближения, полная емкость потенциальной ямы диода с размерами 10×10 микрометров будет равна, приблизительно, 100 000 электронов. При заданном размере матрицы ПЗС, выбор конструкции, в отношении суммарного количества пикселей в матрице и, следовательно, ее размеров, требует компромисса между пространственным разрешением и зарядовой емкостью пикселя. Тенденция к максимальному увеличению числа пикселей и, как следствие, разрешения в современных устройствах потребительского уровня привела к использованию пикселей очень малых размеров, — в некоторых из новейших матриц ПЗС формата 2/3 дюйма используются пиксели размером менее 3 мкм.

В матрицах ПЗС для научных целей традиционно используются фотодиоды бóльших размеров, чем в бытовых (особенно, для видеорежима) и промышленных камерах. Полная емкость потенциальной ямы и динамический диапазон прямо определяются размерами фотодиода. Поэтому, с целью расширения динамического диапазона, повышения чувствительности и улучшения отношения сигнал/шум, в матрицах ПЗС для камер научно-исследовательского уровня с медленной разверткой используются, как правило, фотодиоды с размерами до 25×25 мкм. Совершенствование конструкций многих высококачественных камер научно-исследовательского уровня позволило использовать в них матрицы бóльших размеров с меньшими пикселями, способные поддерживать оптическое разрешение микроскопа на высоких скоростях передачи кадров. Большие матрицы, с несколькими миллионами пикселей, в таких усовершенствованных камерах способны формировать изображения с высоким разрешением всего поля зрения, а, в случае необходимости, обеспечивают повышенную чувствительность более крупных пикселей за счет использования бининга (см. ниже) и регулируемой скорости считывания.

Считывание электронов из матрицы ПЗС

Прежде, чем хранящийся в каждом элементе матрицы ПЗС заряд можно будет измерить, чтобы определить падающий на этот пиксель поток фотонов, упомянутый заряд необходимо переместить в модуль считывания, не нарушив, при этом, целостность зарядового пакета. Ключевыми аспектами использования матриц ПЗС в качестве устройств формирования изображений являются быстрые и эффективные процессы переноса и считывания заряда. В матрице ПЗС, где МОП-конденсаторы в большом количестве размещаются очень близко друг к другу, заряд перемещается через устройство за счет определенных изменений напряжения на затворах конденсаторов, вынуждающих заряд перетекать из одного конденсатора (либо ряда конденсаторов) в другой. Перенос заряда в кремнии эффективно сочетается с напряжением в виде тактовых (синхронизирующих) импульсов, прикладываемым к структуре перекрывающих электродов, — основе термина «прибор с зарядовой связью». Изначально матрицы ПЗС задумывались, как запоминающие устройства, и предназначались для использования в качестве электронного варианта устройств на цилиндрических магнитных доменах (ЦМД). Схема процесса переноса заряда удовлетворяет критическому требованию к запоминающим устройствам, относительно установления физической величины, представляющей бит информации, и сохранения целостности этой физической величины вплоть до ее считывания (или измерения). В матрицах ПЗС, использующихся для формирования изображений, бит информации представляется пакетом зарядов, порожденных фотонным взаимодействием. Поскольку матрица ПЗС является последовательным устройством, пакеты зарядов считываются поочередно.

Рис. 3. Структура воспринимающего элемента (пикселя) ПЗС

Чтобы определить фотонный поток, падающий на каждый из фотодиодов, необходимо измерить заряд, накопленный (и хранимый) каждым из фотодиодов за определенный промежуток времени, называемый временем интегрирования или временем экспонирования. Количественное определение хранящегося заряда осуществляется за счет комбинации параллельных и последовательных переносов, поочередно доставляющих зарядовые пакеты каждого из воспринимающих элементов в единый измерительный модуль. Сеть электродов, или структура затворов, встроенная в примыкающий к воспринимающим элементам слой матрицы ПЗС, образует сдвиговый регистр для переноса заряда. Основополагающий принцип переноса заряда, позволяющий выполнять его последовательное считывание с двумерной фотодиодной матрицы, изначально требует одновременного переноса всего массива отдельных зарядовых пакетов, образующего на поверхности фотоприемника параллельный регистр, в виде построчного сдвига (с шагом, равным одному ряду фотодиодов матрицы). Перемещение всего параллельного регистра переносит ближайший к краю регистра ряд (строку) зарядов пикселей в специальный одиночный ряд пикселей, расположенный вдоль одного из краев кристалла, под названием последовательный регистр. Из этого ряда (регистра) зарядовые пакеты последовательно переносятся в расположенный на этом же кристалле измерительный усилитель. После того, как последовательный регистр опустеет, он снова заполняется очередной сдвигаемой строкой параллельного регистра. Описанный цикл параллельно-последовательных сдвигов повторяется до тех пор, пока не опустеет (т. е. будет считан) весь параллельный регистр. Некоторые производители матриц ПЗС вместо терминов «параллельный» и «последовательный» регистр используют, соответственно, термины «вертикальный» и «горизонтальный», хотя первый вариант лучше ассоциируется с функциями, выполняемыми этими регистрами.

Для иллюстрации концепции последовательного считывания зарядов матрицы ПЗС широко используется так называемая «пожарная цепочка» для измерения количества осадков, когда интенсивность осадков, выпадающих на массив (матрицу) ведер может варьироваться, в зависимости от места, аналогично фотонам, падающим на пиксели фотоэлемента (см. рисунок 5(a)). Параллельный регистр представляется матрицей ведер, собирающих за период интегрирования различные количества воды (заряда). Лента конвейера пошагово перемещает ведра с водой в направлении ряда пустых ведер, представляющих собой последовательный регистр, который перемещается вторым конвейером, перпендикулярным первому. На рисунке 5(b) содержимое одного ряда ведер параллельно перемещается (сдвигается) в ведра последовательного регистра. Операции последовательного сдвига и считывания иллюстрируются рисунком 5©, на котором показано, как собранная дождевая вода последовательно перемещается из каждого ведра в калиброванную измерительную емкость — аналог выходного усилителя матрицы ПЗС. После того, как содержимое всех ведер последовательного конвейера будет поочередно измерено, очередной параллельный сдвиг переместит содержимое следующего ряда накопительных ведер в емкости последовательного регистра. Процесс будет повторяться, до тех пор, пока не будет измерено содержимое каждого ведра (пикселя).

Для создания матрицы ПЗС, использующейся для формирования изображений, существует множество способов объединения МОП-конденсаторов и управления напряжениями на их затворах. Как уже упоминалось, электроды затворов расположены в виде полосок, покрывающих всю рабочую поверхность матрицы ПЗС. Простейшей и наиболее распространенной конфигурацией для переноса заряда является трехфазная матрица ПЗС. В матрице такой конфигурации каждый из фотодиодов (пикселей) разделяется на три части, с тремя параллельными потенциальными ямами, ограниченными электродами затворов. В такой матрице каждый третий затвор включается в одну цепь формирователя тактовых импульсов. Базовый воспринимающий элемент матрицы ПЗС, соответствующий одному пикселю, состоит из трех затворов, подключенных к трем отдельным формирователям тактовых импульсов (синхроимпульсов), называемых синхроимпульсами фазы-1, фазы-2 и фазы-3. Каждая последовательность из трех параллельных затворов формирует однопиксельный регистр, а вся совокупность пикселей, покрывающих рабочую поверхность матрицы ПЗС, образует параллельный регистр устройства. Попав в потенциальную яму, электроны перемещаются через каждый пиксель в результате трехступенчатого процесса, который сдвигает зарядовый пакет от одного ряда пикселей к следующему. Последовательные изменения напряжения, прикладываемого к электродам параллельной (вертикальной) структуры затворов, перемещают потенциальные ямы и находящиеся в них электроны под управлением импульсов синхронизации параллельного регистра.

Общая схема синхронизации, использующаяся для трехфазного переноса, начинается с этапа интегрирования заряда, в течение которого для двух из трех параллельных фаз каждого пикселя задается положительное смещение, создающее область сильного поля относительно третьего затвора, на который подается низкий, или нулевой потенциал. Например, фазы 1 и 2 можно обозначить, как фазы накопления, и удерживать под высоким электростатическим потенциалом, относительно фазы 3, которая будет называться изолирующей фазой, и использоваться для изоляции заряда, накапливаемого высокопотенциальными фазами соседнего пикселя. По истечении времени интеграции заряда осуществляется его перенос, который начинается сохранением высокого потенциала только на затворах фазы-1, вследствие чего, под ними накапливаются формируемые в этой фазе заряды, а заряды, сформированные в фазах-2 и 3, находящихся в это время под нулевым потенциалом, быстро диффундируют в потенциальную яму под затвором фазы-1. На рисунке 3 представлена структура электродов, определяющих каждый из пикселей трехфазной матрицы ПЗС, и показано накопление электронов в потенциальной яме под электродом затвора фазы-1, находящимся под положительным потенциалом (+V). Перенос заряда осуществляется в соответствующим образом синхронизированной последовательности формирования напряжений, подаваемых на затворы, что вынуждает потенциальные ямы и изолирующие барьеры перемещаться по всем пикселям.

Рис. 4. Стандартные форматы фотоприемников на матрицах ПЗС (размеры в миллиметрах)

На каждом шаге переноса заряда на затвор потенциальной ямы, находящейся перед зарядовым пакетом, подается положительное напряжение, а на затвор потенциальной ямы, содержащей электроны — отрицательное, либо ноль (земля). В результате, накопленные электроны принудительно переносятся в элемент, тактируемый следующей фазой. С целью максимально эффективного переноса заряда, тактовые сигналы (уровни напряжения) соседствующих фаз переключаются не круто, а плавно и с некоторым перекрытием. Переход к фазе 2 осуществляется за счет подачи положительного потенциала на затворы фазы-2, в результате чего накопленный заряд распределяется между потенциальными ямами фазы-1 и фазы-2. Когда, после этого, потенциал фазы-1 становится равным потенциалу общей цепи (земли), весь зарядовый пакет переносится в фазу 2. Аналогичная последовательность переключений напряжения, синхронизированных с тактовым сигналом параллельного сдвигового регистра, используется для переноса заряда из фазы 2 в фазу 3; процесс продолжается до полного завершения сдвига одного пикселя. Подача одного трехфазного цикла синхронизации одновременно на весь параллельный регистр сдвигает всю матрицу на один ряд. Важное свойство трехфазного переноса состоит в постоянном наличии потенциального барьера между зарядовыми пакетами двух соседних пикселей, что обеспечивает взаимно однозначное пространственное соответствие пикселей фотоприемника и дисплея на протяжении всей последовательности формирования изображения.

Рисунок 6 иллюстрирует последовательность описанных выше операций по переносу заряда в трехфазной матрице ПЗС, а также последовательность импульсов управления сдвигом, формируемых тактовым генератором параллельного сдвигового регистра. На представленном схематичном изображении пикселя показан перенос заряда слева направо, под управлением тактовых сигналов, которые одновременно уменьшают напряжение на положительно смещенном электроде (определяющем потенциальную яму) и повышают на одном электроде справа (рисунки 6(a) и 6(b)). На последнем из трех шагов (рисунок 6©), заряд полностью переносится от одного затвора к другому. Следует отметить, что с целью повышения эффективности переноса и минимизации возможных потерь заряда, в процессе переключения высокие и низкие уровни импульсов синхронизации несколько перекрываются по времени (не показано).

В результате каждого полного параллельного переноса, зарядовые пакеты из одного ряда пикселей перемещаются в последовательный регистр, из которого они последовательно сдвигаются в выходной усилитель (см. пояснение на примере «пожарной цепочки», рисунок 5©). Для горизонтального (последовательного переноса) используется тот же трехфазный механизм зарядовой связи, что и для вертикального сдвига ряда.

Синхронизация, в этом случае, осуществляется сигналами тактового генератора последовательного регистра. После переноса всех зарядов из сдвигового регистра в модуль считывания, схема синхронизации параллельного регистра формирует сигналы перемещения в последовательный регистр очередного ряда накопленных фотоэлектронов. Из последовательного регистра каждый зарядовый пакет поступает в выходной модуль, где распознается и считывается выходным усилителем (иногда его называют встроенным в кристалл предусилителем), который преобразует заряд в пропорциональное напряжение. Выходное напряжение усилителя представляет собой величину сигнала, формируемого фотодиодами, по мере последовательного считывания их зарядов слева направо в каждом ряду, и сверху вниз по рядам двумерной матрицы. На этом этапе, на выходе матрицы ПЗС формируется аналоговый сигнал напряжения, эквивалентный растровой развертке накопленного заряда на рабочей поверхности устройства.

После того, как выходной усилитель усилит зарядовый пакет и преобразует его в пропорциональное напряжение, это напряжение подается на аналогово-цифровой преобразователь (АЦП), который преобразует его (напряжение) в двоичный код, состоящий из 0 и 1, и необходимый для интерпретации сигнала компьютером. Каждому пикселю присваивается значение, соответствующее амплитуде сигнала, с шагами дискретизации, соответствующими разрешающей способности, или битовой глубине АЦП. Например, 12-разрядный АЦП присваивает каждому пикселю значение из диапазона 0 — 4095, представляющего 4096 возможных уровней яркости изображения (2 в 12-й степени равно 4096 ступеням АЦП). Каждая ступень представления уровня яркости называется аналого-цифровой единицей (ADU).

Учитывая большое количество операций, требующихся для получения цифрового изображения, а также точность и скорость выполнения процесса, технологическое совершенство нынешних матриц ПЗС поражает. Ниже приведена последовательность операций, необходимых для формирования единичного изображения полнокадровой ПЗС-камерой. Открывается затвор камеры и начинается накопление фотоэлектронов; на электроды затворов предварительно поданы смещения, соответствующие фазе накопления заряда.

По окончании периода интегрирования закрывается затвор; под управлением сигналов синхронизации, формируемых электронным модулем камеры, накопленный в пикселях заряд построчно (рядами) сдвигается по параллельному регистру. Ряды зарядовых пакетов последовательно перемещаются из одного крайнего ряда параллельного регистра в последовательный сдвиговый регистр. Заряды пикселей, находящиеся в последовательном регистре, поочередно перемещаются в выходной модуль, где считываются встроенным в кристалл усилителем; этот усилитель усиливает электронный сигнал и преобразует его в аналоговое напряжение. АЦП присваивает каждому пикселю цифровое значение, соответствующее амплитуде сигнала (напряжения) этого пикселя. Значение каждого пикселя сохраняется в памяти компьютера или в буфере кадров камеры. Процесс последовательного считывания повторяется до считывания всех рядов пикселей параллельного регистра; камеры высокого разрешения содержат 1000 и более рядов пикселей. Хранящийся в памяти файл окончательного изображения (объемом до нескольких мегабайт) отображается в соответствующем формате на мониторе компьютера, с целью визуального анализа. С целью удаления остаточного заряда, перед очередной экспозицией выполняется полный цикл считывания матрицы ПЗС, за исключением этапа преобразования в цифровую форму.

Рис. 5. Интегрирование фотонно-индуцированного заряда

Несмотря на большое количество выполняемых операций, более одного миллиона пикселей могут быть перемещены по матрице, преобразованы в 12-разрядные цифровые коды яркости, занесены в память компьютера и отображены на его дисплее менее чем за одну секунду. Для считывания и отображения изображения 1-мегапиксельной камерой с частотой аналого-цифрового преобразования, равной 5 МГц, требуется около 0,5 секунды. Эффективность переноса заряда можно очень сильно повысить в охлаждаемых ПЗС-камерах. При этом, потери заряда, даже после нескольких тысяч переносов из наиболее удаленных от выходного усилителя областей матрицы, минимальны.

Архитектура фотоприемника на приборах с зарядовой связью (ПЗС)

В современных системах формирования изображений используются три основных варианта архитектуры матриц ПЗС: полнокадровая, с покадровым переносом и с построчным переносом (см. рисунок 7). Преимущество полнокадровой матрицы ПЗС, как уже упоминалось в описании процедуры считывания, заключается в практически 100-процентном использовании ее светочувствительной поверхности, на которой почти отсутствуют мертвые зоны между пикселями. На время считывания матрицы ПЗС ее рабочая поверхность должна быть защищена от света. Для этой цели, обычно, используется электромеханический затвор, управляющий экспозицией. После того, как затвор закроется, выполняется считывание и перенос заряда, накопленного за время экспозиции (время, в течение которого затвор остается открытым). Поскольку эти два процесса не могут происходить одновременно, скорость передачи кадров изображения ограничивается скоростью работы механического затвора, скоростью переноса заряда и количеством шагов в операции считывания. Хотя, полнокадровые устройства и обладают наибольшей из всех типов матриц ПЗС площадью светочувствительной поверхности, они более всего подходят для визуализации образцов с широким внутрикадровым динамическим диапазоном и для тех приложений, которые не требуют временнóго разрешения менее одной секунды. В режиме частичного использования матрицы (когда, с целью повышения скорости считывания, считывается только часть всего массива пикселей), максимально возможная скорость передачи информации составляет около 10 кадров в секунду, и ограничивается механическим затвором.

Камеры с покадровой передачей могут передавать информацию об изображении быстрее, чем полнокадровые устройства, поскольку при покадровой передаче экспозиция и считывание могут выполняться одновременно, с различной степенью временнóго перекрытия. По конструкции параллельного регистра они аналогичны полнокадровым устройствам, но одна половина прямоугольной матрицы пикселей закрывается непрозрачной маской и используется в качестве буфера хранения для фотоэлектронов, генерируемых открытой частью светочувствительной матрицы. По окончании экспонирования изображения, накопленный светочувствительными пикселями заряд быстро (обычно, за 1 миллисекунду) сдвигается в пиксели буферной части матрицы. Поскольку пиксели хранения защищены от воздействия света алюминиевым, или аналогичным непрозрачным покрытием, хранящийся в этой части матрицы заряд можно систематически считывать с более медленной скоростью, обеспечивающей меньшие потери заряда, а на светочувствительную часть матрицы в это время может экспонироваться очередное изображение. При этом становится ненужным затвор, поскольку время, необходимое для переноса изображения из области формирования в область хранения, составляет только часть времени типовой экспозиции (выдержки). Благодаря отсутствию в них механического затвора, камеры с матрицами покадрового переноса могут работать в непрерывном высокоскоростном режиме передачи кадров, и с успехом использоваться для исследований быстрых кинетических процессов, например, по методу, визуализации относительного содержания красителей, где важны пространственное разрешение и динамический диапазон. Недостаток фотоприемников такого типа заключается в использовании для формирования изображений только половины матрицы ПЗС. Вследствие этого кристалл имеет бóльшие, чем у полнокадрового устройства с эквивалентным фотоприемником, размеры, что удорожает камеру и накладывает ограничения на ее физическую конструкцию.

В матрице ПЗС с построчным переносом заряда, столбцы активных пикселей изображения и закрытые масками столбцы пикселей хранения-переноса чередуются по всему массиву параллельного регистра. Поскольку канал переноса непосредственно примыкает к каждому столбцу светочувствительных пикселей, для того, чтобы накопленный заряд попал в канал переноса его (заряд) необходимо сдвинуть всего на один столбец. Этот единственный шаг переноса можно выполнить менее чем за 1 миллисекунду, после чего матрица хранения считывается при помощи параллельных сдвигов в последовательный регистр, а массив светочувствительных пикселей в это время экспонируется очередным изображением. Благодаря электронному управлению интервалами экспонирования, архитектура с построчным переносом позволяет использовать очень малые времена интегрирования, а вместо использования механического затвора для защиты матрицы от света, ее можно эффективно сделать нечувствительной к свету путем сброса накопленного заряда, вместо сдвига его в каналы переноса. Хотя фотоприемники построчного переноса позволяют выполнять высококачественное считывание изображений ярко освещенных объектов на скоростях видеорежима, базовые модели ранних устройств страдали от узкого динамического диапазона, низкого разрешения и чувствительности, вследствие того, что около 75% поверхности матрицы ПЗС были заняты каналами хранения-переноса.

Несмотря на то, что ранние модели матриц ПЗС с построчным переносом, например, использующиеся в камкордерах, обеспечивают высокую скорость считывания и передачи кадров и не требуют применения затворов, они не обладают должными параметрами для использования в микроскопии высокого разрешения при низких уровнях освещенности. Помимо пониженной светочувствительности, свойственной конструкции с чередованием столбцов формирования изображения и столбцов хранения-переноса, высокие скорости считывания создавали сильные помехи и сужали динамический диапазон ранних моделей ПЗС-камер. Благодаря совершенствованию конструкций фотоприемников и электронных компонентов камер ситуация изменилась до такой степени, что современные построчные матрицы ПЗС обеспечивают цифровым камерам превосходные параметры, позволяющие использовать такие камеры в микроскопии, включая исследования с низкими уровнями освещенности, например, регистрацию малых концентраций флуоресцентных молекул. Прикрепленная микрооптика, отъюстированная на поверхности матрицы ПЗС, так чтобы охватить пары пикселей формирования-хранения сигнала, собирает световые потоки, которые, без этих линз, попали бы на закрытые пиксели и были бы потеряны, и фокусирует их на светочувствительные пиксели (см. рисунок 8). Благодаря сочетанию пикселей малых размеров и микролинз, фотоприемники с построчным переносом способны обеспечивать пространственное разрешение и эффективность использования светового потока, сравнимые с полнокадровыми и покадрового переноса матрицами ПЗС. Эффективная светочувствительная поверхность фотоприемников построчного переноса со встроенными микролинзами составляет 75–90% от площади поверхности.

Кроме того, встраивание микролинз в структуру матриц ПЗС позволяет расширить спектральную чувствительность фотоприемника в синюю и ультрафиолетовую области спектра. Это предоставляет дополнительные возможности в сфере коротковолновых приложений, например, в области популярных методик с использованием зеленого флуоресцентного белка (GFP) и красителей, возбуждаемых ультрафиолетовым излучением. С целью повышения квантового выхода в видимой части спектра, в новейшие высококачественные кристаллы встраиваются затворные структуры из материалов, обладающих высокой прозрачностью в сине-зеленом диапазоне спектра, например, из оксида индия и олова. Такие непоглощающие затворы позволяют приблизить квантовый выход в зеленой части спектра к 80%.

Рис. 6. Схема синхронизации трехфазной матрицы ПЗС

Прежние ограничения, связанные с узким динамическим диапазоном матриц ПЗС с построчным переносом, преодолены, главным образом, благодаря совершенствованию электронных компонентов, что позволило снизить шум чтения в камере почти в два раза. Поскольку активная площадь пикселей матрицы ПЗС с построчным переносом, примерно, в три раза меньше, чем у полнокадровых устройств, полная емкость потенциальной ямы (функция площади пикселя), аналогичным образом, меньше. В прошлом, этот фактор, вкупе со сравнительно высокими шумами камеры, был причиной узкого динамического диапазона, не позволявшего получать в результате аналогово-цифрового преобразования разрешение более 8–10 разрядов. Шумы считывания современных высококачественных камер с построчным переносом составляют не более 4–6 электронов, обеспечивая динамический диапазон, эквивалентный динамическому диапазону 12-разрядных камер с полнокадровыми матрицами ПЗС. Дополнительные усовершенствования схем синхронизации и электронных узлов камеры позволили повысить скорости считывания. Современные камеры построчного переноса позволяют получать 12-разрядные мегапиксельные изображения на частоте 20 МГц, что почти в четыре раза превышает аналогичный параметр полнокадровых камер с матрицами ПЗС сравнимых размеров. В некоторые конструкции матриц ПЗС построчного переноса вносятся и другие усовершенствования, включая изменение состава полупроводника, с целью повышения квантового выхода в ближней инфракрасной области спектра.

Функциональные характеристики фотоприемников на приборах с зарядовой связью

Некоторые рабочие параметры камеры, определяющие этап считывания в процессе формирования изображения, влияют на качество последнего. Скорость считывания в большинстве ПЗС-камернаучно-исследовательского класса регулируется, и находится, обычно, в диапазоне от 0,1 МГц до 10 — 20 МГц. Максимально возможная скорость зависит от скорости работы АЦП и других электронных компонентов камеры, определяющих время, необходимое для аналогово-цифрового преобразования одного пикселя. Для изучения быстрых кинетических процессов необходимы высокие скорости считывания и передачи кадров, позволяющие достичь требуемого временнóго разрешения. В некоторых ситуациях необходимо передавать видеоданные со скоростью 30 и более кадров в секунду. К сожалению, среди различных шумовых составляющих, которые всегда присутствуют в электронном изображении, основной компонентой является шум чтения, и с повышением скорости считывания уровень этой компоненты возрастает. Когда максимальное временнóе разрешение не требуется, улучшить изображение образца, создающего пиксели низкой интенсивности, можно за счет снижения скорости считывания до значения, обеспечивающего минимальный уровень помех при адекватном отношении сигнал/шум. В тех случаях, когда для исследования динамических процессов требуются высокие скорости формирования и передачи кадров изображения, можно изменить стандартную последовательность считывания, снизив количество обрабатываемых зарядовых пакетов, что, в некоторых случаях, позволяет повысить скорость формирования изображения до нескольких сотен кадров в секунду. Такого повышения скорости формирования и передачи кадров можно достичь за счет объединения пикселей во время считывания матрицы ПЗС и /или за счет считывания только части этой матрицы (см. ниже).

Программное обеспечение большинства использующихся в оптической микроскопии ПЗС-камер позволяет выделить из всей матрицы некоторое подмножество пикселей, или субматрицу, для получения и отображения изображений. При выделении (для обработки) только части поля изображения, не вошедшие в это поле пиксели не обрабатываются аналого-цифровым преобразователем, в результате чего скорость считывания повышается. В зависимости от используемой управляющей программы камеры, размер субматрицы можно выбрать из ряда стандартных значений, либо определить интерактивно, в виде области интереса, воспользовавшись компьютерной мышью и дисплеем. Метод выделения субматрицы считывания используется, обычно, для получения последовательностей изображений в заданный интервал времени, с тем, чтобы уменьшить размеры файлов изображений и упростить работу с ними.

В процессе считывания, накопленные зарядовые пакеты смежных пикселей матрицы ПЗС можно объединять и создавать меньшее количество суперпикселей. Этот процесс носит название бининг, и осуществляется в параллельном регистре, путем параллельного сдвига в последовательный регистр двух или более рядов, прежде чем выполнить процедуру последовательного сдвига и считывания. Процесс бининга, как правило, повторяется и в последовательном регистре, путем нескольких сдвигов зарядовых пакетов в модуль считывания, прежде чем результирующий заряд будет подан на вход выходного усилителя. Организовать можно любую комбинацию параллельных и последовательных сдвигов, однако, обычно, в каждый отдельный суперпиксель объединяют симметричную матрицу пикселей (см. рисунок 9). Например, для реализации бининга 3×3 сначала выполняются 3 операции параллельного сдвига (соответственно, трех рядов) в последовательный регистр. С этого момента каждый из пикселей последовательного регистра содержит объединенный заряд 3-х пикселей, которые соседствовали в смежных параллельных рядах. Затем, до измерения заряда, выполняются 3 такта последовательного сдвига в выходной модуль. Результирующий зарядовый пакет обрабатывается, как один пиксель, однако содержит фотоэлектроны 9-и физических пикселей (или суперпикселя формата 3×3). Хотя бининг и ухудшает пространственное разрешение, этот метод, зачастую, позволяет получать изображения в таких условиях, когда с использованием стандартной схемы считывания сделать это просто невозможно. Кроме того, бининг позволяет повышать скорость передачи кадров последовательностей изображений, когда эта скорость ограничивается циклом чтения, который задает камера. Помимо этого, при равных временах выдержки бининг обеспечивает лучшее отношение сигнал/шум. Среди дополнительных преимуществ, следует отметить более короткое время экспонирования, требующееся для получения изображений определенной яркости (чрезвычайно важное качество для съемки живых клеток), а также меньшие размеры файлов изображений, что снижает требования к объему ресурсов хранения компьютера и ускоряет обработку изображений.

Третьим фактором формирования изображений в камере, который может влиять на качество изображения, поскольку изменяет процесс считывания информации с матрицы ПЗС, является коэффициент передачи (усиления) электронной системы камеры. Настройка коэффициента передачи цифровой ПЗС-камеры устанавливает, какое количество накопленных фотоэлектронов определяет каждую из ступеней уровня яркости, которую способна различить система считывания, и применяется, как правило, на этапе аналого-цифрового преобразования. Увеличение коэффициента усиления соответствует уменьшению количества фотоэлектронов, приходящихся на одну градацию яркости (количество электронов/ADU), и позволяет разделить данный сигнал на большее количество уровней яркости. Отметим, что этот метод отличается от выбора коэффициента усиления в фотоумножителях и в видиконах, где изменяющийся сигнал усиливается с определенным коэффициентом. Хотя регулировка усиления и предоставляет метод увеличения ограниченной амплитуды сигнала до требуемого количества уровней яркости, слишком малое количество электронов, которым будут отличаться смежные уровни яркости в результате чрезмерного повышения этого коэффициента, может приводить к ошибкам аналого-цифрового преобразования. Высокий коэффициент усиления может стать причиной возникновения шумов из-за ошибок аналого-цифрового преобразования, которые будут проявляться в виде зернистости конечного изображения. В том случае, когда требуется сократить время экспонирования, повышение коэффициента передачи позволяет сохранить неизменным количество уровней яркости, несмотря на снижение уровня сигнала, при условии, что такое повышение не приведет к чрезмерному ухудшению качества изображения. В качестве примера влияния применения различных коэффициентов усиления к сигналу постоянного уровня, рассмотрим вариант, когда исходное значение коэффициента усиления, при котором каждой единице ADU (уровню яркости) соответствуют 8 электронов, определяет, что сигнал пикселя, содержащего 8000 электронов, будет отображаться с использованием 1000 уровней яркости. В результате увеличения исходного коэффициента усиления в 4 раза, количество электронов, соответствующих одному уровню яркости, уменьшится до 2 (2 электрона/ADU), и система аналого-цифрового преобразования будет различать 4000 уровней яркости. 

Рис. 7. Типовые архитектуры приборов с зарядовой связью (ПЗС)

Качество цифрового изображения можно оценить по четырем количественно-измеримым критериям, которые определяются, частично конструкцией матрицы ПЗС, а также отражают реализацию уже упоминавшихся рабочих параметров камеры, непосредственно влияющих на рабочие характеристики ПЗС-фотоприемника. Ниже перечислены основные критерии качества изображения и характер их проявления.

Пространственное разрешение. Определяет способность визуализировать мельчайшие детали образца, без проявления пикселей на изображении.

Разрешение по интенсивности освещения. Определяет динамический диапазон или количество уровней яркости (градаций серого цвета), различимых на отображаемом изображении.

Временнóе разрешение. Частота дискретизации (скорость передачи кадров) определяет способность отслеживать перемещение живого образца или быстрые кинетические процессы.

Отношение сигнала к шуму. Определяет различимость и чистоту сигналов от образца, относительно фона изображения.

При формировании изображений в микроскопии, как правило, невозможно одновременно оптимизировать все важные критерии обеспечения качества одного изображения, или последовательности изображений. Получение изображений наилучшего качества, в рамках ограничений, накладываемых конкретным образцом или экспериментом, требует, как правило, отыскания компромисса между перечисленными критериями, которые, зачастую, выдвигают противоречивые требования. Например, получение в заданный интервал времени последовательности изображений живых флуоресцентно-помеченных образцов, может потребовать сокращения общего времени экспонирования, чтобы минимизировать фотообесцвечивание и фототоксичность. Решить такую задачу можно несколькими способами, хотя, каждый из них влечет ухудшение того или иного параметра получения изображения. Менее частое экспонирование образца ухудшает временнóе разрешение; использование бининга для сокращения интервалов экспонирования снижает пространственное разрешение; увеличение коэффициента передачи сужает динамический диапазон и ухудшает отношение сигнал/шум. Для получения оптимальных результатов в различных ситуациях часто требуются совершенно разные подходы к получению изображений. В отличие от предыдущего примера, чтобы достичь максимального динамического диапазона для единственного изображения образца, требующего короткой экспозиции, использование бининга, или повышение коэффициента передачи, может решить поставленную задачу, не оказывая значительного отрицательного влияния на качество изображения. Для квалифицированного выполнения цифровой визуализации требуется доскональное знание решающих критериев качества изображения, а также практических аспектов сбалансированной настройки рабочих параметров камеры, с целью максимального удовлетворения наиболее важных для конкретной ситуации требований.

Основные аспекты качества цифрового изображения в микроскопии определяются всего лишь несколькими основными параметрами матрицы ПЗС и камеры, причем, эти параметры чрезвычайно сильно взаимосвязаны. К наиболее важным факторам, в контексте практического использования ПЗС-камер, следует отнести источники шумов фотоприемника и отношение сигнал/шум, скорость передачи кадров и временнóе разрешение, размер пикселя и пространственное разрешение, спектральный диапазон, квантовый выход и динамический диапазон.

матрица фотоаппарата | ДРУГ ФОТОАППАРАТ

{lang: ‘ru’} Tweet В предыдущей статье рассмотрены принципиальные основы цветовой чувствительности матрицы, говорилось в ней и цветовых моделях. В этой статье говорилось, о том, что наиболее распространенной схемой расположения светофильтров в цветной матрице является Байеровская схема. Байеровская схема цветных светофильтров матрицы. Эта схема названа так в честь Брайса Э. Байера (Bryce Bayer), который в 1976 […]

Читать далее …

{lang: ‘ru’} Tweet Продолжаю рассмотрение устройства фотоаппарата, начатое ранее и устройство светочувствительной матрицы. В предыдущих статьях рассматривалась физика работы светочувствительных элементов – пикселей. Но ничего не говорилось о том, как получается цветное изображение. Каким образом матрица воспринимает цвет? Элементы матрицы воспринимают свет независимо от цвета одинаково. Элемент воспринимает интенсивность света (яркость). Для того, чтобы матрица […]

Читать далее …

{lang: ‘ru’} Tweet Ранее уже было написано о динамическом диапазоне светочувствительных сенсоров фотоаппаратов. В связи с этим говорилось и о т. н. фотографической широте (фотопленки или матрицы неважно). Теперь рассмотрим понятие динамического диапазона с физической точки зрения, т. е. исходя из устройства матрицы цифрового фотоаппарата. Динамический диапазон ПЗС-матрицы. Для того, чтобы сенсор был чувствителен к большому диапазону […]

Читать далее …

{lang: ‘ru’} Tweet Из серии материалов об устройстве цифрового фотоаппарата продолжаем рассматривать такой важный элемент фотоаппарата, как матрица. В предыдущих статьях было рассмотрено устройство матрицы и принцип действия, матрицы с буферизацией кадра и столбцов, применение микролинз в матрицах. Далее рассмотрим характеристики матрицы и, в частности, ее чувствительность. Матрица  цифрового фотоаппарата и ее чувствительность. В общем […]

Читать далее …

{lang: ‘ru’} Tweet В предыдущих статьях описано устройство ПЗС-матрицы и матрицы с буферизацией столбцов. Там же говорилось о недостатках таких матриц. Одним из существенных недостатков в системе матриц с буферизацией столбцов является уменьшение площади светочувствительной части пиксела из-за перекрытия полезной площади буферными регистрами. Полезная площадь пиксела в этом случае составляет лишь 30% от всей поверхности, […]

Читать далее …

{lang: ‘ru’} Tweet Продолжаю описание устройства электронного фотоаппарата, в частности, матрицы. В предыдущей публикации начал описание устройства и принципа действия ПЗС-матрицы. В статье говорилось, что полнокадровая ПЗС-матрица (full-frame CCD-matrix) обладает таким недостатком, как наличие определенного интервала времени между предыдущим и очередным считыванием информации, что обусловлено наличием непрозрачной крышки — механического затвора. Для уменьшения интервала экспонирования была […]

Читать далее …

{lang: ‘ru’} Tweet Продолжаю начатый в предыдущей публикации разговор об устройстве цифрового фотоаппарата. Одним из главных элементов цифрового фотоаппарата, отличающих его от фотоаппаратов пленочных является светочувствительный элемент, так называемый ЭОП или светочувствительная матрица цифрового фотоаппарата. О матрицах фотоаппаратов уже говорилось ранее, теперь же рассмотрим несколько подробнее устройство и принцип работы матрицы, хотя и достаточно поверхностно, […]

Читать далее …

{lang: ‘ru’} Tweet Матрица. Матрица цифрового фотоаппарата — это основной светочувствительный элемент или сенсор, который воспринимает свет, падающий через объектив от снимаемого объекта, затем преобразуется в цифровой код и запоминается картой памяти. Матрицы по технологии изготовления бывают нескольких типов: — CMOS (Complementary Metal-Oxide Semiconductor – комплементарная структура металл-окисел-полупроводник), в русской транскрипции КМОП-матрицы; — CCD ( […]

Читать далее …

{lang: ‘ru’} Tweet В предыдущей статье  говорилось о том, что матрица фотоаппарата характеризуется прежде всего таким важным параметром, как физический размер  матрицы  . Этот параметр напрямую связан с величиной шумов матрицы. Шумы матрицы фотоаппарата. Давайте разберемся что-такое шумы и какую роль они играют в цифровой фотографии. А роль эта весьма существенна и порой ставит под сомнение преимущества цифровой […]

Читать далее …

ЭЛЕКТРОННАЯ «ФОТОПЛЕНКА»

Цифровая фототехника все ближе подбирается по своим параметрам к аналоговой. Это признают уже многие профессионалы-фотографы. Современные цифровые камеры представляют собой сложный гибрид фотоаппарата и специализированного компьютера. Общим остается принцип: с помощью светочувствительного элемента (в аналоговом аппарате — фотопленка, в цифровом — полупроводниковые матрицы) изображение фиксируется и сохраняется для многократного воспроизведения. Матрицы выполняются по одной из технологий: как приборы с зарядовой связью (ПЗС, в англоязычной литературе — CCD) и как комплиментарная структура метал-оксид-полупроводник (КМОП или CMOS). Именно о них, об их преимуществах и недостатках наш нынешний рассказ.

Перенос заряда в ПЗС-матрице

ПЗС-матрицы Очень условно ПЗС-устройство можно рассматривать как матрицу близко расположенных конденсаторов, имеющих структуру металл-диэлектрик-полупроводник (МДП) [1, 2, 3, 4, 5]. Если в определенной последовательности подать на их электроды тактовые импульсы напряжения, то накапливаемые заряды можно переносить между соседними элементами ПЗС. Отсюда и название технологии — приборы с переносом заряда или с зарядовой связью.

Свет фиксируется благодаря накоплению электрического заряда в МДП-конденсаторе под воздействием фотонной «бомбардировки». Величина этого заряда пропорциональна интенсивности светового потока. Особенность устройств на базе ПЗС — поступление электрического импульса от фотоэлемента не напрямую в аналогово-цифровой преобразователь (АЦП), а в соседний элемент в том же столбце матрицы. Сигналы от отдельных столбцов одной строки попадают в регистр передачи зарядов, после чего передаются дальше — на АЦП. Таким образом, ввод изображения происходит построчно. Далее информация о световом импульсе преобразуется в цифровой вид, а сигнал поступает во встроенный компьютер.

Большинство типов ПЗС-матриц, изготавливаемых на промышленной основе, ориентированы на применение в телевизионных и видеокамерах. Такие устройства носят название ПЗС с кадровым переносом. Матрицы состоят из двух почти одинаковых областей — накопления и хранения. Первая светочувствительна, а вторая защищена от света непроницаемым покрытием. ПЗС-матрицы с кадровым переносом можно применять для съемок в хорошо освещенных условиях, с использованием цифровых фотокамер без механических затворов. (Пример: все цифровые фотоаппараты с жидкокристаллическим экраном в качестве видоискателя.)

ПЗС для условий слабой освещенности изготавливаются, как правило, без области хранения. На время вывода сигнала такая матрица должна быть экранирована от света, а для работы требуется оптический затвор. (Пример: все профессиональные цифровые фотокамеры Kodak.)

КМОП-сенсоры Фотосенсор, выполненный по технологии КМОП, представляет собой матрицу КМОП-элементов, отвечающих каждый за свой пиксел и самостоятельно обрабатывающих информацию о нем [6]. Элемент матрицы содержит фотодиод, усилительный каскад и несколько вспомогательных транзисторов. Сигналы от отдельных фотоэлементов поступают на металлическую «сетку», откуда показания считываются по строкам фотоматрицы, по фрагментам строк или по отдельным фотоэлементам.

Получение цветного изображения Существует несколько способов получения цветного изображения в цифровых фотоаппаратах [5, 7, 8].

Байеровский фильтр

1. Изображение сканируется полоской, состоящей из трех рядов фотоэлементов, снабженных разными светофильтрами, либо маленькой фотоматрицей со светофильтрами. Эта технология позволяет относительно легко получать снимки с высоким разрешением. Однако она требует длительной выдержки, поэтому снимать можно только неподвижные предметы.
2. Для фиксации изображения привлекается матрица фотоэлементов по размеру кадра, причем каждый из фотоэлементов снабжен собственным светофильтром. Обычно на четыре элемента приходится по одному красному, одному синему и по два зеленых светофильтра (так называемый байеровский фильтр, Bayer filter). Такое сочетание обеспечивает более реалистичную передачу цветов. Эта технология лежит в основе производства многих недорогих цифровых фотоаппаратов.

   Расщепление света на составляющие

3. Световой поток расщепляется на составляющие (красную, зеленую и синюю) с помощью оптического прибора. Каждый из потоков воспринимается своей светочувствительной матрицей, затем цветные проекции синхронизируются в единое цветное изображение. Технология дорогостоящая, зато выполненные на ее основе фотоаппараты успешно фиксируют и движущиеся объекты.

   Камера с несколькими светофильтрами

4. Фотографируя объект, камера делает несколько снимков через разные светофильтры, затем совмещает изображение. Три или четыре светофильтра, вращающихся по кругу: нейтральный (иногда используется для фокусировки и кадрирования) и три цветных. Эта относительно недорогая технология обеспечивает высокое разрешение, точную цветопередачу и широкие возможности по варьированию глубины резкости, но требует относительно большой длительности выдержки, поэтому рекомендуется для съемки статичных или малоподвижных предметов (движущихся — только в монохромном виде). Кроме того, фотокамера получается достаточно громоздкой, в результате эта технология применяется в основном в стационарных фотоаппаратах.

Форма фотоэлементов Как правило, светочувствительная поверхность отдельных элементов матрицы (фотодиодов в КМОП-сенсорах и МДП-конденсаторов в ПЗС-устройствах) имеет форму квадрата или прямоугольника. Исключение составляют матрицы компании Fuji Photo Film, выполненные на базе восьмигранных фотоэлементов по технологии Super CCD [9, 10, 11]. Имеющиеся на матрице МДП-конденсаторы со светофильтрами расположены в виде байеровского фильтра, развернутого на 45 градусов. Электрический заряд передается не по диагонали, а по горизонтали и вертикали. Фотоматрицы Fuji тесно интегрированы с технологией обработки сигналов, обеспечивающей получение качественного изображения почти в два раза большего по размерам, чем сама матрица (4,3 мегапиксела с помощью матрицы в 2,4 мегапиксела в фотоаппарате Fuji FinePix 4700 и 6,1 мегапиксела с помощью 3,2 мегапиксельной матрицы в Fuji FinepPix S1 Pro). Благодаря применению восьмигранной формы фотоэлементов удается располагать их плотнее, обеспечивая более высокие показатели светочувствительности и разрешения, а также более короткие выдержки и более быстрое чтение данных из матрицы. Отпадает необходимость и в механическом затворе — достаточно реализовать электронный, одношаговый.

Поставщики Производители микросхем специализируются на какой-либо одной технологии фотосенсоров. К «лагерю» ПЗС можно смело причислить компании Eastman Kodak, Fuji, Matsushita, Philips, Sony, Texas Instruments. Среди производителей КМОП-элементов — Agilent Technologies, Canon, Conexant Systems, IC Media, Mitsubishi, Motorola, OmniVision Technologies, Photobit, STMicroelectronics, Y Media и Zoran. По обеим технологиям выпускают матрицы компании Sharp и Toshiba.

Наибольший размер ПЗС-матриц — у устройств Eastman Kodak (3052×2016 и 4080×4080 пискелов), КМОП-сенсоров — у продукции компаний Canon (матрица размером 2160×1440 эффективных пикселов применяется в фотоаппарате Canon D30) и Y Media (2048×1152). Большинство же производит матрицы с числом эффективных элементов, близким к SXGA (1280×1024), XGA (1024×768), VGA (640×480) и CIF (352×288).

Обратим внимание на интересное обстоятельство: если имена поставщиков ПЗС-матриц хорошо известны, то среди имен производителей КМОП-сенсоров встречаются как популярные торговые марки (Mitsubishi и Motorola), так и малоизвестные, причем последних — большинство. Это объясняется сложностью разработки ПЗС-матриц и необходимостью концентрации большого количества ресурсов для их производства, а также популярностью ПЗС-матриц среди поставщиков видеокамер. Большинство производителей КМОП-сенсоров сами не делают ни видеокамеры, ни цифровые фотоаппараты, зато поставляют сборщикам «заготовки» для производства в основном недорогих цифровых фотоаппаратов стоимостью от 150 долл. и выше. Работа именно в этой нише возможна из-за очень низких цен на КМОП-матрицы. Так, в партиях из 10 тыс. штук стоимость одной матрицы с разрешением VGA составляет от 8 до 12 долл.

Впрочем, и многие поставщики ПЗС-матриц продают свои фотосенсоры и «полуфабрикаты» на их базе, но для цифровых фотоаппаратов подороже. Производители цифровых фотокамер, не занимающиеся выпуском сенсорных матриц, чаще умалчивают, чьи матрицы они используют.

Свойства и сравнение На отдельном ПЗС-элементе активная (светочувствительная) поверхность составляет до 95% общей площади. В КМОП-элементе активная площадь существенно меньше — 25–30%. Поскольку светочувствительные полупроводники в обоих типах элементов примерно с одинаковой интенсивностью преобразуют фотоны в электрические заряды, светочувствительность ПЗС-элемента оказывается выше (ведь активная поверхность у него больше). Передача цвета в данной точке светового потока у ПЗС-элементов отличается от той, что обеспечивают КМОП-элементы, так как первые захватывают световой поток большей площади и, следовательно, усредняют его сильнее. Иногда это оказывается кстати, иногда — нет.

Так же, как и фотопленка, фотосенсоры обрабатывают световой поток в течение определенного времени (времени выдержки). За этот промежуток накапливается информация о световых сигналах с отдельных сенсоров. Чем больше выдержка, тем больше света способна зафиксировать фотоматрица, но и шумов на изображении тоже будет больше. Если на фотоэлемент ПЗС-матрицы попал очень большой световой поток, возможно размывание изображения (блюминг). Это вызвано тем, что в результате интенсивной «бомбардировки» фотонами активной части отдельного фотоэлемента на нем скапливается очень большой электрический заряд, и доля его «перетекает» на соседние фотоэлементы, искажая их показания. Если «пересветить» фотоэлемент КПОП-матрицы, также возможно искажение изображения. Впрочем, насколько мне известно [12], некоторые поставщики КПОМ-матриц (например, компания Photobit), научились «бороться» с этим явлением, уменьшая блюминг.

Обычно светочувствительные ПЗС-матрицы изготавливают на основе поликремниевых электродов. У многих таких матриц низкая чувствительность в синей части спектра приводит к довольно большим шумам в «захваченном» изображении. Рядом улучшенных характеристик обладают ПЗС-матрицы, изготовленные с применением технологии на базе оксидов индия и олова (ITO — indium tin oxide): высокая чувствительность синего канала, общее отношение сигнал/шум более 70 дБ. (Пример: Kodak Professional DCS-620X со светочувствительностью до 6400 единиц по шкале ISO). КМОП-сенсоры, как правило, характеризуется отношением сигнал/шум не более 55—60 дБ. Соотношение сигнал/шум играет очень важную роль в формировании такого показателя, как динамический диапазон. Этот показатель характеризует практически то же, что и понятие фотографическая широта обычных аналоговых пленок: способность точно передавать градации яркости на высококонтрастных снимках. Нижний предел динамического диапазона ограничен отношением сигнал/шум, характерным для данной фотоматрицы. Верхний предел динамического диапазона ограничен порогом проявления блюминга. Как правило, производители матриц борются за снижение уровня сигнал/шум в условиях обычных температур (при низких температурах уровень шумов значительно снижается).

Следует признать, что пока ПЗС-сенсоры дают несколько лучшее качество изображения по сравнению с КМОП-аналогами. Их чувствительность обычно выше, «зашумленность» — ниже, изображения более четкие, а размер фотоэлемента (аналога «зерна» фотопленки) меньше. Но технология КМОП-сенсоров быстро прогрессирует. Еще недавно они применялись лишь в цифровых фотоаппаратах начального уровня, однако уже осенью прошлого года появились профессиональные модели, оснащенные КМОП-сенсорами и обеспечивающие отличные результаты (например, Canon D30, в которой аппаратно реализованы оригинальные алгоритмы подавления шумов). Способность ввода сигнала по отдельным фрагментам КМОП-фотоматрицы и даже отдельным фотоэлементам открывает дополнительные перспективы в области улучшения качества изображения.

В отличие от ПЗС, производимых относительно небольшим числом предприятий микроэлектроники, технология КМОП освоена очень многими заводами: значительная доля современных микросхем производится именно по этой технологии. Отсюда существенное различие в цене. Фотосенсоры, выполненные по КМОП-технологии, гораздо дешевле аналогов, выполненных на базе ПЗС [6, 12, 13]. Более того, имеются широкие возможности по увеличению числа выпускаемых фотосенсоров и, следовательно, по их удешевлению с одновременным усовершенствованием прочих качеств. Еще одно важное преимущество КМОП-сенсоров — экономичность. Они потребляют в несколько раз меньше электроэнергии, чем ПЗС-сенсоры. Для портативных цифровых устройств экономичность — очень важное качество. Наконец, КМОП-технология позволяет гораздо быстрее считывать изображение с матрицы (до 500 раз в секунду с матрицы размером в мегапиксел [12]), обеспечивая большую «скорострельность» фотокамер.

Перспективы Согласно оценкам аналитиков из компании Cahners In-Stat Group [14], в 1999 году доля КМОП-сенсоров составила всего 6,2% от общего объема прибыли и 7,2% от общего числа проданных сенсоров. Однако, по прогнозам той же компании, в 2004 году численность КМОП-сенсоров возрастет до 50,8%, доля доходов от их продаж — до 35,5%. Вероятнее всего, за счет возможности получения более качественных изображений, ПЗС-технология в ближайшие несколько лет будет доминировать в продуктах верхнего уровня. Благодаря своей дешевизне КМОП-сенсоры отвоюют у ПЗС-аналогов значительную часть жизненного пространства, сделав цифровую фотографию по-настоящему массовой.

Автор благодарит Николая Чернышева, генерального директора компании ANSystem, за ряд ценных комментариев и дополнений, сделанных в ходе подготовки статьи.

Об авторе: Михаил Зырянов ([email protected]) — научный редактор еженедельника «Computerworld Россия».

ЛИТЕРАТУРА

1. Неизвестный С. И., Никулин О. Ю. Приборы с зарядовой связью. Устройство и основные принципы работы // «Специальная техника», ? 4, 1999.
2. Неизвестный С. И., Никулин О. Ю. Приборы с зарядовой связью — основа современной телевизионной техники. Основные характеристики ПЗС // «Специальная техника», ? 5, 1999.
3. Solid State Image Sensors: Terminology. Eastman Kodak, Microelectronics Technology Division. http://www.kodak.com/US/en/digital/pdf/ ccdTerminology.pdf
4. CCD Primer Part 1: Conversion of Photons to Electrons. Eastman Kodak, Microelectronics Technology Division. http://www.kodak.com/US/en/digital/pdf/ ccdPrimerPart1.pdf
5. CCD Primer Part 2: Overview of CCD architectures and operational basics. Eastman Kodak, Microelectronics Technology Division. http://www.kodak.com/US/en/digital/pdf/ ccdPrimerPart2.pdf
6. Kodak CMOS Image Sensors. A White Paper. Eastman Kodak. http://www.kodak.com/US/plugins/ acrobat/en/digital/ccd/cmos.pdf
7. Bob Caspe. How Digital Cameras Work. http://www.soundvisioninc.com/howdcw.htm
8. Karim Nice, Gerald Jay Gurevich. How Digital Cameras Work. http://www.howstuffworks.com/digital-camera.htm
9. Super CCD Q&A. Fuji Photo Film. http://home.fujifilm.com/products/digital/sccd/faq.html
10. Positive Reviews by America’s Leading Professors working in Photonics of Fujifilm’s New Digital. Press Release. Fuji Photo Film. http://home.fujifilm.com/products/digital/sccd/review.html
11. The Next Generation in CCD Performance, «Super CCD». Technical Guide Book. Fuji Photo Film. http://home.fujifilm.com/products/digital/pdf/sccd.pdf
12. CMOS’ Advantages Over CCDs. Photobit. http://www.photobit.com/Technology/ CMOS_Advantages/cmos_advantages.htm
13. Peter B. Denyer. CMOS vs CCD. http://www.vvl.co.uk/whucmos/whitepaper.htm
14. Image Sensor Market Over $1 billion; CMOS Gaining Ground. Press Release. Cahners In-Stat Group. http://www.instat.com/pr/2000/mm0015mi_pr.htm

---

ЦИФРОВЫЕ КАМЕРЫ НА CEBIT’2001

Kodak снижает цены?

Компания Kodak представила на CeBIT’2001 профессиональную цифровую зеркальную камеру DCS 760 c ПЗС-матрицей на 6 мегапикселов (размер матрицы составляет 18,4Ё27,6 мм). Камера, как и хорошо известная DCS 660, выполнена на базе пленочной камеры Nikon F5. Однако, в отличие от DCS 660, имеет диапазон регулирования ISO-чувствительности от 80 до 400 (вместо 80 — 200). Камера оснащена интерфейсом FireWire, буферной памятью 128 Мбайт, разъемами для карт памяти PCMCIA Type II, III, видеовыходом. Хранение информации осуществляется в формате Kodak TIFF Ycc. Необходимо отметить, что в DCS 760 встроен пользовательский интерфейс, уже хорошо знакомый владельцам цифровой приставки Kodak Pro Back. В комплект поставки включены программные пакеты управления цветом и настройками камеры — DCS Photo Desk и Camera Manager. Что же касается цен, то, как заявили представители Kodak, стоимость нового аппарата, который появится в продаже в мае, продемонстрирует кардинальное изменение ценовой политики компании.

Источник: Kodak.

Фотокамера со встроенным принтером

Японская компания Takara сообщила о планах выпустить в конце июля цифровую камеру PrintShot со встроенным цветным принтером по цене 160 долл. Пользователи PrintShot смогут не только распечатать фотографию непосредственно после проведения съемки, но и получить отпечаток изображения, загруженного из Интернет с помощью сотового телефона. PrintShot имеет 100 000-пиксельный КМОП-сенсор и небольшой цветной принтер, работающий по принципу термопереноса и обеспечивающий разрешение 203 dpi (производитель механики — Seiko Instruments). Встроенная в камеру буферная память сможет хранить до 12 снимков размером 352×288 пикселов. Максимальный размер напечатанных фотографий — 60×37,5 мм. На снимок можно вывести 14-значное число (дату съемки, номер телефона и т.д.). Вес камеры — 230 г.

Источник: Takara.

Пишущие камеры

Sony представила две цифровые камеры: MVC-CD300 и MVC-CD200. Главная их особенность — возможность записи снимков на 8-см мини-диски CD-R емкостью 156 мегабайт. Емкости CD хватает для хранения более чем 1000 изображений в цветовом режиме VGA и не менее чем 90 минут видео в формате MPEG. Камеры поддерживают три режима видеозаписи, включая Sony MPEG HQ, осуществляющий полноэкранное отображение с разрешением 320×240. Графические файлы сохраняются в формате UDF (Universal Disc Format).

Источник: Sony.

Патент США на устройство получения изображения на основе патента на матрицу промышленной цифровой камеры (Патент № 10,887,497, выдан 5 января 2021 г.)

ПЕРЕКРЕСТНАЯ ССЫЛКА НА СООТВЕТСТВУЮЩУЮ ЗАЯВКУ

Данная заявка является международной заявкой № PCT / CN2016 / 100543, поданной 28 сентября 2016 г. и опубликованной как WO / 2018/049698 A1 22 марта 2018 г., на национальной стадии. и заявляет о приоритете китайской патентной заявки № CN201610822489.X, поданная 13 сентября 2016 г., содержание которой полностью включено в настоящий документ посредством ссылки.

ТЕХНИЧЕСКАЯ ОБЛАСТЬ

Настоящее изобретение относится к области техники оптико-электронных продуктов, в частности к устройству получения изображения, основанному на матрице промышленной цифровой камеры. УРОВЕНЬ ТЕХНИКИ

Уровень техники

Для получения трехмерного изображения объекта, который должен быть сфотографирован способом получения изображения, в предшествующем уровне техники предоставляется следующий способ: размещение в фотографической сцене четырех цифровых камер, имеющих идентичную модель и идентичные линзы в форме матрицы 2 × 2, съемка нескольких изображений объекта, который нужно сфотографировать в фотографической сцене с помощью четырех цифровых камер, и выполнение обработки изображений и операций с полученными несколькими изображениями для получения трехмерного изображения объекта сфотографироваться.

В трехмерной операции, поскольку камеры имеют форму плоской матрицы, объем трехмерной операции значительно сокращается, а точность трехмерной операции повышается. Однако в этом методе требуется, чтобы горизонтальные ряды камер в горизонтальном направлении были выровнены друг с другом, а вертикальные столбцы камер в вертикальном направлении были выровнены друг с другом, то есть камеры требуются для образования прямоугольной конструкции с точным геометрическим размером, при этом дополнительно требуется, чтобы светочувствительные элементы камер находились в одной и той же горизонтальной плоскости.Чем выше геометрическая точность конструкции матричной камеры, тем выше точность и достоверность соответствующего измерения.

В настоящее время четыре существующие цифровые камеры могут быть установлены на фиксированной механической конструкции для удовлетворения вышеуказанных требований к точности позиционирования матричной структуры камеры посредством точного позиционирования камер, но при использовании этого метода возникают следующие проблемы:

1. В вышеупомянутом уровне техники матрица камеры, образованная четырьмя цифровыми камерами, используется для съемки объекта, который нужно сфотографировать.Поскольку сама цифровая камера имеет корпус определенного размера, линзы каждой из четырех цифровых камер расположены посередине цифровой камеры, а в крайнем случае минимальное расстояние между линзами двух соседних цифровых камер. камеры — это ширина корпуса одной цифровой камеры. В предшествующем уровне техники, поскольку минимальное расстояние между линзами двух соседних цифровых камер равно ширине корпуса одной цифровой камеры при фотографировании объекта, и расстояние не может быть дополнительно уменьшено, механизм становится большим по размеру, тем временем, способ получения изображения в предшествующем уровне техники не позволяет получить изображение на более близком расстоянии, что приводит к ограниченному диапазону фотографирования для окончательно полученного трехмерного изображения и невозможности получить трехмерное изображение для близкого объекта.
2. Поскольку используется тип существующих камер плюс механическая конструкция установки, которая сама по себе имеет погрешность, тем временем оптические оси, светочувствительные поверхности и корпуса камер не соответствуют геометрическим размерам из-за несоответствия в производстве, таким образом, окончательно невозможно обеспечить, чтобы светочувствительные элементы находились в одной горизонтальной плоскости, оптические оси светочувствительных элементов параллельны друг другу, при этом также образуется стандартная прямоугольная структура.Хотя вышеупомянутые ошибки могут быть компенсированы путем последующей калибровки, наличие ошибок сильно влияет на точность и точность трехмерных расчетов.

КРАТКОЕ ОПИСАНИЕ

В связи с этим целью настоящего раскрытия является создание устройства получения изображения на основе матрицы промышленной цифровой камеры, в котором путем изготовления, сварки или изготовления светочувствительных элементов в матричной структуре на одной пластине и установки линз матричной структуры на неподвижной пластине, изготовленной и отформованной за один этап, обеспечивается геометрическая точность взаимного расположения светочувствительных элементов, параллельность оптических осей линз и геометрическая точность матричной структуры, а расстояние между соседними линзами может также быть уменьшенным.Вышеупомянутые меры обеспечивают более высокую точность и точность трехмерного изображения, больший диапазон измерений и более высокий уровень интеграции камер, а также упрощают производство и изготовление, так что устройство становится интегрированным и миниатюрным трехуровневым устройством. устройство сбора размерных изображений в реальном смысле.

В первом аспекте варианты осуществления настоящего раскрытия предоставляют устройство получения изображения на основе матрицы промышленной цифровой камеры, включающее в себя первую подложку и вторую подложку, расположенные параллельно друг другу;

Линзовая матрица предусмотрена на первой подложке, и ось каждой из линз в линзовой матрице соответственно перпендикулярна плоскости, в которой расположена первая подложка;

Матрица светочувствительных элементов предусмотрена на поверхности второй подложки, обращенной к первой подложке, и каждый из светочувствительных элементов в матрице светочувствительных элементов расположен во взаимно однозначном соответствии с каждой из линз.

В сочетании с первым аспектом варианты осуществления настоящего раскрытия предоставляют первую возможную реализацию первого аспекта, в котором каждая из линз в матрице линз расположена в форме m × n, где m больше или равно до 2, и n больше или равно 2.

В сочетании с первой возможной реализацией первого аспекта варианты осуществления настоящего раскрытия обеспечивают вторую возможную реализацию первого аспекта, в котором все линзы в горизонтальное направление в линзовой матрице расположены с равными интервалами, а интервал между двумя соседними линзами больше или равен 10 мм;

все линзы в вертикальном направлении в матрице линз расположены с равными интервалами, а интервал между двумя соседними линзами больше или равен 10 мм.

В сочетании с первым аспектом варианты осуществления настоящего раскрытия обеспечивают третью возможную реализацию первого аспекта, в котором каждый из светочувствительных элементов в матрице светочувствительных элементов сформирован как единое целое со второй подложкой; альтернативно, каждый из светочувствительных элементов в матрице светочувствительных элементов устанавливается на второй подложке с помощью сварки.

В сочетании с третьей возможной реализацией первого аспекта варианты осуществления настоящего раскрытия обеспечивают четвертую возможную реализацию первого аспекта, в котором требуется, чтобы соответствующие строки пикселей в горизонтальном направлении были выровнены друг с другом, а соответствующие столбцы пикселей в вертикальном направлении выравниваются друг с другом, когда каждый из светочувствительных элементов в матрице светочувствительных элементов изготавливается или сваривается.

В сочетании с первым аспектом варианты осуществления настоящего раскрытия предоставляют пятую возможную реализацию первого аспекта, в которую дополнительно включена плата схемы управления, которая включает в себя аналого-цифровые преобразователи, процессор цифровых сигналов, модуль и модуль связи, подключенные последовательно;

аналого-цифровые преобразователи сконфигурированы для приема аналоговых изображений, посылаемых светочувствительными элементами, и преобразования аналоговых изображений в цифровые изображения;

цифровой сигнальный процессор сконфигурирован для систематического управления матрицей камеры для выполнения различных функций управления для сбора изображений, включая сбор изображений, передачу изображений, усиление изображения и управление затвором, управление взаимодействием протокола связи, прерывание таймера, переключение задач, управление хранилищем, настройка параметров камеры, режима сбора и определение формата сбора;

модуль управления сконфигурирован для приема и отправки сигнала триггера фотографирования и для настройки параметров фотографирования линз, когда линзы являются автоматическими линзами; и

модуль связи сконфигурирован для вывода собранных множественных цифровых изображений на верхний терминал согласно протоколу связи под управлением процессора цифровых сигналов.

В сочетании с первым аспектом варианты осуществления настоящего раскрытия обеспечивают шестую возможную реализацию первого аспекта, в котором первая подложка снабжена установочными сквозными отверстиями, а линзы в матрице линзы устанавливаются на первую подложку через установка через отверстия.

В сочетании с пятой возможной реализацией первого аспекта варианты осуществления настоящего раскрытия обеспечивают седьмую возможную реализацию первого аспекта, в котором дополнительно включен фиксированный задний кожух, который жестко соединен с первой подложкой, и Плата управления расположена внутри фиксированного заднего корпуса и жестко соединена со второй подложкой через фиксированные стойки.

В сочетании с седьмой возможной реализацией первого аспекта варианты осуществления настоящего раскрытия обеспечивают восьмую возможную реализацию первого аспекта, в котором порт ввода питания и интерфейс передачи данных предусмотрены на фиксированной задней части корпуса;

порт ввода питания сконфигурирован для подключения линии питания, через которую питаются светочувствительные элементы и плата схемы управления; и

интерфейс передачи данных сконфигурирован для подключения линии данных, через которую модуль управления и процессор цифровых сигналов получают команду установки параметра фотографирования и сигнал запуска фотографирования, а модуль связи выводит несколько цифровых изображений через линию данных. .

В сочетании с вышеупомянутыми вариантами осуществления первого аспекта варианты осуществления настоящего раскрытия обеспечивают девятую возможную реализацию первого аспекта, в котором устройство дополнительно включает в себя защитную крышку линзы, сконфигурированную для защиты каждой из линз в матрице линзы.

В вариантах осуществления настоящего раскрытия матрица линз, образованная множеством линз, интегрирована на одной и той же подложке, а матрица светочувствительных элементов, образованная множеством светочувствительных элементов, интегрирована на одной и той же подложке, сохраняя при этом, что каждый из светочувствительных элементов расположен во взаимно однозначном соответствии с каждой из линз.По сравнению с предшествующим уровнем техники, в устройстве получения изображения на основе матрицы промышленной цифровой камеры в вариантах осуществления настоящего раскрытия, поскольку несколько линз расположены на одной и той же подложке, а матрица светочувствительных элементов, образованная множеством светочувствительных элементов, интегрирована на На той же подложке может быть обеспечена геометрическая точность относительного положения светочувствительных элементов, параллельность оптических осей линз и геометрическая точность матричной структуры, а также при необходимости может быть уменьшено расстояние между соседними линзами.Вышеупомянутые меры обеспечивают более высокую точность и точность трехмерного изображения, больший диапазон измерений и более высокий уровень интеграции камер, а также упрощают производство и изготовление, так что устройство становится устройством сбора трехмерных изображений в реальный смысл.

Чтобы сделать вышеупомянутые цели, особенности и преимущества настоящего раскрытия более очевидными и понятными, предпочтительные варианты осуществления подробно проиллюстрированы ниже и подробно объяснены в сочетании с прилагаемыми чертежами следующим образом.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Чтобы более четко проиллюстрировать технические решения вариантов осуществления настоящего раскрытия, ниже будут кратко представлены сопроводительные чертежи, которые необходимы для вариантов осуществления. Следует понимать, что прилагаемые ниже чертежи просто показывают некоторые варианты осуществления настоящего раскрытия, поэтому их не следует рассматривать как ограничивающие объем. Специалист в данной области техники все же может получить другие соответствующие чертежи в соответствии с этими сопровождающими чертежами без каких-либо изобретательских усилий.

РИС. 1 показывает структурную схематическую диаграмму устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия;

РИС. 2 показывает структурную схематическую диаграмму первой подложки, предоставленной в вариантах осуществления настоящего раскрытия;

РИС. 3 показывает собранную схематическую диаграмму устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия;

РИС. 4 показывает схематическое изображение в разобранном виде устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия;

РИС.5 — схематическая диаграмма в сечении в сборе устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия;

РИС. 6 — схематическая диаграмма фиксированного заднего корпуса устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия; и

ФИГ. 7 показывает схематическую диаграмму состава модуля платы схемы управления, предусмотренной в вариантах осуществления настоящего раскрытия.

Справочные знаки следующие:

первая подложка 100 , линза 101 , установка через отверстие 102 ;

вторая подложка 200 , светочувствительный элемент 201 ;

плата управления 300 , фиксированная стойка 301 ;

фиксированный задний корпус 400 , порт ввода питания 401 , интерфейс передачи данных 402 .

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Чтобы сделать цели, технические решения и преимущества вариантов осуществления настоящего раскрытия более ясными, технические решения в вариантах осуществления настоящего раскрытия будут описаны четко и полностью ниже в сочетании с сопроводительные чертежи в вариантах осуществления настоящего раскрытия. Очевидно, описаны некоторые, но не все варианты осуществления настоящего раскрытия. Как правило, компоненты в вариантах осуществления настоящего раскрытия, как описано и показано на прилагаемых чертежах в данном документе, могут быть скомпонованы и спроектированы в различных различных конфигурациях.Следовательно, приведенное ниже подробное описание вариантов осуществления настоящего раскрытия, представленное на прилагаемых чертежах, не предназначено для ограничения объема, заявленного в настоящем раскрытии, а просто иллюстрирует выбранные варианты осуществления настоящего раскрытия. На основе вариантов осуществления в настоящем раскрытии все другие варианты осуществления, полученные специалистом в данной области без каких-либо изобретательских усилий, должны подпадать под объем защиты настоящего раскрытия.

Учитывая, что способ получения изображения в предшествующем уровне техники не позволяет получить изображение с геометрическим позиционным отношением, удовлетворяющим требованию по точности, окончательно полученное трехмерное изображение имеет ограниченную точность и точность, а более точное трехмерное изображение не может Таким образом, настоящее раскрытие обеспечивает устройство получения изображения на основе матрицы промышленной цифровой камеры, которая конкретно описывается ниже с вариантами осуществления.

РИС. 1 показывает структурную схематическую диаграмму устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия. Как показано на фиг. 1, устройство получения изображения в вариантах осуществления настоящего раскрытия сущности включает в себя первую подложку 100 и вторую подложку 200 , расположенные параллельно друг другу;

Линзовая матрица предусмотрена на первой подложке 100 , и ось каждой из линз 101 в линзовой матрице соответственно перпендикулярна плоскости, в которой расположена первая подложка 100 ;

Матрица светочувствительных элементов предусмотрена на поверхности второй подложки 200 , обращенной к первой подложке 100 , и каждый из светочувствительных элементов 201 в матрице светочувствительных элементов расположен во взаимно однозначном соответствии с каждая из линз 101 .

В вариантах осуществления настоящего раскрытия матрица линз, образованная множеством линз, интегрирована на одной и той же подложке, а матрица светочувствительных элементов, образованная множеством светочувствительных элементов, интегрирована на одной и той же подложке, сохраняя при этом, что каждый из светочувствительных элементов расположен во взаимно однозначном соответствии с каждой из линз. По сравнению с предшествующим уровнем техники, в устройстве получения изображения на основе матрицы промышленной цифровой камеры в вариантах осуществления настоящего раскрытия, поскольку несколько линз расположены на одной и той же подложке, а матрица светочувствительных элементов, образованная множеством светочувствительных элементов, интегрирована на На той же подложке может быть обеспечена геометрическая точность относительного положения светочувствительных элементов, параллельность оптических осей линз и геометрическая точность матричной структуры, а также при необходимости может быть уменьшено расстояние между соседними линзами.Вышеупомянутые меры обеспечивают более высокую точность и точность трехмерного изображения, больший диапазон измерений и более высокий уровень интеграции камер, а также упрощают производство и изготовление, так что устройство становится устройством сбора трехмерных изображений в реальный смысл.

В вариантах осуществления настоящего раскрытия линзы представляют собой промышленные линзы, каждая из которых и соответствующий светочувствительный элемент составляют промышленную цифровую камеру, таким образом формируя матрицу промышленной цифровой камеры, называемую для краткости в дальнейшем матрицей камеры, образованную множеством промышленные цифровые фотоаппараты.

Каждая из линз 101 в приведенной выше матрице линз имеет идентичную модель и тип, которые могут быть линзами с постоянным фокусным расстоянием или линзами с переменным фокусным расстоянием. Каждый из светочувствительных элементов 201 в вышеуказанной матрице светочувствительных элементов выполняет функцию преобразования оптического сигнала, захваченного соответствующей линзой 101 , в электрический сигнал, чтобы облегчить последующую обработку изображения. Светочувствительным элементом может быть ПЗС (устройство с зарядовой связью) или КМОП (дополнительный металлооксидный полупроводник), и, конечно, это также могут быть другие широко известные электрические устройства, которые можно применять в процессе получения изображения для реализации преобразования. оптического сигнала в электрический сигнал.

Поскольку оптический сигнал, улавливаемый каждой линзой 101 , должен точно входить в соответствующий светочувствительный элемент 201 , первая подложка 100 и вторая подложка 200 должны быть параллельны друг другу, и каждый из Светочувствительные элементы 201 должны быть расположены взаимно однозначно с каждой из линз 101 .

Первая подложка 100 и вторая подложка 200 должны быть соединены с такой точностью, чтобы оптические оси линз 101 на первой подложке 100 были перпендикулярны каждому из светочувствительных элементов 201 на вторая подложка 200 и проходит через центры светочувствительных элементов 201 , при этом расстояние между светочувствительной поверхностью каждого светочувствительного элемента 210 и соответствующей линзой 101 должно удовлетворять требованиям для четкого изображения линза.В вариантах осуществления настоящего раскрытия предпочтительно каждая из линз 101 в матрице линз расположена в форме m × n, где m больше или равно 2, а n больше или равно 2.

В частности, каждая из линз 101 в матрице линз может быть расположена в форме 2 × 2, или в форме 2 × 3, или в форме 3 × 3, или в форме 4 × 5, которые не будут перечисляться здесь один за другим.

В настоящем варианте осуществления размещение различных линз 101 в форме m × n может гарантировать соответствующий диапазон кадрирования, таким образом фотографируя весь объект или всю фотографическую сцену.

Исследования показывают, что интервалы между каждой из линз 101 в матрице линз влияют на диапазон фотографического поля зрения. В настоящем варианте осуществления предпочтительно все линзы 101 в горизонтальном направлении расположены с равными интервалами в матрице линз, а интервал между двумя соседними линзами 101 больше или равен 10 мм, аналогично, все линз 101 в вертикальном направлении расположены с равными интервалами в матрице линз, а интервал между двумя соседними линзами 101 больше или равен 10 мм.

Располагая каждую из линз 101 в горизонтальном направлении с равными интервалами в матрице линз и располагая каждую из линз 101 в вертикальном направлении с равными интервалами в матрице линз, это способствует получению изображения ex post. -размерная обработка и эксплуатация, и облегчает изготовление первой подложки 100 , а также установку линз 101 . Кроме того, учитывая, что, когда интервалы между каждой из линз , 101, в матрице линз слишком велики, близость нескольких изображений, полученных путем фотографирования, уменьшается, что приводит к низкой точности окончательно синтезированного трехмерного изображения.В другом предпочтительном варианте осуществления предпочтительно все линзы 101 в горизонтальном направлении расположены с равными интервалами в матрице линз, а интервал между двумя соседними линзами 101 больше или равен 10 мм и меньше или равным 120 мм, аналогично все линзы 101 в вертикальном направлении расположены с равными интервалами в матрице линз, а интервал между двумя соседними линзами 101 больше или равен 10 мм и меньше или равен до 120 мм.

Если расстояние между двумя соседними линзами 101 в горизонтальном направлении или в вертикальном направлении больше или равно 10 мм и меньше или равно 120 мм, проблема в том, что близость каждого изображения уменьшается, что приводит к снижению точности окончательно синтезированного трехмерного изображения можно избежать. Кроме того, устройство получения изображения может быть уменьшено в размере, облегчая изготовление и обработку устройства получения изображения.

Следует отметить, что на основании того, что интервал между двумя соседними линзами 101 в горизонтальном направлении или в вертикальном направлении больше или равен 10 мм, верхний предел интервалов не ограничивается 120 мм. , но также может составлять 150 мм или 180 мм, что может быть определено в соответствии с практическими требованиями. Как правило, чем выше значение фокусного расстояния объектива, тем шире диапазон поля зрения фотографируемого объекта и тем больше интервалы между соседними объективами.

Чтобы еще больше гарантировать, что изображения, снятые несколькими линзами 101 , упорядочены, предпочтительно интервал между двумя соседними линзами 101 в горизонтальном направлении в матрице линз и интервал между двумя соседними линзами 101 в вертикальном направлении в линзах матрицы равны.

Специалист в данной области техники может понять, что каждый из светочувствительных элементов 201 в матрице светочувствительных элементов расположен во взаимно однозначном соответствии с каждой из линз 101 в матрице линз, следовательно, способ размещения каждого из светочувствительных элементов 201 в матрице светочувствительных элементов, и интервалы между каждым из светочувствительных элементов 201 оба согласуются с интервалами каждой из линз 101 , которые не будут повторяться здесь повторно.

На ФИГ. 1, каждый из светочувствительных элементов 201 в матрице светочувствительных элементов сформирован как единое целое со второй подложкой 200 ; в качестве альтернативы, каждый из светочувствительных элементов 201 в матрице светочувствительных элементов устанавливается на второй подложке 200 посредством сварки, при этом, когда светочувствительные элементы 201 на второй подложке 200 изготавливаются или свариваются, это требуется что соответствующие строки пикселей в горизонтальном направлении выровнены друг с другом, а соответствующие столбцы пикселей в вертикальном направлении выровнены друг с другом.

Различные типы независимых светочувствительных элементов 201 , существующие в уровне техники, все включают ПЗС и / или КМОП, и технология является достаточно зрелой. В соответствии с такими требованиями, как диапазон поля зрения, точность измерения и скорость измерения, могут быть выбраны соответствующие светочувствительные элементы 201 , а затем спроектирована соответствующая вторая подложка 200 . Вторая подложка 200 может быть реализована в виде печатной платы (PCB), и затем каждый из светочувствительных элементов 201 приваривается ко второй подложке 200 в соответствии с требованиями размещения линз 101 в предыдущем.Когда используется способ сварки, для обеспечения точности сварки может использоваться специальное приспособление для позиционирования светочувствительного элемента, обеспечивающее точность позиционирования каждого из светочувствительных элементов 201 после сварки.

Светочувствительные элементы 201 приварены ко второй подложке 200 сваркой. В настоящее время все светочувствительные элементы, такие как ПЗС и КМОП, обычно имеют прямоугольную форму в соответствии с количеством строк и столбцов пикселей.Поскольку в трехмерной операции требуется, чтобы строки пикселей соответствующих координатных позиций в одной строке находились на одной прямой, а столбцы пикселей соответствующих координатных позиций в одном столбце должны находиться на одной прямой. прямая линия, требуется, чтобы в настоящем варианте осуществления, когда каждый из светочувствительных элементов 201 формирует стандартную прямоугольную форму, позиции, в которых расположены пиксели в матрице светочувствительных элементов (позиции представлены значениями строк и столбцов) также должен образовывать соответствующую прямоугольную структуру, обеспечивая тем самым точность трехмерной операции.Следовательно, когда светочувствительные элементы , 201, на второй подложке , 200, производятся или свариваются, требуется, чтобы соответствующие строки пикселей в горизонтальном направлении были выровнены друг с другом, а соответствующие столбцы пикселей в вертикальном направлении были выровнены. друг с другом, что обеспечивает точность трехмерной операции.

Поскольку светочувствительные элементы, такие как ПЗС и КМОП, имеют интервал пикселей, как правило, порядка микрон, довольно сложно гарантировать, что соответствующие строки или столбцы пикселей светочувствительных элементов 201 полностью выровнены при сварке, относительной обязательно произойдет смещение или относительный поворот соответствующих строк или столбцов пикселей.Чтобы компенсировать вышеуказанные ошибки, вышеуказанные производственные ошибки должны быть измерены и откалиброваны после изготовления, что может быть выполнено путем компенсации в трехмерном вычислении или посредством исправлений в программном обеспечении.

В качестве альтернативы светочувствительные элементы 201 сформированы как единое целое со второй подложкой 200 синхронным способом. В соответствии с требованиями к геометрической точности матрицы, чтобы гарантировать, что каждое из положений пикселя в матрице светочувствительного элемента также образует стандартную прямоугольную структуру для повышения точности и скорости трехмерной операции, вторая подложка 200 можно настроить так, чтобы каждый из светочувствительных элементов 201 и вторая подложка 200 формировались как единое целое, и каждый из светочувствительных элементов 201 изготавливался в процессе изготовления второй подложки 200 , то есть, эквивалентно производству большой ПЗС- или КМОП-матрицы, образованной несколькими светочувствительными областями, образующими прямоугольник.Этот метод позволяет избежать ошибок, вызванных предыдущим методом сварки, и сокращает время обработки изображения, так что данные трехмерного изображения являются более точными.

РИС. 2 показана структурная схематическая диаграмма первой подложки , 100, , предоставленной в вариантах осуществления настоящего раскрытия. Как показано на фиг. 2 первая подложка 100 расположена с установкой через отверстия 102 , а линзы 101 в матрице линзы устанавливаются на первую подложку 100 через установочные отверстия 102 .

В вариантах осуществления настоящего раскрытия, способ одноэтапного формования с производственным центром или способ одноэтапного формования с моделью может быть принят для первой подложки, чтобы гарантировать геометрическую точность первая подложка соответствует требованиям. Геометрическая точность первой подложки, лежащая в основе установки и позиционирования всего устройства сбора, напрямую влияет на точность камер. Конкретные требования к их геометрической точности следующие: линзы параллельны верхней и нижней установочным поверхностям второй подложки, расстояние между двумя поверхностями удовлетворяет требованиям точности для получения четкого изображения, установка линз через отверстия 102 перпендикулярно первой подложке, и точность положения установки через отверстия 102 соответствует требованиям и так далее.

В одном варианте каждая линза 101 снабжена внешней резьбой, каждое установочное сквозное отверстие 102 снабжено внутренней резьбой, а линзы 101 устанавливаются на первую подложку 100 посредством установки. сквозные отверстия 102 в виде резьбового соединения. В другом варианте каждая линза 101 снабжена первой зажимной конструкцией, каждое установочное сквозное отверстие 102 снабжено второй зажимной конструкцией, а линзы 101 устанавливаются на первую подложку 100 посредством установки. сквозные отверстия , 102, с зажимом, причем зажимным способом может быть соединение с защелкой.

Исходя из предыдущего содержания, поскольку способ расположения каждой из линз 101 и интервалы между каждой из линз 101 должны соответствовать определенным требованиям, каждая установка через отверстия 102 на первом подложка 100 также должна отвечать тем же требованиям. Конкретные требования можно увидеть в предыдущем содержании, и они не будут повторяться здесь повторно.

РИС. 3 показывает собранную схематическую диаграмму устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия, а фиг.4 показывает в разобранном виде схематическое изображение устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия. Как показано на фиг. 3 и фиг. 4, устройство получения изображения в настоящем варианте осуществления дополнительно включает в себя фиксированный задний корпус 400 , фиксированный задний корпус 400 жестко соединен с первой подложкой 100 , а вторая подложка 200 расположена внутри фиксированной задний корпус 400 . При этом фиксированный задний кожух , 400, может иметь резьбу с первой подложкой , 100, , а также может быть зажат с первой подложкой , 100, .

Как показано на фиг. 4, устройство получения изображения в настоящем варианте осуществления дополнительно включает в себя плату схемы управления 300 , плата схемы управления 300 расположена внутри фиксированного заднего корпуса 400 , а первая подложка 100 , вторая подложка 200 и плата схемы управления 300 расположены последовательно, плата схемы управления 300 жестко соединена со второй подложкой 200 через фиксированные столбцы 301 , а плата схемы управления 300 является сконфигурирован для приема электрических сигналов, выводимых светочувствительными элементами 201 , и для выполнения таких операций, как аналого-цифровое преобразование, обработка данных, хранение, вывод данных, установка параметров сбора, управление сбором, запуск сбора и управление линзами.

РИС. 5 показывает схематический вид в разрезе собранного устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия. Как показано на фиг. 5, вторая подложка 200 контактирует с верхней поверхностью первой подложки 100 , а плата схемы управления 300 жестко соединена со второй подложкой 200 через фиксированные столбцы 301 , таким образом, вторая Подложка 200 и плата схемы управления 300 жестко соединены с первой подложкой 100 , достигая цели установки и фиксации второй подложки 200 и платы схемы управления 300 .

В настоящем варианте осуществления, чтобы гарантировать, что расстояние между каждой линзой 101 и соответствующим светочувствительным элементом 201 соответствует стандарту использования, в ситуации, когда вторая подложка 200 находится в контакте с первой подложкой 100 , первая подложка 100 имеет толщину 18,656 мм или 13,656 мм. При этом первая подложка 100 имеет толщину 18,656 мм, когда линзы 101 являются линзами с креплением C, а первая подложка 100 имеет толщину 13.656 мм, если линзы 101 имеют крепление CS.

Из РИС. 5 видно, что нижняя поверхность первой подложки 100 сконфигурирована для установки линз 101 , а верхняя поверхность первой подложки 100 сконфигурирована для контакта со второй подложкой 200 . Верхняя поверхность первой подложки , 100, включает в себя выпуклые структуры, расположенные на двух концах, а толщина первой подложки 100 относится к расстоянию между поверхностями выпуклых структур и первой поверхностью.

РИС. 6 показывает схематическую диаграмму фиксированного заднего корпуса , 400, устройства получения изображения, предусмотренного в вариантах осуществления настоящего раскрытия. Как показано на фиг. 6, фиксированный задний корпус 400 снабжен портом ввода питания 401 и интерфейсом передачи данных 402 . Порт ввода питания , 401, сконфигурирован для подключения линии питания, а светочувствительные элементы 201 и плата схемы управления , 300, получают питание через линию питания.Интерфейс передачи данных 402 сконфигурирован для подключения линии данных для отправки данных на плату схемы управления 300 и вывода данных на плату схемы управления 300 .

Ввиду уязвимости линз в другом варианте осуществления устройство получения изображения дополнительно включает в себя защитные крышки линз, которые закрывают поверхности линз 101 для защиты каждой из линз 101 в матрице линз. Предпочтительно, защитные крышки линз жестко соединены с первой подложкой 100 и закрывают каждую из линз 101 на первой подложке 100 , чтобы предотвратить повреждение линз 101 .Защитные крышки линз могут быть из пластика.

РИС. 7 — схематическая диаграмма модульного состава платы схемы управления, представленной в вариантах осуществления настоящего раскрытия. Как показано на фиг. 7, плата схемы управления 300 в вариантах осуществления настоящего раскрытия включает в себя аналого-цифровые преобразователи 701 , цифровой сигнальный процессор 702 , модуль управления 703 и модуль связи 704 , подключенные в последовательности; аналого-цифровые преобразователи 701 сконфигурированы для приема аналоговых изображений, отправляемых светочувствительными элементами 201 , и преобразования аналоговых изображений в цифровые изображения; процессор цифровых сигналов 702 настроен для систематического управления матрицей камеры для выполнения различных функций управления для сбора изображений, включая сбор изображений, передачу изображений, усиление изображения и управление затвором, управление взаимодействием протокола связи, прерывание таймера, переключение задач, управление хранилищем , настройки параметров камеры, режима сбора, определение формата сбора и т. д .; модуль управления 703 сконфигурирован для приема и отправки сигнала запуска фотографирования и для регулировки параметров фотографирования линз 101 , когда линзы 101 являются автоматическими линзами; модуль связи , 704, сконфигурирован для вывода собранных нескольких цифровых изображений на верхний терминал согласно протоколу связи под управлением процессора цифровых сигналов 702 , при этом параметры фотографирования включают в себя фокусное расстояние, диафрагму и резкость линзы 101 .

В частности, процессор цифровых сигналов 702 , аналогичный микросхеме ЦП (центральный процессор) во встроенном компьютере, может быть DSP (цифровая обработка сигналов), ARM (машина Acorn RISC, микропроцессор RISC), FPGA (полевая Programmable Gate Array) и другие микросхемы, и это ядро ​​управления всей системой сбора изображений. Когда цифровой сигнальный процессор 702 запускается, сначала загружается встроенная программа для связи с верхним терминалом, выполняется команда инициализации камер, параметры камеры, например, время экспозиции, режим триггера и усиление изображения. , так далее.заданы, внутренние параметры камер, например, серийные номера камер, отправляются на верхний терминал. После получения команды фотографирования осуществляется управление сбором изображений каждой камеры, и после завершения сбора изображения последовательно передаются на верхний терминал.

Когда для съемки изображений используется мягкий триггер, верхний терминал отправляет сигнал триггера фотографирования на коммуникационный модуль 704 , коммуникационный модуль 704 посылает сигнал триггера фотографирования в процессор цифровых сигналов 702 , цифровой сигнальный процессор 702 собирает в соответствии с сигналом триггера фотографирования оптические сигналы, сфокусированные линзами 101 на светочувствительных элементах 201 для получения аналоговых сигналов изображения, и управляет аналого-цифровыми преобразователями 701 , чтобы преобразует аналоговые изображения в цифровые изображения и управляет коммуникационным модулем 704 для вывода нескольких цифровых изображений на верхний терминал.

Когда для съемки изображений используется аппаратный триггер, верхний терминал отправляет сигнал триггера фотографирования в модуль связи 704 , модуль связи 704 отправляет сигнал триггера фотографирования в модуль управления 703 , модуль управления 703 отправляет сигнал триггера фотографирования в процессор цифровых сигналов 702 , процессор цифровых сигналов 702 управляет светочувствительными элементами 201 в соответствии с сигналом триггера фотографирования для сбора оптических сигналов, сфокусированных на светочувствительных элементах 201 для получения аналоговых сигналов изображения и управляет аналого-цифровыми преобразователями 701 для преобразования аналоговых изображений в цифровые изображения и управляет коммуникационным модулем 704 для вывода цифровых изображений на верхний терминал.

В вариантах осуществления настоящего раскрытия количество аналого-цифровых преобразователей 701 согласуется с количеством линз 101 и количеством светочувствительных элементов 201 . На фиг. 7 четыре линзы взяты в качестве примера для иллюстрации.

Как показано на фиг. 7, плата схемы управления 300 дополнительно включает в себя энергонезависимую память 705 и модуль питания 706 , а модуль питания 706 , соответственно, электрически соединен с различными электрическими устройствами на плате схемы управления 300 для питания питание различных электрических устройств.Энергонезависимая память 705 соединена с процессором цифровых сигналов 702 и сконфигурирована для хранения множества цифровых изображений и переменных, сгенерированных процессором цифровых сигналов 702 в процессе обработки изображений.

Вышеупомянутый коммуникационный модуль 704 включает в себя: схему или устройство обмена данными и соответствующие интерфейсы вывода-ввода. Схема или устройство обмена данными, как и сетевой коммутатор, может концентрировать изображения, собранные матрицей камеры, на одном и том же сетевом интерфейсе для вывода.Для параллельного вывода также можно использовать несколько сетевых интерфейсов, и количество интерфейсов вывода соответствует времени, необходимому для сбора изображений.

Интерфейсы вывода-ввода модуля связи 704 включают в себя: интерфейс системной шины, интерфейс сетевого устройства и интерфейс управления вводом-выводом. Интерфейс системной шины, интерфейс сетевого устройства и интерфейс управления вводом / выводом соответственно связаны с процессором цифровых сигналов 702 , а интерфейс сетевого устройства и интерфейс управления вводом / выводом соответственно связаны с модулем питания 706. .Интерфейс системной шины сконфигурирован для передачи собранных нескольких цифровых изображений по системной шине. Интерфейс сетевого устройства сконфигурирован для передачи полученных множественных цифровых изображений через сетевое устройство. Интерфейс управления вводом / выводом соединен с модулем управления 703 и настроен на прием сигнала триггера фотографирования, отправляемого внешним устройством.

Вышеупомянутый интерфейс системной шины включает, помимо прочего: интерфейс RS-232/485, интерфейс 1394, интерфейс USB и интерфейс камеры.Вышеупомянутый интерфейс сетевого устройства включает, но не ограничивается: интерфейс RJ-45, интерфейс RJ-11, волоконно-оптический интерфейс SC, интерфейс FDDI, интерфейс AUI, интерфейс BNC и интерфейс консоли, а также могут быть беспроводными сетевыми интерфейсами, такими как 3G. , 4G, WIFI (верность беспроводному подключению).

Соответствует плате схемы управления 300 , как показано на фиг. 7, вышеупомянутый интерфейс передачи данных 402 специально сконфигурирован для подключения линии данных, модуль управления 703 и цифровой сигнальный процессор 702 принимают через линию данных команду установки параметра фотографирования и вышеуказанный триггер фотографирования. сигнал, отправляемый верхним терминалом, при этом сигнал запуска фотографирования может отправляться верхним терминалом устройства получения изображения.Коммуникационный модуль , 704, выводит несколько цифровых изображений через линию данных, предпочтительно на верхний терминал устройства получения изображения.

В настоящем варианте осуществления вторая подложка 200 и плата схемы управления 300 соединены между собой через интерфейс схемы. В конкретном процессе проектирования схемы некоторые модули платы управления 300 , например, схема аналого-цифрового преобразования, могут быть перемещены на вторую подложку 200 в соответствии с размером корпуса и конкретной ситуацией. , или некоторые модули печатной платы 300 управления разделены на другую печатную плату, чтобы уменьшить площадь печатной платы.Вышеупомянутые изменения не влияют на реализацию конкретной функции камеры, а лишь облегчают выполнение проектных требований к корпусу и габаритным размерам.

Устройство получения изображения в вариантах осуществления настоящего раскрытия может быть размещено в фотографической сцене, чтобы делать снимки объекта, который нужно сфотографировать, при этом каждый объектив и соответствующий светочувствительный элемент могут составлять независимую камеру. В вариантах осуществления настоящего раскрытия множество камер, образующих параллельные матрицы, производятся внутри одной машинной коробки, образуя устройство сбора трехмерных изображений.

Перед тем, как устройство получения изображения в вариантах осуществления настоящего раскрытия будет использоваться для получения изображений, некоторые конкретные параметры устройства должны быть откалиброваны и обнаружены, при этом содержание калибровки и обнаружения включает в себя: фокусные расстояния, искажения и геометрические параметры. положения оптических осей линз; геометрические позиционные соотношения светочувствительных элементов, практически измеренные интервалы, смещение и поворот строк и столбцов и т. д. Для калибровки и обнаружения требуется специальное калибровочное устройство и программное обеспечение.После завершения калибровки измеренные параметры должны быть переданы в программное обеспечение для обработки трехмерных изображений, а соответствующие измерения вводятся в трехмерную операционную формулу для расчета трехмерного координатного измерения, при этом ошибки изготовления и установки компенсируется программным обеспечением для повышения точности трехмерных данных.

Вышеупомянутое устройство сбора изображений обычно собирает несколько плоских двумерных изображений объекта синхронным образом.После получения сигнала фотографирования каждый светочувствительный элемент получает оптический сигнал, передаваемый соответствующей линзой. Плата схемы управления преобразует оптические сигналы в соответствующие электрические сигналы и преобразует электрические сигналы в формат данных плоского двухмерного изображения. Полученные множественные плоские двумерные изображения передаются через интерфейс передачи данных , 402, на внешнее устройство обработки данных изображения, которое должно быть обработано, и путем обработки множества плоских двумерных изображений с помощью внешнего устройства обработки данных изображения, трех- Далее получают объемное изображение фотографируемого объекта.

При этом процесс обработки данных изображения в форме матричного плоского двумерного изображения с помощью внешнего устройства обработки данных изображения выглядит следующим образом: выполнение операции сопоставления характерных точек для нескольких сфотографированных изображений, вычисление координат пространственного положения признака. точек в соответствии с согласованными координатами изображения характерной точки и вычислением других трехмерных размеров измеряемого объекта, которые необходимо конкретно измерить в соответствии с полученными координатами пространственного положения каждой из характерных точек, для формирования данных трехмерного облака точек, и создать трехмерный график облака точек для трехмерной реконструкции.

Следует отметить, что в вариантах осуществления настоящего раскрытия матрица, образованная четырьмя соседними линзами 101 , предоставляется как блок получения изображения. Когда есть только четыре линзы 101 , есть один блок получения изображения; и когда имеется более четырех линз 101 , сдвигайте матрицу вправо или вниз на одну линзу каждый раз и определяйте количество множественных блоков получения изображения в соответствии с принципом, согласно которому линзы могут перекрываться.Например, когда линза 101 представляет собой матрицу, образованную шестью линзами, получается два блока получения изображения, при этом две линзы 101 находятся в перекрывающемся состоянии, появляясь в обоих блоках получения изображения.

В настоящем варианте осуществления, учитывая, что матрица, образованная четырьмя соседними линзами 101 , является блоком получения изображения, и изображение, полученное каждым блоком получения изображения, обрабатывается для получения трехмерного изображения объекта, который нужно сфотографировать.

Способ получения трехмерных данных объекта с помощью вышеупомянутого устройства получения изображения и соответствующего внешнего устройства обработки данных изображения такой же, как и способ наблюдения мира человеческими глазами. Поскольку двухмерные изображения снимаются в виде плоской матрицы, подобно тому, как люди видят объект с разных точек зрения, трехмерные габаритные размеры объекта могут быть получены путем вычисления параллакса одной и той же характерной точки на разных изображениях положения с помощью стандартная работа программы.

Поскольку объем вычислений трехмерной операции в настоящее время огромен, независимая и мелкомасштабная схема вряд ли может быть пригодна для такой масштабной операции, трехмерная операция должна быть размещена на терминале для верхней операции. В будущем, по мере того, как функции вычислительных микросхем постепенно становятся мощными, а потребление энергии постепенно снижается, считается, что в будущем обязательно появятся печатные платы и микросхемы, в которых локальные трехмерные данные обрабатываются автоматически.

Следует отметить, что аналогичные ссылочные позиции и буквы представляют аналогичные элементы на следующих сопроводительных чертежах, поэтому, как только определенный элемент определен на одном сопроводительном чертеже, нет необходимости дополнительно определять или объяснять его на последующих сопроводительных чертежах.

В описании настоящего раскрытия следует отметить, что ориентационные или позиционные отношения обозначаются такими терминами, как «центр», «верхний», «нижний», «левый», «правый», «вертикальный», «горизонтальный». »,« Внутренний »и« внешний »основаны на ориентационных или позиционных отношениях, как показано на прилагаемых чертежах или в продукте согласно настоящему раскрытию, когда он обычно используется.Это просто для облегчения описания настоящего раскрытия и упрощения описания, а не для указания или предположения, что соответствующие устройства или элементы должны иметь определенную ориентацию или сконфигурированы и работать в определенной ориентации, поэтому их не следует истолковывать как ограничение настоящего. раскрытие. Кроме того, такие термины, как «первый», «второй» и «третий» используются просто для различения описания, но не должны толковаться как указывающие или подразумевающие относительную важность.

В описании настоящего раскрытия следует также отметить, что, если иное не указано и не определено явно, термины «удалить», «установить», «присоединиться» и «подключиться» следует толковать в широком смысле. Например, это может быть фиксированное соединение, разъемное соединение или интегральное соединение; это может быть механическое соединение, а также электрическое соединение; это может быть прямая связь, косвенная связь через промежуточный носитель или внутренняя связь между двумя элементами.Для специалиста в данной области техники конкретные значения вышеупомянутых терминов в настоящем раскрытии могут быть поняты в соответствии с конкретными обстоятельствами.

Наконец, следует отметить, что приведенные выше варианты осуществления являются просто конкретными вариантами осуществления настоящего раскрытия, для иллюстрации технических решений настоящего раскрытия, а не ограничения настоящего раскрытия, и объем защиты настоящего раскрытия не должен быть ограничено этим. Хотя подробное описание приведено в отношении настоящего раскрытия со ссылкой на предыдущие варианты осуществления, специалисты в данной области техники должны понимать, что в пределах технического объема, раскрытого в настоящем раскрытии, любой, знакомый с данной областью техники, все еще может вносить модификации или легко предполагаемые изменения технические решения, изложенные в предыдущих вариантах осуществления, или эквивалентные замены некоторых технических характеристик в них; эти модификации, изменения или замены не заставляют существенные из соответствующих технических решений отходить от духа и объема технических решений вариантов осуществления настоящего раскрытия, и все они должны быть охвачены объемом защиты настоящего раскрытия. .Следовательно, объем защиты настоящего раскрытия должен основываться на объеме формулы изобретения.

Введение в устройства с зарядовой связью (ПЗС)

Системы цифровых фотоаппаратов, включающие различные устройства с зарядовой связью ( CCD ) конфигурации детекторов, на сегодняшний день являются наиболее распространенными способами захвата изображений. технология, применяемая в современной оптической микроскопии. До не давнего времени, специализированные обычные пленочные камеры обычно использовались для записи изображения, наблюдаемые в микроскоп.Этот традиционный метод, опирающийся на фотонная чувствительность фотографической пленки на основе серебра включает временное хранение скрытого изображения в виде фотохимических участки реакции на экспонированной пленке, которые становятся видимыми только в пленочные эмульсионные слои после химической обработки (проявки).

Рисунок 1 — Системы цифровых ПЗС-камер для оптической микроскопии

Цифровые камеры заменяют сенсибилизированную пленку фотонной ПЗС-матрицей детектор, тонкая кремниевая пластина, разделенная на геометрически правильные массив из тысяч или миллионов светочувствительных областей, которые захватывают и хранить информацию об изображении в виде локализованного электрического заряда это зависит от интенсивности падающего света.Электронная переменная сигнал, связанный с каждым элементом изображения (пикселем) детектора, равен считываются очень быстро как значение интенсивности для соответствующего изображения местоположение, и после оцифровки значений изображение может быть реконструируется и отображается на мониторе компьютера виртуально мгновенно.

Несколько систем цифровых камер, разработанных специально для оптических микроскопии проиллюстрированы на Рисунок 1 . Цифровое затмение Nikon DXM1200 обеспечивает высококачественные фотореалистичные цифровые изображения на разрешение до 12 миллионов пикселей с низким уровнем шума, превосходной цветопередачей цветопередача и высокая чувствительность.Камера управляется программным обеспечением что дает микроскописту большую свободу при сборе, систематизация и исправление цифровых изображений. Мониторинг цветов в реальном времени на поддержка экрана компьютера с частотой 12 кадров в секунду позволяет легко фокусировка изображений, которые могут быть сохранены в трех форматах: JPG , TIF и BMP для большей универсальности.

Цифровой прицел DS-5M-L1 (, рис. 1, ) принадлежит компании Nikon. инновационная система цифровой визуализации для микроскопии, которая подчеркивает простота и эффективность концепции «все в одном», включающей встроенный ЖК-монитор в автономном блоке управления.Система оптимизирует захват изображений с высоким разрешением до 5 мегапикселей через простые меню и предварительно запрограммированные режимы визуализации для различных методы наблюдения. Автономная конструкция предлагает преимущество независимая работа, включая сохранение изображений на карту CompactFlash размещен в блоке управления / монитора, но обладает универсальностью полной возможности сети при желании. Возможно подключение к ПК через Интерфейс USB, а также к локальным сетям или Интернету через Ethernet порт.Поддержка веб-браузера доступна для просмотра изображений в реальном времени и удаленного просмотра. управление камерой, а блок управления камерой поддерживает HTTP, Telnet, FTP сервер / клиент и совместим с DHCP. Иллюстрированные системы камер в Рисунок 1 представляет передовую технологию, доступную в настоящее время для цифровая визуализация с помощью оптического микроскопа.

Пожалуй, самое значительное преимущество цифрового изображения захват в оптической микроскопии, на примере систем камер CCD, возможность для микроскописта немедленно определить, есть ли желаемое изображение было успешно записано.Эта возможность особенно ценно, учитывая экспериментальную сложность многих визуализации ситуаций и преходящего характера процессов, которые обычно исследуется. Хотя детектор устройств с зарядовой связью функции в роли, эквивалентной роли пленки, он имеет ряд превосходные атрибуты для создания изображений во многих приложениях. Научного уровня Камеры CCD демонстрируют исключительный динамический диапазон, пространственное разрешение, спектральная полоса пропускания и скорость сбора данных. Учитывая высокий свет чувствительность и эффективность светосбора некоторых ПЗС-систем, пленка рейтинг скорости приблизительно 100 000 единиц ISO потребуется для производства изображения сопоставимого отношения сигнал / шум ( SNR ).Пространственный разрешение современных ПЗС-матриц такое же, как у пленки, а их разрешение разрешение интенсивности света на один-два порядка лучше чем то, что достигается пленкой или видеокамерой. Традиционная фотография пленки не проявляют чувствительности на длинах волн, превышающих 650 нанометров в в отличие от высокопроизводительных ПЗС-сенсоров, которые часто имеют значительные квантовая эффективность в ближнюю инфракрасную область спектра. Линейный отклик CCD-камер в широком диапазоне яркости света способствует превосходной производительности и дает таким системам количественные возможности, как спектрофотометры с изображениями.

ПЗС-формирователь изображения состоит из большого количества светочувствительных элементов. расположены в двумерном массиве на тонкой кремниевой подложке. В полупроводниковые свойства кремния позволяют чипу CCD улавливать и удерживать фотонно-индуцированные носители заряда при соответствующем электрическом смещении условия. Отдельные элементы изображения или пиксели определяются в кремниевая матрица ортогональной сеткой из узких прозрачных полоски токопроводящих электродов, или затворов, или , нанесенные на микросхему.Основным светочувствительным элементом ПЗС-матрицы является металлооксидный полупроводник ( MOS ). Конденсатор работал как фотодиод и накопитель. Единый MOS устройство этого типа показано на рис. 2 , с обратным смещением. операция, вызывающая миграцию отрицательно заряженных электронов в область под положительно заряженным электродом затвора. Электроны высвободились за счет взаимодействия фотонов сохраняются в области истощения до полной лунки емкость резервуара.Когда собраны несколько детекторных структур в полную ПЗС-матрицу, отдельные чувствительные элементы в матрице разделены в одном измерении напряжениями, приложенными к поверхности электродов и электрически изолированы от своих соседей по в другом направлении с помощью изолирующих барьеров, или ограничителей канала внутри кремниевой подложки.

Светочувствительные фотодиодные элементы ПЗС-матрицы реагируют на падающий фотоны, поглощая большую часть своей энергии, что приводит к высвобождению электронов, и образование соответствующих электронодефицитных узлов (дырки) внутри кристаллической решетки кремния.Одна электронно-дырочная пара генерируется каждым поглощенным фотоном, и результирующий заряд, который накапливается в каждом пикселе линейно пропорционально количеству падающие фотоны. Внешнее напряжение, приложенное к электродам каждого пикселя контролировать хранение и перемещение зарядов, накопленных в течение указанный временной интервал. Первоначально каждый пиксель в матрице датчиков функционирует как потенциальная яма для хранения заряда во время сбор, и хотя либо отрицательно заряженные электроны, либо положительно заряженные дырки могут накапливаться (в зависимости от ПЗС-матрицы). конструкции), зарядовые объекты, генерируемые падающим светом, обычно именуется фотоэлектронов .В этом обсуждении рассматривается электроны быть носителями заряда. Эти фотоэлектроны можно накапливаются и хранятся в течение длительного времени до того, как будут считаны из микросхема электроники камеры как один из этапов процесса визуализации.

Генерацию изображений с помощью камеры CCD можно разделить на четыре основных стадии или функции: генерация заряда посредством взаимодействия фотона с светочувствительная область устройства, сбор и хранение высвобожденный заряд, перенос заряда и измерение заряда.В течение первая стадия, электроны и дырки генерируются в ответ на падающий фотоны в обедненной области структуры МОП-конденсатора, и освобожденные электроны мигрируют в потенциальную яму, образованную под соседний положительно смещенный электрод затвора. Система из алюминия или Электроды затвора на поверхности поликремния лежат на поверхности, но отделены от, каналы, несущие заряд, которые скрыты в слое изолирующего диоксид кремния, помещенный между структурой затвора и кремнием субстрат.Использование поликремния в качестве электродного материала обеспечивает прозрачность для падающих волн длиннее примерно 400 нанометров и увеличивает долю площади поверхности устройства который доступен для светового сбора. Электроны, генерируемые в области истощения первоначально собираются в электрически положительные потенциальные ямы, связанные с каждым пикселем. Во время считывания собранный заряд впоследствии перемещается по каналам передачи под действием напряжений, приложенных к конструкции затвора. Рисунок 3 иллюстрирует структуру электрода, определяющую индивидуальный датчик ПЗС элемент.

Рисунок 2 — Металлооксидный полупроводниковый конденсатор (МОП)

В общем, накопленный заряд линейно пропорционален световому поток, падающий на пиксель датчика до емкости скважины; следовательно, это полных скважин ( FWC ) определяет максимальный сигнал, который может быть обнаружен в пикселе, и является основным фактором влияющие на динамический диапазон ПЗС-матрицы.Зарядная емкость ПЗС-матрицы потенциальная яма во многом зависит от физического размера отдельный пиксель. С момента появления на рынке ПЗС-матриц обычно состоит из квадратных пикселей, собранных в прямоугольные массивы областей с соотношением сторон 4: 3, которое является наиболее распространенным. Рисунок 4 представлены типичные размеры некоторых из наиболее распространенных форматов датчиков. в настоящее время, с обозначениями их размеров в дюймах в соответствии с историческое соглашение, которое связывает размеры ПЗС-матрицы с диаметрами видиконовых трубок.

Форматы ПЗС

Прямоугольная геометрия и общие размеры ПЗС-матриц являются результатом их ранняя конкуренция с видеокамерами видикон, которые требовали твердотельные датчики для создания выходного электронного сигнала, который соответствует преобладающим в то время стандартам видео. Обратите внимание, что Обозначения «дюймовые» не соответствуют напрямую ни одной из ПЗС-матриц. размеры, но представляют размер прямоугольной области, сканированной в соответствующая круглая трубка видикона. Специальная «1-дюймовая» ПЗС-матрица имеет диагональ 16 миллиметров и размер сенсора 9.6 х 12,8 миллиметров, полученных из области сканирования 1-дюймовой трубки видикона с внешний диаметр 25,4 мм и входное окно примерно 18 миллиметры в диаметре. К сожалению, эта запутанная номенклатура сохраняется, часто используется в отношении «типа» ПЗС, а не размера, и даже включает датчики, классифицируемые по комбинации дробных и десятичные числа, такие как широко распространенная 1 / 1,8-дюймовая ПЗС-матрица, промежуточные по размеру между устройствами размером 1/2 дюйма и 2/3 дюйма.

Хотя в потребительских камерах по-прежнему в основном используются прямоугольные датчики, построенные по одному из «стандартизованных» форматов размеров, становится в камерах научного уровня все чаще используются квадратные массивы датчиков, которые лучше соответствуют круговому полю изображения, проецируемому в микроскоп.Производится широкий диапазон размеров сенсорных матриц и размеры отдельных пикселей сильно различаются в конструкциях, оптимизированных для разные параметры производительности. ПЗС-матрицы стандартного формата 2/3 дюйма обычно имеют матрицы из 768 x 480 или более диодов и размеры 8,8 x 6,6 миллиметра (диагональ 11 миллиметров). Максимальный размер представленная диагональю многих сенсорных матриц значительно меньше, чем поле зрения типичного микроскопа, и приводит к сильно увеличенный вид только части полного поля зрения.В увеличенное увеличение может быть полезным в некоторых приложениях, но если уменьшенное поле зрения препятствует получению изображения, уменьшая требуются промежуточные оптические компоненты. Альтернатива — использование ПЗС большего размера, который лучше соответствует диаметру поля изображения, от 18 до 26 миллиметров в типичных конфигурациях микроскопов.

Приблизительная емкость хранения потенциальной ямы ПЗС может быть получается умножением площади диода (пикселя) на 1000. Ряд 2/3-дюймовые ПЗС потребительского класса с размером пикселей от 7 до 13 микрометрами размером от 50000 до 100000 электроны.Используя эту стратегию приближения, диод с 10 x 10 микрометрические размеры будут иметь полную емкость примерно 100000 электронов. Для данного размера ПЗС выбор конструкции относительно общее количество пикселей в массиве и, следовательно, их размеры, требует компромисса между пространственным разрешением и зарядом пикселей вместимость. Тенденция современных потребительских устройств к максимальному использованию пикселей количество и разрешение привели к очень маленьким размерам диодов, с некоторыми новых 2/3-дюймовых сенсоров, использующих пиксели менее 3 микрометров по размеру.

ПЗС-матрицы, разработанные для получения изображений в научных целях, традиционно использовались фотодиоды большего размера, чем те, которые предназначены для потребителей (особенно видео-скорость) и промышленных приложений. Потому что скважинная мощность и динамический диапазон напрямую зависит от размера диода, ПЗС-матрицы научного уровня используются в приложениях для получения изображений с медленной разверткой, обычно используются диоды. размером 25 x 25 микрометров для максимального увеличения динамического диапазона, чувствительность и отношение сигнал / шум. Многие современные высокопроизводительные камеры научного уровня включают усовершенствования конструкции, которые позволили использовать большие массивы с меньшими пикселями, которые способны поддержание оптического разрешения микроскопа на высоком кадре тарифы.Большие массивы из нескольких миллионов пикселей в этих улучшенных конструкциях может обеспечить изображения всего поля зрения с высоким разрешением, а также с использованием объединения пикселей (обсуждается ниже) и переменной скорости считывания, при необходимости обеспечьте более высокую чувствительность пикселей большего размера.

Считывание фотоэлектронов ПЗС-матрицы

Перед сохранением заряда каждого сенсорного элемента в ПЗС-матрице можно измерить чтобы определить поток фотонов на этом пикселе, заряд должен быть передается на считывающий узел при сохранении целостности зарядный пакет.Быстрый и эффективный процесс переноса заряда, а также механизм быстрого считывания, имеет решающее значение для работы ПЗС-матриц как устройства визуализации. Когда большое количество МОП-конденсаторов размещено близко вместе, чтобы сформировать матрицу датчиков, заряд перемещается по устройству за счет манипулирование напряжениями на затворах конденсатора по схеме, которая вызывает заряд переливается от одного конденсатора к другому или от одного ряда конденсаторы к следующему. Трансляция заряда в кремнии эффективно связаны с синхронизированными схемами напряжения, приложенными к структура вышележащего электрода, основа термина «с зарядовой связью» устройство.ПЗС-матрица изначально задумывалась как массив памяти и предназначалась для функционировать как электронная версия устройства с магнитным пузырем. Схема процесса переноса заряда удовлетворяет критическому требованию для запоминающих устройств установления физической величины, которая представляет информационный бит и сохранение его целостности до считывания. В ПЗС-матрица, используемая для отображения, информационный бит представлен пакетом заряды, полученные от взаимодействия фотонов. Поскольку ПЗС-матрица серийная устройства, пакеты заряда считываются по одному.

Рисунок 3 — Структура сенсорного элемента (пикселей) ПЗС

Накопленный заряд, накопленный в каждом фотодиоде CCD в течение заданного интервала времени, называемый временем интегрирования или временем экспозиции , необходимо измерить, чтобы определить поток фотонов на этом диоде. Количественная оценка накопленного заряда выполняется комбинацией параллельные и последовательные передачи, доставляющие заряд каждого сенсорного элемента пакет, последовательно, к одному измерительному узлу.Электродная сеть, или структура затвора , встроенная в ПЗС в слое, примыкающем к чувствительным элементам, составляет сдвиговый регистр для передачи заряда. Основная концепция переноса заряда, которая позволяет последовательное считывание с двумерной диодной матрицы изначально требует весь массив отдельных зарядовых пакетов с поверхности имидж-сканера, составляющие параллельный регистр , чтобы быть одновременно переносится пошаговым однострочным сдвигом. Сдвиг с зарядовой связью всего параллельного регистра перемещает ближайшую к край регистра в специализированный одиночный ряд пикселей вдоль одного края микросхемы обозначается как регистр последовательного порта .Именно из этого ряд, в котором пакеты заряда последовательно перемещаются на микросхему усилитель для измерения. После того, как регистр последовательного порта опустошен, он заполняется очередным сдвигом строки параллельного регистра, и цикл параллельный и последовательный сдвиги повторяются до тех пор, пока регистр опорожняется. Некоторые производители ПЗС используют термины по вертикали и по горизонтали . в отношении параллельного и последовательного регистров, соответственно, хотя последние термины легче ассоциируются с функцией выполняется каждым.

Широко используемая аналогия, помогающая визуализировать концепцию серийного считывание ПЗС — бригада ведра для измерения осадков, в интенсивность дождя, падающего на ряд ведер, может варьироваться в зависимости от места разместить по аналогии с падающими фотонами на датчике изображения (см. Рисунок 5 (а) ). Параллельный регистр представлен массивом ведра, которые собрали различное количество сигнала (воды) во время период интеграции. Ковши транспортируются на конвейерной ленте. пошагово к ряду пустых ведер, которые представляют серийный регистр, и которые перемещаются по второму конвейеру, ориентированы перпендикулярно первому.В рис. 5 (b) весь ряд ковшей параллельно смещается в резервуары последовательного регистра. Последовательные операции сдвига и считывания показаны на рисунке . 5 (c) , где изображена дождевая вода, накопившаяся в каждом ведре, последовательно переносятся в калиброванную мерную емкость, аналог выходного усилителя ПЗС. Когда содержимое всего контейнеры на серийном конвейере были измерены последовательно, другой параллельный сдвиг передает содержимое следующей строки сбора ведра в контейнеры последовательного регистра, и процесс повторяется пока не будет измерено содержимое каждой корзины (пикселя).

Существует множество конструкций, в которых могут быть сконфигурированы МОП-конденсаторы, и управляют напряжением на затворе, чтобы сформировать матрицу ПЗС-матрицы. Как описано ранее электроды затвора располагались полосами, покрывающими всю поверхность изображения лицевой панели ПЗС. Самая простая и распространенная зарядка Передаточная конфигурация представляет собой трехфазную схему CCD , в которой каждый фотодиод (пиксель) делится на трети с тремя параллельными потенциальные ямы, определяемые электродами затвора. В таком дизайне каждый третий Затвор подключен к той же схеме драйвера часов.Основной смысл элемент в ПЗС, соответствующий одному пикселю, состоит из трех вентилей подключен к трем отдельным тактовым драйверам, называемым фазой-1, фазой-2 и часы фазы 3. Каждая последовательность из трех параллельных ворот составляет одну регистр пикселей, и тысячи пикселей, покрывающих ПЗС-матрицу. Поверхность изображения составляет параллельный регистр устройства. Однажды в ловушке в потенциальной яме электроны перемещаются через каждый пиксель в трехэтапный процесс, который сдвигает пакет заряда из одной строки пикселей в следующий.Последовательность изменений напряжения, подаваемых на чередующиеся электроды. параллельной (вертикальной) затворной структуры перемещают потенциальные ямы и захваченные электроны под управлением часов параллельного регистра сдвига.

Общая схема синхронизации, используемая в трехфазном переключателе начинается с этапа интегрирования зарядов, на котором два из трех параллельные фазы на пиксель устанавливаются на высокое значение смещения, что дает область высокого поля относительно третьего затвора, который удерживается на низком или низком уровне. нулевой потенциал.Например, фазы 1 и 2 могут быть обозначены как , собирающие фазы и удерживаемые при более высоком электростатическом потенциале по сравнению с фазой 3, которая служит барьером , фаза для разделения заряда, собираемого в высокополевых фазах соседний пиксель. После интеграции начислений перевод начинается с удерживая только вентили фазы 1 под высоким потенциалом, так что заряд генерируемые в этой фазе будут накапливаться там, а заряд, генерируемый в Фазы фазы 2 и фазы 3, теперь обе при нулевом потенциале, быстро диффундируют в потенциальную яму под фазой 1. Рисунок 3 иллюстрирует структура электрода, определяющая каждый пиксель трехфазной ПЗС-матрицы, и изображает скопление электронов в потенциальной яме, лежащей под электрод фазы 1, который удерживается под положительным напряжением (обозначено + V ). Перенос заряда происходит в соответствии с синхронизированной последовательностью напряжения, приложенные к воротам, чтобы вызвать потенциальные ямы и препятствия для миграции через каждый пиксель.

Рисунок 4 — Стандартные форматы ПЗС-датчиков изображения

На каждом этапе передачи напряжение, приходящееся на заднюю часть зарядовый пакет становится положительным, в то время как электроносодержащая яма сделан отрицательным или установлен на ноль (земля), заставляя накопленные электроны для перехода к следующему этапу.Вместо того, чтобы использовать резкое напряжение переходов в тактовой последовательности, приложенное напряжение изменяется на смежные фазы являются постепенными и перекрываются, чтобы обеспечить максимальную эффективная передача заряда. Переход к фазе 2 осуществляется прикладывая положительный потенциал к воротам фазы 2, распространяя накопленный заряд между скважинами фазы 1 и фазы 2, и когда потенциал фазы 1 возвращается на землю, весь пакет заряда принудительно переходит в фазу 2. Аналогичная последовательность синхронизированных переходов напряжения, под управлением часов параллельного регистра сдвига, используется для сдвига заряд от фазы 2 до фазы 3, и процесс продолжается до тех пор, пока полный сдвиг на один пиксель был завершен.Одни трехфазные часы цикл, применяемый ко всему параллельному регистру, приводит к получению единственной строки сдвиг всего массива. Важный фактор при трехфазном переходе в том, что между соседними пикселями всегда поддерживается потенциальный барьер. зарядовых пакетов, что обеспечивает взаимно однозначное пространственное соответствие между сенсором и дисплеем пиксели должны сохраняться на всем изображении последовательность захвата.

На рисунке 6 показана последовательность операций, только что описанных для передача заряда в трехфазной ПЗС-матрице, а также последовательность тактирования для импульсов возбуждения, подаваемых синхронизатором параллельного регистра сдвига на совершить перевод.На этой схематической визуализации пикселя Заряд изображен перемещающимся слева направо по тактовому сигналу сигналы, которые одновременно уменьшают напряжение на положительно смещенный электрод (определяющий потенциальную яму) и увеличив ее на электроде справа ( рисунки 6 (а) и 6 (б) ). В последнем из три ступени ( Рисунок 6 (c) ), заряд полностью передан от одного электрода затвора к другому. Обратите внимание, что рост и падение фазы тактовых импульсов синхронизируются с небольшим перекрытием (не показано) для более эффективного переноса заряда и минимизировать возможность потери заряда во время смены.

При каждой полной параллельной передаче заряжаются пакеты от всего ряд пикселей перемещаются в регистр последовательного порта, где они могут быть последовательно смещается в сторону выходного усилителя, как показано на аналогия с ковшовой бригадой ( Рисунок 5 (c) ). Эта горизонтальная (последовательная) передача использует тот же трехфазный механизм связи заряда, что и вертикальный сдвиг строк, при этом управление синхронизацией обеспечивается сигналами от часы последовательного регистра сдвига. После того, как все пиксели перенесены из регистр последовательного интерфейса для считывания, часы параллельного регистра обеспечивают временные сигналы для смещения следующего ряда захваченных фотоэлектронов в регистр серийного номера.Каждый пакет начислений в регистре серийного номера доставляется в выходной узел ПЗС, где он обнаруживается и считывается выходной усилитель (иногда называемый встроенным предусилителем) который преобразует заряд в пропорциональное напряжение. Напряжение выход усилителя представляет величину сигнала, производимого последовательные фотодиоды, считываемые последовательно слева направо в каждый ряд и от верхнего ряда к низу по всей двумерный массив. Выходной сигнал ПЗС на этом этапе, следовательно, является аналоговый сигнал напряжения, эквивалентный растровому сканированию накопленного заряда по поверхности изображения устройства.

После того, как выходной усилитель выполняет свою функцию увеличения зарядного пакета и преобразовав его в пропорциональное напряжение, сигнал передается на аналого-цифровой преобразователь ( ADC ), который преобразует значение напряжения в 0 и 1 двоичный код, необходимый для интерпретации компьютером. Каждый пиксель присваивается цифровое значение, соответствующее амплитуде сигнала, с шагом размер в соответствии с разрешением или битовой глубиной АЦП.Для Например, АЦП с 12-битным разрешением присваивает каждому пикселю значение от 0 до 4095, что соответствует 4096 возможным уровням серого изображения (2 в 12 степени равно 4096 шагам дигитайзера). Каждый уровень серого шаг называется аналого-цифровым блоком ( ADU ).

Технологическая сложность современных систем формирования изображений CCD замечательно, учитывая большое количество операций, необходимых для захватить цифровое изображение, а также точность и скорость, с которой процесс завершен.Последовательность событий, необходимая для захвата одиночное изображение с полнокадровой системы камеры CCD можно резюмировать как следует:

• Затвор камеры открывается для начала накопления фотоэлектронов, с соответствующими электродами затвора, смещенными для сбора заряда.
• В конце периода интеграции заслонка закрывается и накопленный заряд в пикселях смещается строка за строкой по параллельному регистрируются под управлением тактовых сигналов от электроники камеры.Ряды пакетов зарядов передаются последовательно с одного края параллельный регистр в последовательный регистр сдвига.
• Передается содержимое заряда пикселей в последовательном регистре по одному пикселю за раз в выходной узел для считывания на кристалле усилитель, который усиливает электронный сигнал и преобразует его в аналоговый выход напряжения.
• АЦП назначает цифровое значение каждому пикселю в соответствии с его амплитудой напряжения.
• Каждое значение пикселя сохраняется в памяти компьютера или в буфере кадров камеры.
• Процесс последовательного считывания повторяется до тех пор, пока все строки пикселей очищается параллельный регистр, который обычно составляет 1000 или более строк для камер высокого разрешения.
• Полный файл изображения в памяти, размер которого может составлять несколько мегабайт. по размеру, отображается в подходящем формате на мониторе компьютера для визуальная оценка.
• ПЗС очищается от остаточного заряда перед следующей экспозицией путем выполнения полного цикла считывания, за исключением этапа оцифровки.

Рисунок 5 — Аналог ПЗС бригады ковша

Несмотря на большое количество выполняемых операций, более одного миллиона пикселей может быть передано через чип, присвоено значение шкалы серого с 12-битным разрешением, сохранено в памяти компьютера и отображено менее чем за одну секунду.Типичное общее время, необходимое для считывания и отображения изображения, составляет примерно 0,5 секунды для 1-мегапиксельной камеры, работающей со скоростью оцифровки 5 МГц. Эффективность переноса заряда также может быть чрезвычайно высокой для охлаждаемых ПЗС-камер с минимальной потерей заряда, даже при тысячах переносов, требуемых для пикселей в областях матрицы, наиболее удаленных от выходного усилителя.

Архитектура датчика изображения CCD

Три основных варианта архитектуры CCD обычно используются для систем формирования изображений: полнокадровый , кадровая передача и построчная передача (см. Рисунок 7 ).Полнокадровая ПЗС-матрица, о которой говорилось в предыдущем описание процедуры считывания, имеет преимущество почти 100% его поверхности светочувствительны, практически нет мертвых пространство между пикселями. Поверхность изображения необходимо защищать от падающий свет во время считывания ПЗС, и по этой причине электромеханический затвор обычно используется для управления экспозицией. Заряд, накопленный при открытой заслонке, впоследствии переносится и считываются после того, как ставня закрыта, и поскольку два шага не может происходить одновременно, частота кадров изображения ограничена скорость механического затвора, скорость переноса заряда и шаги считывания.Хотя полнокадровые устройства имеют самую большую светочувствительную область Типы ПЗС-матриц, они наиболее полезны с образцами, имеющими высокую динамический диапазон, а также в приложениях, не требующих разрешения по времени менее примерно одной секунды. При работе в режиме подмассива (в котором считывается уменьшенная часть полного массива пикселей) в чтобы ускорить считывание, на порядка 10 кадров в секунду, ограничивается механическим затвором.

ПЗС-матрицы с кадровой передачей могут работать с более высокой частотой кадров, чем полнокадровые устройств, потому что экспонирование и считывание могут происходить одновременно с различная степень совпадения по срокам. Они похожи на полнокадровые устройств в составе параллельного регистра, но половина прямоугольная матрица пикселей покрыта непрозрачной маской и используется в качестве буфер для хранения фотоэлектронов, собранных немаскированными светочувствительная часть. После экспонирования изображения накопился заряд в светочувствительных пикселях быстро смещается в пиксели на хранилище стороне микросхемы, обычно в пределах примерно 1 миллисекунды.Поскольку пиксели памяти защищены от воздействия света алюминиевое или аналогичное непрозрачное покрытие, накопивший заряд в этой части датчик может систематически считываться с более медленной и более эффективной скоростью в то время как следующее изображение одновременно экспонируется на светочувствительная сторона чипа. Затвор камеры не нужен потому что время, необходимое для передачи заряда от области изображения к площадь хранения чипа составляет лишь часть времени, необходимого для типичная экспозиция.Поскольку камеры, использующие ПЗС-матрицы с кадровой передачей, могут быть работает непрерывно с высокой частотой кадров без механической опалубки, они подходят для исследования быстрых кинетических процессов методами таких как отображение соотношения красителей, в котором высокое пространственное разрешение и динамические диапазон важны. Недостатком этого типа датчика является то, что только половина площади поверхности ПЗС-матрицы используется для построения изображений, и следовательно, требуется гораздо больший чип, чем для полнокадрового устройство с массивом изображений эквивалентного размера, что увеличивает стоимость и наложение ограничений на физическую конструкцию камеры.

В конструкции ПЗС с построчным переносом столбцы активной визуализации пиксели и пиксели замаскированного хранения-передачи чередуются по всей массив параллельных регистров. Поскольку канал передачи заряда расположен непосредственно рядом с каждым столбцом светочувствительных пикселей, накопленный заряд должен быть перемещен только на один столбец в канал передачи. Этот сингл шаг передачи может быть выполнен менее чем за 1 миллисекунду, после чего массив хранения считывается серией параллельных сдвигов в последовательный регистр, пока массив изображений выставляется для следующего изображение.Архитектура межстрочного переноса позволяет очень быстро периоды интеграции благодаря электронному контролю интервалов экспозиции, а вместо механического затвора можно отрендерить массив эффективно нечувствителен к свету, отбрасывая накопленный заряд, а чем перекладывать на каналы передачи. Хотя интерлайн-перевод датчики позволяют считывать скорость видео и получать высококачественные изображения ярких освещенные предметы, основные формы более ранних устройств пострадали от уменьшены динамический диапазон, разрешение и чувствительность из-за того, что примерно 75 процентов поверхности ПЗС занимает каналы хранения-передачи.

Хотя более ранние ПЗС-матрицы с построчным переносом, например, используемые в видео видеокамеры, обеспечивающие высокую скорость считывания и высокую частоту кадров без необходимость жалюзи, они не обеспечивали адекватной производительности для приложения с высоким разрешением в условиях низкой освещенности в микроскопии. В дополнение к снижение светочувствительности, связанное с переменным столбцы изображений и областей хранения-передачи, высокая скорость считывания светодиода к более высокому шуму чтения камеры и уменьшенному динамическому диапазону в более ранних формирователи изображений с межстрочным переносом.Улучшения в конструкции сенсора и камеры электроника полностью изменила ситуацию до такой степени, что современные устройства Interline обеспечивают превосходную производительность для цифровых камеры для микроскопии, в том числе те, которые используются в условиях слабого освещения, например как запись малых концентраций флуоресцентных молекул. Приверженец микролинзы , выровнен по поверхности ПЗС, чтобы покрыть пары пикселей изображения и хранилища, собрать свет, который обычно теряется на замаскированных пикселях, и сфокусироваться это на светочувствительных пикселях (см. Рисунок 8 ).Объединив небольшие размер пикселя с технологией микролинз, межстрочные датчики способны обеспечение пространственного разрешения и сопоставимой эффективности сбора света на ПЗС-матрицы с полнокадровым и покадровым переносом. Эффективный светочувствительный площадь межстрочных датчиков, использующих микролинзы на кристалле, увеличена до 75-90 процентов площади поверхности.

Дополнительное преимущество включения микролинз в ПЗС-матрицу структура состоит в том, что спектральная чувствительность датчика может быть расширена в синюю и ультрафиолетовую области длин волн, обеспечивая улучшенное утилита для более коротковолновых приложений, таких как популярные методы флуоресценции с использованием зеленого флуоресцентного белка ( GFP ) и красители, возбуждаемые ультрафиолетом.Чтобы увеличить квантовую эффективность в видимом спектре, новейшие высокопроизводительные чипы включают конструкции затвора из таких материалов, как индий-олово оксида, который имеет гораздо более высокую прозрачность в сине-зеленом спектральном область, край. Такие непоглощающие структуры затворов приводят к квантовой эффективности. значения приближаются к 80 процентам для зеленого света.

Рисунок 6 — Трехфазные системы синхронизации с ПЗС-матрицей

Предыдущее ограничение уменьшенного динамического диапазона для межстрочного переноса ПЗС-матрицы в значительной степени преодолены благодаря усовершенствованной электронной технологии, которая снизил шум чтения камеры примерно наполовину.Поскольку активная пиксельная площадь межстрочных ПЗС-матриц составляет примерно треть от сопоставимые полнокадровые устройства, полная емкость скважины (функция область пикселей) уменьшается аналогично. Ранее этот фактор в совокупности с относительно высоким уровнем шума чтения камеры, что привело к недостаточному сигналу динамический диапазон для поддержки более чем 8- или 10-битной оцифровки. Высокопроизводительные межстрочные камеры теперь работают со значениями шума считывания как низкий уровень от 4 до 6 электронов, что обеспечивает динамический диапазон эквивалентно 12-битным камерам, использующим полнокадровые ПЗС-матрицы.Дополнительные улучшения в факторах дизайна микросхемы, таких как схемы тактирования, и в электронике камеры, позволили увеличить скорость считывания. ПЗС-матрицы с построчным переносом теперь позволяют получать 12-битные мегапиксельные изображения. регистрируется на частоте 20 мегагерц, что примерно в 4 раза превышает скорость полнокадровые камеры с сопоставимыми размерами массивов. Прочие технологические улучшения, в том числе модификации состава полупроводников, включены в некоторые ПЗС-матрицы с построчным переносом для улучшения квантовых эффективность в ближней инфракрасной части спектра.

Характеристики изображения детектора CCD

Несколько рабочих параметров камеры, которые изменяют этап считывания при получении изображения, влияют на качество изображения. Скорость считывания большинства ПЗС-камер научного уровня можно регулировать, и обычно колеблется от примерно 0,1 МГц до 10 или 20 МГц. Максимум достижимая скорость зависит от скорости обработки АЦП и другая электроника камеры, которая отражает время, необходимое для оцифровки один пиксель.Приложения, предназначенные для отслеживания быстрых кинетических процессов требуется быстрое считывание и частота кадров для достижения адекватной временное разрешение и, в некоторых случаях, скорость видео 30 необходимо количество кадров в секунду или выше. К сожалению, из различных компоненты шума, которые всегда присутствуют в электронном изображении, считываются шум является основным источником, а высокая скорость считывания увеличивает шум уровень. Если самое высокое временное разрешение не требуется, лучше изображения образцов, которые дают низкие значения интенсивности пикселей, могут быть получается при более медленной скорости считывания, что минимизирует шум и сохраняет адекватное соотношение сигнал / шум.Когда динамические процессы требуют быстрых частоты кадров изображения, нормальная последовательность считывания ПЗС может быть изменена на уменьшить количество обрабатываемых пакетов заряда, что позволяет осуществлять сбор данных в некоторых случаях скорость составляет сотни кадров в секунду. Это увеличило частота кадров может быть достигнута путем объединения пикселей во время считывания ПЗС и / или считывая только часть детекторной матрицы, как описано ниже.

Программное обеспечение для получения изображений большинства систем CCD-камер, используемых в оптическая микроскопия позволяет пользователю определять меньшее подмножество или подмассив , всего массива пикселей, предназначенного для захвата изображения и отображать.Выбрав уменьшенную часть поля изображения для обработки, невыделенные пиксели отбрасываются без оцифровки АЦП, соответственно увеличивается скорость считывания. В зависимости от используемое программное обеспечение для управления камерой, подматрица может быть выбрана из предварительно определенные размеры массива или обозначенные интерактивно как интересующая область с помощью компьютерной мыши и монитора. Считывание подмассивов метод обычно используется для получения последовательностей покадровой съемки. images, чтобы создавать файлы изображений меньшего размера и с большей степенью управляемости.

Накопленные пакеты заряда от соседних пикселей в ПЗС-матрице могут быть объединены во время считывания, чтобы сформировать уменьшенное количество суперпикселей . Этот процесс называется биннингом пикселей , и выполняется в параллельном регистре путем тактирования двух или более строк переходит в регистр последовательного порта перед выполнением последовательного сдвига и последовательность считывания. Процесс биннинга обычно повторяется в серийном регистрировать, синхронизируя несколько сдвигов в узле считывания перед заряд считывается выходным усилителем.Любая комбинация параллельных и последовательные смены можно комбинировать, но обычно это симметричная матрица пиксели объединяются для формирования каждого отдельного суперпикселя (см. Рисунок 9) . В виде пример, 3 x 3 биннинг выполняется путем первоначального выполнения 3 параллельных сдвига строк в последовательный регистр (до последовательного передачи), после чего каждый пиксель в последовательном регистре содержит комбинированный заряд от 3 пикселей, которые были соседями в соседнем параллельные ряды. Впоследствии 3 этапа последовательной смены выполняются в выходной узел до измерения заряда.Результирующий заряд пакет обрабатывается как один пиксель, но содержит объединенные фотоэлектронное содержание 9 физических пикселей (суперпиксель 3 x 3). Хотя бининг снижает пространственное разрешение, процедура часто позволяет получение изображения в условиях, которые делают невозможным получение изображений с нормальное считывание ПЗС. Это позволяет повысить частоту кадров для последовательностей изображений, если скорость сбора данных ограничена циклом чтения камеры, а также обеспечение улучшенного отношения сигнал / шум для эквивалентного времени экспозиции.Дополнительные преимущества включают более короткое время выдержки для получения одинаковая яркость изображения (очень важно для визуализации живых клеток) и меньшие размеры файлов изображений, что снижает требования к хранилищу компьютера и ускоряет обработку изображений.

Третий фактор захвата камеры, который может повлиять на качество изображения. поскольку он изменяет процесс считывания ПЗС, электронный коэффициент усиления системы камеры. Регулировка усиления цифровой камеры CCD система определяет количество накопленных фотоэлектронов, определяющих каждый шаг уровня серого распознается электроникой считывания, и обычно применяется на этапе аналого-цифрового преобразования.Увеличение в электронном усилении соответствует уменьшению количества фотоэлектроны, которые назначаются на уровень серого (электроны / ADU), и позволяет разделить данный уровень сигнала на большее количество серых ступени уровня. Обратите внимание, что это отличается от настроек усиления, применяемых к фотоэлектронные умножители или трубки видикона, в которых изменяющийся сигнал усиливается фиксированным коэффициентом умножения. Хотя электронное усиление регулировка действительно обеспечивает метод расширения ограниченной амплитуды сигнала до желаемое большое количество уровней серого, если оно используется чрезмерно, небольшое количество электронов, различающих соседние уровни серого, может привести к к ошибкам оцифровки.Настройки высокого усиления могут привести к появлению шума из-за неточная оцифровка, которая проявляется в виде зернистости в финальном изображение. Если желательно сокращение времени экспозиции, увеличение электронное усиление позволит поддерживать фиксированное большое количество серого шага шкалы, несмотря на пониженный уровень сигнала, при условии, что примененное усиление не приводит к чрезмерному ухудшению качества изображения. Как пример влияния различных коэффициентов усиления на постоянную уровень сигнала, начальная настройка усиления, которая назначает 8 электронов на ADU (уровень серого) означает, что сигнал пикселя, состоящий из 8000 электронов будет отображаться на 1000 уровнях серого.Увеличивая прирост за счет применение коэффициента усиления 4x к базовой настройке, количество электронов на уровень серого снижается до 2 (2 электрона / ADU) и 4000 Уровни серого выделяются электроникой оцифровки.

Рисунок 7 — Архитектура обычных устройств с зарядовой связью (ПЗС)

Качество цифрового изображения можно оценить по четырем количественным критерии, которые частично определяются конструкцией ПЗС, но которые также отражают реализацию ранее описанной работы камеры переменные, которые напрямую влияют на качество изображения ПЗС-матрицы детектор.Основные критерии качества изображения и их влияние: резюмируется следующим образом:

• Пространственное разрешение: Определяет возможность захвата мелких деталей образца без видимых пикселей на изображении.
• Разрешение яркости света: Определяет динамический диапазон или количество уровней серого, которые можно различить на отображаемом изображении.
• Разрешение по времени: Частота дискретизации (кадров) определяет способность отслеживать движение живого образца или быстрые кинетические процессы.
• Отношение сигнал / шум: Определяет видимость и четкость сигналов образца относительно фона изображения.

При визуализации с помощью микроскопа часто не все важные изображения критерии качества можно одновременно оптимизировать в одном изображении или последовательность изображений. Получение лучших изображений в рамках ограничений налагается конкретным образцом или экспериментом, как правило, требует компромисс между перечисленными критериями, которые часто приводят к противоречивым требования.Например, при съемке покадровой последовательности живых выступлений для образцов с флуоресцентной меткой может потребоваться снижение общего воздействия время минимизировать фотообесцвечивание и фототоксичность. Несколько методов могут могут быть использованы для достижения этой цели, хотя каждый из них включает в себя деградацию некоторые аспекты работы с изображениями. Если образец выставлен меньше часто временное разрешение снижено; применение биннинга пикселей к разрешить более короткие выдержки снижает пространственное разрешение; и увеличение электронное усиление ухудшает динамический диапазон и отношение сигнал / шум.Различные ситуации часто требуют совершенно разных изображений. обоснование оптимальных результатов. В отличие от предыдущего примера, в чтобы максимизировать динамический диапазон на одном изображении образца, который требует короткого времени выдержки, применения бининга или усиления увеличение может достичь цели без значительного отрицательного воздействия на Изображение. Для создания эффективных цифровых изображений требуется микроскопист, чтобы быть полностью знакомым с решающим качеством изображения критерии и практические аспекты приобретения балансировочной камеры параметры для максимизации наиболее значимых факторов в конкретном ситуация.

Небольшое количество факторов производительности ПЗС и исправная камера параметры доминируют над основными аспектами качества цифрового изображения в микроскопия, и их эффекты в значительной степени перекрываются. Факторы, которые являются наиболее важными в контексте практического использования камеры CCD, и обсуждается далее в следующих разделах, включая шум детектора источники и отношение сигнал / шум, частота кадров и временное разрешение, размер пикселя и пространственное разрешение, спектральный диапазон и квант КПД и динамический диапазон.

Источники шума камеры CCD

Чувствительность камеры по минимально обнаруживаемому сигналу составляет определяется как фотонным статистическим (дробовым) шумом, так и электронным шум, возникающий в ПЗС-матрице. По консервативной оценке, сигнал можно отличить от сопутствующего шума только в том случае, если он превышает шум примерно в 2,7 раза (отношение сигнал / шум 2,7). Минимальный сигнал который теоретически может дать заданное значение SNR, определяется случайным вариации потока фотонов, источник собственного шума, связанный с сигнал, даже с идеальным бесшумным детектором.Этот фотон статистический шум равен квадратному корню из числа сигналов фотонов, и, поскольку он не может быть устранен, он определяет максимальную достижимое отношение сигнал / шум для бесшумного детектора. Отношение сигнал / шум равно следовательно, определяется уровнем сигнала S , деленным на квадратный корень из сигнала ( S (1/2)), и равен квадратному корню из S . Если значение SNR 2,7 требуется для различения сигнала от шума, уровень сигнала 8 фотонов теоретически минимален обнаруживаемый световой поток.

На практике другие составляющие шума, не связанные с сигнал фотона образца, вносится ПЗС-матрицей и системой камеры электроники и добавить к собственному фотонному статистическому шуму. Один раз накапливается в сборных колодцах, заряд от источников шума нельзя отличить от сигнала, полученного от фотонов. Большая часть системного шума результат шума усилителя считывания и генерации тепловых электронов в кремний микросхемы детектора. Тепловой шум связан с кинетические колебания атомов кремния в подложке ПЗС, высвобождающие электроны или дырки, даже когда устройство находится в полной темноте, и которые впоследствии накапливаются в потенциальных ямах.По этой причине шум обозначается как темный шум и представляет собой неопределенность в величине накопления темного заряда во время указанный временной интервал. Скорость генерации темного заряда, называемая темновым током , не связан с сигналом, индуцированным фотонами, но имеет высокую температуру зависимый. Подобно фотонному шуму, темновой шум следует за статистическая (квадратный корень) связь с темновым током, и поэтому нельзя просто вычесть из сигнала.Охлаждение ПЗС снижает накопление темного заряда на порядок на каждые 20 градусов Снижение температуры по Цельсию, и высокопроизводительные камеры обычно охлаждается во время использования. Охлаждение даже до 0 градусов очень выгодно, и при -30 градусов темновой шум снижается до незначительного значения для практически любое приложение для микроскопии.

При условии, что ПЗС охлаждается, остающийся основной компонент электронного шума составляет , шум чтения , в первую очередь происходит от предусилителя на кристалле во время процесса преобразования носителей заряда в сигнал напряжения.Хотя прочитанный шум добавляется равномерно к каждому пикселю детектора, его величина не может быть точно определен, а только приблизительно значение в единицах электронов (среднеквадратичное или среднеквадратичное) на пиксель. Некоторый типы шума усилителя считывания зависят от частоты, а в как правило, шум чтения увеличивается со скоростью измерения заряд в каждом пикселе. Увеличение шума при высоком считывании и кадре Частично это связано с тем, что усилитель требует большей полосы пропускания. при более высоких тактовых частотах пикселей.Охлаждение ПЗС уменьшает считывание шум усилителя в некоторой степени, хотя и не на незначительном уровне. В текущую высокопроизводительные системы камер, которые значительно снижают значимость читать шум, однако. Одна стратегия для достижения высокого качества считывания и кадра скорости без увеличения шума заключается в электрическом разделении ПЗС-матрицы на два или более сегментов для сдвига заряда в параллельном регистре к нескольким выходным усилителям, расположенным на противоположных краях или углах чипа.Эта процедура позволяет считывать заряд с массива. с большей общей скоростью без чрезмерного увеличения скорости чтения (и шум) отдельных усилителей.

Рисунок 8 — Технология межстрочного ПЗС-матриц с микролинзой

Охлаждение ПЗС-матрицы для уменьшения темнового шума дает дополнительное преимущество повышения эффективности переноса заряда ( CTE ) устройства. Этот фактор производительности становится все более важно из-за больших размеров массива пикселей, используемых во многих современных ПЗС-изображения, а также более высокая скорость считывания, необходимая для исследования быстрых динамических процессов.С каждой сменой заряда пакет по каналам передачи в процессе считывания ПЗС, небольшая часть может остаться. В то время как индивидуальные трансфертные потери при каждый пиксель в большинстве случаев крошечный, большое количество передач требуется, особенно в мегапиксельных сенсорах, может привести к значительному потери для пикселей на наибольшем удалении от считывания ПЗС усилитель (ы), если эффективность переноса заряда не очень высока. Возникновение неполного переноса заряда может привести к размытию изображения. из-за смешения зарядов от соседних пикселей.Кроме того, совокупные потери заряда при каждой передаче пикселя, особенно при больших массивов, может привести к явлению затенения изображения , в котором появляются области изображений, наиболее удаленные от выходного усилителя ПЗС тусклее, чем рядом с регистром последовательного порта. Перенос заряда значения КПД охлаждаемых ПЗС-матриц могут быть 0,9999 и выше, а в то время как CTE с таким высоким значением обычно незначительны для эффекта изображения, значения ниже, чем 0,999, вероятно, приведет к затемнению.

Доступны как аппаратные, так и программные методы компенсации затенение интенсивности изображения.Программная коррекция реализована получение изображения поля с однородной интенсивностью, которое затем используется системой визуализации для создания карты попиксельной коррекции, которая может применяться к последующим изображениям образца для устранения неоднородности из-за затенения. Методы коррекции программного обеспечения обычно удовлетворительно в системах, не требующих поправочных коэффициентов больше чем примерно 10-20 процентов местной интенсивности. Больше исправления, примерно до пяти раз, могут быть обработаны аппаратными средствами методы путем настройки коэффициентов усиления для отдельного пикселя ряды.Требуемая регулировка усиления определяется сигналом дискретизации. интенсивности в пяти или шести замаскированных эталонных пикселях, расположенных за пределами область изображения в конце каждой строки пикселей. Значения напряжения, полученные из столбцы опорных пикселей на краю параллельного регистра служат в качестве контролирует потери при переносе заряда и производит поправочные коэффициенты для каждая строка пикселей, которые применяются к напряжениям, полученным из этой строки во время считывания. Поправочные коэффициенты велики в регионах некоторых датчики, такие как области, удаленные от выходного усилителя по скорости видеосигнала камеры, и уровень шума может быть значительно увеличен для этих изображений области.Хотя процесс аппаратной коррекции убирает затенение эффекты без видимого уменьшения сигнала, следует понимать, что результирующее отношение сигнал / шум не является однородным по всей изображение.

Пространственное и временное разрешение в датчиках изображения CCD

Во многих приложениях — система захвата изображений, обеспечивающая высокое временное разрешение это основное требование. Например, если кинетика процесса изучается, требует видеосъемки с умеренным разрешением, камера, способная обеспечить превосходное разрешение, тем не менее, выгода, если он обеспечивает такую ​​производительность только при низкой скорости сканирования, и работает незначительно или совсем не работает при высокой частоте кадров.Полнокадровый камеры с медленным сканированием не обеспечивают высокое разрешение при скорости видео, требуется примерно одна секунда на кадр для большого массива пикселей, в зависимости от скорости оцифровки электроники. Если образец яркость сигнала достаточно высока, чтобы обеспечить короткое время экспозиции (на порядка 10 миллисекунд), использование биннинга и подмассива выбор позволяет получать около 10 кадров в секунду на уменьшенное разрешение и размер кадра у камер с электромеханическим ставни.Более высокая частота кадров обычно требует использования камеры с построчной или кадровой передачей, не требующие жалюзи и, как правило, также могут работать с более высокими скоростями оцифровки. Последнее поколение высокопроизводительных камер этой конструкции может Захватывайте полнокадровые 12-битные изображения почти со скоростью видео.

Превосходное пространственное разрешение ПЗС-систем визуализации напрямую связано с размером пикселя и постоянно улучшается благодаря технологические усовершенствования, которые позволили создавать пиксели ПЗС становится все меньше при сохранении других эксплуатационных характеристик формирователей изображений.По сравнению с типичными размерами зерна пленки (примерно 10 микрометров), пиксели многих используемых CCD-камер в биологической микроскопии меньше по размеру и обеспечивает более чем адекватное разрешение в сочетании с широко используемыми объективами с большим увеличением которые проецируют дифракционные диски относительно большого радиуса (Эйри) на ПЗС-поверхность. ПЗС-камеры научного уровня с построчным переносом теперь доступны доступны с пикселями меньше 5 микрометров, что делает их подходящими для получения изображений с высоким разрешением даже с объективами с малым увеличением.Отношение размера элемента детектора к соответствующему оптическому разрешению критерии — важный фактор при выборе цифровой камеры, если должно быть сохранено пространственное разрешение оптической системы.

Критерий выборки Найквиста обычно используется для определения адекватность размера пикселя детектора по отношению к разрешению возможности оптики микроскопа. Теорема Найквиста указывает, что наименьший радиус дифракционного диска, создаваемый оптической системой должны быть отобраны как минимум двумя пикселями в массиве изображений, чтобы сохранить оптическое разрешение и избежать наложения спектров.В качестве примера, рассмотрим ПЗС-матрицу с размерами пикселей 6,8 x 6,8 мкм, соединенную объектив с числовой апертурой 100x, 1,3, что дает Пятно дифракции 26 мкм (радиус) в плоскости детектора. С этим детектором-объективом возможно отличное разрешение. комбинация, потому что радиус дифракционного диска покрывает примерно 4-пиксельный диапазон (26 / 6,8 = 3,8 пикселя) на матрице детектора или почти вдвое больше предельного критерия Найквиста. На этой частоте дискретизации имеется достаточный запас, чтобы критерий Найквиста почти устраивает даже биннинг 2 x 2 пикселя.

Квантовая эффективность датчика изображения

Детектор квантовая эффективность ( QE ) является мерой вероятность того, что фотон с определенной длиной волны будет захвачен в активной области устройства для высвобождения заряда перевозчики. Параметр представляет эффективность тепловизора ПЗС в генерирует заряд от падающих фотонов, и поэтому является основным определитель минимально обнаруживаемого сигнала для системы камер, особенно при съемке при слабом освещении.Бесплатно генерируется, если фотон никогда не достигает обедненного слоя полупроводника или если он проходит полностью без передачи значительной энергии. Характер взаимодействия фотона с детектором зависит от от энергии фотона и соответствующей длины волны, и прямо относится к спектральному диапазону чувствительности детектора . Хотя обычные ПЗС-детекторы с передней подсветкой очень чувствительны и эффективные, ни один из них не имеет стопроцентной квантовой эффективности на любой длине волны.

Датчики изображения, обычно используемые в флуоресцентной микроскопии, могут обнаруживать фотоны в спектральном диапазоне 400-1100 нанометров, с пиковая чувствительность обычно в диапазоне 550-800 нм. Максимум Значения QE составляют всего около 40-50 процентов, за исключением новейших разработок, который может достигать 80-процентной эффективности. Рисунок 10 иллюстрирует спектральная чувствительность ряда популярных ПЗС-матриц на графике, отображающем квантовая эффективность как функция длины волны падающего света.Большинство ПЗС-матрицы, используемые в научной визуализации, относятся к типу межстрочного переноса и потому что межстрочная маска сильно ограничивает светочувствительную поверхность области, многие старые версии показывают очень низкие значения QE. С появлением технологии поверхностных микролинз, чтобы направлять больше падающего света на светочувствительные области между каналами передачи, более новый межстрочный датчики намного более эффективны, и многие из них имеют значения квантовой эффективности 60-70 процентов.

Рисунок 9 — Последовательность переноса электрона с объединением пикселей 2 x 2

Спектральный диапазон сенсора и квантовая эффективность дополнительно улучшены в ультрафиолетовый, видимый и ближний инфракрасный диапазоны длин волн различные дополнительные стратегии проектирования в нескольких высокопроизводительных ПЗС-матрицах.Поскольку алюминиевые переходные ворота с поверхностью поглощают или отражают большую часть синие и ультрафиолетовые волны, во многих новых конструкциях используются другие материалы, такие как оксид индия-олова, для улучшения передачи и квантового эффективность в более широком спектральном диапазоне. Еще более высокие значения QE могут быть полученные с помощью специализированных ПЗС-матриц с обратным утонением, которые созданы для допускать освещение с тыльной стороны, избегая поверхностного электрода структура целиком. Чтобы это стало возможным, большая часть кремния подложка удаляется травлением, и хотя получившееся устройство тонкий и относительно дорогой, квантовая эффективность примерно 90 процентов могут быть достигнуты в обычном порядке.

Могут использоваться другие материалы для обработки поверхности и строительные материалы. для получения дополнительных преимуществ спектрального диапазона. Производительность обратного прореживания ПЗС-матрицы в ультрафиолетовом диапазоне длин волн улучшаются за счет нанесение специализированных просветляющих покрытий. Изменено полупроводниковые материалы используются в некоторых детекторах для улучшения квантовых эффективность в ближнем инфракрасном диапазоне. Чувствительность к длинам волн вне диапазона нормальный спектральный диапазон обычных ПЗС-матриц с передней подсветкой может быть достигается применением люминофоров с преобразованием длины волны от до лицо детектора.Люминофор для этой цели выбирают для поглощения энергия фотонов в интересующей спектральной области и излучение света в пределах область спектральной чувствительности ПЗС-матрицы. В качестве примера этого стратегия, если интересующий образец или флуорофор излучает свет на 300 нанометров (где чувствительность любой ПЗС минимальна), преобразование на поверхности детектора можно использовать люминофор, который поглощает эффективно при 300 нанометрах и излучает при 560 нанометрах в пределах диапазон пиковой чувствительности ПЗС-матрицы.

Динамический диапазон

Термин, именуемый динамическим диапазоном ПЗС-детектора. выражает максимальное изменение интенсивности сигнала, которое может быть определено количественно датчиком.Количество указывается численно большинством камер CCD. производителей как отношение полной емкости пикселя ( FWC ) к шум чтения, с обоснованием, что это значение представляет ограничивающее условие, при котором яркость внутри сцены колеблется от регионов которые находятся только на уровне насыщенности пикселей, в области, которые практически не теряются в шуме. Динамический диапазон датчика определяет максимальное количество разрешаемые шаги уровня серого, в которые может быть включен обнаруженный сигнал разделенный. Чтобы в полной мере использовать динамический диапазон ПЗС-матрицы, она подходит для согласования разрядности аналого-цифрового преобразователя с динамический диапазон, позволяющий различать как можно больше шкалы серого шаги по мере возможности.Например, камера с FWC на ​​16000 электронов и шум считывания 10 электронов, имеет динамический диапазон 1600, что поддерживает 10-11-битное аналого-цифровое преобразование. Аналого-цифровой преобразователи с разрядностью 10 и 11 способны различать 1024 и 2048 уровней серого соответственно. Как указывалось ранее, поскольку компьютерный бит может принимать только одно из двух возможных состояний, количество шаги интенсивности, которые могут быть закодированы цифровым процессором (АЦП) отражает его разрешение (битовую глубину) и равно 2 в повышении значение спецификации битовой глубины.Следовательно, 8, 10, 12 и 14 бит процессоры могут кодировать максимум 256, 1024, 4096 или 16384 серого уровни.

Определение динамического диапазона как отношения полной емкости скважины к считыванию шум не обязательно является реалистичной мерой полезного динамического диапазона, но полезен для сравнения датчиков. На практике полезный динамический диапазон меньше, потому что отклик ПЗС становится нелинейным перед полным емкость скважины достигнута и поскольку уровень сигнала равен шуму чтения неприемлемо визуально и практически бесполезно для количественной целей.Обратите внимание, что максимальный динамический диапазон не эквивалентен максимально возможное отношение сигнал / шум, хотя отношение сигнал / шум также является функция полной мощности скважины. Фотонный статистический шум, связанный с с максимально возможным сигналом, или FWC, является квадратным корнем из FWC значение, или 126 электронов, для предыдущего примера с 16000 электронами FWC. Таким образом, максимальное отношение сигнал / шум равно максимальный сигнал, деленный на шум (16000/126), или 126, квадратный корень из сам сигнал.Фотонный шум представляет собой минимальный собственный уровень шума, а также обнаружение рассеянного света и электронного (системного) шума уменьшить максимальное отношение сигнал / шум, которое может быть реализовано на практике, до значений ниже 126, так как эти источники уменьшают эффективную FWC, добавляя плату это не сигнал для колодцев.

Хотя производитель обычно оснащает камеру динамический диапазон примерно 4000, например, с 12-битным АЦП (4096 шагов оцифровки), при рассмотрении соответствие между динамическим диапазоном сенсора и возможностью оцифровки процессор.Для некоторых новейших ПЗС-камер с построчным переносом которые обеспечивают 12-битную оцифровку, динамический диапазон определяется из Шум FWC и чтения составляет примерно 2000, что обычно не требуется 12-битная обработка. Однако ряд современных дизайнов включить опцию для установки усиления на 0,5x, что позволяет полностью использовать 12-битное разрешение. Эта стратегия использует тот факт, что пиксели последовательного регистра имеют вдвое больше электронов. емкость пикселей параллельного регистра, и когда камера работает в Режим бининга 2 x 2 (обычный в флуоресцентной микроскопии), 12 бит могут быть получены изображения высокого качества.

Важно знать о различных механизмах, в которых электронным усилением можно управлять, чтобы использовать доступную битовую глубину процессора, и когда динамический диапазон разных камер по сравнению, лучший подход — вычислить значение из пикселя полная емкость лунки и шум чтения камеры. Обычно можно увидеть камеру системы, оснащенные обрабатывающей электроникой, имеющие гораздо более разрешение оцифровки, чем требуется внутренним динамическим диапазоном камера.В такой системе работа на обычном 1x электронном настройка усиления приводит к потенциально большому количеству неиспользуемых процессоров уровни серой шкалы. Производитель камеры может применить неуказанный коэффициент усиления 2-4x, который может быть не очевиден для пользователя, и хотя эта практика действительно усиливает сигнал, чтобы использовать полной разрядности АЦП, он производит повышенный шум оцифровки, поскольку количество электронов, составляющих каждую ступеньку уровня серого, уменьшается.

Потребность в высокой битовой глубине в камерах CCD может быть поставлена ​​под сомнение в ввиду того факта, что устройства отображения, такие как компьютерные мониторы и многие другие принтеры используют только 8-битную обработку, обеспечивая 256 уровней серого, и другие печатные носители, а также человеческий глаз могут обеспечивать только 5-7 бит дискриминация.Несмотря на такие низкие визуальные требования, высокие побитовые камеры с большим динамическим диапазоном всегда выгодны, и необходимы для определенных приложений, особенно при флуоресценции. микроскопия. При обработке логометрических или кинетических данных изображений в количественные исследования, большее количество уровней серого позволяет свету интенсивности, которые необходимо определить более точно. Кроме того, когда выполняются несколько операций обработки изображений, данные изображения которые более точно разделены на множество шагов уровня серого, могут выдерживать большую степень математических манипуляций без деградация из-за ошибок округления.

Третье преимущество высокоразрядных систем визуализации реализуется, когда часть захваченного изображения выбирается для отображения, а область интерес охватывает только часть полного динамического диапазона изображения. К оптимизировать представление ограниченного динамического диапазона, исходный количество уровней серого обычно увеличивается, чтобы занять все 256 уровней 8-битный монитор или печать. Чем выше битовая глубина камеры, тем меньше крайнее расширение и, соответственно, меньшая деградация изображения. Как Например, если выбранная область изображения занимает только 5 процентов от полной внутрисценовый динамический диапазон, это более 200 уровней серого 4096 распознается 12-битным процессором, но только 12 шагов с 8-битная (256 уровней) система.При отображении на мониторе с 256 уровнями или распечатано, 12-уровневая картинка, развернутая до такой степени, будет выглядеть пиксельные и демонстрируют блочные или контурные ступени яркости, а не плавные тональные градации.

Датчики цветного изображения CCD

Хотя матрицы ПЗС по своей природе не чувствительны к цвету, три разных стратегии обычно используются для получения цветных изображений с помощью камеры CCD системы, чтобы захватить внешний вид образцов в микроскоп. Ранее возникшие технические трудности при отображении и печати цветные изображения больше не являются проблемой, а увеличение количества информации цвет может быть существенным.Многие приложения, такие как флуоресцентная микроскопия, исследование окрашенной гистологии и патологии срезы тканей и другие наблюдения за образцами с метками с использованием методы светлого поля или дифференциального интерференционного контраста полагаются на цвет как важнейший компонент изображения. Получение цветных изображений с камерой CCD требует, чтобы длины волн красного, зеленого и синего цветов были изолированы цветными фильтрами, приобретаются отдельно и впоследствии объединены в составное цветное изображение.

Каждый подход, используемый для достижения цветовой дискриминации, имеет свои сильные стороны и слабые места, и все налагают ограничения, ограничивающие скорость, ниже временное и пространственное разрешение, уменьшение динамического диапазона и увеличение шум в цветных камерах по сравнению с серыми камерами.Самый распространенный Метод состоит в том, чтобы покрыть массив пикселей ПЗС чередующейся маской красный, зеленый и синий ( RGB ) микролинзовые фильтры, расположенные по определенному шаблону, обычно мозаичному шаблону Bayer . В качестве альтернативы, с трехчиповым дизайн, изображение разделено светоделительной призмой и цветным фильтрует на три (RGB) компонента, которые захватываются отдельными ПЗС-матрицы и их выходы объединены в цветное изображение. Третий Подход представляет собой метод с последовательностью кадров , в котором используется одна ПЗС-матрица. для последовательного захвата отдельного изображения для каждого цвета путем переключения цветные фильтры, размещенные на пути освещения или перед тепловизором.

Рисунок 10 — Спектральная чувствительность ПЗС для научных исследований

Одночиповая ПЗС-матрица с плотно прилегающей матрицей цветных фильтров используется в большинство фотоаппаратов для цветной микроскопии. Массив фильтров состоит из красного, зеленого, и синие микролинзы, нанесенные на отдельные пиксели в обычном шаблон. Мозаичный фильтр Байера распределяет цветовую информацию по четырехпиксельные сенсорные блоки, которые включают один красный, один синий и два зеленых фильтры. Зеленый цвет подчеркнут в схеме распределения для лучшего соответствуют зрительной чувствительности человека и разделяют информацию о цвете среди групп по четыре пикселя лишь незначительно ухудшает разрешение.В человеческая зрительная система приобретает пространственные детали в первую очередь из яркости компонент цветовых сигналов, и эта информация сохраняется в каждом пиксель независимо от цвета. Визуально удовлетворительные изображения достигаются за счет сочетание цветовой информации низкого пространственного разрешения с монохромные детали конструкции высокого разрешения.

Уникальный дизайн цветных камер с одной ПЗС-матрицей улучшает пространственное разрешение путем небольшого смещения ПЗС-матрицы между изображениями, снятыми в последовательность, а затем интерполяция между ними (метод, известный как пиксельный сдвиг ), хотя получение изображения значительно замедляется из-за этого процесса.Другой подход к маскированию отдельных пикселей — быстрое перемещение массива цветных микролинз в квадратном узоре непосредственно над ПЗС-матрицей поверхность во время сбора фотонов. Наконец, недавно представленный технология объединяет три фотоэлектронных ямы в каждый пиксель на разная глубина для различения длины волны фотона. Максимум пространственное разрешение сохраняется в этих стратегиях, потому что каждый пиксель предоставляет информацию о красном, зеленом и синем цвете.

Трехчиповая цветная камера сочетает высокое пространственное разрешение с быстрое получение изображения, обеспечивающее высокую частоту кадров, подходящую для быстрого последовательности изображений и видеовыход.Используя светоделитель для прямой сигнал на три фильтрованных ПЗС, которые отдельно записывают красный цвет, зеленый и синий компоненты изображения одновременно, очень высокий уровень захвата возможны скорости. Однако, поскольку интенсивность света, подаваемого на каждая ПЗС-матрица существенно уменьшена, комбинированное цветное изображение значительно тусклее, чем монохромное однокристальное изображение при сопоставимой экспозиции. К цветному изображению можно применить усиление для увеличения его яркости, но отношение сигнал / шум страдает, а изображения демонстрируют большую очевидность шум.Пространственное разрешение, достигаемое трехчиповыми камерами, может быть выше чем у отдельных ПЗС-сенсоров, если каждая ПЗС-матрица смещена на количество субпикселей относительно остальных. Поскольку красный, зеленый и синий изображения представляют собой немного разные образцы, их можно объединить программное обеспечение камеры для создания композитных изображений с более высоким разрешением. Многие микроскопия и другие научные приложения, требующие больших пространственных и временное разрешение выигрывают от использования камеры с тройной ПЗС-матрицей системы.

Цветные камеры, называемые чередующимися кадрами, оснащены моторизованным колесом фильтров или жидкокристаллическим перестраиваемым фильтром ( LCTF ) для последовательной экспозиции красного, зеленого и синего компонентов изображения на одиночная ПЗС-матрица.Поскольку один и тот же датчик используется для отдельных красных, зеленых, и голубых изображений сохраняется полное пространственное разрешение чипа, и регистрация изображения выполняется автоматически. Приобретение три кадра подряд замедляют процесс получения изображения и дисплей, и правильный цветовой баланс часто требует другой интеграции раз для трех цветов. Хотя этот тип камеры обычно не подходит для захвата с высокой частотой кадров, использование быстродействующие жидкокристаллические перестраиваемые фильтры для R-G-B секвенирование может существенно увеличить скорость работы.В поляризационная чувствительность LCTF должна учитываться в некоторых приложений, поскольку они передают только один вектор поляризации, и могут изменить цвета двулучепреломляющих образцов, рассматриваемых в поляризованном свете.

Я вижу «муар» на моих захваченных изображениях. Что я могу делать?

Эффект муара

Слово «муар» впервые было использовано ткачами и происходит от слова «мохер», разновидности ткани, сделанной из тонкой шерсти ангорской козы. Физическая природа муара заключается в интерференции двух или более регулярных структур с разными пространственными частотами.Вы можете увидеть этот эффект в реальной жизни, пройдя мимо двух заборов, расположенных друг за другом, или взглянув на сложенные прозрачные чулки.

На сайте Mathematik.com очень хорошая анимация, демонстрирующая эффект муара. Щелкните здесь, чтобы увидеть анимацию.

Эффект муара позволяет создавать интересные и красивые геометрические узоры. Однако в мире машинного зрения это явление может ухудшить качество и разрешение захваченных изображений. Это может произойти, когда изображение с камеры воспроизводится на дисплее компьютера, а затем отображается в растровом или матричном формате.Прекрасная матрица точек на исходном изображении почти всегда конфликтует с матрицей точек на репродукции. Это создает характерный крестообразный узор на воспроизводимом изображении. Узоры муара также можно создать, построив серию кривых на экране компьютера. В этом случае интерференция вызвана растеризацией пикселей конечного размера. Например, на приведенных ниже иллюстрациях показано несколько концентрических кругов, нанесенных на график с одинаковыми интервалами. Обратите внимание на появившиеся фантомные линии и кривые.

Аналогичный эффект появляется, если наложить две сетки из точек с регулярной структурой и повернуть их относительно друг друга:

Когда вы делаете снимок камерой Basler, оно оцифровывается матрицей светочувствительных элементов. Каждый светочувствительный элемент в матрице представляет собой дискретную единицу, и элементы расположены в правильном порядке. Если захваченное изображение также имеет очень регулярный узор (например, куртка с тонким тканевым переплетением), этот узор будет наложен на матрицу фотоэлементов.Наложение рисунка в захваченном изображении на рисунок в матрице фотоэлементов может вызвать интерференцию и может привести к образованию муаровых рисунков.

Существует несколько различных методов ограничения эффекта муара:

• Если на захваченных изображениях наблюдается сильный эффект муара, попробуйте повернуть камеру или объект. Поэкспериментируйте с углом поворота, чтобы добиться минимального муара.

• Измените положение камеры. Простое изменение угла наклона камеры может привести к значительному уменьшению муара.

• Измените фокус. Эффект муара наиболее заметен на изображениях с высокой резкостью. Перекрывающиеся мелкие детали усиливают эффект.

• Попробуйте использовать объектив с другим фокусным расстоянием. Это может уменьшить муаровый эффект.

В некоторых случаях невозможно полностью устранить эффект муара с помощью этих методов. Но они должны, по крайней мере, дать вам заметное улучшение ваших результатов.

Камеры и светочувствительные детекторы I: как они работают?

00: 00: 11; 23 Привет, меня зовут Нико Стурман, и я буду говорить сегодня о
00: 00: 15; 27 детекторах.Итак, на протяжении многих-многих веков мы не видели детекторы как важную часть микроскопа.
00: 00: 23; 21 И это потому, что раньше мы просто смотрели в окуляр
00: 00: 27; 20, наблюдали то, что мы видели, а затем документировали
00: 00: 31; 07, что через эти прекрасные рисунки. Как этот, сделанный
00: 00: 35; 24 Ramon y Cajal. Итак, с появлением фотоаппаратов все изображение
00: 00: 42; 14 изменилось. И теперь мы можем использовать современный микроскоп
00: 00: 47; 27 и связанные с ним камеры, чтобы документировать с более объективным углом
00: 00: 53; 00 то, что мы наблюдаем через микроскоп.
00: 00: 59; 02 И важной частью этого также является компьютер, так как в конечном итоге
00: 01: 04; 01 данные с этой камеры попадут в компьютер
00:01:07; 22 и формируем реальное изображение. Таким образом, теперь мы можем не только делать более надежные измерения
00: 01: 11; 04, но и делать такие вещи, как
00: 01: 15; 06, как показано здесь, мы можем снимать фильмы, покадровая съемка
00:01: 20; 16 последовательностей живых образцов, которые мы наблюдаем с помощью микроскопа
00: 01: 26; 12. Итак, здесь вы видите клетку, проходящую митоз.
00: 01: 30; 29 Помечено для чтения для гистонов / ДНК и зеленым для микротрубочек.
00: 01: 36; 19 Итак, в этом докладе я рассмотрю два разных типа детекторов.
00: 01: 44; 10 Одноточечные детекторы, поэтому они измеряют только
00: 01: 48; 18 одну точку света за раз. А другие — это многоточечные детекторы
00: 01: 52; 26, то есть это детекторы, которые одновременно измеряют несколько точек
00: 01: 57; 11. Вот камеры. Здесь вы видите
00: 02: 01; 05 пример одноточечного детектора и этот фотоумножитель
00: 02: 04; 02 трубка, а вот и камера.Теперь все эти типы детекторов
00: 02: 09; 13 работают по одному и тому же принципу. Итак, они принимают свет в виде
00: 02: 14; 22 фотонов и преобразуют его в электроны. Через фотоэффект
00: 02: 20; 16. В определенный момент заряд, число
00: 02: 26; 26 электронов, преобразуется в напряжение. А затем это напряжение равно
00: 02: 32; 08, которое впоследствии преобразуется в цифровое число, которое
00: 02: 35; 29 передается в компьютер. Затем компьютер использует цифровое число
00: 02: 39; 09 для создания изображения.Таким образом, всегда есть последовательность
00: 02: 43; 18, в которой мы переходим от заряда к напряжению до
00: 02: 47; 08 — цифрового числа. Итак, сначала одноточечные детекторы. Так что
00: 02: 52; 25 там происходит, так это то, что у нас есть луч света
00: 02: 56; 23, например, проходящий через объект, который мы отображаем с помощью микроскопа
00: 03: 01; 08. И затем этот луч света, в конце концов, достигает детектора
00: 03: 04; 11. Затем мы сканируем образец, например,
00: 03: 09; 15, очень простой способ — сканировать сцену по x и y.
00: 03: 13; 12 Или мы можем сканировать луч света через образец.
00: 03: 18; 16 На детекторе мы измеряем в каждый момент времени
00: 03: 22; 20, сколько света падает на него. Затем мы преобразуем это
00: 03: 27; 11 в цифровое число, это цифровое число переходит в компьютер
00: 03: 31; 20, мы получаем здесь последовательность чисел. И
00: 03: 36; 01, который используется для создания образа. Итак, что важно для одноточечного сканера
00: 03: 42; 10, такого как этот, так это то, что они быстрые.Поскольку
00: 03: 46; 00, поскольку мы измеряем каждую точку индивидуально, требуется много времени
00: 03: 49; 13, чтобы построить все изображение. Итак, нам нужны эти измерения
00: 03: 53; 21 очень и очень быстро. Теперь несколько точечных детекторов, камеры на
00: 03: 59; 15, с другой стороны, мы используем линзу для проецирования изображения прямо
00: 04: 04; 29 на этот многоточечный массив. Таким образом, мы получаем изображение, сформированное
00: 04: 10; 16, на саму камеру. Но с тех пор опять примерно
00: 04: 15; 29 тот же принцип.Все эти светочувствительные элементы
00: 04: 19; 21 накопили заряд, и в определенный момент времени заряд
00: 04: 23; 01 преобразуется в напряжение, и, в конце концов, это
00 : 04: 27; 03 преобразуется в последовательность чисел, которая отправляется на компьютер
00: 04: 31; 10, и компьютер использует это для построения
00: 04: 33; 28 изображения. Хорошо, теперь я буду говорить о двух разных типах одноточечных детекторов
00: 04: 40; 19, а затем переключу
00: 04: 43; 25 на камеры и объясню вам, как они работают.
00: 04: 48; 10 Итак, наиболее классический одноточечный детектор — это фотоумножитель
00: 04: 51; 24. Итак, он состоит из
00: 04: 56; 15 фотокатода, а этот фотокатод — это элемент
00: 05: 02; 08, который преобразует входящие фотоны в электрон.
00: 05: 07; 12 Итак, если у вас есть электрон, есть пара
00: 05: 12; 17 так называемых динодов, которые притягивают эти электроны, а затем
00: 05: 19; 14 также ускоряют их. и умножить их. Таким образом, на каждом диноде
00: 05: 24; 28 мы получаем умножение количества электронов, которые пришли
00: 05: 28; 16.Мы можем настроить умножение, настроив напряжение
00: 05: 34; 10 на этих динодах. Конечным результатом всего этого является то, что в конце
00: 05: 39; 19, когда мы подходим к аноду, мы имеем
00: 05: 43; 01 огромное количество электронов на каждый электрон, который мы получаем. здесь
00: 05: 48; 09 изначально. В этот момент мы преобразуем этот заряд в напряжение
00: 05: 54; 01, а затем вы считываете это в цифровое число
00: 05: 58; 01 и отправляете его на компьютер. Так что PMT работают очень быстро.
00: 06: 03; 01 Они очень линейны. У них очень высокий коэффициент усиления, поэтому
00: 06: 08; 03 они могут буквально измерять удары отдельных электронов.
00: 06: 11; 15 Итак, это почти идеальные измерительные устройства, с основной ловушкой
00: 06: 18; 18 в том, что они имеют низкую квантовую эффективность. Квантовая
00: 06: 21; 24 эффективность означает, какова эффективность, с которой я конвертирую
00: 06: 29; 06 одиночный фотон в электрон. Таким образом, квантовая эффективность
00: 06: 33; 28 из 25% означает, что вам нужно в среднем 4 фотона
00: 06: 38; 03, чтобы попасть в этот фотокатод, чтобы ввести один электрон, и
00:06:41 ; 27 этот электрон можно тогда очень и очень хорошо измерить.
00: 06: 46; 14 Существуют и другие типы конструкций для этих PMT, но
00: 06: 52; 24 все они работают по одному и тому же принципу с использованием динодов. Здесь вы видите
00: 06: 57; 13 реальный пример того, как выглядит такая трубка. Вы можете запускать их в
00: 07: 02; 00 различных режимах. Итак, один режим — это режим счета фотонов
00: 07: 06; 17, в котором вы в основном устанавливаете очень и очень высокое усиление. Итак,
00: 07: 10; 19, что каждый фотон, который входит и преобразуется в электрон
00: 07: 15; 07, считается одним импульсом.Таким образом, вы будете считать фотоны
00: 07: 20; 29. Преимущество этого заключается в том, что теперь у вас нет
00: 07: 25; 05 дополнительного фона, потому что либо у вас есть попадание, либо
00: 07: 28; 22 у вас нет попадания. Обратной стороной является то, что это происходит очень и очень медленно.
00: 07: 33; 12 Очень хороший пример этого режима счета фотонов — это то, что
00: 07: 39; 26 вы видите в счетчиках Гейгера. Счетчики Гейгера в основном представляют собой
00: 07: 42; 26 ФЭУ со сцинтилляционным материалом перед ним, так что радиоактивный материал
00: 07: 48; 16 превращается в фотон, этот фотон попадает в
00:07:53; 26 фотонный катод.И с каждым попаданием вы получаете счет
00: 07: 58; 07, и вы можете слышать это в своем счетчике Гейгера. Таким образом, другой режим
00: 08: 03; 18 — это линейный режим, в котором мы измеряем ток в конце
00: 08: 07; 01. Это гораздо более быстрый режим работы, но также
00: 08: 10; 25 имеет больше шума. Отчасти для того, чтобы преодолеть эту низкую квантовую эффективность
00: 08: 16; 21, существует конкурирующая технология. И это лавинный фотодиод
00: 08: 22; 06, APD. Он основан на полупроводниковом материале
00: 08: 28; 25, на самом деле он очень похож на ПЗС-датчики, используемые
00: 08: 35; 13 в камерах.Таким образом, полупроводниковый материал поглощает фотоны
00: 08: 39; 17, а затем в этой области снова присутствует высокое напряжение.
00: 08: 45; 22 Электроны ускоряются, затем ударяют по силикону с высокой силой
00: 08: 51; 13, и в результате процесса, который называется ударной
00: 08: 55; 01 ионизацией, они запрещают дополнительную электроны из материала.
00: 08: 59; 17 И это усиливает сигнал, поэтому он усиливает заряд,
00: 09: 06; 01 заряд считывается и передается в конце
00: 09: 08; 29 в цифровой номер.У них намного более высокая квантовая эффективность
00: 09: 13; 02, чем у фотоумножителей. Их также можно использовать в этом режиме счета фотонов
00: 09: 18; 04. Они очень полезны. Один из их недостатков
00: 09: 22; 28, кажется, заключается в том, что вы не можете запускать их так быстро
00: 09: 26; 01 как фотоумножители, так как они имеют тенденцию перегреваться, когда вы
00: 09: 30; 19 идете. слишком быстро. Это пример того, как на самом деле выглядит APD
00: 09: 36; 05. Хорошо, вот и все для точечных детекторов.
00: 09: 42; 19 Сейчас я буду говорить о камерах, а камеры в
00: 09: 46; 02 микроскопии обычно выглядят так, где есть хороший пакет
00: 09: 49; 28 с электроникой. и некоторое охлаждение вокруг этого центрального элемента
00: 09: 54; 26, который вы видите здесь, фактического светочувствительного чипа.
00: 09: 58; 10 Итак, чип — это сердце камеры. И как вы, наверное, знаете,
00: 10: 06; 27, этот чип состоит из массива, строк и столбцов,
00: 10: 12; 12 светочувствительного материала. Этот светочувствительный материал
00: 10: 17; 09 сам по себе очень похож на этот APD, состоит из силиконового полупроводящего материала
00: 10: 22; 26. Они производятся способами
00: 10: 29; 10, очень похожими на то, как производятся микросхемы в наших компьютерах.
00: 10: 32; 22 Фотоны попадают в этот силикон через фотоэлектрический эффект,
00: 10: 38; 23 где фотоны преобразуются в электроны, а затем они
00: 10: 43; 08 чаще всего остаются на некоторое время в этой потенциальной яме.Итак,
00: 10: 47; 25 здесь накапливается заряд. Это основной принцип.
00: 10: 53; 24 После этого нам нужно прочитать это и ввести эти числа
00: 10: 58; 12 в наш компьютер. И есть много разных способов
00: 11: 02; 00 и факторов, которые влияют на этот процесс. Итак, во-первых,
00: 11: 06; 29 есть две основные архитектуры этих светочувствительных элементов.
00: 11: 11; 24 Один называется CMOS, а другой — CCD, для заряженного
00: 11: 18; 05 подключенного устройства.Вероятно, оба термина вы слышали раньше. Основное отличие
00: 11: 23; 02 заключается в том, что CMOS имеет небольшой аналоговый заряд
00: 11: 32; 05 в преобразователь напряжения, встроенный в сам чип. Итак, здесь, прямо здесь, на светочувствительном материале, находятся
00: 11: 38; 22 транзистора,
00: 11: 42; 21, которые преобразуют заряд в напряжение. Затем это напряжение отправляется
00: 11: 48; 00 на аналого-цифровой преобразователь и преобразуется в цифровое число
00: 11: 51; 27. С другой стороны, ПЗС-матрица не имеет
00: 11: 56; 05 этого аналогового преобразователя напряжения, встроенного в
00: 12: 01; 09 на конце микросхемы.И это означает, что все эти светочувствительные элементы
00: 12: 05; 24 используют один и тот же преобразователь аналогового сигнала в напряжение, что, в конечном итоге, упрощает выполнение этого процесса точно таким же
00: 12: 17; 00 для всех светочувствительных элементов. И именно поэтому до недавнего времени ПЗС-матрицы
00: 12: 23; 20 были действительно предпочтительным инструментом для получения изображений в научных целях.
00: 12: 28; 05 Это уже не так, и я объясню это во второй лекции.
00: 12: 33; 25 Итак, как правило, в CMOS каждый пиксель имеет свой собственный усилитель,
00: 12: 37; 13 они быстрые, но, как правило, намного более шумные.Хотя, опять же,
00: 12: 43; 19 есть более новые варианты с меньшим уровнем шума, которые на самом деле очень интересны
00: 12: 47; 00. ПЗС-матрицы медленнее, но они более точные, с меньшим шумом
00: 12: 51; 20. Хорошо, я буду говорить в основном о
00: 12: 57; 20, как работают эти ПЗС-матрицы, как они считывают накопленный заряд
00: 13: 02; 06? И одна красивая аналогия — это идея
00: 13: 07; 20 ведер-бригад. Так что подумайте о своих светочувствительных колодцах
00: 13: 14; 00 как о маленьких ведерках, которые сидят на конвейерной ленте.
00: 13: 18; 26 Идет дождь, и мы хотим измерить, сколько осадков выпадает
00: 13: 24; 08 в каждое из этих отдельных ведер. Ну что нам делать?
00: 13: 28; 23 Мы останавливаем дождь, а затем начинаем переносить этот массив
00: 13: 34; 23 сегментов, по одному столбцу за раз, в этот последовательный сегмент
00: 13: 41; 26 массив вот в конце. Таким образом, мы получаем всю воду из этого последнего ряда
00: 13: 47; 04 здесь, в этот последовательный ряд, и впоследствии мы можем теперь
00: 13: 51; 03 считывать ведро за ведром в наш мерный цилиндр
00 : 13: 55; 22 сколько воды фактически упало в каждое отдельное ведро.
00: 14: 00; 15 И так, пока мы сохраняем правильность нашего администрирования,
00: 14: 04; 04, в конце концов, мы точно знаем, в каком ведре было сколько
00: 14: 07; 18 воды. Например, вы уже можете видеть здесь, или эта аналогия также
00: 14: 13; 02 прекрасно объясняет, что если вы хотите прочитать это быстрее,
00: 14: 16; 01 вы должны прочитать этот единственный элемент быстрее.
00: 14: 21; 15 и быстрее, сколько воды там было. И вы можете увидеть
00: 14: 24; 12, что будет менее точным.И это вообще
00: 14: 27; 29 правда. Чем быстрее вы считываете ПЗС, тем больше шума вы получаете
00: 14: 31; 20. Это очень справедливая аналогия. И он отлично работает
00: 14: 38; 24, и вы прекрасно можете просто запомнить это.
00: 14: 42; 21 Тем не менее, я хочу дать вам некоторое представление
00: 14: 45; 27 о том, что на самом деле происходит. Итак, этот ПЗС-чип
00: 14: 52; 07 в основном состоит из этого полупроводникового материала. Здесь мы смотрим на
00: 14: 56; 02 вверху. Здесь есть ограничители каналов, которые удерживают заряд
00: 15: 02; 00 между этими рядами.И эти электроды
00: 15: 07; 19 будут использоваться для передачи заряда через чип. Итак, вот
00: 15: 13; 09 поперечное сечение, где мы видим остановки канала, а
00: 15: 16; 24 мы видим электроды сверху, полупроводниковый материал
00: 15: 20; 24, который будет накапливают заряд. Когда мы начнем экспонирование
00: 15: 24; 21, произойдет то, что фотоны
00: 15: 29; 13 будут приходить, они преобразуются в электроны, которые мы
00:15 : 35; 05 часто называют фотоэлектронами.И как фотоэлектроны, они будут
00: 15: 39; 26 храниться в этой центральной части микросхемы, потому что мы случаем, чтобы
00: 15: 42; 23 помещали заряд, положительный заряд, на этот центральный электрод.
00: 15: 47; 07 Таким образом, электроны останутся прямо под этим
00: 15: 52; 16 заряженным электроном. Итак, как только мы закончили с этой экспозицией,
00: 15: 56; 28 мы останавливаем входящие фотоны, теперь мы собираемся прочитать это.
00: 16: 01; 19 Итак, что сейчас произойдет, так это то, что мы поместим
00: 16: 08; 03 последовательность напряжений на эти три электрода на каждой микросхеме
00:16:12; 10, и это в конечном итоге приведет к перемещению заряда
00: 16: 15; 26 через чип.Итак, здесь мы видим напряжения
00: 16: 22; 10, которые будут приложены к этим отдельным электронам.
00: 16: 26; 02 Итак, в этот момент мы видим, что напряжение для этого третьего электрода составляет
00: 16: 30; 28 5 В. А затем, когда мы теперь проходим цикл с
00: 16: 36; 23 через, у нас теперь есть и второй, и третий электроды с
00: 16: 41; 26 в высоту. Это размазает этот электронный пакет на 2/3
00: 16: 47; 25 микросхемы. Затем мы опускаем этот третий электрод,
00: 16: 52; 28, так что теперь мы уже переместились на 1/3 пикселя, который заряжается электроном
00: 16: 57; 01.Мы проделываем тот же трюк со следующим электродом
00: 17: 03; 00 здесь. Мы поднимаем это, размазываем пакет напряжения,
00: 17: 05; 24 и так далее, и так далее. Пока в конце не перемещаем заряд
00: 17: 11; 13 из этого пикселя в следующий. Таким образом, этот процесс
00: 17: 15; 18 повторяется снова и снова со скоростью
00: 17: 19; 26 много миллионов раз в секунду, чтобы прочитать обвинение, которое
00:17:25; 04 накопился в вашей микросхеме CCD. Здесь есть одна маленькая хитрость, и
00: 17: 31; 25 это то, о чем я говорил вам, что дождь прекратился в определенный момент
00: 17: 36; 12 вовремя.Что фотоны перестают приходить. На самом деле это
00: 17: 41; 22, конечно, не так. Поэтому мы должны использовать какой-то трюк
00: 17: 45; 28, чтобы этот свет не достигал фотодатчика.
00: 17: 50; 05 И эта проблема лежит в основе этих различных архитектур CCD
00: 17: 56; 22. Итак, описанный мною чип был полнокадровым чипом
00: 18: 01; 16. И, по сути, в этом случае, что вам нужно сделать, это когда
00: 18: 06; 23 вы начнете его читать, вам нужно поставить заслонку перед
00: 18: 10; 07 чипа, чтобы не было больше света достигает его.Это, конечно,
00: 18: 16; 03 нехорошо, потому что ставни громоздкие, они двигаются.
00: 18: 21; 07 Они медленные. Итак, есть еще несколько уловок. Один трюк
00: 18: 28; 00 связан с так называемой архитектурой передачи кадров. Что происходит здесь
00: 18: 32; 22, так это то, что фактический чип в два раза превышает размер той части, с которой вы можете работать с
00: 18: 40; 14, где половина чипа темная, поэтому получается
00: 18: 44; 20 алюминиевый слой, нанесенный поверх микросхемы, так что никакой свет
00: 18: 48; 14 никогда не может до него добраться.Теперь вы можете очень быстро синхронизировать заряд
00: 18: 54; 12 этой части микросхемы за один переход в нижнюю половину микросхемы.
00: 18: 58; 17 А затем вы можете начать читать эту нижнюю половину на досуге
00: 19: 03; 06 или так быстро, как хотите. Уже можно начинать выставлять
00: 19: 06; 22 верхнюю часть микросхемы передачи кадров. Это работает очень хорошо,
00: 19: 11; 07, за исключением случаев, когда у вас есть очень яркие объекты в верхней половине,
00: 19: 15; 10, и тогда вы увидите, как эти линии размываются.Итак, есть еще одна уловка
00: 19: 19; 20, и это так называемая архитектура межстрочного переноса.
00: 19: 24; 28 Итак, что происходит, мы получаем чередующиеся столбцы
00: 19: 28; 21 светочувствительных ячеек и темных ячеек. И теперь мы можем за одно движение
00: 19: 35; 23 перейти из открытой области в темноту
00: 19: 41; 10. Итак, мы переходим отсюда сюда очень быстрым ходом
00: 19: 46; 10. А затем мы можем прочитать, что на чипе вкраплено
00: 19: 50; 00 темных участков.И у этого явно есть обратная сторона в том, что
00: 19: 54; 00, как половина площади нашего чипа, не может видеть свет, потому что
00: 19: 58; 25 темно. Итак, один трюк, чтобы обойти это, — это
00: 20: 02; 24 поместить маленькие микролинзы поверх этих двух и направить
00: 20: 07; 26 свет, который обычно попадает в темный пиксель, в
00 : 20: 10; 24 светлый пиксель. Итак, эти две архитектуры, передача кадра
00: 20: 16; 00 и межстрочная передача — это то, что в основном будет
00: 20: 19; 18, которое мы увидим позже.Итак, один оставшийся вопрос или один вопрос
00: 20: 27; 07, который очень часто задают: почему мы не используем цветные камеры
00: 20: 32; 27 для этой микроскопии? И причина этого
00: 20: 37; 24 в том, что мы действительно заботимся о нашем световом бюджете, поэтому для любого фотона
00: 20: 42; 03, который собирается попасть в камеру, мы хотим
00:20: 47; 07 измерить их. Нам нужны камеры с высокой квантовой эффективностью
00: 20: 49; 28. Мы действительно хотим увидеть весь возможный свет.
00: 20: 53; 28 Итак, цветная ПЗС имеет фундаментальную проблему:
00: 20: 59; 23 вам не поможет в этом отношении, потому что цветная ПЗС-матрица
00: 21: 04; 04 ничего кроме монохромных ПЗС-матриц с небольшими цветными масками
00: 21: 08; 06 поверх каждого пикселя.И наиболее часто маска
00: 21: 12; 27 называется маской Байера и состоит из двух зеленых пикселей:
00: 21: 16; 12, синего и красного. Считываемые изображения.
00: 21: 22; 20 Информация об интенсивности берется из каждого пикселя
00: 21: 26; 21, но на самом деле информация о цвете вычисляется на компьютере
00: 21: 31; 19 или во встроенном ПО camera из
00: 21: 34; 23 информации о тех соседних пикселях, которые разноцветны.
00: 21: 38; 19 Это означает, что мы отбрасываем как минимум 2/3 из
00: 21: 44; 02 света на каждый пиксель.И мы также получаем интерполированное изображение
00: 21: 49; 29, а не настоящее изображение. Таким образом, на большинстве изображений, полученных с помощью флуоресцентной микроскопии
00: 21: 55; 10, где нас интересуют фотоны
00: 21: 59; 08, вы не увидите цветные ПЗС-матрицы. Итак,
00: 22: 06; 19, первая часть детекторов. Я хочу упомянуть Курта. Курт Торн
00: 22: 12; 08, который предоставил довольно много материала для этого выступления.
00: 22: 16; 07 Кроме того, этот веб-сайт micro.magnet.fsu.edu является отличным ресурсом
00: 22: 23; 10 для всего, что связано с микроскопией, и было несколько
00: 22: 26; 28 иллюстраций. что я использовал от них.И еще я использовал
00: 22: 31; 20 материалов из Википедии.

Как оценить чувствительность камеры

Сравнение характеристик камеры с использованием стандарта качества изображения EMVA1288

Что внутри:

• Введение в измерения характеристик изображения на основе EMVA1288
• Определение различных измерений и способы их измерения
• Сравнение характеристик камер при слабом освещении при разном времени выдержки
• Сравнение традиционной ПЗС-матрицы с современной КМОП-матрицей
• Сравнение поколений сенсоров Sony Pregius
• Заключение

Сравнить основные характеристики камеры, такие как частота кадров, разрешение и интерфейс, легко; используйте наш новый селектор камеры для фильтрации и сортировки 14+ спецификаций EMVA, чтобы найти точное соответствие требованиям вашего проекта.Однако сравнение характеристик изображений камер, таких как квантовая эффективность, временный темновой шум и способность насыщения, имеет тенденцию быть немного более сложным. Во-первых, нам нужно понять, что на самом деле означают эти различные измерения.

Что такое квантовая эффективность и измеряется ли она на пике или на определенной длине волны? Чем отношение сигнал / шум отличается от динамического диапазона? В этом техническом документе рассматриваются эти вопросы и объясняется, как сравнивать и выбирать камеры на основе данных о характеристиках изображения в соответствии со стандартом EMVA1288.

EMVA1288 — это стандарт, который определяет, какие аспекты характеристик камеры следует измерять, как их измерять и как представлять результаты единым методом. Первый раздел официального документа поможет понять различные аспекты работы датчика изображения. В нем будут изложены основные концепции, которые важно понимать при рассмотрении того, как датчик изображения преобразует свет в цифровое изображение и в конечном итоге определяет производительность датчика. На рисунке 1 представлен один пиксель и освещены эти концепции.

Рисунок 1. Как датчик изображения преобразует свет в цифровое изображение

Сначала нам нужно понять шум, присущий самому свету. Свет состоит из дискретных частиц, фотонов, генерируемых источником света. Поскольку источник света генерирует фотоны в случайное время, в воспринимаемой интенсивности света будет шум. Физика света утверждает, что шум, наблюдаемый в интенсивности света, эквивалентен квадратному корню из числа фотонов, генерируемых источником света.Этот тип шума называется дробовым шумом.

Следует отметить, что количество фотонов, наблюдаемых пикселем, будет зависеть от времени экспозиции и интенсивности света. В этой статье мы будем рассматривать количество фотонов как комбинацию времени экспозиции и интенсивности света. Точно так же размер пикселя оказывает нелинейное влияние на способность датчика собирать свет, потому что его необходимо возвести в квадрат, чтобы определить светочувствительную область. Более подробно об этом пойдет речь в следующей статье в контексте сравнения производительности двух камер.

Первым шагом в оцифровке света является преобразование фотонов в электроны. В этой статье не рассматривается, как это делают датчики, а скорее представлена ​​мера эффективности преобразования. Отношение электронов, генерируемых в процессе оцифровки, к фотонам называется квантовой эффективностью (QE). Пример сенсора на Рисунке 1 имеет QE 50%, потому что 3 электрона генерируются, когда 6 фотонов «падают» на сенсор.

Перед оцифровкой электронов они сохраняются в пикселе, называемом колодцем.Количество электронов, которое может храниться в лунке, называется емкостью насыщения или глубиной лунки. Если яма получает больше электронов, чем емкость насыщения, дополнительные электроны не будут храниться.

Когда пиксель завершает сбор света, измеряется заряд в лунке, и это измерение называется сигналом. Измерение сигнала на рисунке 1 представлено стрелкой. Ошибка, связанная с этим измерением, называется временным темным шумом или шумом считывания.

Наконец, шкала серого определяется путем преобразования значения сигнала, выраженного в электронах, в 16-битное значение пикселя аналогово-цифровых единиц (ADU). Отношение между значением аналогового сигнала и значением цифровой шкалы серого называется усилением и измеряется в электронах на ADU. Параметр усиления, определенный в стандарте EMVA1288, не следует путать с коэффициентом усиления процесса «аналого-цифрового» преобразования.

При оценке характеристик камеры часто используют отношение сигнал / шум и динамический диапазон.Эти два показателя производительности камеры учитывают отношение шума, наблюдаемого камерой, к сигналу. Разница в том, что динамический диапазон учитывает только темпоральный темновой шум, в то время как отношение сигнал / шум также включает среднеквадратичное суммирование дробового шума.

Абсолютный порог чувствительности — это количество фотонов, необходимое для получения сигнала, эквивалентного шуму, наблюдаемому датчиком. Это важный показатель, поскольку он представляет собой теоретическое минимальное количество света, необходимое для наблюдения любого значимого сигнала.Подробности этого измерения будут более подробно описаны в следующих статьях.

Чтобы помочь сравнить датчики и камеры, основанные на стандарте EMVA1288, FLIR провела первое в отрасли всестороннее исследование характеристик изображения более чем 70 моделей камер.

Измерение	Определение	Под влиянием	Блок
Дробовой шум	Корень квадратный из сигнала	Вызвано природой света	e-
Размер пикселя	Ну, размер пикселя…	Конструкция датчика	мкм
Квантовая эффективность	Процент фотонов, преобразованных в электроны на определенной длине волны	Конструкция датчика	%
Темновой временной шум (шум чтения)	Шум в датчике при отсутствии сигнала	Конструкция сенсора и камеры	e-
Мощность насыщения (глубина скважины)	Количество заряда, которое может удерживать пиксель	Конструкция сенсора и камеры	e-
Максимальное отношение сигнал / шум	Наивысшее возможное отношение сигнала ко всему шуму, включенному в этот сигнал, , включая дробовой шум и временный темновой шум .”	Конструкция сенсора и камеры	дБ, бит
Динамический диапазон	Отношение сигнал / шум, включая только временный темновой шум	Конструкция сенсора и камеры	дБ, бит
Абсолютный порог чувствительности	Количество фотонов, необходимое для получения сигнала, равного шуму	Конструкция сенсора и камеры	Ƴ
Прирост	Параметр, указывающий, насколько большое изменение электронов необходимо для наблюдения изменения в 16-битных ADU (более известных как серая шкала)	Конструкция сенсора и камеры	e- / ADU

Сравнение характеристик камер при слабом освещении

В этом техническом документе мы будем рассматривать такие приложения, как распознавание номерных знаков (LPR) или оптическое распознавание символов (OCR), где обычно используется монохромное изображение, а количество света, которое может улавливать камера, может быть ограничено из-за короткой выдержки. раз.Достаточно просто определить разрешение, частоту кадров и поле зрения, необходимые для решения проблемы изображения, однако решить, будет ли камера иметь достаточную производительность изображения, может быть сложнее.

Эта проблема обычно решается методом проб и ошибок. Давайте рассмотрим пример, когда разработчик системы технического зрения определяет, что для приложения достаточно VGA-камеры с ¼ ’’ CCD, работающей со скоростью 30 кадров в секунду. Первоначальные тесты могут показать, что камера имеет достаточную чувствительность при выдержке 10 мс, когда объект неподвижен.См. Рисунок 2, на котором показан простой пример с символами B, 8, D и 0, которые могут быть легко перепутаны алгоритмом машинного зрения. Верхнее левое изображение, полученное с помощью ¼ ’’ CCD-камеры, дает изображения, подходящие для обработки изображений.

Рисунок 2: Результаты, полученные с помощью ПЗС-камер 1/4 » и 1/2 » при разном времени выдержки

Однако, когда объект начинает двигаться, время экспозиции необходимо уменьшить, а камера не может предоставить полезную информацию, потому что буквы «B» и «D» нельзя отличить от цифр «8» и «0».Изображения в среднем и нижнем левом углу рисунка 2 показывают ухудшение качества изображения. В частности, ’’ CCD при времени экспозиции 2,5 мс дает изображения, непригодные для обработки изображений.

В данном примере предполагается, что большая глубина резкости не требуется, и поэтому минимальное F-число объектива является приемлемым. Другими словами, невозможно собрать больше света, открыв затвор объектива.

Итак, дизайнеру нужно подумать о другой камере.Вопрос в том, может ли другая камера улучшить производительность системы. Использование более крупного датчика обычно считается хорошим способом решения проблем с низкой освещенностью, поэтому датчик ½ ’’ может быть хорошим выбором. Но вместо того, чтобы продолжать метод проб и ошибок, может оказаться полезным рассмотрение производительности камеры EMVA 1288 по визуализации.

Камера	Датчик	Размер пикселя (мкм)	Квантовая эффективность (%)	Темпоральный темный шум (e-)	Емкость насыщения (эл.)
Камера 1/4 ’’ (FL3-GE-03S1M-C)	ICX618	5.6	70	11,73	14 508
Камера 1/2 » (BFLY-PGE-03S3M-C)	ICX414	9,9	39	19,43	25 949

Глядя на данные EMVA 1288, можно заметить, что ’’ сенсор имеет лучшую квантовую эффективность и меньший шум, но ½ ’’ ПЗС-матрица имеет больший пиксель и большую емкость насыщения. В этой статье показано, как определить, будет ли камера ½ «» работать лучше.

На рис. 3 камеры сравниваются путем построения графика зависимости величины сигнала от плотности света (фотоны / мкм2). Сигнал как функция плотности света определяется по следующей формуле:

Важное предположение, сделанное в этой статье, заключается в том, что у объективов одинаковое поле зрения, одинаковое число F и одинаковые настройки камеры.

Рисунок 3: Сигнал, создаваемый камерами CCD 1/4 » и 1/2 », в зависимости от уровня освещенности

Подпишитесь, чтобы получить больше подобных статей

Зарегистрироваться

На рисунке показано, что при той же плотности света датчик ½ ’’ будет генерировать более высокий сигнал.Также можно заметить, что насыщение происходит при аналогичном уровне плотности света 700 фотонов / мкм2, однако датчик ½ ’’ имеет значительно более высокую насыщающую способность.

В приложении, рассматриваемом в этом техническом документе, сравнение камер необходимо проводить при низком уровне освещенности. Поэтому рассмотрение уровней шума становится особенно важным.

На рисунке 4 показаны сигнал и шум при слабом освещении. Шум, представленный на рисунке, представляет собой сумму среднеквадратичного значения временного темнового шума и дробового шума, который был рассчитан по следующей формуле:

Рисунок 4: Сигнал и шум ПЗС-камер 1/4 » и 1/2 » при низкой освещенности

График показывает, что абсолютный порог чувствительности (уровень освещенности, при котором сигнал равен шуму) достигается датчиком ½ ’’ на несколько более низком уровне, чем у датчика ’’.Более важной мерой, необходимой для определения того, какая камера будет работать лучше при слабом освещении, является отношение сигнал / шум (SNR).

На рисунке 5 показано соотношение сигнал / шум двух камер в зависимости от уровня освещения.

Рисунок 5: Отношение сигнал / шум для камер CCD 1/4 » и 1/2 » при низкой освещенности

Исходя из более высокого отношения сигнал / шум датчика ½ ’’, теория предполагает, что камеры ½ ’’ должны работать лучше, чем камера ’’ при слабом освещении.

Из изображений на Рисунке 2 видно, что при времени экспозиции 2,5 мс датчик ½ ’’ сохраняет форму символов при всех временах выдержки, в то время как датчик ¼ ’’ затрудняет различение символов. Таким образом, датчик ½ ’’ работает лучше, а практические результаты соответствуют теории.

Компания FLIR провела обширное исследование камер и опубликовала результаты работы с изображениями EMVA 1288. Эта информация может использоваться для сравнения производительности различных моделей камер.Хотя реализация камеры действительно влияет на качество изображения, это исследование в целом может быть полезно при сравнении любых двух камер с датчиками, описанными в документе.

FLIR предлагает специальные документы для сравнения камер. Свяжитесь с [email protected], чтобы запросить сравнение моделей камер FLIR.

Следует отметить, что метод, описанный в этом техническом документе, полезен для получения общего представления о том, насколько хорошо одна камера будет работать по сравнению с другой. Этот метод может помочь исключить камеры, которые вряд ли улучшат требуемую производительность, однако окончательная проверка производительности камеры проводится в реальном приложении.

Сравнение традиционной ПЗС-матрицы с современной КМОП-матрицей

Теперь мы сравним характеристики традиционного ПЗС-датчика и современного КМОП-датчика в условиях низкой освещенности и в сцене с широким диапазоном условий освещения.

В предыдущем разделе мы показали, что камера с Sony ICX414, ПЗС-матрица VGA ½ дюйма, работает лучше в условиях низкой освещенности, чем камера с Sony ICX618, ПЗС-матрица VGA ¼ ’’. Теперь мы сравним ½ ’’ ПЗС-матрицу VGA с новым Sony Pregius IMX249, 1/1.2 ’’ КМОП-матрица с разрешением 2,3 мегапикселя с глобальным затвором.

На первый взгляд это может показаться сравнением «яблок с апельсинами», однако стоимость камер с этими двумя датчиками сопоставима и составляет примерно 400 евро, интересующая область VGA в CMOS-камере на самом деле ближе к оптическому размеру » камера и частота кадров также аналогичны при разрешении VGA.

Данные EMVA 1288 для камер показывают, что CMOS-датчик IMX249 имеет значительно лучшую квантовую эффективность, более низкий уровень шума и более высокую насыщающую способность.С другой стороны, матрица CCD ICX414 имеет больший пиксель, что было критическим параметром в примере, представленном в предыдущей статье.

Камера	Датчик	Размер пикселя (мкм)	Квантовая эффективность (%)	Темпоральный темный шум (e-)	Емкость насыщения (эл.)
ПЗС-камера 1/2 « (BFLY-PGE-03S3M-C)	ICX414	9.9	39	19,43	25 949
1 / 1,2-дюймовая CMOS-камера (BFLY-PGE-23S6M-C)	IMX249	5,86	80	7,11	33,105

Рисунок 6. Отношение сигнал / шум датчиков ICX414 CCD и IMX249 CMOS при низких уровнях освещенности

Рисунок 7: Результаты, полученные с помощью датчиков ICX414 CCD и IMX249 CMOS при разном времени экспозиции

Более интересное сравнение проводится при более высокой интенсивности света из-за разницы в способности насыщения между двумя датчиками.На рис. 8 показан сигнал как функция интенсивности света во всем диапазоне интенсивностей света. Из графика видно, что ПЗС-сенсор ICX414 достигнет насыщающей способности около 700 фотонов / мкм 2 , в то время как CMOS-сенсор IMX249 будет насыщаться при более чем 1200 фотонов / мкм 2 .

Рисунок 8: Сигнал, создаваемый ПЗС-матрицей ICX414 и КМОП-матрицей IMX249, в зависимости от уровня освещенности

Первый вывод, который можно сделать, заключается в том, что изображение, создаваемое датчиком ICX414 CCD, будет ярче, чем изображение, созданное датчиком IMX249 CMOS.Если это не очевидно из графика, рассмотрите изображение, которое будет получено при плотности около 700 фотонов / мкм2. В случае сенсора ICX414 CCD изображение должно иметь самые высокие уровни шкалы серого, скорее всего, насыщенное, в то время как сенсор IMX249 CMOS будет выдавать изображение с яркостью чуть более 50% от максимальной. Это наблюдение важно, потому что наивный подход к оценке чувствительности камеры заключается в наблюдении за яркостью изображения. Другими словами, предполагается, что более яркое изображение будет получено с камеры с более высокими характеристиками.Однако это неверно, и в этом примере на самом деле все наоборот: камера, которая создает более темные изображения, на самом деле имеет лучшую производительность.

Рисунок 9: Результаты, полученные с помощью датчиков ICX414 CCD и IMX249 CMOS в сложных условиях освещения

Второе наблюдение заключается в том, что CMOS-датчик IMX249 создает изображения, которые полезны для обработки изображений в более широком диапазоне условий освещения. На рисунке 9 показана одна и та же сцена, полученная двумя камерами.Следует отметить, что более темная часть изображений была улучшена для отображения, однако основные данные не были изменены. Из изображений можно заметить, что ПЗС ICX414 насыщена в светлых областях сцены, в то же время в темных областях слишком много шума, чтобы символы были разборчивы. Напротив, CMOS-датчик IMX249 создает четкие символы в ярких и темных частях сцены.

Наконец, мы можем сделать вывод, что недавняя технология CMOS с глобальным затвором стала жизнеспособной альтернативой CCD в приложениях машинного зрения.Датчики не только менее дорогие, имеют более высокую частоту кадров при эквивалентном разрешении и не имеют таких артефактов, как размытие и размытие, но и превосходят характеристики изображения ПЗС-матриц.

Сравнение поколений Sony Pregius

Как мы уже говорили в предыдущем разделе, размер сенсора сильно влияет на производительность сенсора из-за того, что более крупные пиксели позволяют собирать в них большее максимальное количество фотонов, а также позволяют собирать больше фотонов при тех же условиях освещения.Компромисс для увеличения размера пикселя заключается в том, что размер сенсора должен быть больше, чтобы соответствовать заданному разрешению, по сравнению с использованием сенсора с меньшим размером пикселя, что увеличивает стоимость сенсора. На рисунке ниже показано, как изменился размер пикселя между различными поколениями сенсоров Sony Pregius.

Рисунок 10: Различия в размере пикселей между датчиками Sony Pregius

разных поколений

Несмотря на тенденцию к уменьшению размера пикселей (помимо датчика 3-го поколения), качество изображения датчика увеличивалось, за исключением емкости датчика, с каждым поколением.Основная причина улучшения качества изображения заключается в низком временном темновом шуме датчика, обнаруженного во 2-м поколении и более поздних версиях. На приведенном ниже рисунке показано, как временный темновой шум датчика прогрессировал в различных поколениях датчика Pregius.

Рис. 11. Pregius S поддерживает низкий уровень шума чтения
Чтобы получить полное представление о характеристиках датчика изображения, пожалуйста, обратитесь к таблице ниже, где указаны характеристики типичного датчика каждого поколения Pregius.

Просматривая приведенную выше таблицу, можно заметить, что, несмотря на наименьший размер пикселя, качество изображения датчика Pregius S сравнимо с датчиками 2-го и 3-го поколения, это связано с конструкцией датчика с задней подсветкой, которая позволяет использовать более широкий угол входа фотона, который помогает захватить больше света на пиксель.

Рис. 12. Датчики BSI меняют традиционную конструкцию датчика с передней подсветкой, облегчая проникновение фотонов на светочувствительный фотодиод

каждого пикселя.

Эта новая конструкция датчика позволяет семейству датчиков Pregius S поддерживать характеристики изображения предыдущих поколений, используя при этом самый маленький пиксель, что приводит к датчикам с более высоким разрешением по относительно низким ценам.

Заключение

В этом техническом документе мы изучили ключевые концепции, используемые при оценке характеристик камеры. Мы представили стандарт EMVA1288 и применили результаты для сравнения характеристик камеры в различных условиях освещения. Есть еще много других аспектов производительности камеры, которые можно учитывать при оценке камеры. Например, квантовая эффективность резко меняется на разных длинах волн, поэтому камера, которая хорошо работает на 525 нм, может не работать так хорошо, когда источник света находится на частотах, близких к инфракрасному (БИК).Точно так же при длительной экспозиции, характерной для флуоресценции и астрономических изображений, необходимо учитывать влияние темнового тока, типа шума, который важен при чрезвычайно низких уровнях освещенности.

Выбрать правильную камеру на основе характеристик изображения непросто, однако мы надеемся, что этот технический документ немного помог разобраться в этой увлекательной и сложной теме.

Отфильтруйте и сортируйте, используя более 14 спецификаций EMVA, чтобы найти точное соответствие требованиям вашего проекта — попробуйте наш новый селектор камеры.

Digital Imaging in Optical Microscopy — Introduction to CMOS Image Sensors

Появление твердотельных устройств формирования изображений с высоким разрешением, в первую очередь устройств с зарядовой связью ( CCDs ) и дополнительных металлооксидных полупроводниковых датчиков изображения ( CMOS ), объявлено новая эра в оптической микроскопии, которая угрожает затмить традиционные технологии записи изображений, такие как пленки, видеолампы и фотоумножители. Системы камер устройств с зарядовой связью, разработанные специально для микроскопии, предлагаются многочисленными производителями оригинального оборудования и послепродажного обслуживания, а КМОП-датчики изображения теперь становятся доступными для некоторых микроскопов.

Обе технологии были разработаны в период с начала до конца 1970-х годов, но КМОП-датчики имели неприемлемые характеристики и до начала 1990-х годов обычно игнорировались или считались просто диковинкой. К тому времени успехи в разработке КМОП привели к появлению чипов с меньшими размерами пикселей, уменьшенным шумом, более мощными алгоритмами обработки изображений и более крупными массивами изображений. Среди основных преимуществ КМОП-датчиков — низкое энергопотребление, основная тактовая частота и источник питания с одним напряжением, в отличие от ПЗС-матриц, которые часто требуют 5 или более напряжений питания при разных тактовых частотах со значительно более высоким энергопотреблением.И КМОП, и ПЗС-чипы воспринимают свет с помощью аналогичных механизмов, используя фотоэлектрический эффект , который возникает, когда фотоны взаимодействуют с кристаллизованным кремнием, продвигая электроны из валентной зоны в зону проводимости. Обратите внимание, что термин «CMOS» относится к процессу изготовления датчика изображения, а не к конкретной технологии формирования изображения.

Когда широкий диапазон длин волн видимого света падает на специально легированные кремниевые полупроводниковые материалы, высвобождается переменное количество электронов пропорционально плотности потока фотонов, падающих на поверхность фотодиода.Фактически, количество образовавшихся электронов зависит от длины волны и интенсивности света, падающего на полупроводник. Электроны собираются в потенциальной яме до завершения периода интегрирования (освещения), а затем они либо преобразуются в напряжение (процессоры CMOS), либо передаются в измерительный регистр (датчики CCD). Измеренное напряжение или заряд (после преобразования в напряжение) затем пропускается через аналого-цифровой преобразователь, который формирует цифровое электронное представление сцены, отображаемой датчиком.

Фотодиод, часто называемый пикселем, является ключевым элементом цифрового датчика изображения. Чувствительность определяется комбинацией максимального заряда, который может накапливаться фотодиодом, в сочетании с эффективностью преобразования падающих фотонов в электроны и способностью устройства накапливать заряд в ограниченной области без утечки или побочного эффекта. Эти факторы обычно определяются физическим размером и апертурой фотодиода, а также его пространственным и электронным отношением к соседним элементам в матрице.Другим важным фактором является коэффициент преобразования заряда в напряжение, который определяет, насколько эффективно интегрированный заряд электронов преобразуется в сигнал напряжения, который может быть измерен и обработан. Фотодиоды обычно организованы в виде ортогональной сетки, размер которой может варьироваться от 128 × 128 пикселей (16 тыс. Пикселей) до более распространенного 1280 × 1024 (более миллиона пикселей). Некоторые из новейших датчиков изображения CMOS, например, разработанные для телевидения высокой четкости ( HDTV ), содержат несколько миллионов пикселей, организованных в очень большие массивы размером более 2000 квадратных пикселей.Сигналы от всех пикселей, составляющих каждую строку и каждый столбец массива, должны быть точно обнаружены и измерены (считаны), чтобы собрать изображение из данных накопления заряда фотодиода.

В оптической микроскопии свет, собранный объективом, фокусируется проекционной линзой на поверхность датчика, содержащую двумерный массив идентичных фотодиодов, называемых элементов изображения или пикселей . Таким образом, размер массива и размеры в пикселях определяют пространственное разрешение датчика.Интегральные схемы CMOS и CCD по своей сути являются монохроматическими (черно-белыми) устройствами, реагирующими только на общее количество электронов, накопленных в фотодиодах, а не на цвет света, вызывающий их высвобождение из кремниевой подложки. Цвет определяется либо путем прохождения падающего света через последовательный ряд красных, зеленых и синих фильтров, либо с помощью миниатюрных прозрачных полимерных тонкопленочных фильтров, которые нанесены мозаичным узором на массив пикселей.

Анатомия фотодиода CMOS

Основным преимуществом CMOS-датчиков изображения по сравнению с их аналогами CCD является возможность интегрировать ряд функций обработки и управления, которые выходят за рамки основной задачи сбора фотонов, непосредственно на датчике Интегральная схема.Эти функции обычно включают в себя временную логику, управление экспозицией, аналого-цифровое преобразование, затвор, баланс белого, регулировку усиления и алгоритмы начальной обработки изображения. Для выполнения всех этих функций архитектура интегральной схемы КМОП больше напоминает архитектуру ячейки памяти с произвольным доступом, чем простую матрицу фотодиодов. Самые популярные конструкции КМОП построены на основе технологии активных пикселей ( APS ), в которой фотодиод и усилитель считывания встроены в каждый пиксель.Это позволяет заряду, накопленному фотодиодом, преобразовываться в усиленное напряжение внутри пикселя, а затем передаваться в последовательных строках и столбцах в блок обработки аналогового сигнала микросхемы.

Таким образом, каждый пиксель (или элемент изображения) содержит, помимо фотодиода, триаду транзисторов, которые преобразуют накопленный заряд электронов в измеряемое напряжение, сбрасывают фотодиод и передают напряжение на шину вертикального столбца. Результирующий массив представляет собой организованную шахматную доску металлических шин считывания, которые содержат фотодиод и соответствующие схемы подготовки сигнала на каждом перекрестке.Шины подают синхронизирующие сигналы на фотодиоды и возвращают считываемую информацию обратно в схему аналогового декодирования и обработки, размещенную вдали от матрицы фотодиодов. Эта конструкция позволяет считывать сигналы от каждого пикселя в массиве с помощью простых методов адресации x, ​​y , что невозможно с современной технологией CCD.

Архитектура типичного датчика изображения CMOS представлена ​​на рисунке 1 для кристалла интегральной схемы, который содержит активную область изображения 640 × 480 пикселей.Матрица фотодиодов, расположенная в большой красновато-коричневой центральной области чипа, покрыта упорядоченным тонким слоем полимерных фильтров, окрашенных в красный, зеленый и синий цвета, размер каждого из которых соответствует размеру отдельного фотодиода (аналогично технология, используемая для цветных ПЗС-матриц). Чтобы сконцентрировать падающие фотоны в лунках фотодиода для сбора электронов, отфильтрованные фотодиоды также размещаются под миниатюрной линзой с положительным мениском (см. Рисунки 2, 3 и 4), известной как микролинза, или линзовидная матрица.На вставке к рисунку 1 показаны фильтры и матрица микролинз в большом увеличении. В интегральную схему, показанную на рисунке 1, также включена схема обработки аналоговых сигналов, которая собирает и интерпретирует сигналы, генерируемые матрицей фотодиодов. Затем эти сигналы отправляются в схемы аналого-цифрового преобразования, расположенные рядом с матрицей фотодиодов в верхней части микросхемы (как показано на рисунке 1). К другим функциям, выполняемым датчиком изображения CMOS, относятся синхронизация по времени для пошаговой генерации заряда, сбора, передачи и измерения напряжения, а также обработка изображения и вывод накопленных сигналов.

При более внимательном рассмотрении матрица фотодиодов показывает последовательный узор из красного, зеленого и синего фильтров, которые расположены в виде мозаики, названной в честь инженера Kodak Брайса Э. Байера. Эта матрица цветных фильтров (шаблон фильтра Байера ) предназначена для захвата информации о цвете из широкополосного падающего света, поступающего от системы оптических линз. Фильтры расположены в квартете (рис. 2 (а) и рис. 2 (б)), упорядоченными в последовательные ряды, в которых чередуются красный и зеленый или синий и зеленый фильтры (рис. 2 (а)).На рисунке 2 представлены цифровые изображения, полученные с помощью оптического микроскопа высокого разрешения типичной матрицы фильтров Байера и нижележащих фотодиодов. На рис. 2 (а) показан вид чередующихся рядов фильтров. Каждый красный фильтр окружен четырьмя зелеными и четырьмя синими фильтрами, а каждый синий фильтр окружен четырьмя красными и четырьмя зелеными фильтрами. Напротив, каждый зеленый фильтр окружен двумя красными, четырьмя зелеными и двумя синими фильтрами. Изображение с большим увеличением основного повторяющегося блока представлено на рисунке 2 (b) и содержит один красный, один синий и два зеленых фильтра, благодаря чему общее количество зеленых фильтров в массиве равно количеству красных и синих фильтров. комбинированный.Сильный акцент на зеленых фильтрах обусловлен зрительной реакцией человека, которая достигает максимальной чувствительности в 550-нанометровом (зеленом) диапазоне длин волн видимого спектра.

Также на рисунке 2 (b) показана небольшая часть матрицы микролинз (также называемая линзами ), нанесенная фотолитографией на поверхность фильтров Байера и выровненная так, что каждая линза перекрывает отдельный фильтр. Форма миниатюрных линз приближается к форме линзы с выпуклым мениском и служит для фокусировки падающего света непосредственно в светочувствительную область фотодиода.Под решетками фильтров Байера и микролинз находятся сами фотодиоды, которые показаны на рисунке 2 (c) в виде четырех полных сборок фотодиодов или блоков пикселей. Один из фотодиодов на Рисунке 2 (c) обозначен большой белой рамкой (верхний правый угол), которая также содержит меньшую прямоугольную рамку внутри большей сетки. Белые прямоугольники обозначены буквами P и T , которые относятся к области сбора фотонов (светочувствительной) и опорной транзисторной области пикселя соответственно.

Как видно из изучения элементов фотодиода на рисунке 2 (c), большая часть области пикселя (примерно 70 процентов в этом примере) отведена вспомогательным транзисторам (усилитель, сброс и выбор строки), которые относительно непрозрачен для фотонов видимого света и не может использоваться для обнаружения фотонов. Остальные 30 процентов (меньшее белое поле, обозначенное P на рисунке 2 (c)) представляют собой светочувствительную часть пикселя. Поскольку такая небольшая часть фотодиода действительно способна поглощать фотоны для генерации заряда, коэффициент заполнения или апертура КМОП-чипа и фотодиодов, показанных на рисунках 1, 2 и 3, составляют только 30 процентов от общего количества фотодиода. площадь поверхности массива.Следствием этого является значительная потеря чувствительности и соответствующее снижение отношения сигнал / шум, что приводит к ограниченному динамическому диапазону. Коэффициенты заполнения различаются от устройства к устройству, но в целом они составляют от 30 до 80 процентов площади пикселей в датчиках CMOS.

Проблема пониженного коэффициента заполнения усугубляется зависимостью от длины волны поглощения фотонов, термином, который правильно называют квантовой эффективностью КМОП- и ПЗС-датчиков изображения. Три основных механизма препятствуют сбору фотонов светочувствительной областью: поглощение, отражение и пропускание.Как обсуждалось выше, более 70 процентов площади фотодиода может быть экранировано транзисторами и составными или чередующимися линиями металлических шин, которые являются оптически непрозрачными и поглощают или отражают большинство падающих фотонов, сталкивающихся со структурами. Эти уложенные друг на друга слои металла также могут вызывать нежелательные эффекты, такие как виньетирование, перекрестные помехи между пикселями, рассеяние света и дифракция.

Отражение и прохождение падающих фотонов происходит в зависимости от длины волны, при этом высокий процент отраженных более коротких волн (менее 400 нанометров) отражается, хотя эти потери могут (в некоторых случаях) распространяться в видимой области спектра.Многие КМОП-сенсоры имеют желтое полиимидное покрытие, нанесенное во время изготовления, которое поглощает значительную часть синего спектра до того, как эти фотоны достигнут области фотодиода. Уменьшение или минимизация использования слоев поликремния и полиимида (или полиамида) является основной задачей при оптимизации квантовой эффективности в этих датчиках изображения.

Более короткие волны поглощаются в первых нескольких микронах светочувствительной области, но постепенно более длинные волны проникают на большую глубину, прежде чем полностью поглощаются.Кроме того, самые длинные видимые длины волн (превышающие 650 нанометров) часто проходят через светочувствительную область, не улавливаясь (или не генерируя заряд электрона), что приводит к другому источнику потери фотонов. Хотя применение массивов микролинз помогает фокусировать и направлять входящие фотоны в светочувствительную область и может удвоить чувствительность фотодиода, эти крошечные элементы также демонстрируют селективность, основанную на длине волны и углу падения.

На рисунке 3 представлен трехмерный разрез типичного пикселя активного датчика CMOS, иллюстрирующий светочувствительную область (фотодиод), шины, микролинзы, фильтр Байера и три поддерживающих транзистора.Как обсуждалось выше, каждый элемент APS в датчике изображения CMOS содержит транзистор усилителя, который представляет устройство ввода того, что обычно называют повторителем источника (нагрузка повторителя источника является внешней по отношению к пикселю и общей для всех пикселей. в столбик). Истоковый повторитель — это простой усилитель, который преобразует электроны (заряд), генерируемые фотодиодом, в напряжение, которое выводится на шину столбца. Кроме того, пиксель также имеет транзистор сброса для управления временем интегрирования или накопления фотонов и транзистор выбора строки, который подключает вывод пикселя к шине столбца для считывания.Все пиксели в определенном столбце подключаются к усилителю считывания.

При работе первым шагом на пути к захвату изображения является инициализация транзистора сброса для слива заряда из светочувствительной области и обратного смещения фотодиода. Затем начинается период интегрирования, и свет, взаимодействуя с фотодиодной областью пикселя, производит электроны, которые накапливаются в кремниевой потенциальной яме, лежащей под поверхностью (см. Рисунок 3). По окончании периода интегрирования включается транзистор выбора строки, подключая транзистор усилителя в выбранном пикселе к его нагрузке, чтобы сформировать истоковый повторитель.Таким образом, заряд электрона в фотодиоде преобразуется в напряжение с помощью повторителя источника. Результирующее напряжение появляется на шине колонки и может быть обнаружено усилителем считывания. Затем этот цикл повторяется для считывания каждой строки в датчике для получения изображения.

Одним из основных недостатков трехпиксельной конструкции APS является относительно высокий уровень артефакта, известного как фиксированный шаблонный шум ( FPN ). Изменения в усилении и смещении транзистора усилителя, которые являются фундаментальной проблемой из-за колебаний технологического процесса CMOS во время производства, приводят к несоответствию выходных характеристик транзистора по всему массиву.В результате на захваченных изображениях видна структура шума, которая является постоянной и воспроизводимой от одного изображения к другому. В большинстве случаев фиксированный структурный шум может быть значительно уменьшен или устранен путем настройки схемы обработки аналогового сигнала, расположенной на периферии массива, или путем электронного вычитания темного изображения (коррекция плоского поля).

Массивы мозаичных фильтров и реконструкция изображения

Несбалансированная природа мозаичных массивов фильтров Байера, содержащих вдвое больше зеленых фильтров, чем синих или красных, также может представлять проблему с точки зрения точной цветопередачи отдельных пикселей.Типичные спектральные профили пропускания обычных красителей, используемых в конструкции фильтров Байера, представлены на рисунке 4. Квантовая эффективность красных фильтров значительно выше, чем у зеленого и синего фильтров, которые близки друг к другу по общей эффективности. Обратите внимание на относительно большую степень спектрального перекрытия между фильтрами, особенно в области от 520 до 620 нанометров (зеленый, желтый и оранжевый).

Часто возникает вопрос о точном характере цветопередачи и пространственного разрешения матриц фотодиодов, имеющих пиксели, разделенные на основные элементы шаблона фильтра Байера.Матрица фотодиодов с размерами пикселей 640 × 480 пикселей содержит всего 307 200 пикселей, что дает 76 800 квартетов Байера. Означает ли это, что реальное полезное пространственное разрешение изображения уменьшено до 320 × 240 пикселей? К счастью, пространственное разрешение в первую очередь определяется компонентом яркости цветных изображений, а не компонентом цветности (цвета). Это происходит потому, что человеческий мозг позволяет добавлять довольно грубую информацию о цвете к точной пространственной информации и объединяет их почти без проблем.Кроме того, фильтры Байера имеют широкие полосы пропускания по длине волны (см. Рисунок 4) с большими областями перекрытия, что позволяет пространственной информации из других спектральных областей проходить через фильтры, передавая каждый цвет со значительной степенью пространственной информации.

Например, рассмотрим объект, который отражает значительное количество желтого света (с центром на 585 нм) в систему линз цифровой камеры CMOS. Изучая спектры пропускания фильтра Байера на рисунке 4, становится очевидным, что красный и зеленый фильтры пропускают идентичное количество света в этой области длин волн.Кроме того, синие фильтры также пропускают примерно 20 процентов длин волн, прошедших через другие фильтры. Таким образом, три из четырех фильтров Байера в каждом квартете пропускают равное количество желтого света, в то время как четвертый (синий) фильтр также пропускает часть этого света. Напротив, синий свет с более низкой длиной волны (435 нанометров; см. Рисунок 4) проходит только через синие фильтры в какой-либо значительной степени, снижая как чувствительность, так и пространственное разрешение изображений, состоящих в основном из света в этой области видимого спектра.

После того, как необработанное изображение было получено из матрицы фотодиодов CMOS, покрытой шаблоном цветных фильтров Байера, оно должно быть преобразовано в стандартный формат красного, зеленого и синего ( RGB ) с помощью методологии интерполяции. Этот важный шаг необходим для создания изображения, которое точно представляет сцену, отображаемую электронным датчиком. Для выполнения этой задачи доступны различные сложные и хорошо зарекомендовавшие себя алгоритмы обработки изображений (непосредственно на интегральной схеме после захвата изображения), включая методы ближайшего соседа , линейных , кубических и кубических сплайнов .Чтобы определить правильный цвет для каждого пикселя в массиве, алгоритмы усредняют значения цвета выбранных соседних пикселей и производят оценку цвета (цветности) и интенсивности (яркости) для каждого пикселя в массиве. На рисунке 5 (a) представлено необработанное изображение шаблона Байера до реконструкции с помощью интерполяции, а на рисунке 5 (b) представлены результаты, полученные после обработки с помощью версии алгоритма линейной интерполяции с корректировкой корреляции.

В качестве примера того, как работает интерполяция цвета, рассмотрим один из зеленых пикселей, вложенных в центральную область массива фильтров Байера.Пиксель окружен двумя синими, двумя красными и четырьмя зелеными пикселями, которые являются его ближайшими соседями. Алгоритмы интерполяции производят оценку красных и синих значений зеленого пикселя, исследуя значения цветности и яркости соседних красных и синих пикселей. Та же процедура повторяется для каждого пикселя в массиве. Этот метод дает отличные результаты при условии, что цвет изображения изменяется медленно на большом количестве пикселей, но может также страдать от артефактов, таких как наложения , на краях и граничных областях, где происходят большие переходы цвета и / или интенсивности.

Чтобы улучшить квантовую эффективность и спектральный отклик, несколько разработчиков КМОП обращаются к использованию массивов цветных фильтров на основе основных субтрактивных цветов: голубого, желтого и пурпурного ( CMY ) вместо стандартных аддитивных основных красных цветов. , зеленый и синий ( RGB ), которые обсуждались выше. Среди преимуществ использования массивов фильтров CMY — повышенная чувствительность, приводящая к улучшенному пропусканию света через фильтр, и более сильный сигнал.Это происходит потому, что красители для субтрактивных фильтров демонстрируют пониженное поглощение световых волн в видимой области по сравнению с соответствующими аддитивными фильтрами. В отличие от красного, зеленого и синего фильтров, которые представляют собой композиты из двух или более слоев, обеспечивающих аддитивное поглощение, фильтры CMY применяются в виде одного слоя, который имеет превосходные характеристики светопропускания. Обратной стороной фильтров CMY является более сложная матрица коррекции цвета, необходимая для преобразования данных CMY, собранных с датчика, в значения RGB, которые необходимы для печати или отображения изображений на мониторе компьютера.Эти алгоритмы приводят к возникновению дополнительного шума во время преобразования цвета, но повышенная чувствительность, полученная с помощью массивов фильтров CMY, часто может компенсировать проблемы, возникающие во время обработки изображения.

Источники и средства устранения шума

Основной проблемой датчиков изображения CMOS является высокий уровень шума, который становится очевидным при изучении изображений, созданных этими устройствами. Достижения в сенсорной технологии позволили тщательно интегрировать схемы обработки сигналов вместе с массивом изображений, что существенно ослабило многие источники шума и значительно улучшило характеристики CMOS.Однако другие типы шума часто беспокоят как дизайнеров, так и конечных пользователей. Как обсуждалось выше, фиксированный структурный шум практически устранен современными методами обработки сигналов КМОП после захвата, но с другими формами, такими как дробовой фотонный шум, темновой ток, шум сброса и тепловой шум, не так легко справиться.

Во время инициализации или сброса фотодиода транзистором сброса генерируется большая составляющая шума, называемая шумом kTC (или сбросом), который трудно удалить без усовершенствованной схемы.Аббревиатура k относится к постоянной Больцмана, в то время как T — это рабочая температура, а C — полная емкость, возникающая на входном узле транзистора усилителя и складывающаяся из суммы емкости фотодиода и входной емкости усилитель транзисторный. Шум сброса может серьезно ограничить отношение сигнал / шум датчика изображения. Как сброс, так и другой источник шума, обычно называемый усилителем или 1 / f низкочастотным шумом, можно контролировать с помощью метода, известного как коррелированная двойная выборка ( CDS ), который должен быть реализован путем добавления четвертый «измерительный» (или перевод ) транзистор на каждый пиксель.Алгоритм двойной дискретизации работает путем измерения только шума сброса или усилителя, а затем вычитания объединенного сигнала изображения плюс шум сброса.

Фотонный дробовой шум легко проявляется на захваченных изображениях как случайный образец, который возникает из-за временных изменений выходного сигнала из-за статистических флуктуаций освещенности. Каждый фотодиод в матрице производит немного разный уровень дробового шума фотонов, который в крайнем случае может серьезно повлиять на работу датчика изображения CMOS.Этот тип шума является основным источником шума для сигналов, намного превышающих собственный уровень шума датчика, и присутствует в каждом датчике изображения, включая ПЗС. Темновой ток генерируется артефактами, которые производят сигнальный заряд (электроны) в отсутствие освещения, и могут проявлять значительную степень флуктуации от пикселя к пикселю, что сильно зависит от условий эксплуатации. Этот тип шума чувствителен к температуре и может быть удален путем охлаждения датчика изображения или с помощью дополнительного хранилища кадров, которое помещается в оперативную память и вычитается из захваченного изображения.

Темновой ток практически невозможно устранить, но его можно уменьшить за счет использования закрепленной фотодиодной технологии во время изготовления КМОП-сенсора. Чтобы создать закрепленный пиксель фотодиода, неглубокий слой кремния типа P наносится на поверхность типичной светочувствительной области N с лунками, чтобы создать сэндвич с двойным переходом, который изменяет спектральный отклик пикселя в видимом свете. Поверхностный переход оптимизирован для реагирования на более низкие длины волн (синий), в то время как более глубокий переход более чувствителен к более длинным волнам (красным и инфракрасным).В результате электроны, собранные в потенциальной яме, удерживаются вблизи области N , вдали от поверхности, что приводит к уменьшению темнового тока и связанных с ним шумовых элементов. На практике может быть сложно создать закрепленный пиксель фотодиода, который производит полный сброс в среде с низким напряжением, в которой работают датчики CMOS. Если условие полного сброса не достигается, в матрицу может быть внесена задержка с соответствующим увеличением шума транзистора сброса.Другими преимуществами технологии закрепленных фотодиодов являются улучшенный отклик на синий цвет из-за улучшенного захвата коротковолнового излучения видимого света вблизи границы P — слой кремния.

Транзисторы, конденсаторы и шины, переплетенные между светочувствительными областями пикселей, ответственны за создание теплового шума в датчиках изображения CMOS. Этот тип шума можно уменьшить путем точной настройки полосы пропускания тепловизора, увеличения выходного тока или охлаждения системы камеры.Во многих случаях последовательность считывания пикселей КМОП может использоваться для уменьшения теплового шума путем ограничения полосы пропускания каждого транзисторного усилителя. Непрактично добавлять сложное и дорогое устройство охлаждения Пельтье или подобное к недорогим датчикам изображения CMOS, поэтому эти устройства обычно не используются для снижения шума.

Пиксельная архитектура CMOS

В современных датчиках изображения CMOS используются две основные архитектуры светочувствительных пиксельных элементов: фотодиодов и фотозатворов (см. Рисунок 6).В целом конструкции фотодиодов более чувствительны к видимому свету, особенно в коротковолновой (синей) области спектра. Устройства с фотозатвором обычно имеют большие области пикселей, но более низкий коэффициент заполнения и гораздо более низкий отклик на синий свет (и общую квантовую эффективность), чем фотодиоды. Однако фотозатворы часто достигают более высоких уровней усиления преобразования заряда в напряжение и могут легко использоваться для выполнения коррелированной двойной выборки для достижения разности кадров.

Активные пиксельные датчики Photogate используют несколько аспектов технологии CCD для снижения шума и повышения качества изображений, полученных с помощью датчиков изображения CMOS.Заряд, накопленный под фотозатвором во время интеграции, локализуется в потенциальной яме, управляемой транзистором доступа. Во время считывания схема опорного пикселя выполняет двухступенчатую передачу заряда (в виде напряжения) на выходную шину. Первый шаг происходит путем преобразования накопленного заряда в измеряемое напряжение транзистором усилителя. Затем на передаточный вентиль подается импульс, чтобы инициировать перенос заряда от светочувствительной области к выходному транзистору, а затем он передается на шину столбца.Этот метод передачи позволяет использовать две возможности дискретизации сигнала, которые можно использовать за счет эффективной конструкции для улучшения снижения шума. Выход пикселя сначала дискретизируется после сброса фотодиода и еще раз после интегрирования заряда сигнала. Путем вычитания первого сигнала из второго для удаления низкочастотного шума сброса архитектура активного пикселя фотозатвора может выполнять коррелированную двойную выборку.

Основным преимуществом конструкции фотозатвора является снижение уровня шума при работе при слабом освещении по сравнению с фотодиодными датчиками.КМОП-сенсоры на основе фотодиодов полезны для потребительских приложений среднего уровня, которым не требуются высокоточные изображения с низким уровнем шума, превосходным динамическим диапазоном и цветовыми характеристиками с высоким разрешением. Оба устройства используют экономичные требования к питанию, которые могут быть удовлетворены с помощью аккумуляторов, низковольтных источников питания от компьютерных интерфейсов (USB и FireWire) или других источников питания постоянного тока. Обычно требования к напряжению для КМОП-процессора составляют от 3,3 до 5,0 вольт, но в новых конструкциях переходят на значения, которые уменьшены вдвое.

Последовательность работы датчика изображения CMOS

В большинстве конструкций матриц фотодиодов CMOS область активных пикселей окружена областью оптически экранированных пикселей, расположенных в 8–12 строк и столбцов, которые используются для компенсации уровня черного. Массив фильтров Байера (или CMY) начинается с верхнего левого пикселя в первой неэкранированной строке и столбце. Когда начинается каждый период интегрирования, все пиксели в одной строке будут сброшены встроенной схемой синхронизации и управления, по одной строке за раз, переходя от первой до последней строки, внесенной в каталог регистром адреса линии (см. Рис. 7).Для сенсорного устройства с аналоговым выходом, когда интеграция завершена, та же схема управления передаст интегрированное значение каждого пикселя в коррелированную схему двойной выборки (блок CDS на рисунке 7), а затем в регистр горизонтального сдвига. После загрузки регистра сдвига информация о пикселях будет последовательно сдвигаться (по одному пикселю за раз) на аналоговый видеоусилитель. Коэффициент усиления этого усилителя регулируется аппаратно или программно (а в некоторых случаях их комбинацией).В отличие от этого, датчики изображения CMOS с цифровым считыванием используют аналого-цифровой преобразователь для каждого столбца, и преобразование выполняется параллельно для каждого пикселя в строке. Затем для вывода данных используется цифровая шина, имеющая ширину, равную количеству битов, по которым выполняется преобразование. В этом случае «поочередно» сдвигаются только цифровые значения. На этом этапе к пикселям часто применяются алгоритмы баланса белого.

После того, как значения усиления и смещения установлены в видеоусилителе (обозначенном Video Amp на рисунке 7), информация о пикселях затем передается в аналого-цифровой преобразователь, где она преобразуется в линейный цифровой массив двоичных цифры.Впоследствии данные цифровых пикселей дополнительно обрабатываются для удаления дефектов, которые возникают в «плохих» пикселях, и для компенсации уровней черного перед их кадрированием и представлением на порт цифрового вывода. Алгоритм компенсации уровня черного (часто называемый фиксатором частоты кадров ) вычитает средний уровень сигнала черных пикселей, окружающих массив, из цифрового видеовыхода для компенсации зависящих от температуры и времени уровней темнового шума в массиве активных пикселей. .

Следующим шагом в последовательности является восстановление изображения (см. Рисунок 7) и применение основных алгоритмов, необходимых для подготовки окончательного изображения для кодирования дисплея.Интерполяция ближайшего соседа выполняется для пикселей, которые затем фильтруются с помощью алгоритмов сглаживания и масштабируются. Дополнительные этапы обработки изображений в механизме восстановления часто включают в себя предотвращение виньетирования, коррекцию пространственного искажения, баланс белого и черного, сглаживание, резкость, цветовой баланс, коррекцию диафрагмы и регулировку гаммы. В некоторых случаях КМОП-датчики изображения оснащены вспомогательными цепями, которые обеспечивают встроенные функции, такие как анти-дрожание (стабилизация изображения) и сжатие изображения.Когда изображение обработано в достаточной степени, оно отправляется в процессор цифровых сигналов для буферизации в выходной порт.

Поскольку датчики изображения CMOS способны получать доступ к данным отдельных пикселей по всей матрице фотодиодов, их можно использовать для выборочного считывания и обработки только выбранной части пикселей, захваченных для конкретного изображения. Этот метод известен как окно (или считывание интересующего окна ) и значительно расширяет возможности обработки изображений с помощью этих датчиков.Управление окнами осуществляется непосредственно на микросхеме через схему синхронизации и управления, что позволяет осуществлять доступ к окну любого размера в любой позиции в пределах активной области массива и отображать его с разрешением один к одному. Эта функция может быть чрезвычайно полезной, когда необходимо временное отслеживание движения объекта в одной подобласти изображения. Его также можно использовать для встроенного управления электронными операциями панорамирования, масштабирования, ускоренного считывания и наклона выбранной части или всего изображения.

Большинство высококачественных КМОП-сенсоров имеют несколько режимов считывания (аналогичные тем, которые используются в ПЗС-сенсорах) для повышения универсальности программирования интерфейса программного обеспечения и опалубки. Прогрессивная развертка Режим считывания позволяет последовательно получать доступ к каждому пикселю в каждой строке в матрице фотодиодов (по одному пикселю за раз), начиная с верхнего левого угла и заканчивая нижним правым углом. Другой популярный режим считывания называется с чересстрочной разверткой и работает путем считывания данных пикселей в двух последовательных полях, поле нечетного , за которым следует поле , четное, .Поля чередуются строками от верха массива к низу, и каждая строка группы записывается последовательно перед чтением следующей группы. Например, в датчике, имеющем 40 строк пикселей, первая, третья, пятая и так далее до 39-й строки считываются первыми, затем следуют вторая, четвертая, шестая до 40-й строки.

Электронная заслонка в датчиках изображения CMOS требует добавления одного или нескольких транзисторов к каждому пикселю, что несколько непрактично, учитывая и без того скомпрометированный коэффициент заполнения в большинстве устройств.Так обстоит дело с большинством датчиков изображения области сканирования. Однако были разработаны датчики с линейной разверткой, в которых транзисторы с затвором размещены рядом с активной областью пикселя, чтобы уменьшить нагрузку фактора заполнения. Многие разработчики реализовали решение с неоднородным поворотным затвором , которое показывает последовательные строки в массиве в разные интервалы времени, используя минимум транзисторов в пикселях. Хотя механизмы рольставни хорошо работают для неподвижных изображений, они могут создавать размытость при движении, приводящую к искажению изображения при высокой частоте кадров.Чтобы решить эту проблему, инженеры разработали унифицированных синхронных конструкций затворов , которые одновременно открывают весь массив. Поскольку этот метод требует дополнительных транзисторов на каждый пиксель, существует некоторый компромисс в отношении коэффициентов заполнения, если одновременно не используются более крупные пиксели.

Динамический диапазон датчика изображения CMOS определяется максимальным количеством сигнальных электронов, накопленных фотодиодами (зарядная емкость), деленным на сумму всех компонентов шума считывания датчика ( минимальный уровень шума ), включая возникающие временные источники шума. за определенное время интеграции.Вклад всех источников темнового шума, таких как шум темнового тока, а также шум считывания пикселей и временной шум, возникающий из тракта прохождения сигнала (но не дробовой шум фотонов), включен в этот расчет. Минимальный уровень шума ограничивает качество изображения в темных областях изображения и увеличивается со временем экспозиции из-за дробового шума темнового тока. Таким образом, в действительности динамический диапазон — это отношение наибольшего обнаруживаемого сигнала к наименьшему одновременно обнаруживаемому сигналу (минимальный уровень шума).Динамический диапазон часто указывается в уровнях серого, , децибелах, или битах, , с более высокими отношениями сигнальных электронов к шуму, производящим большие значения динамического диапазона (больше децибел или битов). Обратите внимание, что динамический диапазон определяется характеристиками отношения сигнал-шум датчика, а битовая глубина является функцией аналого-цифрового преобразователя (ов), используемого в датчике. Таким образом, 12-битное цифровое преобразование соответствует немногим более 4000 уровней серого или 72 децибелам, в то время как 10-битное цифровое преобразование может разрешить 1000 уровней серого, что является соответствующей битовой глубиной для динамического диапазона 60 децибел.По мере увеличения динамического диапазона датчика улучшается возможность одновременной регистрации самой тусклой и самой яркой интенсивности изображения (внутрисценовый динамический диапазон), а также возможности количественного измерения детектора. Межсценовый динамический диапазон представляет собой спектр интенсивностей, который может быть адаптирован, когда усиление детектора, время интегрирования, апертура объектива и другие переменные настраиваются для различных полей зрения.

Одной из наиболее универсальных возможностей датчиков изображения CMOS является их способность захватывать изображения с очень высокой частотой кадров.Это позволяет записывать покадровые последовательности и видео в реальном времени через интерфейсы, управляемые программным обеспечением. Частота от 30 до 60 кадров в секунду является обычной, в то время как несколько высокоскоростных формирователей изображений могут достигать ускоренной скорости более 1000. Дополнительные схемы поддержки, включая сопроцессоры и внешнюю память с произвольным доступом, необходимы для создания систем камер, которые могут снимать преимущество этих функций.

Выводы

КМОП-датчики изображения изготавливаются по хорошо зарекомендовавшим себя стандартным кремниевым процессам на крупных заводах по производству полупроводниковых пластин, которые также производят соответствующие микросхемы, такие как микропроцессоры, схемы памяти, микроконтроллеры и процессоры цифровых сигналов.Огромное преимущество состоит в том, что цифровые логические схемы, драйверы тактовых импульсов, счетчики и аналого-цифровые преобразователи могут быть размещены на той же кремниевой основе и в то же время, что и матрица фотодиодов. Это позволяет CMOS-датчикам участвовать в процессах сужения, которые перемещаются в сторону меньшей ширины линии с минимальными изменениями конструкции, аналогично другим интегральным схемам. Даже в этом случае, чтобы гарантировать устройства с низким уровнем шума и высокую производительность, стандартный процесс изготовления CMOS часто необходимо модифицировать, чтобы специально приспособить для этого датчики изображения.Например, стандартные методы КМОП для создания транзисторных переходов в логических микросхемах могут создавать высокие темновые токи и низкий отклик синего цвета при применении к устройству формирования изображения. Оптимизация процесса для датчиков изображения часто требует компромиссов, которые делают сценарий изготовления ненадежным для обычных устройств CMOS.

Размер пикселей продолжал сокращаться в течение последних нескольких лет, от гигантских пикселей 10-20 микрон, которые были главными в устройствах середины 1990-х годов, до сенсоров размером 6-8 микрон, которые в настоящее время заполонили рынок.Повышенный спрос на миниатюрные устройства электронной обработки изображений, такие как камеры наблюдения и телефонные камеры, побудил дизайнеров еще больше снизить размеры пикселей. Датчики изображения с пикселями размером 4–5 микрон используются в устройствах с меньшими массивами, но для многомегапиксельных чипов потребуются пиксели размером от 3 до 4 микрон. Для достижения этих размеров КМОП-датчики изображения должны производиться на производственных линиях с толщиной 0,25 мкм или более узкими. Используя более узкую ширину линии, больше транзисторов может быть упаковано в каждый элемент пикселя при сохранении приемлемых коэффициентов заполнения при условии, что коэффициенты масштабного коэффициента приближаются к единице.С производственными линиями от 0,13 до 0,25 микрон должны стать передовые технологии, такие как аналого-цифровые преобразователи в пикселях, полноцветная обработка, логика интерфейса и другие связанные сложные схемы, настроенные для увеличения гибкости и динамического диапазона датчиков CMOS. возможный.

Хотя на многих заводах по производству КМОП отсутствуют этапы процесса добавления цветных фильтров и массивов микролинз, эти этапы все чаще используются для производства датчиков изображения по мере роста рыночного спроса.Кроме того, методы оптической упаковки, которые имеют решающее значение для устройств формирования изображений, требуют чистых помещений и оборудования для обработки плоского стекла, которое обычно не встречается на заводах, производящих стандартные логические схемы и интегральные схемы процессоров. Таким образом, рост затрат на изготовление датчика изображения может быть значительным.

Список приложений для датчиков изображения CMOS резко вырос за последние несколько лет. С конца 1990-х годов CMOS-датчики составляли все большее количество устройств обработки изображений, продаваемых в таких приложениях, как факсы, сканеры, камеры видеонаблюдения, игрушки, игры, камеры для ПК и недорогие потребительские камеры.В ближайшие годы универсальные датчики, вероятно, также начнут появляться в сотовых телефонах, считывателях штрих-кодов, оптических мышах, автомобилях и, возможно, даже в бытовой технике. Благодаря своей способности захватывать последовательные изображения с высокой частотой кадров, CMOS-датчики все чаще используются для промышленного контроля, систем вооружения, гидродинамики и медицинской диагностики. Хотя не ожидается, что они заменят ПЗС в большинстве высокопроизводительных приложений, КМОП-датчики изображения должны продолжать находить новые дома по мере развития технологий.

Соавторы

Ренато Турчетта — Группа микроэлектроники, приборный отдел, лаборатория Резерфорда Эпплтона, Чилтон, Дидкот, OX11 0QX, Соединенное Королевство.

Кеннет Р. Спринг — научный консультант, Ласби, Мэриленд, 20657.

Майкл У. Дэвидсон — Национальная лаборатория сильного магнитного поля, 1800 Ист. Доктор Пол Дирак, Университет штата Флорида, Таллахасси, Флорида, 32310

телевизор (TV) | История, технологии и факты

Механические системы

Мечта увидеть далекие места так же стара, как человеческое воображение.Жрецы в Древней Греции изучали внутренности птиц, пытаясь увидеть в них то, что видели птицы, когда летели над горизонтом. Они верили, что их боги, удобно сидящие на горе Олимп, были одарены способностью наблюдать за человеческой деятельностью по всему миру. А первая сцена пьесы Уильяма Шекспира « Генрих IV, часть 1 » представляет персонажа «Слух», на которого другие персонажи полагаются в новостях о том, что происходит в дальних уголках Англии.

Получите подписку Britannica Premium и получите доступ к эксклюзивному контенту.Подпишитесь сейчас

На протяжении веков это оставалось мечтой, а потом появилось телевидение, начавшееся со случайного открытия. В 1872 году, исследуя материалы для использования в трансатлантическом кабеле, английский телеграфист Джозеф Мэй понял, что селеновый провод различается по своей электропроводности. Дальнейшее расследование показало, что изменение произошло, когда луч солнечного света упал на проволоку, которая случайно оказалась на столе возле окна. Хотя в то время его важность не была осознана, это обстоятельство послужило основой для преобразования света в электрический сигнал.

В 1880 году французский инженер Морис Леблан опубликовал статью в журнале La Lumière électrique , которая легла в основу всего последующего телевидения. ЛеБлан предложил механизм сканирования, который использовал бы временное, но ограниченное удержание сетчаткой визуального изображения. Он придумал фотоэлемент, который будет смотреть только на одну часть передаваемого изображения за раз. Начиная с верхнего левого угла изображения, ячейка переместится в правую часть, а затем вернется в левую сторону, только на одну строку ниже.Таким образом он будет продолжать передавать информацию о том, сколько света было видно в каждой части, до тех пор, пока все изображение не будет отсканировано, аналогично глазу, читающему страницу текста. Приемник будет синхронизирован с передатчиком, построчно восстанавливая исходное изображение.

Концепция сканирования, которая установила возможность использования только одного провода или канала для передачи всего изображения, стала и остается по сей день основой всего телевидения.Леблан, однако, так и не смог построить работающую машину. Не был и человек, который вывел телевидение на новый уровень: Пол Нипков, немецкий инженер, изобрел сканирующий диск. Патент Нипкова 1884 года на Elektrisches Telescop был основан на простом вращающемся диске, перфорированном с последовательностью спиральных внутрь отверстий. Он будет размещен так, чтобы блокировать отраженный свет от объекта. Когда диск вращается, крайнее отверстие будет перемещаться по сцене, пропуская свет из первой «линии» изображения.Следующее отверстие сделало бы то же самое чуть ниже и так далее. Один полный оборот диска обеспечит полное изображение или «сканирование» объекта.

Эту концепцию в конечном итоге использовали Джон Логи Бэрд в Великобритании ( см. фотография) и Чарльз Фрэнсис Дженкинс в Соединенных Штатах для создания первых в мире успешных телевизоров. Вопрос о приоритете зависит от определения телевидения. В 1922 году Дженкинс послал неподвижное изображение по радиоволнам, но первый настоящий успех на телевидении, передача живого человеческого лица, был достигнут Бэрдом в 1925 году.(Само слово телевидение было придумано французом Константином Перским на Парижской выставке 1900 года.)

Джон Логи Бэрд с телевизионным передатчиком

Джон Логи Бэрд стоит рядом со своим телевизионным передатчиком 1925–1926 годов. Слева от Бэрда в футляре стоит «Stookie Bill», манекен чревовещателя, который сканировался вращающимся диском Нипкова для получения сигнала изображения.

Предоставлено Малкольмом Бэрдом

Усилия Дженкинса и Бэрда обычно встречались с насмешками или апатией.Еще в 1880 году в статье в британском журнале Nature высказывалась мысль о том, что телевидение возможно, но не имеет смысла: затраты на создание системы не окупятся, поскольку на этом нельзя было заработать деньги. В более поздней статье в Scientific American говорилось, что телевидение может быть использовано в каких-то целях, но развлечения не входили в их число. Большинство людей думали, что это безумие.

Тем не менее работа продолжалась и стала давать результаты и конкурентов.В 1927 году Американская телефонно-телеграфная компания (AT&T) публично продемонстрировала новую технологию, а к 1928 году компания General Electric (GE) начала регулярные телетрансляции. GE использовала систему, разработанную Эрнстом Ф. В. Александерсоном, которая предлагала «любителю, снабженному такими приемниками, которые он может спроектировать или приобрести, возможность принимать сигналы», которые, как правило, были от дыма, поднимающегося из трубы или других подобных интересных объектов. В том же году Дженкинс начал продавать телевизионные комплекты по почте и основал собственную телевизионную станцию, показывающую программы мультипликационной пантомимы.В 1929 году Бэрд убедил Британскую радиовещательную корпорацию (BBC) разрешить ему выпускать получасовые шоу в полночь три раза в неделю. В последующие годы начался первый «телевизионный бум», когда тысячи зрителей купили или построили примитивные телевизоры для просмотра примитивных программ.

Не все были очарованы. C.P. Скотт, редактор Manchester Guardian , предупреждал: «Телевидение? Слово наполовину греческое, наполовину латинское. Ничего хорошего из этого не выйдет ». Что еще более важно, привлекательность новой технологии вскоре поблекла.

No related posts.