13 августа 2013 г.

Сегодня мы изучим встроенную матрицу камеры в нашей третьей и последней главе трилогии «Рассеивание матрицы камеры». В первой статье мы узнали, как разбить полную матрицу камеры на внутренние и внешние матрицы и как правильно обрабатывать неопределенности, возникающие в этом процессе. Вторая статья более подробно рассмотрела внешнюю матрицу, рассматривая несколько различных интерпретаций ее трехмерных вращений и трансляций.Сегодня мы рассмотрим внутреннюю матрицу так же, рассмотрев две равнозначные интерпретации: как описание геометрии виртуальной камеры и последовательность простых двумерных преобразований. После этого вы увидите интерактивную демонстрацию, иллюстрирующую обе интерпретации.

Если вы не заинтересованы углубляться в теорию и просто хотите использовать собственную матрицу с OpenGL, ознакомьтесь со статьями Калиброванные камеры в OpenGL без glFrustum и Калиброванные камеры и gluPerspective.

Все эти статьи являются частью серии «Перспективная камера, интерактивный тур». Чтобы прочитать другие записи в серии, перейдите к оглавлению.

Собственная матрица преобразует 3D-координаты камеры в 2D-однородные координаты изображения. Эта перспективная проекция моделируется идеальной камерой-обскурой, показанной ниже.

Собственная матрица параметризована Хартли и Циссерманом как

\ [ К = \ левый ( \ begin {array} {c c c} f_x & s & x_0 \\ 0 & f_y & y_0 \\ 0 & 0 & 1 \\ \ {Конец массива} \право ) \]

Каждый внутренний параметр описывает геометрическое свойство камеры.Давайте рассмотрим каждое из этих свойств подробно.

Фокусное расстояние, \ (f_x \), \ (f_y \)

Фокусное расстояние — это расстояние между точечным отверстием и пленкой (например, плоскость изображения). По причинам, которые мы обсудим позже, фокусное расстояние измеряется в пикселях. В настоящей камере-обскуре и \ (f_x \), и \ (f_y \) имеют одинаковое значение, что показано как \ (f \) ниже.

На практике \ (f_x \) и \ (f_y \) могут различаться по ряду причин:

• Недостатки в сенсоре цифровой камеры.
• Изображение было неравномерно масштабировано при последующей обработке.
• Объектив камеры вносит непреднамеренные искажения.
• Камера использует анаморфный формат, в котором объектив сжимает широкоэкранную сцену в датчик стандартного размера.
• Ошибки в калибровке камеры.

Во всех этих случаях полученное изображение имеет не квадратные пиксели.

Наличие двух разных фокусных расстояний не очень интуитивно понятно, поэтому некоторые тексты (например, Форсайт и Понсе) используют одно фокусное расстояние и «соотношение сторон», которое описывает величину отклонения от идеально квадратного пикселя.Такая параметризация хорошо отделяет геометрию камеры (то есть фокусное расстояние) от искажения (аспектного соотношения).

Смещение основной точки, \ (x_0 \), \ (y_0 \)

«Основная ось» камеры — это линия, перпендикулярная плоскости изображения, которая проходит через отверстие. Его сечение с плоскостью изображения называется «главной точкой», показанной ниже.

«Смещение главной точки» — это местоположение главной точки относительно происхождения фильма.Точное определение зависит от того, какое соглашение используется для определения местоположения источника; На рисунке ниже предполагается, что это в левом нижнем углу фильма.

Увеличение \ (x_0 \) сдвигает точечное отверстие вправо:

Это эквивалентно смещению пленки влево и оставлению точечного отверстия без изменений.

Обратите внимание, что поле, окружающее камеру, не имеет значения, имеет значение только положение точечного отверстия относительно пленки.

Skis Skew, \ (s \)

Перекос оси вызывает сдвиг в проецируемом изображении. Насколько я знаю, нет никакого аналога оси смещения настоящей камеры-обскуры, но, очевидно, некоторые процессы оцифровки могут вызвать ненулевой перекос. Мы рассмотрим перекос позже.

Прочие геометрические свойства

Фокусное расстояние и смещение главной точки представляют собой простые сдвиги пленки относительно точечного отверстия. Должны быть другие способы трансформировать камеру, верно? Как насчет поворота или масштабирования пленки?

Вращение пленки вокруг точечного отверстия эквивалентно вращению самой камеры, которая обрабатывается внешней матрицей.Вращение пленки вокруг любой другой неподвижной точки \ (x \) эквивалентно вращению вокруг точечного отверстия \ (P \), а затем переводу \ ((x-P) \).

Как насчет масштабирования? Должно быть очевидно, что удвоение всех размеров камеры (размер пленки и фокусное расстояние) не влияет на захваченную сцену. Если вместо этого вы удваиваете размер пленки и , а не фокусного расстояния, это эквивалентно удвоению обоих (без операции) и затем вдвое уменьшению фокусного расстояния. Таким образом, представление масштаба фильма явно было бы излишним; оно фиксируется фокусным расстоянием.

Фокусное расстояние — от пикселей до мировых единиц

Это обсуждение масштабирования камеры показывает, что существует бесконечное количество камер с точечным отверстием, которые производят одно и то же изображение. Внутренняя матрица касается только взаимосвязи между координатами камеры и координатами изображения, поэтому абсолютные размеры камеры не имеют значения. Использование пиксельных единиц для фокусного расстояния и смещения главной точки позволяет нам представлять относительные размеры камеры, а именно положение пленки относительно ее размера в пикселях.

Другой способ сказать, что внутреннее преобразование камеры является инвариантным к равномерному масштабированию геометрии камеры. Представляя размеры в пиксельных единицах, мы естественным образом фиксируем эту инвариантность.

Вы можете использовать похожие треугольники для преобразования пиксельных единиц в мировые единицы (например, мм), если вам известно хотя бы одно измерение камеры в мировых единицах. Например, если вы знаете, что пленка камеры (или цифровой датчик) имеет ширину \ (W \) в миллиметрах, а ширина изображения в пикселях равна \ (w \), вы можете преобразовать фокусное расстояние \ (f_x \) в мировые юниты, использующие:

\ [F_x = f_x \ frac {W} {w} \]

Другие параметры \ (f_y \), \ (x_0 \) и \ (y_0 \) можно преобразовать в их аналоги мировых единиц \ (F_y \), \ (X_0 \) и \ (Y_0 \), используя аналогичные уравнения:

\ [ \ BEGIN {массив} {} ссс F_y = f_y \ frac {H} {h} \ qquad X_0 = x_0 \ frac {W} {w} \ qquad Y_0 = y_0 \ frac {H} {h} \ {Конец массива} \]

Как мы уже говорили ранее, важно только расположение точечного отверстия и пленки, поэтому физическая коробка, окружающая камеру, не имеет значения.По этой причине многие обсуждения геометрии камеры используют более простое визуальное представление: усеченная камера.

Видимая область камеры имеет форму пирамиды, и ее иногда называют «конусом видимости». Давайте добавим к нашей сцене несколько 3D-сфер и покажем, как они попадают в конус видимости, и создадим изображение.

Так как «коробка» камеры не имеет значения, давайте ее удалим. Также обратите внимание, что изображение фильма изображает зеркальную версию реальности. Чтобы исправить это, мы будем использовать «виртуальный образ» вместо самого фильма.Виртуальное изображение имеет те же свойства, что и изображение на пленке, но в отличие от истинного изображения, виртуальное изображение появляется перед камерой, и проецируемое изображение раскладывается.

Обратите внимание, что положение и размер плоскости виртуального изображения являются произвольными — мы могли бы удвоить его размер, если бы мы также удвоили его расстояние от точечного отверстия.

После удаления истинного изображения у нас остаётся представление «усечённости» нашей камеры-обскуры.

Пинхол был заменен кончиком конуса видимости, и пленка теперь представлена ​​плоскостью виртуального изображения.Мы будем использовать это представление для нашей демонстрации позже.

В предыдущих разделах мы интерпретировали наши входящие 3-векторы как координаты 3D-изображения, которые преобразуются в однородные координаты 2D-изображения. В качестве альтернативы, мы можем интерпретировать эти 3-вектора как двумерные однородные координаты, которые преобразуются в новый набор двумерных точек. Это дает нам новый взгляд на внутреннюю матрицу: последовательность двумерных аффинных преобразований.

Мы можем разложить собственную матрицу на последовательность преобразований сдвига, масштабирования и сдвига, соответствующих наклону оси, фокусному расстоянию и смещению главной точки соответственно:

\ [ \ Начать {} Align K & = \ left ( \ begin {array} {c c c} f_x & s & x_0 \\ 0 & f_y & y_0 \\ 0 & 0 & 1 \\ \ {Конец массива} \право ) \\ [0.5em] знак равно \ Underbrace { \осталось ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 & 0 & 1 \ {Конец массива} \право ) } _ \ text {2D Translation} \ раз \ Underbrace { \осталось ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 & 0 & 1 \ {Конец массива} \право ) } _ \ text {2D Scaling} \ раз \ Underbrace { \осталось ( \ begin {array} {c c c} 1 & s / f_x & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \ {Конец массива} \право ) } _ \ text {2D Shear} \ Конец {} Align \]

Эквивалентные места разложения сдвига после масштабирования :

\ [ \ Начать {} Align K & = \ Underbrace { \осталось ( \ begin {array} {c c c} 1 & 0 & x_0 \\ 0 & 1 & y_0 \\ 0 & 0 & 1 \ {Конец массива} \право ) } _ \ text {2D Translation} \ раз \ Underbrace { \осталось ( \ begin {array} {c c c} 1 & s / f_y & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \ {Конец массива} \право ) } _ \ text {2D Shear} \ раз \ Underbrace { \осталось ( \ begin {array} {c c c} f_x & 0 & 0 \\ 0 & f_y & 0 \\ 0 & 0 & 1 \ {Конец массива} \право ) } _ \ text {2D Scaling} \ Конец {} Align \]

Эта интерпретация удачно разделяет внешние и внутренние параметры на сферы 3D и 2D соответственно.Это также подчеркивает, что внутреннее преобразование камеры происходит после проецирования . Одним заметным результатом этого является то, что внутренние параметры не могут влиять на видимость — скрытые объекты не могут быть обнаружены с помощью простых 2D преобразований в пространстве изображения.

Демонстрация ниже иллюстрирует обе интерпретации внутренней матрицы. Слева интерпретация «камера-геометрия». Обратите внимание, как точечные отверстия движутся относительно плоскости изображения при настройке \ (x_0 \) и \ (y_0 \).

Справа — интерпретация «2D-трансформации». Обратите внимание, что изменение результатов фокусного расстояния вызывает масштабирование проецируемого изображения, а изменение главной точки приводит к чистому переводу.

Javascript требуется для этой демонстрации.

Осталось : сцена с камерой и громкостью просмотра. Виртуальное изображение плоскости показано желтым цветом. Право : изображение с камеры.

В этой серии статей мы увидели, как разложить

1. — полная матрица камеры на внутренние и внешние матрицы,
2. внешней матрицы в трехмерное вращение с последующим переводом и
3. внутренняя матрица на три основных 2D преобразования.\ text {Внешняя матрица} \\ [0.5em] знак равно \ Overbrace { \ Underbrace { \осталось ( \ begin {array} {c c c} 1 & 0
   .

   Анализ матрицы камеры, Часть 2. Внешняя матрица ←

   22 августа 2012 г.

   Добро пожаловать в третий пост из серии «Перспективная камера — интерактивный тур». В последнем посте мы узнали, как разложить матрицу камеры на произведение внутренних и внешних матриц. В следующих двух постах мы рассмотрим внешние и внутренние матрицы более подробно. Сначала мы рассмотрим различные способы взглянуть на внешнюю матрицу, с интерактивной демонстрацией в конце.

   Внешняя матрица камеры

   Внешняя матрица камеры описывает местоположение камеры в мире и направление ее движения. Те, кто знаком с OpenGL, знают это как «матрицу вида» (или свернутую в «матрицу вида модели»). Он состоит из двух компонентов: матрицы вращения R и вектора перевода t , но, как мы скоро увидим, они не совсем соответствуют повороту и перемещению камеры. Сначала мы рассмотрим части внешней матрицы, а затем рассмотрим альтернативные способы описания позы камеры, которые являются более интуитивными.

   Внешняя матрица принимает форму жесткой матрицы преобразования: матрица вращения 3×3 в левом блоке и вектор-столбец перевода 3×1 справа:

   \ [[R \, | \, \ boldsymbol {t}] = \ left [\ begin {array} {ccc | c} r_ {1,1} & r_ {1,2} & r_ {1,3} & t_1 \\ r_ {2,1} & r_ {2,2} & r_ {2,3} & t_2 \\ r_ {3,1} & r_ {3,2} & r_ {3,3} & t_3 \\ \ end {array} \ right] \]

   Обычно встречается версия этой матрицы с дополнительным рядом (0,0,0,1), добавленным внизу.Это делает матрицу квадратной, что позволяет нам дополнительно разложить эту матрицу во вращение с последующим переводом :

   \ [ \ Начать {} Align \осталось [ \ BEGIN {массив} {с | с} R & \ boldsymbol {t} \\ \ HLine \ boldsymbol {0} & 1 \ {Конец массива} \ право] & = \осталось [ \ BEGIN {массив} {с | с} Я & \ boldsymbol {t} \\ \ HLine \ boldsymbol {0} & 1 \ {Конец массива} \право ] \ раз \осталось [ \ BEGIN {массив} {с | с} R & \ boldsymbol {0} \\ \ HLine \ boldsymbol {0} & 1 \ {Конец массива} \право ] \\ знак равно \ left [\ begin {array} {ccc | c} 1 & 0 & 0 & t_1 \\ 0 & 1 & 0 & t_2 \\ 0 & 0 & 1 & t_3 \\ \ HLine 0 & 0 & 0 & 1 \ end {array} \ right] \ times \ left [\ begin {array} {ccc | c} r_ {1,1} & r_ {1,2} & r_ {1,3} & 0 \\ r_ {2,1} & r_ {2,2} & r_ {2,3} & 0 \\ r_ {3,1} & r_ {3,2} & r_ {3,3} & 0 \\ \ HLine 0 & 0 & 0 & 1 \ end {array} \ right] \ Конец {} Align \]

   Эта матрица описывает, как преобразовать точки в мировых координатах в координаты камеры.Вектор t можно интерпретировать как положение начала мира в координатах камеры, а столбцы R представляют направления мировых осей в координатах камеры.

   Важно помнить о внешней матрице: она описывает, как мир преобразуется относительно камеры . Это часто нелогично, потому что мы обычно хотим указать, как камера трансформируется относительно мира 9109.Далее мы рассмотрим два альтернативных способа описания внешних параметров камеры, которые являются более интуитивными, и как преобразовать их в форму внешней матрицы.

   Построение внешней матрицы из позы камеры

   Часто более естественно указать позу камеры напрямую, а не указывать, как точки мира должны преобразовываться в координаты камеры. К счастью, построить внешнюю матрицу камеры таким способом просто: просто создайте жесткую матрицу преобразования, которая описывает позу камеры, а затем принимайте ее обратно.

   Пусть C — вектор-столбец, описывающий расположение центра камеры в мировых координатах, и пусть \ (R_c \) — матрица вращения, описывающая ориентацию камеры относительно мировых координатных осей. Матрица преобразования, которая описывает позу камеры, имеет вид \ ([R_c \, | \, C] \). Как и прежде, мы делаем матрицу квадратной, добавляя дополнительную строку (0,0,0,1). Тогда внешняя матрица получается путем инвертирования матрицы поз камеры:

   \ Начать {} Align \осталось[ \ BEGIN {массив} {с | с} R & \ boldsymbol {t} \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \право] знак равно \осталось[ \ BEGIN {массив} {с | с} R_c & C \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \ right] ^ {- 1} \\ знак равно \осталось[ \осталось[ \ BEGIN {массив} {с | с} IC \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \право] \осталось[ \ BEGIN {массив} {с | с} R_c & 0 \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \право] \ right] ^ {- 1} & \ text {(разложение жесткого преобразования)} \\ знак равно \осталось[ \ BEGIN {массив} {с | с} R_c & 0 \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \ Вправо] ^ {- 1} \осталось[ \ BEGIN {массив} {с | с} IC \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \ right] ^ {- 1} & \ text {(распространение обратного)} \\ знак равно \осталось[ \ BEGIN {массив} {с | с} R_c ^ T & 0 \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \право] \осталось[ \ BEGIN {массив} {с | с} IC \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \ right] & \ text {(применяя обратное)} \\ знак равно \осталось[ \ BEGIN {массив} {с | с} R_c ^ T & -R_c ^ TC \\ \ HLine \ boldsymbol {0} & 1 \\ \ {Конец массива} \ right] & \ text {(умножение матриц)} \ Конец {} Align

   При применении инверсии мы используем тот факт, что инверсия матрицы вращения является ее транспонированием, а инвертирование матрицы перевода просто сводит на нет вектор перевода.Т \\ \ boldsymbol {t} & = -RC \ Конец {} Align \]

   В некоторых текстах записывается внешняя матрица, заменяющая -RC на t , которая смешивает преобразование мира ( R ) и запись преобразования камеры ( C ).

   «Смотровая» камера

   Читатели, знакомые с OpenGL, могут предпочесть третий способ определения положения камеры, используя (a) положение камеры, (b) , на что она смотрит, и (c) в направлении «вверх».В унаследованном OpenGL это достигается функцией gluLookAt (), поэтому мы будем называть это «обзорной» камерой. Пусть C будет центром камеры, p будет целевой точкой, а u будет направлением вверх. Алгоритм вычисления матрицы вращения (перефразирован из документации OpenGL):

   1. Вычислить L = p — C.
   2. нормализовать Л.
   3. Вычислить s = L x u. (перекрестное произведение)
   4. нормализовать с.
   5. вычислить u ‘= s x L.

   Матрица внешнего вращения определяется как:

   \ [ R = \ слева [ \ BEGIN {массив} {} ссс s_1 & s_2 & s_3 \\ u_1 ‘& u_2’ & u_3 ‘\\ -L_1 & -L_2 & -L_3 \ {Конец массива} \право] \]

   (Обновлено 21 мая 2014 г. — транспонированная матрица)

   Вы можете получить вектор перевода так же, как и раньше, t = -RC .

   Попробуйте!

   Ниже приведена интерактивная демонстрация трех различных способов параметризации внешних параметров камеры.Обратите внимание, как камера перемещается по-разному, когда вы переключаетесь между тремя параметрами.

   Для этого требуется браузер с поддержкой WebGL с включенным Javascript.

   Javascript требуется для этой демонстрации.

   Слева : сцена с камерой и громкостью просмотра. Виртуальное изображение плоскости показано желтым цветом. Справа : изображение с камеры.

   Отрегулируйте внешние параметры выше.

   Это параметризация, ориентированная на мир. Эти параметры описывают, как мир изменяется относительно камеры . Эти параметры напрямую соответствуют записям в матрице внешней камеры.

   При настройке этих параметров обратите внимание на то, как камера движется в мире (левая панель), и контрастируйте с параметризацией, ориентированной на камеру:

   • Вращение влияет на положение камеры (синяя рамка).
   • Направление движения камеры зависит от текущего вращения.
   • Положительное вращение перемещает камеру по часовой стрелке (или, что то же самое, вращает мир против часовой стрелки).

   Также обратите внимание, как это влияет на изображение (правая панель):

   • Вращение никогда не перемещает мир происхождения (красный шар).
   • Изменение \ (t_x \) всегда перемещает сферы горизонтально, независимо от вращения.
   • Увеличение \ (t_z \) всегда перемещает камеру ближе к миру происхождения.

   Отрегулируйте внешние параметры выше.

   Это параметризация, ориентированная на камеру, которая описывает, как камера изменяется относительно мира . Эти параметры соответствуют элементам матрицы внешних камер с обратным знаком .

   При настройке этих параметров обратите внимание на то, как камера движется в мире (левая панель), и контрастируйте с параметризацией, ориентированной на мир:

   • Вращение происходит относительно положения камеры (синяя рамка).
   • Направление движения камеры не зависит от текущего вращения.
   • Положительное вращение вращает камеру против часовой стрелки (или, что то же самое, вращает мир по часовой стрелке).
   • Увеличение \ (C_y \) всегда перемещает камеру к небу, независимо от вращения.

   Также обратите внимание, как это влияет на изображение (правая панель):

   • Вращение вокруг y перемещает обе сферы по горизонтали.
   • При разных поворотах изменение \ (C_x \) перемещает сферы в разные стороны.

   Отрегулируйте внешние параметры выше.

   Это параметризация «взгляда», которая описывает ориентацию камеры с точки зрения того, на что она смотрит. Настройте \ (p_x \), \ (p_y \) и \ (p_z \), чтобы изменить

   .
   новейших вопросов «матрица камеры» — переполнение стека Переполнение стека

   1. Товары
   2. Клиенты
   3. Случаи использования

   1. Переполнение стека Публичные вопросы и ответы
   2. Команды Частные вопросы и ответы для вашей команды
   3. предприятие Частные вопросы и ответы для вашего предприятия
   4. работы Программирование и связанные с ним технические возможности карьерного роста
   5. Талант Нанимать технический талант
   6. реклама Связаться с разработчиками по всему миру

   ,

   opencv — Рассчитать матрицу камеры с ИЗВЕСТНЫМИ параметрами (Python)? Переполнение стека

   1. Товары
   2. Клиенты
   3. Случаи использования

   1. Переполнение стека Публичные вопросы и ответы
   2. Команды Частные вопросы и ответы для вашей команды
   3. предприятие Частные вопросы и ответы для вашего предприятия
   4. работы Программирование и связанные с ним технические возможности карьерного роста
   5. Талант Нанимать технический талант
   6. реклама Связаться с разработчиками по всему миру

   ,

   No related posts.