Повышение точности калибровки внешних параметров видеокамеры

Описана модель идеальной видеокамеры, показан вид внешних и внутренних параметров камеры. Приведены соотношения, связывающие координаты точки в мировой системе координат с координатами проекции этой точки на изображение. Поставлена задача определения внешних параметров камеры по набору соответствий точек в мировой системе координат и их проекций на изображение. С помощью моделирования оценены погрешности определения внешних параметров камеры для различных конфигураций калибровочных объектов. По результатам моделирования даны рекомендации по выбору параметров калибровочного объекта с целью увеличения точности калибровки внешних параметров видеокамеры.

Ключевые слова: калибровка видеокамеры, внешние параметры камеры, оценка положения и ориентации, калибровочный объект

05.13.18 - Математическое моделирование, численные методы и комплексы программ

Во многих задачах компьютерного зрения, например при построении систем стереовидения [1], систем видеорегистрирования, а также при визуализации моделируемых объектов на изображении [2], возникает необходимость оценки положения видеокамеры в пространстве по полученным ею изображениям известного калибровочного объекта. Стремительное развитие фото - и видеорегистрирующей аппаратуры повышает требования к точности определения калибровочных параметров и вызывает необходимость произвести исследование влияния выбора параметров калибровочного объекта на точность калибровки. Связь между координатами точки в мировой системе координат (СК) x = (x, y, z) и ее проекции на изображение p = (u, v) описывается с помощью выражения , где K – матрица внутренних параметров камеры, позволяющая перейти от координат точки в СК камеры к координатам проекции этой точки на изображении; [R | t] – внешние параметры камеры, определяющие переход из мировой СК к СК камеры, – однородные координаты точки на изображении. Внутренние параметры уникальны для каждой камеры и не зависят от других камер и положения в пространстве. Их можно определить индивидуально для каждой камеры с помощью геометрической калибровки по методике, описанной в [3, 4]. При отсутствии геометрических искажений внутренние параметры камеры записываются в виде матрицы камеры:

где fx, fy – фокусные расстояния камеры, px, py – координаты точки пересечения оптической оси и плоскости изображения в системе координат изображения. Внешние параметры камеры имеют вид

где R = [rij] – матрица поворота размера 3 × 3, задающая ориентацию камеры и имеющая три степени свободы; t = (tx, ty, tz) – вектор переноса, совмещающий начала мировой СК и СК камеры. Для определения внешних параметров камеры после калибровки внутренних параметров достаточно иметь набор как минимум из четырех соответствий между координатами точек в пространстве xi = (xi, yi, zi) и координатами точек на изображении pi = (ui, vi). Такая задача популярна в области компьютерного зрения и может решаться различными методами, в основном отличающимися вычислительной сложностью [5–7]. В библиотеке OpenCV также имеется реализация такой функции с именем cv::solvePnP или cvFindExtrinsicCameraParams2 в случае старого интерфейса [8, с. 395]. В качестве входных параметров в эту функцию поступают: массив трехмерных точек пространства, соответствующий этим точкам массив двумерных точек на изображении, внутренние параметры камеры (матрица камеры и коэффициенты дисторсии). Выходными параметры этой функции являются вектор переноса t = (tx, ty, tz) и вектор вращения w = (wx, wy, wz) . Вектор вращения является описанием поворота в пространстве на угол θ = ||w|| вокруг единичного вектора u = w / θ. Матрица вращения может быть получена из u и θ с помощью формулы Родрига [9, с. 38]: R(u, θ) = I + sin θ [u]× + (1 – cos θ) [u]× 2 , где I – единичная матрица 3×3, а [u]× – кососимметричная матрица, используемая для обозначения векторного произведения:

На практике вместо вектора переноса t удобно оперировать положением камеры c = (cx, cy, cz) , которое при известных R и t находится по следующей формуле (обратная матрица поворота получается транспонированием матрицы прямого поворота R −1 = RT): с = − RT t . Ориентацию камеры удобно задавать в виде последовательности элементарных вращений r = (λ, φ, θ) на углы азимута, высоты и крена соответственно, которые для известной матрицы поворота R = [rij] можно найти по следующим формулам [10]: λ = arctan2(r31, r32), φ = arcsin(r33), θ = arctan2(–r13, –r23), где arctan2(x, y) – двухаргументная функция арктангенса, эквивалентная функции arctan(y / x) с учетом четверти, в которой находится точка (x, y), принимающая значения в интервале (–π, π]. При помощи моделирования выполнено исследование того, как влияет выбор и погрешность измерения пространственных координат x и соответствующих двумерных координат p на точность оценки положения камеры. Моделировалась камера с углом обзора по горизонтали α = 68° и разрешением изображения w × h = 704 × 576 пикселей. Внутренние параметры камеры, таким образом, были приняты следующими: fx = fy = w / (2 tan(α/2) ) ≈ 521,9; px = (w – 1) / 2 = 351,5; py = (h – 1) / 2 = 288,5; Внешние параметры камеры задавались следующим образом: камера располагалась в начале координат c0 = (0, 0, 0), а углы ее ориентации были приняты нулевыми c0 = (0, 0, 0) (направление оси Z СК камеры совпадает с направлением оси Y мировой СК):

Точки в мировой СК определяются выбором калибровочного объекта. Исследовалось несколько конфигураций точек xi калибровочного объекта с различными расстояниями от камеры и различными угловыми размерами (таблица 1): 1. Конфигурация из четырех точек, проекции которых разнесены друг от друга и расположены в угловых областях изображения. 2. Конфигурация из четырех точек, проекции которых не сильно разнесены друг от друга. 3. Конфигурация из восьми точек, полученная объединением 1-й и 2-й конфигурации. 4. Конфигурация из четырех точек, расположенных дальше от камеры, чем во второй конфигурации, проекции которых также расположены по углам изображения. 5. Конфигурация из четырех точек, составленная из 1-й и 4-й конфигураций (из каждой взято по две точки). Таблица №1 Конфигурации точек и их проекции