第五讲
相机模型
相机的成像过程涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系以及这四个坐标系的转换。
- 物距 u、焦距 f 和相距 v 的关系：
$$
\frac{1}{f}=\frac{1}{u}+\frac{1}{v}
$$
坐标系的转换
世界坐标系到相机坐标系，是由旋转和平移实现的：
$$
\begin{bmatrix}X_c \\ Y_c \\ Z_c \\ 1\end{bmatrix}=\begin{bmatrix}R &t \\ 0 &1\end{bmatrix}\begin{bmatrix}X_w \\ Y_w \\ Z_w \\ 1\end{bmatrix}
$$相机坐标系到投影平面的转换（f 是焦距，三角形相似 $\frac{Z_c}{f}=\frac{X_c}{x}=\frac{Y_c}{y}$）：
$$
Z_c\begin{bmatrix}x\\ y\\ 1\end{bmatrix}=\begin{bmatrix}f &0 &0 &0\\ 0 &f&0&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}X_c\\ Y_c\\ Z_c\\ 1\end{bmatrix}
$$
图像坐标系到像素坐标系的转换：
$$
\begin{bmatrix}u\\ v\\ 1\end{bmatrix}=\begin{bmatrix}\frac{1}{dx} &0 &u_0\\ 0 &\frac{1}{dy} &v_0\\ 0&0&1\end{bmatrix}\begin{bmatrix}x\\ y\\ 1\end{bmatrix}
$$
合并：
$$
Z_c\begin{bmatrix}u\\ v\\ 1\end{bmatrix}=\begin{bmatrix}\frac{1}{dx} &0 &u_0\\ 0 &\frac{1}{dy}&v_0\\ 0&0&1\end{bmatrix}\begin{bmatrix}f_x&0&0&0\\ 0&f_y&0&0\\ 0&0&1&0\end{bmatrix}\begin{bmatrix}R &t\\ 0 &1\end{bmatrix}\begin{bmatrix}X_w\\ Y_w\\ Z_w\\ 1\end{bmatrix}
$$
相机的内参
$$
\begin{bmatrix}f_x&0&x_0\\ 0&f_y&y_0\\ 0&0&1\end{bmatrix}
$$
$x_0,y_0$ 是主点偏移，主点位置（相机的主轴是与图像平面垂直且穿过真空的线，它与图像平面的交点称为主点）相对于图像平面（投影面）的位置。（我的理解是像素坐标系的原点位于左上角，成像平面的原点位于图中间）相机的外参
包括一个旋转矩阵 R 和平移列向量 t
$$
\begin{bmatrix}R\mid t\end{bmatrix}
$$
外参主要作用就是描述世界坐标系到相机坐标系的转换。
畸变
- 径向畸变可以用一个多项式函数来描述：
$$
x_c=x(1+k_1r^2+k_2r^4+k_3r^6)\\
y_c=y(1+k_1r^2+k_2r^4+k_3r^6)\\
r^2=x^2+y^2
$$
径向畸变包括桶形失真和枕形失真
图像
- opencv 中通道的默认顺序是B、G、R。