CV - 2: 图像形成 (Image Formation)

授课: 王鹏帅 (Peng-Shuai Wang) 课程: 北京大学计算机视觉2025秋季课程内容: 图像形成基础理论和数学建模

1. 相机 (Camera)

1.1 光传输 (Light Transport)

图像形成涉及光传输的基本原理：

光线从物体发出或反射
光线经过光学系统聚焦
最终在成像平面形成倒立的像

1.2 基本成像相机类型

按照成像方式可以分为两类：

透视: 所有光线汇聚在一点（透视中心）
正交: 平行光线不经过任何汇聚点

1.3 针孔相机 (Pinhole Camera)

基本概念

成像平面与透视中心之间有一个很小的孔
优点: 景深无限大，不会产生模糊
缺点: 图像形成需要很长曝光时间

几何模型

针孔相机的成像遵循相似三角形定律：

物体上的一点在成像平面上对应一个点

物体与成像平面的距离比等于物体高度与像高度比

针孔相机坐标系

世界坐标系: 描述真实世界中物体的位置
相机坐标系: 以相机为中心建立坐标系
像素坐标系: 针孔成像在像素平面上的坐标

1.4 数学针孔相机模型

相机标定参数

针孔相机用两组参数来标定：

外部相机参数 和 内部相机参数 (外参数)
内部相机参数 和 像素相机参数 (内参数)

外参 (Extrinsic Parameters)

描述相机在世界坐标系中的位姿：

刚体变换矩阵：

平移变换 (3×4): $T = \begin{bmatrix} I_{3×3} & t_{3×1} \ 0 & 1 \end{bmatrix}$
旋转变换 (3×4): $R = \begin{bmatrix} R_{3×3} & 0 \ 0 & 1 \end{bmatrix}$
组合变换 (6×4): $M = \begin{bmatrix} R_{3×3} & t_{3×1} \ 0 & 1 \end{bmatrix}$

内参 (Intrinsic Parameters)

描述相机内部的几何和光学特性：

透视投影: $\frac{x_s}{f} = \frac{x_c}{z_c}, \quad \frac{y_s}{f} = \frac{y_c}{z_c}$

内参矩阵: $K = \begin{bmatrix} f & s & c_x \\ 0 & αf & c_y \\ 0 & 0 & 1 \end{bmatrix}$

其中：

$f$: 焦距
$α$: 像素宽高比 (通常为1)
$s$: 倾斜因子 (通常为0)
$(c_x, c_y)$: 主点坐标

完整相机投影矩阵

\[\Pi = K \begin{bmatrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} R_{3×3} & t_{3×1} \\ 0_{1×3} & 1 \end{bmatrix}\]

1.5 透视投影

透视投影

特点：近大远小
平行线相交: 透视投影中平行线会相交
保持直线性质

消失点 (Vanishing Point)

平行线在透视投影中的交点称为消失点。

设平行线方向向量: $\mathbf{D} = (D_1, D_2, D_3)^T$ 则平行线的

无穷远点: $\mathbf{X}_∞ = (D_1, D_2, D_3, 0)^T$
消失点: $\mathbf{v} \cong P\mathbf{X}_∞$

消失点类型:

单点透视: 一个消失点
两点透视: 两个消失点
三点透视: 三个消失点

2. 镜头 (Lens)

2.1 镜头的作用

镜头的主要作用是将更多的光线聚焦到成像传感器：

提高图像的亮度和清晰度
实现灵活的焦距调节

2.2 薄镜头方程 (Thin Lens Equation)

基本公式

\[\frac{1}{z'} - \frac{1}{z} = \frac{1}{f}\]

其中：

$z$: 物距
$z’$: 像距
$f$: 焦距

特殊情况

当物体位于无限远 ($z = ∞$) 时： $z' = f$

这意味着：无限远的物体总是聚焦在焦平面上。

2.3 镜头像差

径向畸变 (Radial Distortion)

由镜头光学特性引起的几何畸变。

畸变模型:

\[\begin{align} \hat{x}_c &= x_c(1 + k_1r_c^2 + k_2r_c^4) \\ \hat{y}_c &= y_c(1 + k_1r_c^2 + k_2r_c^4) \\ r_c^2 &= x_c^2 + y_c^2 \end{align}\]

畸变类型:

桶形畸变 ($k_1 < 0$): 图像中心向内凹陷
枕形畸变 ($k_1 > 0$): 图像中心向外凸出

色差 (Chromatic Aberration)

不同波长的光经过镜头时会产生不同颜色的偏差：

纵向: 不同颜色聚焦在不同距离
横向: 放大倍率对不同颜色有差异
紫边: 在高对比度边缘出现紫色或绿色边缘

暗角 (Vignetting)

图像边缘变暗的现象：

光学暗角: 光线经镜头边缘时强度下降
机械暗角: 光线被光圈或滤镜边缘遮挡

3. 景深 (Depth of Field)

3.1 景深定义

定义: 在摄影中，能够产生清晰图像的物体距离范围称为景深。

3.2 景深影响因素

光圈大小的影响

大光圈 → 浅景深: 只有很小的距离范围内清晰
小光圈 → 深景深: 较大的距离范围都比较清晰

焦距的影响

长焦镜头: 景深较浅，背景虚化效果好
短焦镜头: 景深较深，背景也比较清晰

对焦距离的影响

近距离对焦: 景深较浅
远距离对焦: 景深较深

3.3 弥散圈 (Circle of Confusion)

不在焦点处的物体会在成像面上形成弥散圈：

弥散圈越小越清晰
可接受弥散圈大小决定景深范围

4. 视野 (Field of View)

4.1 视野角度

视野角度计算公式： $\tan\left(\frac{θ}{2}\right) = \frac{d/2}{S_2}$

其中：

$θ$: 视野角度
$d$: 成像面对角线
$S_2$: 镜头到成像面距离（通常$S_2 = f$）

4.2 不同焦距的视觉效果

广角镜头 (约24mm)

大视野: 视角大，能拍摄较大范围
近大远小: 透视效果强烈，前景突出
透视夸张: 建筑物等会出现倾斜

标准镜头 (约50mm)

自然视角: 接近人眼视觉
近似真实: 最接近人眼看到的效果
实用性强: 适合日常摄影，景深适中

长焦镜头 (约200mm, 800mm)

窄视角: 视角小，拍摄远处细节
压缩透视: 透视效果减弱，前后景压缩感强
背景虚化: 容易获得浅景深效果

5. 畸变 (Distortion)

5.1 畸变校正算法

标准校正流程

归一化图像坐标: $x_n’ = \tilde{x}/\tilde{z}, y_n’ = \tilde{y}/\tilde{z}$
计算径向距离: $r^2 = x_n’^2 + y_n’^2$
应用畸变校正: $x_d’ = x_n’(1 + k_1r^2 + k_2r^4), y_d’ = y_n’(1 + k_1r^2 + k_2r^4)$
应用内参变换: $x’ = fx_d’ + c_x, y’ = fy_d’ + c_y$

5.2 OpenCV畸变校正

在标准算法基础上进行了畸变校正：

径向畸变: 修正镜头中心到边缘的变形
切向畸变: 修正镜头与成像平面不平行造成的畸变
高阶校正: 使用更多参数进行精确校正

6. 颜色 (Colors)

6.1 人类颜色感知

视网膜感光细胞

杆状细胞 (Rods):

数量: 75-150百万个
功能: 暗光条件下感光，负责明暗感知
分布位置: 视网膜外围，中央凹区域较少

锥状细胞 (Cones):

数量: 6-7百万个
功能: 明亮条件下感知颜色信息
类型: S锥(420-440nm), M锥(530-540nm), L锥(560-580nm)

CIE RGB颜色空间

定义颜色感知标准的三原色：

红原色: 700.0nm
绿原色: 546.1nm
蓝原色: 435.8nm

6.2 数字成像

成像传感器类型

CCD (电荷耦合器件):

电荷在像素间依次传递
在专用电路中进行电荷到电压转换
功耗相对较高但图像质量优异

CMOS (互补金属氧化物半导体):

每个像素都有独立的电荷到电压转换电路
功耗较低，集成度高
制造成本相对较低，应用广泛

颜色滤波阵列 (Color Filter Array)

拜耳阵列 (Bayer Pattern):

G R G R
B G B G
G R G R
B G B G

特点:

绿色像素数量是红、蓝的两倍
原因: 人类对绿光最敏感
需要插值算法重建完整的颜色图像

6.3 图像处理流水线

完整处理流程

光学成像: 镜头、光圈、快门
感光元件: CCD/CMOS传感器、A/D转换电路
数字图像处理: 去噪声、去马赛克、白平衡、伽马校正、锐化

伽马校正 (Gamma Correction)

人类视觉对亮度的感知是非线性的： $Y' = Y^{1/γ}$

作用:

补偿显示设备特性
优化人类视觉效果
有效利用有限的比特数

总结

图像形成是计算机视觉的基础，涉及光学、数学和工程多个层面：

相机模型: 从针孔相机到复杂镜头系统的建模
几何变换: 外参和内参的数学描述
光学特性: 景深、视野、畸变等现象和处理
颜色科学: 人类颜色感知到数字成像的完整流程
实际应用: OpenCV等库中的标定和校正算法

理解这些基础知识对后续的特征检测、立体视觉、运动估计等高级话题至关重要。

目录