计算机视觉学习笔记#

📌 打个比方：低层视觉是"眼睛视网膜"——处理光信号；中层视觉是"视觉皮层"——提取边缘和运动；高层视觉是"大脑认知"——认出这是猫还是狗。CV 的难度在于：人类觉得"看一眼就懂"的事，对计算机来说是海量像素到语义的巨大鸿沟。

📌 为什么 2012 年是分水岭：2012 年 AlexNet 在 ImageNet 竞赛上把错误率从 26% 降到 15%，碾压传统方法。关键不是算法多新颖（CNN 1998 年就有了），而是 GPU 算力 + 大数据（ImageNet 1400 万张图）+ ReLU 激活函数 三者同时成熟。深度学习的成功是"量变引起质变"——足够大的网络 + 足够多的数据，就能自动学到人工设计不出来的特征。

📌 OpenCV 为什么用 BGR 而不是 RGB：历史原因——早期 OpenCV 主要处理 BMP 格式，BMP 文件存储顺序就是 BGR。这个"历史包袱"一直延续至今，是 CV 工程师最常见的坑之一。用 matplotlib 显示 OpenCV 图像时颜色会反，必须先 cv2.cvtColor 转成 RGB。

📌 HSV 为什么适合颜色检测：在 RGB 空间中，"红色"分布在 R 高、G/B 低——受光照影响大（暗红和亮红的 RGB 值差异巨大）。HSV 把"什么颜色"（H）和"多亮"（V）分开，检测红色只需固定 H 范围，不受亮度变化干扰。这就是为什么目标跟踪、交通灯识别常用 HSV。

📌 奈奎斯特采样定理在图像中的体现：采样频率必须 ≥ 2 倍最高空间频率，否则会产生摩尔纹（Moiré）——拍摄屏幕时常见的波纹。这就是为什么拍显示器照片总有奇怪条纹——屏幕像素网格和相机传感器网格"打架"了。

📌 CLAHE 为什么比全局均衡化好：全局均衡化把整张图的直方图拉平，但暗区域里可能有亮的小物体——全局均衡化后亮物体被"淹没"。CLAHE（限制对比度自适应直方图均衡化）把图像分小块，每块独立均衡化，再限制对比度增益防止放大噪声。医学图像几乎都用 CLAHE。

📌 卷积为什么是 CV 的核心：卷积的数学本质是"加权求和"——权重决定了你在提取什么信息。把权重设成均值 → 平滑去噪；设成差分 → 边缘检测；设成高斯 → 高斯模糊。CNN 更进一步——让网络自己学权重，自动学出"什么特征有用"。理解卷积，就理解了从图像处理到深度学习的主线。

📌 高斯滤波 vs 均值滤波：均值滤波对邻域所有像素一视同仁，边缘也被"平均"掉了——图像变模糊。高斯滤波给中心像素更高权重、远处像素更低权重，在去噪的同时更好地保留边缘。这就是"加权"的力量——不是所有邻居都一样重要。

📌 中值滤波为什么去椒盐噪声特别有效：椒盐噪声是随机出现的极亮/极暗像素。均值滤波会把噪声"摊"到周围，反而扩大影响。中值滤波取中位数——如果 9 个像素中有 1 个是噪声（极值），中位数不受影响。对脉冲噪声，中值滤波是"降维打击"。

📌 为什么需要非极大值抑制：Sobel 算完梯度后，边缘是"粗"的——好几个像素宽。NMS 的思路：沿着梯度方向（垂直于边缘），只保留梯度最大的那个像素，其余置零。这样边缘从"3 像素宽"变成"1 像素宽"——又细又准。NMS 这个思想后来也被目标检测借用——去掉重复的检测框。

📌 为什么不能直接用像素匹配：如果拿一个像素的灰度值去另一张图里找相同值——满图都是亮度相近的像素，根本不知道哪个才是对应点。特征点的思路是：先找到"与众不同"的位置（角点、斑点），再计算该位置的"描述子"（邻域编码），用描述子做匹配。

📌 SIFT 为什么是里程碑：SIFT（2004）解决了 CV 的两个核心难题——尺度不变和旋转不变。尺度不变靠"高斯金字塔 + 差分金字塔"自动找最佳尺度；旋转不变靠计算主方向并归一化。SIFT 的设计者 Lowe 花了 10 年打磨这个算法，它的思想后来直接影响了深度学习中的特征金字塔网络（FPN）。

📌 ORB 为什么成为主流：ORB = FAST 关键点 + BRIEF 描述子 + 旋转归一化。关键优势是速度快 + 无专利限制。在 SLAM（如 ORB-SLAM）和 AR 应用中，ORB 几乎是默认选择。SIFT 虽然精度更高，但速度差一个数量级。

📌 比率测试为什么有效：如果一个特征点的最佳匹配（最近邻）和次佳匹配（次近邻）距离差不多，说明这个匹配有歧义——两个候选都差不多好。Lowe 的经验法则：最近/次近距离比 < 0.7 时，匹配大概率正确。这一个简单规则能过滤掉 90% 的错误匹配。

📌 焦距的两种单位：物理焦距 f（毫米）和像素焦距 fx=f/dx（像素），dx 是单个像素的物理尺寸。标定得到的 fx 是像素单位——因为计算机处理的是像素，不是毫米。这就是为什么同样镜头在不同分辨率传感器上 fx 不同。

📌 为什么要标定：制造工艺有误差——镜头不是理想针孔，有径向畸变（桶形/枕形）和切向畸变。标定就是拍棋盘格，用已知图案反算 K 和畸变系数。不标定的后果：直线变弯、测量不准、3D 重建扭曲。

📌 对极约束的意义：已知左图中一个点，它在右图中的对应点不必满图搜索——一定在对极线上。这把搜索空间从 2D 降到 1D，是立体匹配和 SLAM 的理论基础。本质矩阵 E 编码了两个相机之间的相对位姿（旋转 R + 平移 t），从 2D 匹配点恢复 3D 结构（SfM）的核心就是估计 E。

📌 视差与深度的关系：近处物体左右眼看到的差异大（视差大），远处物体差异小（视差小）。这就是人眼测距的原理——双目视差。Z = fB/d 告诉我们：基线 B 越大、焦距 f 越长，测距越远越准。但基线太大会导致近距离物体视差过大，难以匹配。所以立体相机要在"测远"和"测近"之间取舍。

📌 结构光为什么怕室外强光：结构光相机投射红外图案到物体上，再用相机拍图案的变形。室外太阳光含大量红外线——把投射的图案"淹没"了，相机看不到自己的图案。这就是为什么 Kinect v1 只能在室内用。ToF 和 LiDAR 用主动激光脉冲，功率远高于环境光，所以能在室外工作。

📌 光流的不适定性：一个像素从 A 移到 B，但计算机只看到"A 处像素消失了、B 处像素出现了"——它怎么知道这是平移、还是旋转、还是光照变化？这就是"孔径问题"（Aperture Problem）——通过小孔看一个运动的条纹，你只能感知垂直于条纹的运动。Lucas-Kanade 的解法是假设邻域像素一起运动，用多个方程解两个未知数。

📌 CNN 为什么适合图像：全连接网络处理 224×224 图像需要 150,528 个输入神经元，第一层如果有 1024 个神经元就是 1.5 亿参数——参数爆炸。CNN 的三个关键设计：

1. 局部连接：每个神经元只看一个小邻域（如 3×3），参数从 150K 降到 9
2. 权值共享：同一个卷积核在整张图上滑动，参数量与图像大小无关
3. 层次抽象：浅层学边缘 → 中层学纹理 → 深层学语义

这三个设计让 CNN 参数量可控，且具有平移不变性——物体在图像中移动位置不影响识别。

📌 ResNet 为什么能做 152 层：网络加深后出现"退化问题"——不是过拟合，而是训练误差反而上升。ResNet 的解法极其简单：加一条"跳跃连接"（skip connection），让梯度可以直接"跳"过中间层反传。数学上，残差块学的是 H(x) = F(x) + x，如果某层是多余的，F(x) 学成 0 即可——网络"不会变差"。这个看似简单的创新让网络深度从 22 层跃升到 152 层，是深度学习最重要的架构创新之一。

📌 ViT vs CNN 的本质区别：CNN 的归纳偏置（inductive bias）很强——局部性 + 平移不变性 + 层次性。这些先验知识让 CNN 在小数据集上表现好。ViT 几乎没有归纳偏置——自注意力是全局的，不假设局部性。这意味着 ViT 需要更多数据才能学到 CNN "天生就有"的先验，但数据足够多时，ViT 的上限更高——因为它不被"局部性"这个假设束缚。这就是为什么 ViT 在大数据集上超越 CNN，但小数据集上不如 CNN。

📌 为什么数据增强有效：深度网络参数多、容易过拟合。数据增强的本质是"人工扩大数据集"——让网络看到更多变体，学到不变特征。比如猫无论翻转、变色、裁剪都是猫——增强让网络学到"猫的本质"而非"这张特定照片"。在数据量有限时，数据增强是最有效的正则化手段。

📌 YOLO 为什么快：两阶段检测（Faster R-CNN）先用 RPN 生成 ~2000 个候选区域，再逐个分类——串行处理。YOLO 把检测变成"一次回归"——整张图一次前向传播就输出所有框的位置和类别。从"先找再认"变成"边找边认"，速度提升 10 倍以上。代价是对小物体和密集物体精度稍低——因为网格划分太粗。

📌 Anchor-free 为什么是趋势：传统 YOLO 用预设的 anchor box（不同大小和比例的先验框）来匹配物体。但 anchor 的尺寸需要人工设定，且和数据集相关。YOLOv8/X 等新方法去掉 anchor，直接预测框的中心点和宽高——减少超参数、更通用。

📌 为什么用 mAP 而不是 Accuracy：目标检测中"负样本"（背景区域）远多于"正样本"（目标）。如果用 Accuracy，模型把所有区域都预测为"背景"也能得到 99% 的 Accuracy——毫无意义。mAP 只关注"真正检测到的目标"的质量（PR 曲线下面积），不受背景干扰。

📌 NMS 的缺陷与改进：NMS 假设重叠的框是"重复检测"——但如果两个物体真的重叠（如人群），NMS 会把第二个框误删。Soft-NMS 的解法：不直接删除，而是降低重叠框的分数（分数 × (1-IoU)），让密集场景下保留更多框。YOLOv10 更进一步——用一致性匹配指标（CMO）完全去掉 NMS，端到端训练。

📌 U-Net 为什么在医学图像中称王：医学图像分割有两个特点：数据少、需要精确定位。U-Net 的"对称编解码 + 跳跃连接"设计完美匹配——编码器提取语义特征，解码器恢复空间分辨率，跳跃连接把浅层的高分辨率细节直接传给深层。这样即使数据少，也能精确定位器官边界。U-Net 发表于 2015 年，至今仍是医学图像分割的 baseline。

📌 SAM（Segment Anything Model）的意义：Meta 2023 年发布的 SAM 用 11 亿个 mask 训练，可以分割"任何东西"——不需要针对新任务微调。用户可以用点、框、文字提示 SAM 分割目标。SAM 的意义在于把分割从"每个任务训一个模型"变成"一个通用模型解决所有任务"——CV 的大模型时代。

📌 Top-down vs Bottom-up 的取舍：Top-down 精度高（每人独立检测），但速度与人数成正比——10 个人就要跑 10 次关键点检测。Bottom-up 先检测所有关键点再分组，速度与人数无关——但分组（哪个肘连哪个肩）是个难题。实际应用中，人少用 Top-down（精度优先），人多用 Bottom-up（速度优先）。

📌 ICP 的缺陷：ICP 假设"最近邻就是对应点"——但如果初始位姿偏差大，最近邻可能是错误的对应关系，导致陷入局部最优。所以 ICP 通常需要一个好的初始猜测（如特征匹配提供）。全局配准方法（如 RANSAC + FPFH 特征）用于提供初始位姿，ICP 用于精细对齐。

📌 PointNet 的天才设计：点云是无序的——同样的点打乱顺序还是同一个点云。普通神经网络对输入顺序敏感。PointNet 的解法：用对称函数（max-pooling）——无论输入顺序如何，max 的结果不变。一个 max 操作解决了点云无序性问题，简洁而优雅。

📌 Focal Loss 为什么解决类别不平衡：标准 CE 对所有样本一视同仁。但在目标检测中，背景（负样本）远多于目标（正样本）——loss 被大量简单负样本主导。Focal Loss 给置信度高的样本降权 (1-p)^γ——"已经很确定的样本就少学点"，让模型把注意力放在难样本上。这一个改进让单阶段检测器精度追平了两阶段检测器。

📌 Warmup 为什么对 Transformer 重要：Transformer 初始权重是随机的，前几步的梯度方向噪声很大。如果一开始就用大学习率，参数会"乱跑"到不好的区域。Warmup 先用小学习率让参数稳定，再加大学习率加速收敛。CNN 不太需要 warmup（因为 BN 层和残差连接提供了稳定性），但 ViT/DETR 几乎必须用 warmup。

📌 为什么要导出 ONNX 再部署：PyTorch 模型依赖 Python 运行时和 PyTorch 库——部署环境装这些很重。ONNX 是"序列化格式"——把模型存成文件，任何能读 ONNX 的运行时都能跑。TensorRT 进一步做算子融合（Conv+BN+ReLU 合成一个算子）、精度量化（FP32→FP16/INT8），推理速度提升 2~5 倍。

📌 量化为什么能加速：GPU/TPU 的 INT8 算力通常是 FP32 的 4~8 倍（更多 ALU 并行）。量化把浮点权重映射到整数范围（如 -128~127），矩阵乘法从浮点运算变成整数运算。关键挑战是保持精度——PTQ（训练后量化）简单但可能掉精度，QAT（量化感知训练）在训练时模拟量化误差，精度更好。

📌 CLIP 为什么改变了 CV：传统 CV 需要"每个任务标注数据"。CLIP 用 4 亿图文对做对比学习——让图像编码器和文本编码器在同一个空间中对齐。训练好后，给一张图和一组类别文字，计算图像和哪个文字最相似即可——零样本分类，不需要任何标注。CLIP 的图文对齐思想后来催生了 DALL-E、Stable Diffusion 等生成模型。

📌 3DGS 为什么比 NeRF 快：NeRF 用 MLP 拟合辐射场——每个像素要从相机发出射线，在射线上采样多个点，每个点过 MLP 预测颜色和密度，最后体渲染——计算量巨大。3DGS 用大量 3D 高斯点直接表示场景，渲染时把高斯点"泼溅"(splat) 到屏幕上——类似光栅化，GPU 天然擅长。训练速度提升 10×，渲染速度提升 100×。