Video Capture

概述

视频采集是音视频处理流程的第一步，负责从视频设备（摄像头）获取原始视频帧数据。

主要内容

https://ixriver.com/wp-json/wp/v2

1. 视频采集

1.1 采集设备与接口

摄像头类型

• USB摄像头：最常见的PC端摄像头，通过USB接口连接，支持即插即用
• MIPI摄像头：移动设备常用接口，MIPI CSI-2标准，低功耗、高速率
• HDMI采集卡：用于采集HDMI信号，常用于游戏直播、专业录制
• 网络摄像头（IP Camera）：通过网络协议（RTSP、ONVIF）采集视频流

采集参数

• 分辨率：常见分辨率包括720p、1080p、4K等，影响采集数据量
• 帧率：常见帧率有15fps、24fps、30fps、60fps，影响流畅度
• 色彩空间：采集时通常使用RGB或YUV格式

采集API

• Linux: V4L2 (Video4Linux2) – 标准视频采集接口
• macOS/iOS: AVFoundation – Apple平台的音视频框架
• Windows: DirectShow/Media Foundation – Windows平台的媒体框架
• Web: MediaDevices API – 浏览器WebRTC标准接口
• Android: Camera2 API – Android 5.0+的相机接口

1.2 色彩空间与格式

RGB色彩空间

• RGB是加色模型，通过红(Red)、绿(Green)、蓝(Blue)三原色组合表示颜色
• 每个像素用3个字节表示（RGB24），或4个字节（RGBA32，包含透明度）
• 主要用于显示和图像处理

YUV色彩空间

• YUV是亮度-色度模型，Y表示亮度（Luminance），U和V表示色度（Chrominance）
• 人眼对亮度敏感，对色度不敏感，因此可以降低色度采样率以节省带宽
• 主要用于视频编码和传输

YUV格式类型

• NV12/NV21：半平面格式，Y平面连续，UV交错存储
  • NV12：U在前，V在后（Windows常用）
  • NV21：V在前，U在后（Android常用）
• I420/YV12：平面格式，Y、U、V三个平面分离存储
  • I420：U在前，V在后
  • YV12：V在前，U在后
• YUY2/UYVY：打包格式，Y、U、V交错存储在同一平面

YUV采样方式

• 4:4:4：无下采样，Y、U、V采样率相同，质量最高，数据量最大
• 4:2:2：水平方向U、V采样率减半，垂直方向不变，质量较高
• 4:2:0：水平和垂直方向U、V采样率都减半，最常用，数据量最小

RGB到YUV转换

Y = 0.299*R + 0.587*G + 0.114*B
U = -0.169*R - 0.331*G + 0.500*B + 128
V = 0.500*R - 0.419*G - 0.081*B + 128

1.3 采集参数优化

曝光控制

• 自动曝光（AE）：根据场景亮度自动调整曝光时间
• 手动曝光：固定曝光参数，适用于特殊场景
• 曝光补偿：在自动曝光基础上进行微调

白平衡

• 自动白平衡（AWB）：根据环境光自动调整色温
• 手动白平衡：预设色温值（如日光、白炽灯、荧光灯）

对焦

• 自动对焦（AF）：自动调整焦距使画面清晰
• 连续对焦：实时跟踪移动物体
• 手动对焦：固定焦距

帧率自适应

• 根据网络状况或性能动态调整帧率
• 低带宽时降低帧率，保证流畅度
• 高负载时降低帧率，保证稳定性

分辨率自适应

• 根据设备性能或网络状况动态调整分辨率
• 移动设备可能从1080p降至720p以节省资源