By Toradex秦海 1). 简介 随着嵌入式处理器性能的提升，嵌入式设备在安全，机器视觉等方面的应用也越来越广发，本文就基于NXP iMX6 ARM处理器演示多种摄像头的连接应用，iMX6处理器支持多种摄像头接口连接，比如Parallel Camera Interface，MIPI/CSI-2 串行摄像头接口，USB接口，网络接口等。   本文所演示的ARM平台来自于Toradex 基于NXP iMX6Q ARM处理器的Apalis iMX6Q ARM嵌入式平台。   2. 准备 a). Apalis iMX6Q ARM核心版配合Ixora载板，连接调试串口UART1（载板X22）到开发主机方便调试，连接HDMI显示器用于摄像头输出显示。更多关于Apalis iMX6配合Ixora载板的说明请参考Datasheet和开发上手指南。   b). 本文测试所使用的摄像头如下： ./ Toradex OV5640 MIPI/CSI-2 摄像头模块，连接到载板X28 ./ 海康模拟摄像头，通过Toradex ACA模块连接到载板X14 ./ FHD USB 摄像头，连接到载板X8 USB接口 ./ 海康萤石 CS-C3C-1FR网络摄像头，通过网线连接到载板X11网口   c). Apalis iMX6Q 安装Toradex 最新Linux BSP V2.8b5，系统中已经包含了本文测试所需要的Gstreamer相关组件，详细安装方法请参考这里。 ./ 关于OV5640 摄像头Linux下配置使用说明请参考这里，本文不再赘述。 ./ 关于通过ACA模块连接模拟摄像头的配置使用说明请参考这里，本文不再赘述。     3). FHD USB摄像头测试 a). 先单独进行FHD USB摄像头模块测试，所使用的Camera Sensor为Aptina MI5100 (注：已经被OnSemi收购，对应指标产品请到OnSemi网站搜索)，连接到Apalis iMX6会自动配置UVC驱动，无需另行配置。   b). 首先使用 V4L2命令查看摄像头支持的格式，如下所示，此摄像头可以支持MJPG格式和RAW格式输出，不过对于800x600以上的高分辨率输出，RAW模式只能以非常低的帧率输出，因此对于本文测试的1080P输出就要使用MJPG格式输出了。 ----------------------- root@apalis-imx6:~# v4l2-ctl --device=/dev/video3 --list-formats-ext ioctl: VIDIOC_ENUM_FMT         Index       : 0         Type        : Video Capture         Pixel Format: 'MJPG' (compressed)         Name        : Motion-JPEG                 Size: Discrete 1600x1200                         Interval: Discrete 0.067s (15.000 fps)                 Size: Discrete 2592x1944                         Interval: Discrete 0.067s (15.000 fps)                 Size: Discrete 2048x1536                         Interval: Discrete 0.067s (15.000 fps)                 Size: Discrete 1920x1080                         Interval: Discrete 0.033s (30.000 fps)                 Size: Discrete 1280x1024                         Interval: Discrete 0.067s (15.000 fps)                 Size: Discrete 1280x720                         Interval: Discrete 0.033s (30.000 fps)                 Size: Discrete 1024x768                         Interval: Discrete 0.033s (30.000 fps)                 Size: Discrete 800x600                         Interval: Discrete 0.033s (30.000 fps)                 Size: Discrete 640x480                         Interval: Discrete 0.033s (30.000 fps)                 Size: Discrete 1600x1200                         Interval: Discrete 0.067s (15.000 fps)           Index       : 1         Type        : Video Capture         Pixel Format: 'YUYV'         Name        : YUYV 4:2:2                 Size: Discrete 1600x1200                         Interval: Discrete 0.200s (5.000 fps)                 Size: Discrete 2592x1944                         Interval: Discrete 0.333s (3.000 fps)                 Size: Discrete 2048x1536                         Interval: Discrete 0.250s (4.000 fps)                 Size: Discrete 1920x1080                         Interval: Discrete 0.200s (5.000 fps)                 Size: Discrete 1280x1024                         Interval: Discrete 0.111s (9.000 fps)                 Size: Discrete 1280x720                         Interval: Discrete 0.200s (5.000 fps)                 Size: Discrete 1024x768                         Interval: Discrete 0.100s (10.000 fps)                 Size: Discrete 800x600                         Interval: Discrete 0.050s (20.000 fps)                 Size: Discrete 640x480                         Interval: Discrete 0.033s (30.000 fps)                 Size: Discrete 1600x1200                         Interval: Discrete 0.200s (5.000 fps) -----------------------   c). 测试基本的摄像头capture并全屏显示 ----------------------- // RAW 格式 $ gst-launch-1.0 imxv4l2src device=/dev/video3 ! 'video/x-raw, framerate=5/1, width=(int)1920, height=(int)1080, format=(string)YUY2' ! imxv4l2sink CPU占用率：~40% x 1core of 4cores // MJPG 格式 $ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dvideosink sync=false CPU占用率：~50% x 1core of 4cores -----------------------   为了尽可能降低CPU的占用率，我们尽可能的使用iMX gstreamer专用的元件，可以调用VPU/GPU等硬件资源来加速，查询所有iMX相关原件可以通过下面命令 $ gst-inspect-1.0 |grep imx   d). 针对视频监控的场景往往需要在捕获的摄像头视频流上面打上时间戳，在播放的同时也保存成为文件，下面就测试这个应用场景。 ./ 这里我们使用基于imx硬件加速的imxg2dclockoverlay 元件来实现打时间戳 ./ 打时间戳后单独进行摄像头视频流播放操作 ----------------------- $ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxg2dvideosink sync=false CPU占用率：~49% x 1core of 4cores -----------------------   ./ 打时间戳后单独进行摄像头视频流保存成文件操作 ----------------------- $ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' ! vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4 CPU占用率：~30% x 1core of 4cores -----------------------   ./ 打时间戳后同时进行摄像头视频流保存成文件和播放操作 ----------------------- $ gst-launch-1.0 -vvv v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform  ! imxg2dclockoverlay time-format="%Y/%m/%d %H:%M:%S" ! tee name=splitter ! queue ! imxipuvideotransform ! 'video/x-raw,width=1920,height=1080,framerate=30/1' ! imxvpuenc_h264 bitrate=8000 ! filesink location=test.mp4 splitter. ! queue ! imxg2dvideosink sync=false CPU占用率：~53% x 1core of 4cores -----------------------   ./ 录制下来的 test.mp4文件可以通过下面pipeline进行回放 ----------------------- gst-launch-1.0 filesrc location=/home/root/test.mp4 typefind=true ! h264parse ! vpudec ! imxv4l2sink -----------------------     4). 海康网络摄像头测试 a). 首先通过海康萤石管理软件配置摄像头网络配置为固定IP - 10.20.1.99/255.255.255.0   b). 然后将Apalis iMX6 eth0 网络配置为固定IP - 10.20.1.98/255.255.255.0，然后和摄像头确保能够ping通。   c). 通过下面pipeline通过rtsp捕获摄像头适配流并播放，admin对应的password在每个摄像头标签上面有提供。 ----------------------- $ gst-launch-1.0 rtspsrc location=rtsp://admin:password@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink CPU占用率：~18% x 1core of 4cores ----------------------- 当然，也同样可以将捕获的视频流保存成本地文件，这里就不赘述了。     5). 四路摄像头同时播放示例 a). 基于上面两个章节的测试后，我们现在来进行四路摄像头同时播放显示测试，当然此时显示窗口就不能全屏了，而是要对应调整大小和位置。   b). 首先测试在屏幕左上角显示Full HD USB摄像头输出 ----------------------- $ gst-launch-1.0 v4l2src device=/dev/video3 ! 'image/jpeg,width=1920,height=1080,framerate=30/1' !  vpudec output-format=4 ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480 -----------------------   c). 然后测试在屏幕左下角显示网络摄像头输出 ----------------------- $ gst-launch-1.0 rtspsrc location=rtsp://admin:XIYFYO@10.20.1.99:554/h264/ch1/main/av_stream latency=10 ! queue ! rtph264depay ! vpudec ! imxg2dvideosink window-width=960 window-height=480 window-y-coord=480 -----------------------   d). 然后测试在屏幕右上角显示OV5640 MIPI/CSI-2摄像头输出 ----------------------- $ gst-launch-1.0 imxv4l2src device=/dev/video2 ! capsfilter caps="video/x-raw, width=1920, height=1080, framerate=30/1" ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink sync=false window-width=960 window-height=480 window-x-coord=960 -----------------------   e). 然后测试在屏幕右下角显示模拟摄像头输出 ----------------------- $ gst-launch-1.0 -v imxv4l2videosrc ! imxipuvideotransform ! imxg2dclockoverlay time-format="%Y-%m-%d %H:%M:%S" halignment=2 valignment=1 ! imxg2dvideosink window-width=960 window-height=480 window-x-coord=960 window-y-coord=480 -----------------------   f). 最后测试上面四路摄像头同时输出 本文用如下测试脚本进行测试，当然也可以将上面pipeline都在一个gst-launch里面运行，不过可能需要适当增加queue。 ----------------------- https://github.com/simonqin09/Apalis_iMX6Q_Camera_Demo/blob/master/camera.sh CPU占用率：~50% x 3core of 4cores ----------------------- 显示效果如下图，另外需要注意由于这个测试除了占用比较大的CPU资源，也大量使用了VPU，GPU等硬件资源，因此需要考虑对Apalis iMX6进行良好散热才能保证运行稳定。 ​                                                    7). 总结 如上述示例，iMX6处理器已经可以支持丰富的摄像头资源，为了保证工作高效和稳定，在可能的情况下，尽量采用IMX专用的gstreamer元件。