本文来自：
http://blog.chinaunix.net/uid-23093301-id-86399.html


SDL开源图形图像库的简介

SDL（Simple DirectMedia Layer）是一个自由的跨平台的多媒体开发包，它被广泛的用于游戏、演示软件、模拟器、MPEG播放器等应用软件，SDL可以设置8bpp或更高的任意色彩深度的视频模式，也可以直接写入线性的图像帧缓冲framebuffer。SDL支持各种事件如键盘输入、鼠标输入、用户推出等。除此之外，SDL还提供完整的CD音频控制API，以及线程、定时器等工具函数。

 基于SDL的视频显示

本课题选用的SDL版本为1.2.13。 基于SDL显示模块主要分如下几步： ● SDL函数库的初始化，主要是设置SDL支持视频显示。 SDL_Init(SDL_INIT_VIDEO|SDL_INIT_TIMER)； ● 设置视频显示模式，SDL会尝试使用硬件加速，如果硬件加速失败，SDL会自动调整尽量使用与设置最为接近的模式。 screen = SDL_SetVideoMode (WIDTH, HEIGHT, 0, SDL_HWSURFACE                                               | SDL_DOUBLEBUF                                               | SDL_ANYFORMAT                                             | SDL_RESIZABLE); ● 设置窗口显示标题 SDL_WM_SetCaption ("USB Camera By Breeze", NULL);      ● 创建YUV覆盖。多媒体领域中，尤其涉及到MPEG的播放时，通常使用YUV的颜色空间，如果MPEG的图片要在屏幕上显示则需要YUV到RGB的转化。某些显示芯片能够支持YUV到RGB的转换，免去软件转换的性能损失。这样，只要将YUV信息写到缓冲区，硬件就能自动完成YUV到RGB的转换并将图像显示到屏幕上。 overlay = SDL_CreateYUVOverlay(XDIM, YDIM, SDL_YV12_OVERLAY, screen); ● 将视频信息传送到显示设备上。SDL_LockSurface(screen);     SDL_LockYUVOverlay(overlay);            pict.data[0] = overlay->pixels[0];     pict.data[1] = overlay->pixels[2];     pict.data[2] = overlay->pixels[1];     pict.linesize[0] = overlay->pitches[0];     pict.linesize[1] = overlay->pitches[2];     pict.linesize[2] = overlay->pitches[1]; SDL_UnlockYUVOverlay(overlay);     SDL_UnlockSurface(screen);     SDL_DisplayYUVOverlay(overlay, &rect);

基于x264压缩保存图像

 x264压缩编码介绍

x264是优秀的免费的MPEG-4视频编码格式，基于H264算法，拥有如下特点： ● 采用CAVLC/CABAC多种算法编码 ● 内置所有macroblock格式（16x16, 8x8, and 4x4 ） ● Inter P：所有的分割块（从16x16到4x4 ） ● Inter B：分割块从16x16到8x8 ● 码率控制：恒定的分层编制，单次或多次的ABR压制，可选的VBV压制 ● 场景剪切侦测  ● 支持B-frame ● 能够任意编制B-frame命令行 ● 无损模式 ● 8x8和4x4的格式能够进行翻转或旋转 ● 自定义精确的矩阵模板 ● 可在多个CPU平行编码 ● 隔行扫描的文件质量要好。它符合GPL许可证。

 x264库的安装

● 通过如下方式获得x264源码： svn co svn://svn.videolan.org/x264/trunk x264 ● 进行编译安装 ./configure --prefix=/usr --enable-shared 配置为下： Platform:   X86 System:     LINUX asm:        yes avis input: no mp4 output: yes pthread:    yes debug:      no gprof:      no PIC:        no shared:     yes visualize:  no #make && make install

 FFMPEG中安装对x264的支持

本课题利用FFMPEG将视频进行无损的压缩保存，x264编码能在尽量保证视频质量到同时做到大比例到压缩，是非常流行到MPEG-4编码，本课题选用x264编码压缩视频数据后保存为mp4文件。 ● 配置FFMPEG 支持x264 ./configure      --enable-gpl  --enable-static  --enable-xvid  --enable-x264  --disable-shared  配置的最终效果为： C compiler                gcc .align is power-of-two    no ARCH                      x86 (generic) big-endian                no yasm                      yes MMX enabled               yes MMX2 enabled              yes 3DNow! enabled            yes 3DNow! extended enabled   yes SSE enabled               yes SSSE3 enabled             yes CMOV enabled              no CMOV is fast              no EBX available             yes EBP available             yes 10 operands supported     yes gprof enabled             no debug symbols             yes strip symbols             yes optimizations             yes static                    yes shared                    yes postprocessing support    no software scaler enabled   yes new filter support        no filters using lavformat   no video hooking             yes Imlib2 support            no FreeType support          yes network support           yes IPv6 support              yes threading support         no SDL support               yes libx264 enabled           yes libxvid enabled           yes vdpau enabled             no zlib enabled              yes bzlib enabled             yes Enabled encoders: ac3 ljpeg pcm_u24le adpcm_adx mjpeg pcm_u32be adpcm_g726 mp2 pcm_u32le adpcm_ima_qt mpeg1video pcm_u8 adpcm_ima_wav mpeg2video pcm_zork adpcm_ms mpeg4 pgm adpcm_swf msmpeg4v1 pgmyuv adpcm_yamaha msmpeg4v2 png alac msmpeg4v3 ppm asv1 nellymoser qtrle asv2 pam rawvideo bmp pbm roq dnxhd pcm_alaw roq_dpcm dvbsub pcm_f32be rv10 dvdsub pcm_f32le rv20 dvvideo pcm_f64be sgi ffv1 pcm_f64le snow ffvhuff pcm_mulaw sonic flac pcm_s16be sonic_ls flashsv pcm_s16le svq1 flv pcm_s24be targa gif pcm_s24daud tiff h261 pcm_s24le vorbis h263 pcm_s32be wmav1 h263p pcm_s32le wmav2 huffyuv pcm_s8 wmv1 jpegls pcm_u16be wmv2 libx264 pcm_u16le zlib libxvid pcm_u24be zmbv License: GPL ● 编译安装 #make && make install 最后在生成如下文件： 1）头文件 libavcodec/       libavformat/      libswscale/          libavdevice/      libavutil/  2）库文件 libavcodec.a           libavdevice.a          libavformat.a            libavutil.a libavcodec.so          libavdevice.so         libavformat.so           libavutil.so

FFMPEG实现视频流压缩保存

● 初始化FFMPEG函数库，初始化视频编码器 ● 根据编码器初始化视频流结构体，设置比特率等   st = av_new_stream(oc, 0);     if (!st) {         fprintf(stderr, "Could not alloc stream ");         exit(1);     }     c = st->codec;     c->codec_id = CODEC_ID_H264;     c->codec_type = CODEC_TYPE_VIDEO;          /* put sample parameters */     c->bit_rate = 1000;//40;     c->sample_rate = 800*1000;     c->time_base = (AVRational){1,25};//! 如果有延迟就改这里     c->gop_size = 12;  ● 转换原始图像数据颜色空间到YUV420P img_convert_ctx = sws_getCachedContext( img_convert_ctx,     cc->width, cc->height,     cc->pix_fmt,     cc->width, cc->height,     (PixelFormat)src_pix_fmt,  sws_flags,  NULL, NULL, NULL); sws_scale(img_convert_ctx, picture->data, picture->linesize,        0, cc->height, destFrame->data, destFrame->linesize); ● 编码压缩 out_size = avcodec_encode_video(cc, m_video_outbuf, m_video_outbuf_size, picture); ● 将编码后的一帧图像数据写到文件里 pkt.stream_index= m_video_st->index; pkt.data= m_video_outbuf; pkt.size= out_size; ret = av_write_frame(m_fc, &pkt); ● 最后写文件尾等信息到MP4目标文件，关闭文件，释放资源等。 avcodec_close(m_video_st->codec); av_write_trailer(m_fc);   url_fclose(m_fc->pb);    av_free(m_fc);

小结

本章讨论了PC端视频监控系统的设计和实现。JRTPLIB是开源的优秀的RTP函数库，PC端基于JRTPLIB实现的RTP接收模块。本章讨论了FFMPEG音视频函数库的开发技术，基于FFMPEG实现了图像颜色空间的转换，并通过SDL图形显示库将视频图像实时显示到屏幕上。H264是优秀的视频编码算法，本章通过FFMPEG实现了将图像数据按H264进行编码压缩，并保存成MP4文件。