rtmp 推送h264 + aac 的数据

2019-07-12 20:40发布

转自:http://blog.csdn.net/keepingstudying/article/details/42293875
需要libfaac,librtmp 的支持,

1、帧的划分

1.1 H.264帧

对于H.264而言每帧的界定符为00 00 00 01或者00 00 01。 比如下面的h264文件片断这就包函三帧数据 00 00 00 01 67 42 C0 28 DA 01 E0 08 9F 96 10 00
00 03 00 10 00 00 03 01 48 F1 83 2A 00 00 00 01
68 CE 3C 80 00 00 01 06 05 FF FF 5D DC 45 E9 BD
E6 D9 48 B7 96 2C D8 20 D9 23 EE EF … 第一帧是00 00 00 01 67 42 C0 28 DA 01 E0 08 9F 96 10 00 00 03 00 10 00 00 03 01 48 F1 83 2A
第二帧是00 00 00 01 68 CE 3C 80
第三帧是00 00 01 06 05 FF FF 5D DC 45 E9 BD E6 D9 48 B7 96 2C D8 20 D9 23 EE EF .. 帧类型有:
NAL_SLICE = 1
NAL_SLICE_DPA = 2
NAL_SLICE_DPB = 3
NAL_SLICE_DPC = 4
NAL_SLICE_IDR = 5
NAL_SEI = 6
NAL_SPS = 7
NAL_PPS = 8
NAL_AUD = 9
NAL_FILLER = 12, 我们发送RTMP数据时只需要知道四种帧类型,其它类型我都把它规类成非关键帧。
分别是
NAL_SPS(7), sps帧
NAL_PPS(8), pps帧
NAL_SLICE_IDR(5), 关键帧
NAL_SLICE(1) 非关键帧 帧类型的方式判断为界面符后首字节的低四位。
第一帧的帧类型为: 0x67 & 0x1F = 7,这是一个SPS帧
第二帧的帧类型为: 0x68 & 0x1F = 8,这是一个PPS帧
第三帧的帧类型为: 0x06 & 0x1F = 6,这是一个SEI帧 以上是我们利用帧界定符划分帧,并可以判断每一个帧的类型。 注意:如果是压缩图像成H264帧,我们就可不必进行帧界定,因为每一次压缩的输出都明确了该帧的大小(包括界定符),每一次的压缩的结果可能包函多帧。一会具体讨论。

1.2 AAC帧

对于AAC帧它的界定符是FF F1 这里我就不举例了,可通过查看AAC的二进制文件可以看到如下的帧结构。
FF F1 50 80 24 9F FD DE 04 00 00 6C 69 62 66 61 61 63 20 31 2E 32 38 00 00 42 15 95 .. 注意:那么对于AAC而言加上界定符每一帧的前7字节是帧的描述信息,也就是说AAC的祼数据是除去前面的7个字节的,在发送RTMP时,我们要去掉这7个字节。同样,如果我们是一边压缩一边发送RTMP,我们同样不需要界定帧,因为libfaac每次压缩完成的输出就是一个完整的帧数据,我们只需要将该帧打包发送即可。 综合上面的所述,如果我们只是一边压缩一边将压缩结果发送到RTMP服务器,那我们就可以不用对帧进行界定,如果我们是发送H264与AAC文件,那我们就要对帧进行界定。

2.视频与音频的编码信息

如果我们只是简答的将压缩数据打包发送给RTMP服务器,那么RTMP服务器是不可以对数据进行解码和播放的,在这之前我们要将音视频的视频的编码信息发送给RTMP服务器。很多人可能苦于寻找下面的三个编码参数而不得要领。其实要想得到也是很简单的。

2.1 (H264)SPS

对于H264而言,SPS就是编码后的第一帧。如果是读取H264文件,就是第一个帧界定符与第二帧界定符中间的数据长度是4。

2.2 (H264)PPS

对于H264而言,PPS就是编码后的第二帧。如果是读取H264文件,就是第二个帧界定符与第三帧界定符中间的数据,长度不固定。

2.3 (AAC)AudioDecoderSpecificInfo

这个长度为2个字节,可以通过计算或者调用函数获取。
建议通过调用faacEncGetDecoderSpecificInfo(fh,&spec,&len);获取。
一般情况双声道44100采样下,该值是0x1210

3.librtmp的使用

C 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 /*分配与初始化*/ rtmp = RTMP_Alloc(); RTMP_Init(rtmp);   /*设置URL*/ if (RTMP_SetupURL(rtmp,rtmp_url) == FALSE) {     log(LOG_ERR,"RTMP_SetupURL() failed!");     RTMP_Free(rtmp);     return -1; }   /*设置可写,即发布流,这个函数必须在连接前使用,否则无效*/ RTMP_EnableWrite(rtmp);   /*连接服务器*/ if (RTMP_Connect(rtmp, NULL) == FALSE) {     log(LOG_ERR,"RTMP_Connect() failed!");     RTMP_Free(rtmp);     return -1; }   /*连接流*/ if (RTMP_ConnectStream(rtmp,0) == FALSE) {     log(LOG_ERR,"RTMP_ConnectStream() failed!");     RTMP_Close(rtmp);     RTMP_Free(rtmp);     return -1; } C 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 /*定义包头长度,RTMP_MAX_HEADER_SIZE为rtmp.h中定义值为18*/   #define RTMP_HEAD_SIZE   (sizeof(RTMPPacket)+RTMP_MAX_HEADER_SIZE)   RTMPPacket*packet; unsignedchar*body;   /*分配包内存和初始化,len为包体长度*/ packet=(RTMPPacket*)malloc(RTMP_HEAD_SIZE+len); memset(packet,0,RTMP_HEAD_SIZE);   /*包体内存*/ packet->m_body=(char*)packet+RTMP_HEAD_SIZE; body=(unsignedchar*)packet->m_body; packet->m_nBodySize=len;   /* * 此处省略包体填充 */ packet->m_hasAbsTimestamp=0; packet->m_packetType=RTMP_PACKET_TYPE_VIDEO;/*此处为类型有两种一种是音频,一种是视频*/ packet->m_nInfoField2=rtmp->m_stream_id; packet->m_nChannel=0x04; packet->m_headerType=RTMP_PACKET_SIZE_LARGE; packet->m_nTimeStamp=timeoffset;   /*发送*/ if(RTMP_IsConnected(rtmp)){     ret=RTMP_SendPacket(rtmp,packet,TRUE);/*TRUE为放进发送队列,FALSE是不放进发送队列,直接发送*/ }   /*释放内存*/ free(packet); C 1 2 3 /*关闭与释放*/ RTMP_Close(rtmp); RTMP_Free(rtmp);

4.包类型

4.1 H.264编码信息帧

H.264的编码信息帧是发送给RTMP服务器称为AVC sequence header,RTMP服务器只有收到AVC sequence header中的sps,pps才能解析后续发送的H264帧。 C 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 intsend_video_sps_pps() {     RTMPPacket*packet;     unsignedchar*body;     inti;       packet=(RTMPPacket*)malloc(RTMP_HEAD_SIZE+1024);     memset(packet,0,RTMP_HEAD_SIZE);       packet->m_body=(char*)packet+RTMP_HEAD_SIZE;     body=(unsignedchar*)packet->m_body;       memcpy(winsys->pps,buf,len);     winsys->pps_len=len;       i=0;     body[i++]=0x17