视频和视频帧：ffmpeg的RTMP推流

写在前面

本文将先容以下内容：

• 什么是推流？将先容推流常见的协议RTMP，HLS等。
• 怎样用ffmpeg做推流，包括cmd和code两种方式。
• 笔者在开辟推流时碰到的一些坑点。

I. 推流简介

笔者最初听到“推流”时，心里想：“这是什么高端玩意儿？”，迫于项目压力，不能不顶着压力调研和开辟。经过一段时候的进修、开辟和总结，笔者终究大白了推流，究竟是个什么高端玩意儿？

什么是推流？

在 科普 | 直播中常说的推流拉流究竟是什么东东？中说：

推流，指的是把收集阶段封包好的内容传输到办事器的进程。实在就是将现场的视频信号传到收集的进程。

用大口语讲，推流就是把当地音视频数据经过收集上传到云端/背景办事器，所谓“收集阶段封包好”，笔者以为是未解码的H264的NALU。

推流的全部阶段以下图，本图一样摘自 科普 | 直播中常说的推流拉流究竟是什么东东？（读者请先疏忽“拉流”这个名词，姑且替换为客户端用户在视频门户网站，如腾讯视频、B站等看收集在线的视频，自然也包括看直播。）：

上图从“推流端”到“源站”（同上文所说到的“办事器”），再到CDN分发节点，最初到“播放端”，全部进程的视音频数据，都是紧缩的数据流。也就是说，对视频数据来说，就是H264码流。解码工作是在播放端停止的。

推流的工作不可思议，最多的利用就是直播；而在大大都视频门户网站，笔者今朝也很迷惑，能否存在步调1，从效力上来说，视频数据间接寄存在“源站”，经过CDN按照客户端请求下发，应当便可以了。至于具体做法，有待考证，笔者在这里姑且记一笔吧。

领会了什么是推流以后，下一个题目自然就出来了：应当怎样推流呢？这实在是一个复杂的进程，而且还需方法会”源站“，也就是推流办事器。本文仅触及当地音视频数据经过收集上传到云端/背景办事器的当地音视频上传阶段，所以，先来领会当地的数据是怎样上传的，第一步就是领会推流的协议！

笔者领会到的几个今朝常用的推流协议有：RTMP，HLS，webRTC，HTTP-FLV。本文仅先容RTMP，缘由是：笔者今朝只打仗了RTMP协议的推流工作。

RTMP

RTMP是Real Time Messaging Protocol（实时消息传输协议）的首字母缩写。是Adobe公司开辟的一个基于TCP的利用层协议，也就是说，RTMP是和HTTP/HTTPS一样，是利用层的一个协议族。RTMP在TCP通道上一般传输的是flv 格式流。请留意，RTMP是收集传输协议，而flv则是视频的封装格式。flv封装格式设想出来的目标是为了用于收集传输利用的，是以RTMP+FLV可以说是”黄金同伴“。

RTMP协议包括：根基协议及RTMPT/RTMPS/RTMPE等多种变种。从视频协议进修：推流拉流都擅长的 RTMP领会到，RTMP协议家属有以下几个点挺风趣，读者们无妨看看：

1. RTMP工作在TCP之上，默许利用端口1935，这个是根基形状；
2. RTMPE在RTMP的根本上增加了加密功用；
3. RTMPT封装在HTTP请求之上，可穿透防火墙；
4. RTMPS类似RTMPT，增加了TLS/SSL的平安功用；
5. RTMFP利用UDP停止传输的RTMP；

RTMP就是专门针对多媒体数据流的实时通讯设想出来的一种收集数据传输协议，首要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互办事器之间停止音视频和数据通讯。现在Adobe公司已经不支持了，不外今朝，该协议还在普遍利用。

RTMP具体若何停止握手毗连、传输数据，以及其封装的数据包格式，读者都可以经过各类材料领会到，本文不再赘述。（首要缘由是：笔者还没有深入领会这块常识。捂脸）

II. ffmpeg的rtmp推流

下面将先容2种ffmpeg推流的方式：号令行（cmd）和代码（code）。

号令行（CMD）推流

ffmpeg cmd的参数实在太多，是以这里只先容根本的、以及笔者领会的跟读者们做一个分享。

首先，来看一个将当地视频文件推流到办事器的最根本的号令：

• -i：暗示输入视频文件，后跟视频文件途径/URL。
• -f：强迫ffmpeg采用某种格式，后跟对应的格式。

上文有提到，RTMP一般用flv流数据，是以多设备-f flv。

接着，另一个根基需求，就是在推流的时辰希望不要加上音频，这个也好实现：

• -vcodec：指定视频解码器，v是视频video，codec就是解码器，后跟解码器称号，copy暗示不作解码；
• -acodec：指定音频解码器，同理，a是audio，后跟解码器称号。an代表acodec none就是去掉音频的意义。

关于a/v的写法很多，除了上面先容的，还有-c:v copy -c:a copy等。

再有其他的需求，读者可自行Google。

代码（code）推流

ffmpeg的c++代码推流，网上也是一搜一大堆。笔者保举雷神的最简单的基于FFmpeg的推流器（以推送RTMP为例），可以满足根本的推流需求。可是笔者在现实利用处景时碰到过几个case，最初总结获得一份相对鲁棒可用的code segment：

III. 推流碰到的坑

笔者碰到过2个推流失利的case：

1. 推一个RTSP摄像头的流数据时，一旦翻开该摄像头的音频轨道就会在av_interleaved_write_frame()函数处出错。（返回码不记得了）
2. 利用英飞拓某几款摄像头推流时，总是失利，返回码显现-33。

以上2个题目都成功定位题目地点：

1. 操纵职员在翻开音频轨道时总是同时翻开2个音频轨道，只要挑选封闭其中1个音频，顿时便可以推流了；
2. 这几款摄像头同时包括多个视频码流，似乎他们会经过RTSP同时把多个码流同时传过来；最初在代码中强行过滤视音频码流，只保存一路视频+一路音频便可以了。

缘由归结为一个：flv格式最多只能包括一个视频流和一个音频流。

至此，笔者原以为视频封装格式就只是记录了几个无关紧急的参数的认知，完全崩塌。据笔者领会，MP4是可以同时包括多路码流的。看来多媒体/流媒体技术的水还很深呢，还有很多很多地方需要笔者去进修、踩坑、总结呢！自勉自勉。

写在前面

文章中有不松散的地方，接待指责。