互动直播的连麦技术详解

前言

2016年映客直播率先宣布成为国内首个使用连麦技术的直播平台，树立了互动直播产品新的风向标，在短期内映客直播迅速蹿升至各大直播排行榜的收尾，一举奠定了自己移动直播领头羊的地位。由于在直播中使用连麦有较高的技术壁垒，其他直播平台无法在短期内实现该功能，导致错过了抢占流量的黄金时期。
 

互动直播中的连麦是什么

传统直播就像看“新闻联播”，观众只能收看这个节目，偶尔能通过手机短信与节目组进行互动。基于互联网的互动直播可以通过发送文字、点赞、送礼物等方式和主播互动，但本质上与看“新闻联播”的体验类似。

互动直播中的连麦简单来说就是当主播直播期间，可以与其中某一个或几个观众进行互动，并且其他观众能够观看到这个互动过程。直播连麦功能的推出让直播的传播方式变成平等的互动社交模式。主播和观众的身份也由此转换为发起者和参与者，除了最基本的内容传输，提升参与感才是直播连麦的本质诉求。

 

如何实现连麦互动直播方案

由于连麦过程中，主播和观众就像打电话一样，对声音和画面的延迟控制非常苛刻，所以为了实现互动实时性高的连麦，首先要有一套类似于微信，skype 及 facetime 的多人音视频通话系统。这套实时通话系统可以选择自主研发或者基于开源软件如Google的WebRTC做二次开发。下面简单介绍多人实时通话系统的一些重点技术细节。
1、多人音视频实时通话系统为了降低通话时延，通常使用UDP协议作为传输层协议，众所周知UDP协议是不可靠，为了提高弱网下的实时音视频的通话效果，需要使用相关方案来做QoS保障，主要包括：
a）使用基于网络状态的音视频码率自适应算法，根据当前网络的丢包、时延自适应降低或者升高音频和视频的码率和帧率，通过这个方法来降低网络的拥塞，提高通话质量；
b）使用智能Jitterbuf算法来平滑网络抖动，同时内部使用音频编码的丢包补偿（PLC）算法进一步提升通话质量；
c）使用基于多层参考的视频编解码器，降低视频丢包后的卡顿；
d）整个UDP传输层使用前向纠错FEC算法进行智能保护，最大限度上保证实时音视频通话的效果。
2、现在用户对于视频的清晰度要求越来越高，多人实时通话系统能够支持720p，720p下纯软件编解码对CPU开销过大，因此推荐使用高端机型并开启硬编解码模式。对于苹果手机硬件编解码基本上只与iOS的版本相关，而Android情况就会复杂得多，不仅与手机硬件相关，还和各个手机的ROM相关，为了解决这个问题需要去做适配。
3、搭建覆盖全球的服务器部署与网络拓扑，在全球范围内的机房节点搭建了多个多线接入网络拓扑，部署了高可用的服务器集群，并利用智能分配算法与路由策略，为跨省、跨运营商、跨国的多人实时通话提供优质的传输通道。
要实现效果理想的连麦互动直播，一套强大完善的多人实时通话系统是前提。在简单介绍完一套强大的多人实时通话系统的需要具备的特点后，接着我们就可以讨论下连麦互动直播的具体实现方案了。

方案一

该方案使用实时通话系统来进行主播和观众的实时互动连麦，通过实时通话通道主播端收到观众端发送的音频和视频数据，主播端将自己的声音和观众的声音做混音，并将自己的画面与观众的画面做视频合成，最后将混合的声音和画面进行编码并推流到CDN流媒体服务器。

方案优点
1.主播和连麦观众使用了实时音视频来进行连麦互动，实时性高，观众看到的合成画面里主播和观众的互动也是同步实时的，保证延时小，减少带宽压力。
2.提供集成连麦功能的直播 SDK，对原有的软件架构改动不大，方便项目对接，大大减少了开 发的时间和精力，缩短项目上线周期。

方案二

主播直接将流推向连麦服务器，由实时音视频的中转服务器转发给互动直播服务器，再由互动直播服务器处理后推流到CDN流媒体服务器。多人音视频实时通话系统，可以实现多人的实时互动，而且多人模式下所有的数据包都是通过音视频中转服务器中转。音视频中转服务器在转发给参与客户端的同时，转发一份到互动直播服务器，互动直播服务器对收到的语音进行混音，同时对视频画面做混合处理，处理完毕以后再推流到CDN流媒体服务器。通过这种方案，将方案一中由主播端做的混音混合及推流操作，转嫁由互动直播服务器来承担。 

方案优点
1、主播和连麦观众使用了实时音视频来进行连麦互动，实时性高，普通观众看到的合成画面里主播和观众的互动也是同步实时的。
2、所有客户端的上行推流不再依赖基于TCP的RTMP协议，而是使用基于UDP的高性能私有协议，传输层的QoS保障更加智能高效。
3、方案一中主播端的带宽和性能压力不复存在，本方案非常适合移动端的连麦互动直播。

未来展望
直播市场依旧非常火热，竞争也愈加激烈，优质的视频内容和强有力的交互方式会增加用户的粘性，直播连麦赋予了直播行业新的亮点。
想体验连麦黑科技的用户可以点击又拍云 IOS SDK 和又拍云 安卓 SDK 免费体验使用哦！