技术调研报告
1. 目录
2. 介绍
此报告旨在对直播技术、IM框架和跨国请求网络解决方案进行调研,以便在项目中做出合适的技术选型。
3. 直播技术调研
3.1 背景
项目中需要使用直播相关的功能,需要对市场上直播相关技术进行调研
3.2 目标
- 了解现在市面上流行的直播技术
- 分析了解直播所使用的技术的优劣
3.3 调研方法
- github了解直播相关开源项目
- 了解比较大型直播平台的技术架构
3.4 技术概述
直播技术使用实时传输的方式向用户提供视频内容。常用的协议有 HTTP-FLV、HLS、RTMP、Web-RTC、RTSP。
| 协议 | 协议概述 | 优点 | 缺点 |
|---|---|---|---|
| RTMP | Adobe 公司为Flash/AIR与服务器之间传输音视频数据而开发的私有协议,也是目前最常用的流媒体传输协议。 | 基于TCP长连接,不需要多次建连,延时低,通常只有1~3s;技术成熟,配套完善。 | 在PC浏览器中只能通过Flash使用,且无法在移动浏览器使用;鉴于Flash即将退出舞台,所以在网页播放端基本不会以RTMP做拉流。但是是一个很好的推流协议 |
| HLS | 苹果公司提出的基于HTTP的流媒体网络传输协议。其工作原理是切片式传输,把直播流切成无数片,用户在观看视频时,每次客户端可以只下载一部分。 | 基于HTTP协议,所以接入CDN较为容易,很少被防火墙拦下,且自带多码率自适应;作为苹果提出的协议,在macOS/iOS下有极大优势,Android中也提供了对应的支持;可以说此项协议用在移动设备上是再合适不过了。 | 延时较大,通常不低于10s 。大量的TS片文件,会造成服务器存储和请求的压力。 |
| HTTP-FLV | 把音视频数据封装成FLV,然后通过HTTP连接传输,与RTMP相比只是传输协议变了。对于网页播放端,本来还是需要Flash才能播放,但「flv.js」的出现又弥补了这个缺陷。 | 低延时,整体效果与RTMP非常接近;相较于RTMP协议,能有效避免防火墙和代理的影响。 | 它的传输特性会让流媒体资源缓存在本地客户端,也就是说保密性不怎么样;直到目前仍然不兼容iOS的浏览器。 |
| WebRTC | 基于Google开源技术,在Web端上实现流媒体的协议 | RTMP和HLS都是掌握在大企业手中的协议,而WebRTC已被纳入W3C标准;无需安装插件,支持的浏览器越来越多。 | 厂商对浏览器或系统的定制可能会导致可用性问题,且缺乏服务器端设计和部署方案;传输质量难以保证,优化手段有限;在安卓设备上的兼容性不好;另外,此项协议主要面向Web端,对原生开发支持不足。 |
基础直播流程

参考资料
3.5 主流直播使用协议方案
3.5.1 斗鱼
- 直播技术方案:斗鱼使用 HTTP-FLV 方案来实现视频直播,这是国内几乎所有直播平台都在使用的技术
- HTTP+P2P FLV 拉流:斗鱼并不完全使用 HTTP 去拉流,而是采用 CDN 和 P2P 两种方式同时去拉流。斗鱼首先会去请求一个完整的 FLV 流,等 P2P 连接好了再去切换成子流。这是因为 P2P 连接比较慢,如果一开始就走 P2P,那么视频起播速度会非常慢。
- P2P 连接:斗鱼 P2P 是基于 WebRTC 的 DataChannel,可以接收其他用户分享的视频数据,自己也会共享当前下载到的视频数据给其他用户。
- 流量节省:通过 P2P 从其他用户那里拉流可以节省大量流量。例如,一个直播流分为两个子流,一个从 CDN 拉,一个从其他用户那里拉,这样理论上就可以节省 50% 的流量。而斗鱼将一个直播流分成 6 个子流,一个从 CDN 拉,其余 5 个全部从其他用户那里拉,理论上可以节省超过 80% 的直播流量。
- 直播时移:对于赛事直播,斗鱼支持直播时移,这是基于 HLS 的。如果点击一下进度条,斗鱼播放器会黑一下,将 FLV 切换成 HLS。
总结:斗鱼不仅使用国内常用的 HTTP-FLV 方案,还加入了 P2P 拉流,从而节省 CDN 流量。对于赛事直播,斗鱼还支持直播时移,直播时移是使用 HLS 来实现的,用户在 seek 后会通过 seek 到的时间点去服务器换取对应的时移 HLS 流地址,然后走 HLS 拉流即可。 参考资料
3.5.2 twitch
- Twitch 的直播流通常是使用 RTMP(Real Time Messaging Protocol)协议进行推流,然后在服务器端将 RTMP 流转换为 HLS(HTTP Live Streaming)流进行分发,用户端则通过 HLS 协议进行拉流。RTMP 协议保持持久连接,并且流数据的传输几乎是实时的,这使得它非常适合用于推送直播流。HLS 协议将直播流切分为一段段小的文件进行传输,客户端下载这些小文件后进行拼接播放,这使得 HLS 协议非常适合用于拉取直播流。参考资料
- twitch 将直播技术集成到 Amazon Interactive Video Service(IVS)的服务
3.6 大型直播系统流程架构
-
视频直播中心(Live Manage Service):负责直播流的逻辑管理和操作控制,包括存储和下发实时转码、加密等媒体处理的配置信息。
-
实时互动直播服务:由连麦互动和直播两部分组成,主播和连麦者的音视频数据在互动直播高性能服务器合成为一道流后推流到直播流媒体服务器。
-
直播源站服务(Live Source Service):自建的直播流媒体服务器节点,结合全局智能调度系统,提供第一公里的最佳链路选择,同时融合支持接入多家CDN厂商。
-
媒体处理服务(Media Processing Service):提供实时水印、实时转码、媒体数据加密等强大的流媒体处理能力。
-
融合CDN与全局智能调度(Global Server Load Balancing):提供敏捷智能的CDN调度策略和分配算法,结合全链路、端到端的流媒体控制,来达到最终端侧优良的用户体验。
-
客户端SDK:提供推流、拉流以及上下行的调度能力,便于用户快速接入使用平台一站式的音视频解决方案。
此外,这个架构还包括以下几个关键部分:
-
推拉流链路:这是直播技术架构的核心部分,包括视频直播中心、实时互动直播服务、直播源站服务、媒体处理服务、融合CDN与全局智能调度和客户端SDK。
-
融合CDN与智能调度:这是一个端到端的服务,通过平台的SDK执行一个类似HTTPDNS的调度,来做到真正根据用户IP做就近的接入。
-
流量精准调度:大型演唱会直播活动,尤其是正式开播时的进场阶段,突发流量峰值会非常高,这就需要实时精准的智能调度策略。
-
单元化部署:在大型直播活动中,短时间大量涌入的用户请求,对以全局智能调度服务为主的相关非媒体流链路应用,也提出了更高的并发处理挑战。
-
稳定性保障:超大型直播方案最核心的诉求就是直播稳定性,包括上行链路稳定和下行链路稳定。
-
安全性保障:除了直播全链路的稳定之外,直播安全也很重要。包括防盗链鉴权、IP黑白名单、HTTPS等能力,以及地区、运营商等下行调度的动态限制,实现全链路安全保障。
-
监控与报警:一场大型直播将会有大量的计算节点参与,除了媒体数据处理与分发的各个服务器节点,还有分布在国内外的海量客户端。我们对网络链路、服务节点、设备端的健康与质量感知,都离不开数据监控系统。
参考资料
3.6 直播相关开源项目
| 项目名 | 介绍 | 说明 |
|---|---|---|
| srs | SRS (Simple Realtime Server) 是一个简单、高效的实时视频服务器 | 1.支持多种流媒体协议,包括 RTMP、WebRTC、HLS、HTTP-FLV、SRT、MPEG-DASH 和 GB28181。 2.支持多种操作系统和硬件平台。 3.提供了详细的文档,包括如何开始使用、如何从源代码编译等。 4.提供了多种使用示例,包括如何使用 FFmpeg 或 OBS 进行流媒体推送,如何使用 VLC 或网页播放器播放流媒体等。 5.提供了详细的 Wiki,包括如何进行 RTMP 流媒体传输、如何进行 WebRTC 流媒体传输、如何将 RTMP 转换为 HTTP-FLV 流媒体、如何将 RTMP 转换为 HLS 流媒体等。 |
| livego | Livego是一个简单且高效的实时广播服务器 | 1.纯 Golang 编写,性能高,跨平台; 2.支持常用的传输协议、文件格式和编码格式。 支持传输协议:RTMP、AMF、HLS、HTTP-FLV |
3.7 直播相关服务
| 服务名 | 介绍 | 说明 | 费用 |
|---|---|---|---|
| Amazon Interactive Video Service(IVS | 亚马逊提供的 twitch 技术的服务 | 托管式直播流:Amazon IVS 提供了一种托管式的直播流解决方案,可以快速为移动和网络应用进行相关设置。 直播流托管式聊天:Amazon IVS 提供了直播流托管式聊天功能,可以增强用户的互动体验。 多主机直播流:Amazon IVS 支持多主机直播流,可以满足多样化的直播需求。 |
收费策略 |
| ApsaraVideo Live | 阿里云提供直播服务 | 全链路服务:提供上下行码率自适应、窄带高清转码™、截图、录制、视频审核、时移、数据监控、云导播、超低延时直播、实时日志、视频流管理等功能和服务。 全球布局:拥有3200+全球直播节点 超低延时毫秒级超低延时,互动更加实时。依托阿里云海内外海量节点资源,实现百万级高并发。 |
收费策略 |
4. IM框架调研
4.1 背景
业务中需要使用到群组、聊天等相关功能。
4.2 目标
- 分析IM框架的性能和稳定性。
- 了解IM解决方案
4.3 调研方法
- github了解IM相关开源项目
- 查阅IM相关技术文章
4.4 技术概述
即时消息(IM)系统是一种实时通信技术,它允许用户通过网络进行实时交流。IM 技术的主要特点包括实时性、可靠性、一致性和安全性。
-
实时性:IM 系统的核心是实时性,它保证消息的实时传达。如果消息不能即时收到,那么 IM 系统就无法正常工作。
-
可靠性:IM 系统需要保证消息的不丢失和不重复。如果消息丢失或重复,那么用户的体验将会大大降低。
-
一致性:IM 系统需要保证消息的一致性,即保证同一个设备的时间顺序、不同设备的漫游同步。如果不能做到一致性,那么用户在使用 IM 系统时会感到困惑。
-
安全性:IM 系统需要保证数据传输安全、数据存储安全、消息内容安全。如果不能做到安全性,那么用户的隐私可能会被泄露。
解决方案:
-
实时性:实时性主要通过优化网络传输和数据处理来实现。使用消息队列和事件驱动模型来提高实时性。消息队列可以缓存消息,避免网络延迟和拥塞,而事件驱动模型可以在数据到达时立即处理数据,提高处理速度。
-
可靠性:可靠性主要通过冗余和故障恢复来实现。使用多个服务器来存储和处理数据,如果一个服务器出现故障,其他服务器可以接管它的工作。在这两篇文章中,作者提到了使用分布式系统和数据复制来提高可靠性。分布式系统可以将工作分散到多个服务器上,提高系统的容错能力,而数据复制可以保证数据的完整性和一致性。
-
一致性:一致性主要通过数据同步和事务管理来实现。例如,使用数据库的事务功能来保证数据的一致性,或者使用数据同步技术来保证多个服务器上的数据一致。在这两篇文章中,作者提到了使用分布式事务和一致性哈希来保证一致性。分布式事务可以保证在多个服务器上执行的操作的一致性,而一致性哈希可以保证数据在多个服务器上的一致性。
-
安全性:安全性主要通过加密和访问控制来实现。例如,使用加密技术来保护数据的安全,或者使用访问控制技术来限制用户的访问权限。在这两篇文章中,作者提到了使用SSL/TLS和身份验证来保证安全性。SSL/TLS可以保证数据在网络传输过程中的安全,而身份验证可以保证只有授权的用户可以访问数据
IM 的典型架构包括以下几个部分:
-
客户端:作为与服务端进行消息收发通信的终端。
-
接入层:也叫网关层,为客户端收发消息提供入口。
-
逻辑层:负责 IM 系统各功能的核心逻辑实现。
-
存储层:负责 IM 系统相关数据的持久化存储,包括消息内容、账号信息、社交关系链等。
-
第三方服务:保证 APP 在未打开或后台运行时也能收到消息通知。
IM 的功能组成主要包括联系人列表、聊天界面、消息发送通道、消息接收通道、消息存储和消息未读数。
参考文档
4.5 开源项目
4.5.1 Open-IM-Server
简介:Open-IM-Server 是一款即时通讯服务器,使用纯 Golang 开发,采用 JSON over WebSocket 传输协议。在 Open-IM-Server 中,所有东西都是消息,因此您可以轻松扩展自定义消息,而无需修改服务器代码。使用微服务架构,Open-IM-Server 可以使用集群进行部署。通过在服务器上部署 Open-IM-Server,开发人员可以快速地将即时通讯和实时网络功能集成到自己的应用程序中,并确保业务数据的安全性和隐私性。
GitHub地址:OpenIMSDK/Open-IM-Server
官网地址:https://www.openim.online/zh
优势
- 完整的实现IM的功能,会话、消息、好友、群组等功能
- 社区活跃,项目在持续。最近更新了3.0版本
- 基础聊天功能开源,付费可以支持高级功能(视频会议、朋友圈)但是不提供源码。
演示demo:https://www.openim.online/zh/demo
总结:实现了基础IM功能,包括服务端和客户端,可以在此基础上快速开发出一套IM应用。
4.5.1 im-server
简介:野火IM是一套通用的即时通讯和实时音视频组件,能够更加容易地赋予客户IM和RTC能力,使客户可以快速的在自有产品上添加聊天和通话功能或者直接使用野火提供的应用。使用野火可以替代云通讯产品或减少自研即时通讯和实时音视频的工作量,降低客户研发成本和难度。
GitHub地址:wildfirechat/im-server
优势:与Open-IM-Server类似提供基础功能,一些高级功能需要付费使用
演示demo:https://docs.wildfirechat.cn/demo
总结:实现了基础IM功能,包括服务端和客户端,可以在此基础上快速开发出一套IM应用。
4.6 相关服务
4.6.1 腾讯云IM
简介:即时通信 IM(Instant Messaging)基于腾讯二十余年的 IM 技术积累,支持Android、iOS、Mac、Windows、Web、H5、小程序平台且跨终端互通,低代码 UI 组件助您30分钟集成单聊、群聊、关系链、消息漫游、群组管理、资料管理、直播弹幕和内容审核等能力。适用于直播互动、电商带货、客服咨询、社交沟通、在线课程、企业办公、互动游戏、医疗健康等场景。
地址:https://cloud.tencent.com/product/im
4.6.2 网易云信
简介: 稳定可靠,海量并发,弱网消息必达, 加密传输,多重备份,选择性托管账号, 4步接入,支持公有云与私有云部署,全球多点,保障海外消息实时到达
5. 跨国请求网络解决方案调研
5.1 背景
项目需要在国外使用,涉及到跨国网络通信可能会有 网络延迟、数据丢包、网络稳定性、数据安全和隐私等问题
5.2 目标
- 了解跨国通讯这些问题的技术解决方案
- 了解云服务商提供的解决方案
5.3 调研方法
- Google 检索跨国通讯相关问题
- 查找不同与服务商的不同结局方案
5.4 技术概述
5.4.1 跨国通讯会产生的问题
-
网络延迟:由于物理距离和网络拥堵,数据在网络中传输需要一定的时间,这就导致了网络延迟。对于需要实时交互的应用(如在线游戏、视频会议等),网络延迟可能会严重影响用户体验。
-
数据丢包:在复杂的网络环境中,数据包可能会在传输过程中丢失,导致数据不完整或需要重传,这会影响网络性能和应用的响应速度。
-
网络稳定性:网络的稳定性可能会受到各种因素的影响,包括网络设备的故障、网络拥堵、恶劣天气等。网络不稳定可能会导致服务中断或性能下降。
-
数据安全和隐私:跨国网络请求可能需要通过公共互联网或者不受信任的网络进行传输,这可能会带来数据安全和隐私的风险。
-
法规和政策:不同的国家和地区可能有不同的网络法规和政策,包括数据保护、数据主权、网络审查等。这可能会对跨国网络请求带来额外的复杂性和挑战。
-
网络兼容性:不同地区可能使用不同的网络技术和标准,这可能会导致兼容性问题,影响服务的可用性和性能。
-
时区和语言:跨国服务需要考虑到时区和语言的差异,这可能会对服务的设计和运营带来额外的挑战。
5.4.2 解决方案
-
网络延迟:使用内容分发网络(CDN)将数据缓存到离用户最近的节点,或者使用全球负载均衡器将请求路由到最佳的服务器,都可以减少网络延迟。此外,优化的网络协议(如QUIC、HTTP/3等)也可以减少网络延迟。
-
数据丢包:使用更可靠的网络协议(如TCP)可以减少数据丢包的问题。此外,一些网络设备和软件也提供了错误检测和重传机制,以确保数据的完整性。
-
网络稳定性:使用冗余的网络连接和设备,以及自动故障转移机制,可以提高网络的稳定性。此外,一些云服务提供商也提供了网络性能保证(如SLA)。
-
数据安全和隐私:使用加密技术(如SSL/TLS)可以保护数据在传输过程中的安全。此外,一些云服务提供商也提供了数据隔离和访问控制的功能,以保护数据的隐私。
-
法规和政策:在设计和实施跨国网络服务时,需要充分考虑各国和地区的法规和政策,并可能需要寻求专业的法律咨询。
-
网络兼容性:使用标准化的网络技术和协议,以及兼容性测试,可以减少网络兼容性的问题。
-
时区和语言:在设计和实施服务时,需要考虑到时区和语言的差异,例如,提供多语言的用户界面,以及考虑到时区在处理时间和日期的时候。
5.5 云服务供应商解决方案
5.5.1 亚马逊
- 概述:AWS全球加速器是一种联网服务,可以帮助提高公共应用程序的可用性、性能和安全性。它提供两个全球静态公共IP,作为应用程序端点的固定入口点,如应用程序负载均衡器、网络负载均衡器、Amazon Elastic Compute Cloud(EC2)实例和弹性IP。用户可以通过静态IP地址访问应用程序端点,享受独立于DNS的确定性路由。AWS全球加速器还提供了流量管理器、API加速、全球静态IP和低延迟游戏和媒体工作负载等使用案例。
- 地址:https://aws.amazon.com/cn/global-accelerator/
5.5.2 阿里云
- 概述:阿里云全球加速是一款覆盖全球的网络加速服务,依托阿里云优质BGP带宽和全球传输网络,实现全球网络就近接入,可以减少延迟、抖动、丢包等网络问题对服务质量的影响,为全球用户提供高可用和高性能的网络加速服务。它支持多种接入方式,为全球多地域用户提供一张全球加速网络,端到端的加速用户访问后端服务,提升服务访问体验。
- 地址:https://help.aliyun.com/document_detail/153189.html
5.5.2 腾讯云
- 概述:腾讯云全球应用加速依赖全球节点之间的高速通道、转发集群及智能路由技术,实现各地用户的就近接入,通过高速通道直达源站区域,帮助业务解决全球用户访问卡顿或者延迟过高的问题。它提供图形化配置界面,只需几分钟,用户就可以创建并使用高速通道访问业务源站,并通过控制台查看通道的运行情况。
- 地址:https://cloud.tencent.com/document/product/608/13759
5.5.2 华为云
- 概述:华为云全球加速服务为全球化业务用户提供应用加速服务,通过提供统一的公网IP和高可靠、低延时、易管理、安全合规的网络服务,使终端用户在全球能快速访问云上应用,获得优质体验。全球加速实例会为相应加速区域分配一个Anycast IP,客户端流量根据监听器配置通过Anycast IP就近从接入点接入华为云骨干网络,将客户端的访问请求分发至最佳终端节点。
- 地址:https://support.huaweicloud.com/productdesc-ga/ga_01_0001.html