七牛云直播技术分享

Size: px

Start display at page:

Download "七牛云直播技术分享"

音域施
5 years ago
Views:

1 七牛云直播技术分享

2 内容消费升级的时代文字 -> 图片 -> 视频 -> AR/VR/ 直播

3 直播实时性 (Real-Time) 交互性 (Interactivity) 的内容载体通常是视频 (Video)

4 理性认知视频

5 视频相关动词术语典型场景典型用例解码 (Decoding) 点播回放 (Playback) 源文件 -> Decoding -> 播放编码 (Encoding) 直播 (Streaming) -> 录像 (Video) 直播流 -> Encoding -> 视频录像转码 (Transcoding) 特效加工处理文件格式转换源文件 -> Decoding -> 加工 -> Encoding -> 目标文件

6 当前形势前提 : 网络基建带宽充足, 资费下降需求 : 文字图片无法满足人们对视觉无止境的需求

7 尝试解决的问题基于时间序列的音视频流式传输存储和处理

8 API based,live Streaming as-a-service API based, Live Streaming as-a-service

9 直播模型观众 Subscriber 主播 Broadcaster 直播流媒体服务器 Streaming Server 观众 Subscriber 观众 Subscriber

10 直播协议 RTMP / HLS 观众 Subscriber 主播 Broadcaster RTMP 直播流媒体服务器 Streaming Server RTMP / HLS 观众 Subscriber RTMP / HLS 观众 Subscriber

11 协议差异全称协议原理延时 RTMP Real Time Messaging Protocol 长连接 TCP 每个时刻的数据, 收到后立刻转发 1~3 秒 HLS HTTP Live Streaming 短连接 HTTP 集合一段时间数据, 生成 ts 切片文件, 更新 m3u8 > 10 秒 HTTP- FLV RTMP over HTTP 长连接 HTTP 同 RTMP, 使用 HTTP 协议 1~3 秒

12 RTMP vs. HLS 优点缺点适用场景 RTMP HTTP-FLV 低延时跨平台差 Flash Player 以外的平台都需要做移植即时, 有互动需求 HLS 跨平台可点播回放高延时多次请求, 网络质量影响大单向广播

13 直播常见问题

14 延迟 Delay 延迟指稳定网络下, 发送和接收时差转发环节越多, 延迟越大可计算

15 物理延迟路线距离 (km) 光在真空中光在光纤中光纤中的往返时间纽约到硅谷 ms 21 ms 42 ms 纽约到伦敦 ms 28 ms 56 ms 纽约到悉尼 ms 80 ms 160 ms 赤道周长 ms 200 ms 400 ms

16 逻辑延迟短连接 + TCP 慢启动长连接 ( 延迟降低 275%)

17 抖动 Jitter 突发的转发速度变化增加后续播放的延迟无法预先计算

18 传输速度推流环境与播放环境不一致, 速度不一样推流环境 ( 大部分情况 ) 可预先控制播放环境 ( 几乎 ) 无法控制

19 如何打造满足高品质诉求的直播服务?

20 精简服务端转发逻辑减少延迟

21 精简服务端转发逻辑减少延迟

22 主动推送减少回源延迟首屏快速打开减少回源延迟

23 主动推送减少回源延迟首屏快速打开减少回源延迟

24 贴近终端就近处理与分发减少延迟减少抖动提高速度

25 贴近终端就近处理与分发减少延迟减少抖动提高速度

26 多核时代, 编程语言选型

27 语言差异 C 语言, 内存管理内存抽象为连续空间不再区分页和数据段区分堆和栈内存操作原语 malloc/free 由程序员负责内存管理 Go 语言, 线程管理线程抽象为 Goroutine 不再区分线程和异步区分 Goroutine 和 Channel 线程操作原语 go/chan <-/<- chan 由程序员负责线程管理

28 Pili Streaming Cloud 全球首个 Go 语言实现的企业级直播流媒体云服务

29 场景篇

30 移动直播时下热门

31 移动直播 SDK 大家都在用

32 SDK 都干了啥 SDK 平台采集编码推流 PLDroidCameraStreaming Android PLCameraStreamingKit ios PLStreamingKit ios X

33 采集的功能边界设备输入输出视频摄像头图片音频麦克风 PCM 音频数据

34 编码有什么作用?

35 编码有什么作用编码是魔术 ( 经过编码 )

36 编码时发生了什么时间 } 帧率 FPS: 3 (frame per second)

37 编码时发生了什么 ( 经过编码 ) 时间 } 帧率 FPS: 3 (frame per second) } 帧率 FPS: 3 一个 GOP

38 编码时发生了什么参考帧 (B/P 帧 ) 关键帧 (I 帧 )

39 关键帧 vs. 参考帧帧类型是否可以独立解码依赖谁解码大吗? I 帧 NA 大 P 帧 X 前小 B 帧 X 前与后小

40 编码器编码方式资源消耗兼容性当前偏好软编 CPU 好硬编 GPU Android 设备存在差异 X

41 推流推流协议封包发送 RTMP FLV Tag RTMP Chunk

42 资源消耗编码方式计算资源消耗 I/O 消耗编码高低封包低低发送低高

43 美颜怎么做?

44 ios PLStreamingKit 特性发生时机用法扩展美颜编码前 GPUImage 可自定义美颜算法

45 Android PLDroidCameraStreaming 特性发生时机用法扩展美颜编码前 SurefaceTextureCallback StreamingPreviewCallback 可自定义美颜算法

46 SDK 异常懵逼处理网络异常了

47 SDK 异常懵逼处理网络异常了重连, 网络又异常了重连, 网络又异常了重连, 网络又异常了重连

48 SDK 异常懵逼处理情况谁来监控怎么处理 App 网络状态监控开发者自己停止 / 恢复推流推流异常断开 SDK 重连

49 问题还在, 怎么办?

50 审视 : 产品 / 架构 / 代码对网络很差的主播给予界面提示业务判断主动断掉网络很差的主播避免一个流做抢麦逻辑直播的流 (socket) 与业务的流 ( 直播间 ) 不可混为一谈

51 如何快速构建直播 APP

52 采集和推流业务逻辑服务器 App Server Server-side SDK Publisher SDK HTTP 信令流推流客户端 Broadcaster RTMP 推流 Raw Streaming PILI 直播云服务

53 传输和分发业务逻辑服务器 App Server Server-side SDK HTTP 信令流 ios Player SDK Publisher SDK HTTP 信令流 RTMP / FLV / HLS 直播观众 Subscriber Android Player SDK 推流客户端 Broadcaster RTMP 推流 PILI 直播云服务 RTMP / FLV / HLS 直播观众 Subscriber Raw Streaming HLS 直播 HTML5 Player SDK 观众 Subscriber

54 存储与点播业务逻辑服务器 App Server Server-side SDK HTTP 信令流 ios Player SDK Publisher SDK HTTP 信令流 RTMP / FLV / HLS 直播观众 Subscriber Android Player SDK 推流客户端 Broadcaster RTMP 推流 PILI 直播云服务 RTMP / FLV / HLS 直播观众 Subscriber HLS 直播 HTML5 Player SDK MEPG2-TS fmp4 MP4 / HLS 回看点播观众 Subscriber KODO 对象存储服务

55 处理 ( 识别 / 转码 / 等等 ) 业务逻辑服务器 App Server Server-side SDK HTTP 信令流 ios Player SDK Publisher SDK HTTP 信令流 RTMP / FLV / HLS 直播观众 Subscriber Android Player SDK 推流客户端 Broadcaster RTMP 推流 PILI 直播云服务 RTMP / FLV / HLS 直播观众 Subscriber Raw Streaming Processed Streaming HLS 直播 HTML5 Player SDK DORA 富媒体处理计算平台 DATA I/O MEPG2-TS fmp4 MP4 / HLS 回看点播观众 Subscriber KODO 对象存储服务

56 七牛云处理架构 API Gate (Logic Server) DORA Router DORA Supervisor 配置管理 / 服务发现 / 负载均衡 HOST-1 DORA Agent HOST-2 DORA Agent [action] rtmp://domain/hub/stream?fop1 fop2 Docker Engine Docker Engine 抽帧截图 Container1 实时转码 Container2 抽帧截图 Container1 实时转码 Container2 PUBLISH PLAY PILI Streaming Cloud Raw Processed DORA Processing Cloud 视频鉴黄 Container3 自定义处理 Container4 视频鉴黄 Container3 PILI (Streaming Cloud) 自定义处理 Container4 KODO (Object Storage Service)

57 七牛云直播架构业务逻辑服务器 App Server Server-side SDK HTTP 信令流 ios Player SDK Broadcast SDK HTTP 信令流 RTMP / FLV / HLS 直播观众 Subscriber Android Player SDK 推流客户端 Broadcaster RTMP 推流 PILI 直播云服务 RTMP / FLV / HLS 直播观众 Subscriber Raw Streaming Processed Streaming HLS 直播 HTML5 Player SDK DORA 个性化处理计算平台 DATA I/O MEPG2-TS fmp4 MP4 / HLS 回看点播观众 Subscriber KODO 对象存储服务

58 直播痛点诉求云端存储 : 直播录制功能在线点播 : 直播回放功能处理需求 : 转码抽帧鉴黄等功能移动时代 : 海量 UGC 并发推流, 不仅仅是分发

59 直播常用功能功能特性对应需求是否支持直播存档云端录制转存下载直播回放延迟直播回放点播直播实时转码多码率适应带宽多分辨率多屏视频抽帧截图快照

60 自建 vs. 上云传统直播技术新型直播技术方式服务器 + 流媒体软件 +CDN Pili Streaming Cloud + SDK 优点自认为更可控多快好省缺点 UGC 并发瓶颈功能个性化难一次新的尝试成本

61 资料

62 提问时间

0610又拍云低延时的 WebP2P 直播实践

0610又拍云低延时的 WebP2P 直播实践又拍云低延时的 WebP2P 直播实践凌建发又拍云 PrismCDN 负责人 2018.06 目录 1 什么是 WebP2P 2 盘点现有 P2P 3 PrismCDN WebP2P 4 应用场景什么是WebP2P直播在网页使用P2P视频传降CDN带宽支出 RTMFP FlashP2P Flash 未来 Google 将在 2020 年末, 从 Chrome 中完全移除 Flash Microsoft