百度大数据产品评审

Size: px

Start display at page:

Download "百度大数据产品评审"

絮阮
7 years ago
Views:

1 物联网分布式接入服务百度开放云 ---- 胡云

3 提纲物联网背景以及挑战接入协议比较简介分布式 MQTT 架构 Router 介绍分布式 Session 服务高可用性以及数据高可靠性数据一致性模型开发过程中遇到问题

4 IoT 背景很早就有 IoT 了 40 多年了很多公司已经在这个领域耕耘一个新型领域

5 IoT 挑战规模未来连接物联网的设备将要达到数 100 亿级别比如可穿戴式设备, 家庭智能设备, 工业网关存储分布式的时序数据库, 不同 NoSQL, 比如 HBase, Redis, Cassandra 分布式文件系统, 传统的 RDS 工具大数据分析工具, 实时流式处理分析设备产生数据的机器学习平台, 训练模型环境安全以及个人隐私 : 防止攻击, 数据安全, 数据加密不同协议的融合 (MQTT, CoAP, HTTP, XMPP)

6 百度物联网平台

7 物联网平台架构 Session Storage 云平台 Sensor Redis NoSQL Sensor Gateway Device MQTT Broker Rule Engine Kafka Batch Process Stream Process Mysql DFS HBase Data Storage ZooKeeper Coordinate Broker TSDB

8 为什么选择 MQTT 协议 MQTT CoAP XMPP HTTP 传输方式 TCP UDP TCP TCP 消息模型发布 / 订阅请求 / 响应发布 / 订阅请求 / 响应时效性好差好差反控好差好差传输效率高高一般一般功耗一般小高高 QoS 支持是否是否

9 MQTT 协议特点维持活跃消息 ( 发送 heartbeat 来维持连接 ) 可以用来检测 client 是和 server 之间连接状态, 同时还可以维护 NAT 地址映射表遗愿消息指定当 client 和 server 之间失去连接之后,server 需要往指定的 topic 发送特定 QoS 的级别的消息保留消息一个特定主题的消息会保留到服务器, 当任何一个 client 订阅了这个主题, 都会首先收到这个消息持久化订阅当 client 和 server 之间断开连接之后, 所有发往这个主题的消息都会保留下来, 等 client 重新连接之后, 会重新发给该 client

10 MQTT PUB/SUB 系统 Pub 1 Sub 2 Pub 2 Topic A Router Queue Pub 3 Sub 1 Topic B Queue

11 开源的 MQTT 服务单机版本 Mosquitto Moquette Apollo RabbitMQ 分布式 EMQTT

12 分布式 MQTT 架构 ClientA Broker 1 Broker 2 ClientC PUB LB PUB SUB LB SUB ClientB Broker 3 Broker 4 ClientD zookeeper Sync router information endpointa endpointb endpointc client A B C A B C A B C SA SB SC SA SB SC SA SB SC

13 HA & HR C1 IP LB C2 C3 C4 IP IP IP LB LB LB Broker Broker Broker C5 Clients DNS Load Balance Broker Cluster Storage Redundancy

14 MQTT 层堆栈 Redis Kafka HBase Storage Layer Router Layer Auth/ACL Layer Session Layer Connection Layer Websocket TLS TCP

15 跨机器 Router 模型 Broker 1 Router Pub 3 Sub 2 Topic B Queue X TCP Broker 2 Sub 1 Router Queue

16 Router 性能优化 ( 字典树 ) Build1 + Floor2 # Cubic1 Cubic2 Cubic5 Build1/# 匹配任何以 Build1/ 开头的主题例如 :Build1/floor1/Cubic4, Build1/Floor3 Build1/+/Cubic1 匹配以 build1 开始,Cubic1 结束的 3 级任何主题例如 :Build1/floor5/Cubic1 Build1/Floor2/Cubic5 就是完全匹配, 中间不包含任何通配符

17 Router 性能优化 (Cache) Sub1 # Pub Sub2 Sub3 /build2/teperature/+ /build1/floor1/+ 缓存经常发布消息主题的路由表 /build1/floor1/cubic2 Sub4 /car/david/+ Sub5 /build1/floor1/cubic5

18 当前架构的性能指标 ( 单机 ) 并发连接 100w 200w 消息延迟小于 1s 最大扇出数 2w 3w 每秒消息处理数目 4w (qps)

19 分布式 session C1 C2 易逝 session 断开连接之后 session 就会被清除订阅主题信息会删除持久化 Session 即使 client 断开连接, session 还是会保留订阅主题仍然保留, 数据仍然会写到该 client 的数据队列 Broker 1 Broker 2 C2 Zookeeper Subscriptions Sessions C1 Subscriptions

20 服务高可用性 C4 C3 Broker 和 ZK 以及其他 Broker 都失去连接 C1 Sub B1 Router Pub Bridge X X Pub B2 Router Sub C2 ZK Sessions SC1 SC1

21 Failover 数据丢失? C4 C3 持久化 C2 丢失数据的问题? C1 Sub B1 Router Pub Bridge Pub B2 Router Sub C2 Crash? ZK Kafka Data Loss for C2? Queue for C1 Queue for C2

22 数据高可靠性 C4 C3 C1 Sub Pub Pub Sub C2 数据交换采用先存储在读取 B1 Queue B2 Router Router 后端数据存储可配置 1.Kafka 2.Redis 3.HBase ZK Kafka Queue for C1 Queue for C2

23 全局数据一致性? C1 C2 消息顺序生成节点 Broker 1 S1 Broker 1 变成 hotspot Send Data back to S2 C3 C4 Broker 2 S2

24 数据一致性支持同一 client 发布消息顺序性保证每个订阅者收到来自同一个 broker 上发送到同一个 topic 消息的有序性不同 Broker 发送消息顺序取决于他们发送到这个 broker 的时间决定的不支持各个 client 之间消息全局有序这样就需要选择一个 master 来分配每个消息的 ID 对于 MQTT 大部分场景来说, 没必要全局有序

25 数据一致范例 C1 发送消息到 M1, M2, M3 主题 T2 C2 发送消息到 M4, M5, M6 主题 T2 M1 必须在 M2,M3 之前到达 T2 M2 必须在 M3 之前到达 T2 M4 必须在 M5,M6 之前到达 T2 M5 必须在 M6 之前到达 T2 T2 收到的消息可能是 C1 和 C2 发送消息交织的结果

26 MQTT 订阅协议的局限 C1 m1 C2 m2 S1: m1 m2 m3 m4 m5 m6 C3 C4 m3 m4 Pub MQTT Server S1 S2 C5 m5 m6 Topic: /build/floor/temperature S2: m1 m2 m3 m4 m5 m6 C6 S1: m1 m3 m5 S2: m2 m4 m6

27 大数据并发处理架构 Consumer Group C1 Machine A C2 MQTT Broker 1 Partition 1 Process C3 Partition 2 Machine B Kafka Process C4 Partition 3 Machine C C5 MQTT Broker 2 Process C6

28 开发过程中遇到问题采用 REST API 方式做 authentication & Authorization 由于是短链接导致大量 TIME_WAIT 状态的 TCP 连接, 消耗太多端口资源采用 RPC 连接池极大降低短链接导致端口资源消耗, 采用 cache 机制跨机器消息传递瓶颈问题建议大规模数据订阅采用从 kafka 消费数据 Broker 直接将消息写入到 Kafka, 从 kafka 订阅数据避免使用 Zookeeper 管理大量 metadata 以及 watch 会导致 zookeeper 系统达到资源极限, 比如最大 watch 的节点数太多会导致 session 重建出现失败

29 MQTT 服务接入接入语言支持 C/C++ Java PHP Python C# JavaScript 接入方式 TCP / TLS HTTP / TLS WebSocket TLS 支持设备 Arduino Raspberry Pi MTK Beagle Bone Edison

30 应用场景工业 4.0 零售 020 智慧物流节能减排智能硬件车联网

31 Q & A Thanks

A API Application Programming Interface 见应用程序编程接口 ARP Address Resolution Protocol 地址解析协议为 IP 地址到对应的硬件地址之间提供动态映射阿里云内

A API Application Programming Interface 见应用程序编程接口 ARP Address Resolution Protocol 地址解析协议为 IP 地址到对应的硬件地址之间提供动态映射阿里云内容分发网络 Alibaba Cloud Content Delivery Network 一