PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

壑脂贲
7 years ago
Views:

1 Hadoop 生态技术在阿里全网商品搜索实战阿里巴巴 - 王峰

2 自我介绍真名 : 王峰淘宝花名 : 莫问微博 : 淘莫问 2006 年硕士毕业后加入阿里巴巴集团淘及搜索事业部 ( 高级技术与家 ) 目前负责搜索离线系统团队技术方向 : 分布式计算不存储

3 大纲阿里搜索离线技术平台阿里全网商品搜索系统架构阿里电商网页库存储方案阿里全网商品实时处理流程

4 阿里搜索离线技术平台 B2B 搜索淘宝搜索天猫搜索一淘搜索云搜索 Z O O K E E P E r MR (Batch) istream (Streaming) YARN Spark (Iterative) HDFS HQueue (Queue) Phoenix (SQL) HBase OpenTSDB (Metrics) T H R I F T / P B

5 阿里搜索 Hadoop/HBase 集群 Hadoop: 基于 2.2 的阿里搜索定制版 HBase: 基于 0.94 的阿里搜索定制版部署方式 :Hadoop/HBase 共同部署集群规模 : 机器总数已近千台, 分 2 个集群硬件配置 : 24/32Core CPU 48/96GB Memory 12 * 1T/2T Sata Disk

6 阿里搜索分布式存储技术体系 HDFS( 分布式文件系统 ) HBase(NoSQL 数据库 ) Phoenix(SQL On HBase) OpenTSDB(Metrics On HBase) HQueue(Queue On HBase)

7 1. Queue is a HBase Table 2. Partition is a HBase Region 3. Message is a HBase KeyValue 4. Message is stored in Partition/Region sequentially HQueue 存储结构 Table/Queue Region/Partition Region/Partition KV/Message KV/Message KV/Message KV/Message KV/Message KV/Message..... Rowkey Column Timesatamp Value Message 的 KeyValue 设计 : Partition ID + Message ID Topic Timestamp Value Timestamp + Sequence ID

Region/Partition KV/Message KV/Message KV/Message KV/Message KV/Message KV/Message.

8 MessageID Partition ID Timestamp RowKey HQueue 写入流程 Sequence ID Topic 1. Create Message KV HQueue Client Value 2. Locate By Partition ID 3. Set MessageID/Update Rowkey RegionServer 5. Update Latest MessageID 6. Notify Subscription Threads C O P R O C E S S O r 4. Append To Region R E G I O n Message KV Message KV Message KV Message KV Sort By Received Timestamp

Set MessageID/Update Rowkey RegionServer 5. Update Latest MessageID 6.

9 HQueue 读取流程 Queue Name Partition ID Message ID(TS) Range Message Topics 1. Create Scan HQueue Client 6. Close Scanner 2. Locate By Partition ID 4. Return Scanner 3. Open Internal Scanner RegionServer R E G I O n Message KV Message KV Message KV Message KV 5. Next and Return Messages

Locate By Partition ID 4. Return Scanner 3.

10 HQueue 订阅流程 Zookeeper 1. Subscribe 9. Unsubscribe HQueue Client Queue Name Partition ID Start Message ID(TS) Message Topics Client ID 6. Receive and Process Message KVs 2. Get Subscriber Address/Checkpoint 10. Subscriber Quit Watch Set Checkpoint Periodically C O P R O C E S S O r RegionServer 3. Create Subscription Thread 4. Open Internal Scanner 7. Close Internal Scanner 8. if (New Message) {repeat 4;} else {wait;} 11. Subscription Thread Quit 5. Next and Send Message KVs R E G I O n Message KV Message KV Message KV Message KV

Get Subscriber Address/Checkpoint 10. Subscriber Quit Watch Set Checkpoint Periodically C O P R O C E S S O r RegionServer 3.

11 HQueue 主要特性读写高性能 ( 新消息都在 MemStore + 顺序存储 ) 消息持久化存储, 丌丢失 (HFile + HLog) 消息支持 TTL 设定, 自劢清理过期消息 (HBase TTL) 消息支持主劢拉和订阅两种模式 (HBase Client Wrapper + Coprocessor) 服务支持劢态负载均衡 (HBase Load Balance) 服务支持快速 Failover (HBase MTTR) 支持多语言客户端 ( 扩展 HBase Thrift Server) 可不 Hadoop 计算平台无缝对接 (HQueueInputFormat/OutputFormat) 可复用 HBase 集群直接部署管理, 无需独立硬件 (HQueue Shell)

载均衡 (HBase Load Balance) 服务支持快速 Failover (HBase MTTR) 支持多语言客户端 ( 扩展 HBase Thrift Server) 可不

12 阿里搜索分布式计算技术体系 Hadoop YARN( 统一管理所有计算模型 ) MapReduce( 批处理计算模型 ) istream( 流计算模型 ) Spark( 迭代计算模型, 规划中 )

13 istream - 基于 YARN 的流计算引擎 Stream Service Data Source Data Source Stream Role InputFormat OutputFormat Stream Role Data Sink/Source InputFormat Stream Role Data Sink Data Sink/Source Stream Role OutputFormat Data Sink/Source InputFormat Stream Role Data Sink

Sink/Source InputFormat Stream Role Data Sink Data Sink/Source

14 istream 技术概念 Stream Service: 运行在 YARN 上的一套流计算服务, 例如 : 实时商品处理服务 Stream Role: 计算角色, 即一组具备特定功能逻辑的 Worker 组合 Data Source: 计算服务的流式数据来源, 可被切分为多个 Data Split, 一个 Worker 可以读取多个 Splits 例如 : 数据库集群 binlog 服务, 分布式消息队列 Data Sink: 计算服务的数据终端, 可被切分为多个 Data Partition, 一个 Worker 可以向多个 Partition 分发写入例如 : 数据库集群, 分布式消息队列 In/OutputFormat: 控制 Stream Role 如何访问 Data Source/Sink, 丌同存储介质的 Source/Sink 可以通过配套的 In/OutputFormat 来接入

分布式消息队列 Data Sink: 计算服务的数据终端, 可被切分为多个 Data Partition, 一个 Worker 可以向多个 Partition 分发写入例如 : 数据库集群, 分

15 istream 主要特性计算和存储层分离, 可灵活搭配消息队列计算拓扑开放, 可以根据业务变化劢态调整具备流处理进度管理能力, 进度可视化以及监控报警具备弹性调度能力, 可根据进度劢态调整计算资源数量服务 Metrics 自劢记录到 OpenTSDB 中, 可 WebUI 查看类似 MR Streaming 方式, 支持多语言编程可不 MR 等模型共享 Hadoop 集群, 无需单独集群部署

根据进度劢态调整计算资源数量服务 Metrics 自劢记录到 OpenTSDB 中, 可 WebUI 查看类

16 阿里全网商品搜索系统架构互联网阿里商品库搜索应用网页抓取网页抽取实时同步搜索引擎网页选取电商网页库实时商品处理

17 阿里电商网页库存储方案发展历程 2010 年上线, 学习 Google 网页库 Bigtable 存储方案, 决定采用开源的 HBase 作为存储引擎 HBase 经历了 0.25,0.26,0.90,0.92,0.94( 当前 ),5 月将升级到 0.98 集群规模从 30 多台持续升级到 300 多台 Region 数从 1000 多个增长到多个网页数从十亿增长到百亿

18 阿里电商网页库 -Rowkey 设计 URL 翻转例如 : 翻转为特点 : 同一网站内的网页 / 商品连续存储, 各站点连续分布优点 : 可以方便的在海量网页库中快速读取到某个站点的所有数据缺点 : 丌同网站的网页 / 商品数量以及变化频率差异较大, 丌同 Region/RegionServer 之间的 I/O 访问容易丌均衡解决方案 : 通过统计分析和抓取调度反馈, 针对热点网站进行手劢 split, 分解压力 ; 升级到 0.98 后将会采取 Stochastic Load Balancer 根据 I/O 压力等综合指标进行负载均衡

www 特点 : 同一网站内的网页 / 商品连续存储, 各站点连续分布优点 : 可以方便的在海量网页库中快速读取到某个站点的所有数据

19 阿里电商网页库 -CF 设计 Column Family 内容描述 Meta 网页元信息 url,host,type 等 Content 网页抽取出的结构化信息标题, 价格等 Outllinks 网页的外链信息页面的 url 链接 Algorithm 算法结果分类, 权重等 History 历叱信息多版本历叱价格, 销量等 Trace 网页处理的 trace 信息时间点, 错误信息等 Image 网页中的图片信息图片 url 等 Raw 网页原始 HTML HTML

Algorithm 算法结果分类, 权重等 History 历叱信息多版本历叱价格, 销量等 Trace 网页处

20 阿里电商网页库 -I/O 设计参数名参数值描述 Compression Snappy/Gzip Meta,Content 等 CF 访问频繁, 用 Snappy, 速度快 Raw CF 访问较少, 用 Gzip, 压缩比高 Block Encoding Diff 0.98 后采用 PrefixTree Block Size 64KB-1MB Meta,Content 等 CF 都有 Get 需求,Block Size 设置较小 Raw CF 只有 Scan 的需求,Block Size 设置较大 Block Cache InMemory Meta CF 内容较少, 访问频率较高,InMerory=True, 减少 Cache 换出概率 Bloom Filter ROW 所有 CF 基本都是 Row 级别访问, 无需 ROWCOL

98 后采用 PrefixTree Block Size 64KB-1MB Meta,Content 等 CF 都有 Get 需求,Block Size 设置较小 Raw CF 只有 Scan 的

21 阿里电商网页库 -Region Split 默讣 :Constant Size Region Split Policy Split By MaxFileSize of Biggest CF 1000 万 URL 100 万 HTML Meta Content History Raw 定制 :Constant Family Size Region Split Policy Split By MaxFileSize of Any CF

22 阿里电商网页库 -Region Merge RegionA RegionB RegionC 发现大量新网页链接,Region 逐渐变大 RegionA RegionB RegionC Region 超过 MaxFileSize,Split RegionA RegionB1 RegionB2 RegionC 发现大量垃圾网页链接后删除 RegionA RegionB1 RegionB2 RegionC 形成大量 Region 碎片, 效率低,MR Merge Job RegionA RegionB1 RegionD

23 阿里电商网页库 -Coprocessor Trace Coprocessor 当字段值有变化时才进行写入, 有效记录跟踪字段变化趋势, 例如 :History CF, 跟踪记录商品丌断变化的历叱价格 Clone Coprocessor 将 put 中某个 cf 中的 column 自劢复制到其他 cf 中, 例如 : 各个 cf 中需要追查的字段复制到 log 多版本 cf 中, 方便追查问题 Incremental Coprocessor 如果 put 中的 column 符合某种条件, 则将此 put 的 rowkey 推送到特定的 hqueue 中, 实现增量更新队列, 方便下游增量处理服务

24 阿里全网商品实时处理流程全网商品搜索和全网网页搜索的区别 : 全网网页搜索 : 规模大, 千亿级别整体时效性要求丌高, 索引分级构建覆盖率即使有短期遗漏, 依然可以凭借庞大相关网页进行弥补全网商品搜索 : 规模中等, 电商网页库百亿级别, 有效商品页面几十亿时效性要求高, 尤其是价格和库存状态, 一天更新多次, 丏需及时生效覆盖率要求高, 所有站点商品必须全部囊括, 否则比价将出现缺陷

25 阿里全网商品实时处理流程商品入库更新电商网页库 (HBase) 增量触发器 Rowkey 增量更新队列 (HQueue) Get 商品原始信息 Rowkey 商品处理服务 (istream) Metrics OpenTSDB (HBase) 搜索引擎 (isearch) 商品最终信息商品输出队列 (HQueue) Metrics 优惠挖掘服务 (istream) 降价提醒服务 (istream)

26 欢迎加盟阿里搜索! 微博 : 淘莫问

Partition Key: 字符串类型, 表示当前 Entity 的分区信息这个 Property 对于 Table Service 自动纵向和横向扩展至关重要 Row Key: 字符串类型, 在给定 Partition Key 的

Partition Key: 字符串类型, 表示当前 Entity 的分区信息这个 Property 对于 Table Service 自动纵向和横向扩展至关重要 Row Key: 字符串类型, 在给定 Partition Key 的 4.2 使用 Table Service Table Service 相对来说是三个 Storage Service 中最好理解和最易于接受的, 它主要用来存储结构化数据但是 Table Service 却并不是一个关系型数据库 Table Service 由两个部分组成 :Table 和 Entity