漫谈Web网站架构

Size: px

Start display at page:

Download "漫谈Web网站架构"

爪深钮
5 years ago
Views:

1 Web 网站架构案例分析从优酷网浅谈大型网站的架构和优化邱丹 QCon 2009 北京

2 议程架构和环境 Web 架构的 8 个特性优酷网案例网络优化

3 Part I 架构和环境适应天上飞翔 : 鸟拥有翅膀适应水里呼吸 : 鱼拥有鳃

4 通用架构的梦想愿景 : 让拥有鳃和翅膀的人, 能够适应各种环境

5 结果 : 被具体环境退化或替换

6 架构的进化和退化进化原理 - 寻找最适合的退化原理 - 简化不必要的

7 架构师的职责初始环境 while(true) { 寻找适应环境的结构 ; /* 进化 */ 简化结构 ; /* 退化 */ 环境改变 ; }

8 Part II Web 环境下架构 8 个特性可扩展 (Scalability) 在线升级效率可靠性可理解简单核心独立性模块化

9 Part III 网站架构案例关于优酷网 (youku.com) - 中国大陆领先的在线视频网站

万 20000 15000 10000 5000 0 网站规模 (08 年 9 月 ) VV: 1.

10 万网站规模 (08 年 9 月 ) VV: 1.6 亿 + 日上传视频 : 6 万 + VV( 播放数 )/ 日 PV/ 日 Source: iusertracker2008 年 9 月

11 网站核心业务带来的架构特性可扩展 (Scalability) 在线升级效率可靠性可理解简单核心独立性模块化

12 创世纪 : 网站的初始环境 2006 年下半年 500 家视频网站存在, 但规模都不大部分互联网用户关注巨大的用户潜力

13 拥抱开源世界

14 前端框架 Browser : Front Framework: hook(request) { module, method, params <-- request.url response = module.php->method(params) } echo reponse module1.php: method1(params) { return <p>hello, world!</p> }

15 简单前端框架满足的特性模块分离, 多人开发无状态 : 前端可扩展分层,UI 分离没有采用第三方 Web 框架自建 CMS 解决掉大部分页面显示可扩展 (Scalability) 在线升级效率可靠性可理解简单核心独立性模块化

16 CMS 前端架构 ( 局部 )

17 从最简单开始能 run 就行时间 :1 个月功能 : 核心功能 MySQL : 1 单点搜索引擎 : 无中间层 : 无 apache php

18 架构进化访问量迅速增加, 如何进化? 改进策略 : 增加缓存

19 缓存黄金原则 :local, local,local 如何让数据更靠近 CPU? 让少部分常用数据就近存起来 CPU 一级缓存 CPU 二级缓存内存硬盘缓存数据空闲槽 LAN WAN 数据仅供参考

Cache-Control: max-age=3600, must-revalidate Expires: Fri,

20 HTTP 缓存 Squid/Varnish Browser Browser Cache Cache HTTP proxy Reverse Proxy apache apache php php HTTP Response: Cache-Control: max-age=3600, must-revalidate Expires: Fri, 28 Oct :19:41 GMT Last-Modified: Mon, 27 Jun :21:17 GMT

21 分布式内存 key-value 缓存 Browser Cache Memcached proxy Browser Cache Cache Cache proxy proxy apache apache php php Memcached 协议 : 存 :set key \r\nfoo\r\n\ --> STORED\r\n 取 :get key1\r\n --> VALUE key1 0 3\r\nfoo\r\nEND\r\n

22 大文件缓存 ( 内部项目 ) Squid 问题 write(), 用户进程空间消耗 lighttpd1.5/aio 问题 AIO 读取文件到用户内存导致效率低下 Sendfile() ZeroCopy 直接发送文件到网卡接口不用内存做缓存避免内存拷贝避免锁

23 缓存满足的特性如果数据可缓存, 效率增长明显扩展性缓存命中率直接影响效率缓存技术容易被滥用可扩展 (Scalability) 在线升级效率可靠性可理解简单核心独立性模块化

24 新的问题? 数据库成为性能瓶颈 Browser Cache Memcached proxy Browser Cache Cache Cache proxy proxy apache apache php php

25 扩展中间层 or 扩展数据库 VS

26 MySQL Replication apache apache php php write 主 / 从复制 read cluster

27 MySQL 主 / 从复制过程主库 UPDATE t1... INSERT t2... ALTER t1... binary log UPDATE t INSERT t ALTER t tcp 长连接 relay log I/O thread 101 UPDATE t1... 丛库 UPDATE t1... INSERT t2... ALTER t1... SQL thread 102 INSERT t ALTER t

28 数据复制带来的特性读扩展适合读多写少的业务可靠性简单复制延时 < 0.1s 并非万灵金丹复制延时恶化可扩展 (Scalability) 在线升级效率可靠性可理解简单核心独立性模块化

29 MySQL 复制问题无法写扩展 apache apache php php 100 write 100w 写入无法扩展写入无法缓存复制延时锁表率上升表变大, 缓存率下降 1000 read read cluster 100w 250r 100w 250r 100w 250r 100w 250r

30 现在该如何进化? MySQL Proxy/HSCALE? lighttpd 同一作者, 进度受限 lua 中间层, 性能 / 可维护性 / 成熟度? MySQL 分区技术? 无法进行跨服务器分区 MySQL 集群 (MySQL NDB Cluster)? 厚重的瑞士军刀, 层面过多, 性能 / 复杂度? 没有银弹方案?

31 SSD 优化 MySQL 某单台 MySQL 服务器 (intel-4core,16g, ssd) 单表 8000 万 rows 连接 / 秒 iowait < 1%

32 DB 写入拆分 apache apache php php read cluster read cluster

33 DB 垂直分区 Part 1 Part 2 Part 3 其他用户消息其他 join 用户 join 消息

34 DB 水平分片 (Sharding) Shard 1 其他用户其他用户消息消息 Shard 2 其他按 user_id 分片用户消息

35 分片定位 (1) 获取 user 103 的 messages apache php php Shard 1 (2) user 103 在哪? Sharding Manager (3) shard 2 Shard 2 目录 User_ID Shard_ID

36 Shard 群的分组管理 Server1 shard_db1 shard1 shard2 shard3 Server2 shard_db3 shard7 shard8 shard9 shard_db2 shard4 shard5 shard6 shard_db4 shard10 shard11 shard12

37 如何处理跨 shard 的查询? 上策 : 不面对中策 : 多维分片索引分布式搜索引擎下策 : 分布式数据库查询

38 良好的扩展性 Browser Cache Memcached proxy Browser Cache Cache Cache proxy proxy apache apache php php

39 分区带来的特性分区并非必要增加管理复杂度可扩展 (Scalability) 在线升级效率可靠性可理解简单核心独立性模块化

40 Part IV 网络吞吐量优化吞吐量同响应速度的不同进程切换开销保持当前 cpu 寄存器 (eax,ebx,esi,edi,...) 恢复新进程 cpu 寄存器 (eax,ebx,esi,edi,...) jmp new_eip fork/pthread 问题大量进程切换开销寄存器越多效率越低用 vmstat 查看 cs Apache prefork 和 MySQL 的 pthread 大量进程切换开销过大

41 事件驱动 select() 问题 1024 限制位扫描 poll() 问题从内核到用户进程拷贝描述符数组 epoll(kernel 2.6+) 采用 mmap() 避免内核到用户进程的拷贝 libevent 封装 epoll/kqueue epoll 推动当今 Web memcached/lighttpd/nginx/squid/haproxy

42 案例 :Memcached 连接问题 PHP 对 memcached 的 tcp 连接开销静态 Hash 扩展不方便

43 本地 Memcached agent( 内部项目 ) 基于 libevent( 封装 epoll) memcached 兼容接口本地 unix domain socket 对 Memcached 长连接 Memcached 动态任意扩展 (Consistent hashing) php agent php unix domain socket tcp 连接池 memcached memcached

44 Q & A

45 谢谢!

2005 3

2005 3 Text 2009.4 hongqn@douban.com 2005 3 2.8M 1/4 20M / 500~600/sec 23 PC (1U*15/2U*8) 12 38G memcached 1U (frodo) AMD Athlon 64 1.8GHz 1G 160G SATA*2 Gentoo Linux MySQL 5 Quixote (a Python web framework)