Apache Traffic Server介绍

Size: px

Start display at page:

Download "Apache Traffic Server介绍"

树将阙
5 years ago
Views:

1 Apache Traffic server

2 作者自述赵永明, 07 年左右起使用 trafficserver 作 cdn 服务, 国内最早的 trafficserver 用户 Mail/Y!/MSN : ming_zym@yahoo.com.cn Phone : 随时欢迎沟通探讨 trafficserver 任何问题!

3 广而告之 Trafficserver 需要大家的支持 : C++ 高手修复 bug CDN 运营商的技术参与, 扩展应用硬件 /OS 编程专家优化系统文档翻译好用就帮忙一起推广啊!

4 Agenda trafficserver 是谁? trafficserver 历史与现在 trafficserver 功能与特性介绍如何用 trafficserver? trafficserver 的将来

5 Apache TrafficServer Apache Traffic Server is fast, scalable and extensible HTTP/1.1 compliant caching proxy server ISP 级别的高性能 proxy/cache 服务器缓存效率高, 响应快代理支持长连接连接复用过滤规则映射甚至 7 层 hash 和负载均衡 Cluster API 很方便的支持各种环节的自由处理

6 Trafficserver 前世今生 Inktomi 互联网泡沫 ISP CDN 搜索 Yahoo Apache

7 Inktomi & traffic server 的历史 1996 年, UC Berkeley 的 Eric Brewer 和学生 Paul Gauthier 成立 Inktomi 以搜索算法起家, 并开始开发 trafficserver 年间, 收购多家 cdn 技术公司, 成为 cdn 技术集大成者, 一度掌控所有 cdn 技术市场, 集成商甚至包括所有的主要硬件商如 IBM HP DELL Foundry 等股价最高达 $ 年, 网络泡沫过后, 为 yahoo 以每股 $1.63 收购年, trafficserver 在 yahoo 内部逐渐发挥作用, 并成为 yahoo cache/proxy 体系的核心 2006 年, websense 购买并集成 trafficserver

8 Apache Traffic Server 大事记 2009 年 7 月 13 日, 进入 apache 基金会孵化器 2009 年 10 月 30 日, 公开第一份完整代码 2010 年 4 月 30 日, 成为 apache 基金会顶级项目 2010 年 5 月 4 日, trafficserver 稳定版 2.0 发布 2010 年 6 月 7 日, 测试版发布

9 TS 企业级功能与特性介绍性能强劲多 cpu, 多线程支持支持 raw 设备 / 分区启动重启以秒记 64 位系统支持灵活的 map 机制强大的 Cluster 支持全方位管理界面全方位监控接口丰富的扩展接口内存 footprint 低 IO 性能优化适于中国网络

10 TS 性能有多强 ( 08 年 yahoo 内部测试 ) 硬件测试平台环境 : Dell PE2950, 2 x Xeon E GHz, 7.8GB / 8GB 667MHz / 6 x 147GB 15K SAS/3 Fujitsu MAX RAID-5 测试方法 Variable cache hit ratio percentages (0, 50, 95, 100) 1,000 client connections 1KB response from the origin 4 Keep-alive requests per connection 10,000 unique objects

11 测试结果 QPS

12 测试结果 RT

13 与某 cache 软件对比测试环境 : 内网测试 : 局域网千兆环境公网 : 北京到杭州间, 中国电信网络间测试, ping 在 25 个 ms 左右大文件 : 20,833Byte 小文件 : 2,226Byte 测试方法 : nagios: check_http 抓 1000 次取平均响应时间测 3 次取平均值

14 另一个测试结果图公网大文件 % 局域网大文件 % 公网小文件局域网小文件 XXX TS % 4.19% 响应时间 MS

15 SMP/ 线程 / 非阻塞 IO 支持多 CPU 多核心新硬件构架支持多线程运行支持非阻塞 IO ( 见后续框架设计说明 ) 支持一线程处理多个 http 连接

16 存储系统使用类似 squid 的 coss 存储支持直接使用裸盘支持对存储系统进行 partition, 以区别存放不同的内容支持对不同域名 / 协议进行匹配 partition 支持异步 IO 和 fastio, IO 效率高硬盘采用 RRD 模式, 写入 ( 重写 ) 压力小

17 启动 / 重启, 进程监控 traffic_server 主进程启动时间以秒记, 存储空间大小对启动时间几乎没影响双保险 : traffic_manager 负责管理 traffic_server 的健康稳定运行, 并在非正常情况下, 负责重启 traffic_server 进程 traffic_cop 监管 traffic_manager 运行更新系统配置不需要重启进程仅在变更如 cluster storage 等基础设置, 需要重启进程

18 64 位系统支持支持 64 位寻址内存空间支持 64 位寻址硬盘空间

19 灵活的 map 机制 trafficserver 采用 map 的方法来进行反向代理的域名映射, 有非常灵活多样的使用方法, 其统计信息以源信息为准 : 普通域名映射, 对外域名是 cdn, 源域名是 source : map 普通域名映射, 对外域名是 cdn, 映射到源 zymlinux.net 的 /source/ 目录下 : map 反向域名映射, 用来修改如源的重定向结果里的 URL : reverse_map

20 灵活的 map 机制将 old 永久重定向到 new: redirect //old.zymlinux.net/ 正则匹配的映射, 一把映射 N 个域名 : regex_map 还支持 map 插件, 可自由编写插件, 基于 cookie/header/ 源地址 / 账户等等, 只要你想的出来, 就没有做不到的

21 内存使用与管理 8byte/obj vs squid:56byte/obj 2TB 缓存内容下, 如是 8K 大小的文件, 大约需要 2.5G 的内存 2TB 缓存内容下, 如是 128K 大小的文件, 大约需要 0.5G 的内存

22 IO 性能优化支持 epoll/libevent 等技术独特的 eventsystem/sm 设计硬盘 IO 线程数可以根据应用环境设置支持 directio/ 异步 IO, 降低系统开销

23 适于中国网络能够高效维持超量的网络连接能够在网络延时大的情况下, 做到 RT 稳定能够进行各种 7 层转发, 作 7 层路由能够汇聚 http 连接保持长连接, 提高用户感受

24 Cluster 支持 3 种工作模式 : 全 cluster ( cache 内容 + 配置文件 ) 管理 cluster ( 配置文件 ) 独立服务器 ( cluster 关闭, -- 默认模式 ) 无 master 机制, cluster 成员可以自动加入 cluster 通讯可以采用独立网卡 / 交换机 cluster 连接最少化, n-1 个 tcp 连接 cache 内容 hash

25 Cluster 内建 cluster RPC 协议, 独立 cluster 通讯体系复杂配置文件更新机制, 确保同步与 rollback 迅速有效支持配置文件 snapshot/ 配置上传下载内建配置文件版本跟踪机制, 确保配置文件不错乱能够区分全局设置与私有设置, 不会错误同步信息

26 日常管理 trafficserver 提供多种可以快速即时生效的配置管理界面 : 命令行 traffic_line -s traffic_shell enable 模式配置文件, 使用 traffic_line -x 刷新 Web 管理批处理文件 traffic_shell

27 修改系统参数的各种方法例子 : 修改 TS 到源服务的 tcp 长连接在没有传输的情况下的 timeout 参数为 20 秒 : proxy.config.http.keep_alive_no_activity_timeout_out zymtest1 repositories # traffic_line -s proxy.config.http.keep_alive_no_activity_timeout_out -v 20 修改 records 文件下的 CONFIG proxy.config.http.keep_alive_no_activity_timeout_out INT 30 行, 改 30 为 20, 保存后用 traffic_line -x 生效执行 traffic_shell, 进如 enable 模式, 执行 config:http inactivetimeout-out 20 用 web 界面改之执行 traffic_shell 批处理文件改之

28 状态统计与监控 Trafficserver 支持多种状态查询工具 : 功能强大的 traffic_logstats: 按照域名分别统计请求结果返回码回源统计 HTTP Methods Content Types 响应时间

29 状态统计与监控支持 mrtg 图的 web 管理界面命令行工具 : traffic_line -r 查询 cache 使用的空间大小 : zymtest1 ts # traffic_line -r proxy.process.cache.bytes_used 查询 cluster 中的服务器数量 : zymtest1 ts # traffic_line -r proxy.process.cluster.nodes 2 支持邮件报警接口 records.config:config proxy.config.alarm*

30 状态统计与监控支持 SNMP 状态 : 独立 mib 库可控制读取权限 64bit 支持 SNMP TRAP : snmpd.cnf

31 ISP 程度的计费能力支持 binary 日志, 高效支持 squid 日志格式, 兼容可根据源站分离存储可将日志发送至日志服务器内建高性能可定制化日志聚合功能, 自动生成流量 / 性能报告

32 cache 管理支持 push 支持自动刷新正则刷新可以强制 cache 可以删除批量删除正则删除

33 DNS 内建 DNS cache 服务, 功能可以作为 cache resolver 啦支持 split dns, 方便处理内外网

34 SSL trafficserver 支持同时监听多个 IP, 使用多个 ssl 证书 ( 非多进程模式 ) 能够仅在客户端与 TS 端使用 ssl 能够仅在 TS 与源端使用 ssl 能够同时在客户端与 TS 和 TS 与源端使用 ssl 能够支持 ssl 加速卡

35 强大的插件扩展能力雅虎内部已实现 : 多种 7 层路由功能各种处理 header 的插件 : 添加 header 删除 header 验证 header 各种安全控制功能由于事关内部业务, 这些插件多数不会开源

36 其他好用的小功能源服务器拥塞管理 : 在源服务器发生拥堵的情况下, 可以给用户一个特定页面, 并发给管理员报警可配置的复杂的 enfreshness 机制 Background 刷新定时刷新支持内容 2 次验证机制日志文件自动清理, 避免硬盘满

37 透明代理服务支持全透明代理 ( 双向 + 反向 ) 支持客户端透明代理 ( inbond ) 支持服务器端透明代理 ( outbond ) 支持多端口单独定义, 可以在一个机器上跑几个代理端口, 并设置不同的类型详细设置参考 Tiphares

38 怀疑到底? 单 CPU 的个人电脑跑出 10 万 5 千 qps Websense 集成 inktomi trafficserver 至今 Yahoo 大部分流量已经跑在 trafficserver 上了台湾无名小站用少量的机器即负载所有的视频世界最大的 CDN 运营商 Akamai 已经将 trafficserver 的 PM Leif Hedstrom 召入麾下试一下就知道啦

39 为什 trafficserver 高性能? Event 系统设计状态机低内存占用, 高硬盘 IO 均衡读写 ( 异步 IO 预读) 科学家的设计

40 当年的高人们 Dirk Grunwald 现为知名教授, 名下一堆的 phd, 当年也为 ts 写了底层代码哦 Brian Totty : HTTP: The Definitive Guide

41 代码量惊人 16MB 的纯代码历时约 7 年的设计开发历时约 5 年的后期维护与验证 OEM 客户

42 原系统还支持过 : Ftp cache Ftp2http cache Quicktime 视频 REAL 视频 MS 视频病毒扫描甚至有人准备 port 到 arm 啦

43 如果你的 CDN 体系有如下问题内容多的不行, 需要集群来处理访问量大, 得好多机器才能够抗住大压力管理复杂, 需要迅速响应, 应对各种突发问题提高用户访问速度, 优化连接应用需求越来越多, 功能开发不过来故障频发, 疲于应付

44 上 trafficserver 啊 Perfect Match! 还免费的哦! 捡了个宝啊!

45 trafficserver 值得投资? 模块化极强框架设计优秀, 能够提供各种接口来完成各种业务需求! 雅虎多年应用开发的平台的锤炼! apache.org 的良好运作! 开源后核心代码更新明显加速! ISP 级别的同级系统无人能敌! Apache license 对企业用户友好!

46 Cluster CDN- 先使用 trafficserver 构建 cluster 平台提高管理行, 运维效率流量管理

47 Cluster Proxy- 后 7 层路由连接管理 SLA 管理

48 特殊应用 - 再根据需求开发相关的插件 / 工具好多钩子可用的哦 :

49 不远的 2.X 将会有如下新功能 ipv6 集成透明代理重新回归 IO 层系统革新 >2G 大文件支持 solaris/osx/bsd port Cluster 采用一致性 hash 期待雅虎美国开源部分功能插件

50 已知问题 web 界面老土, 需要重新设计, 目前版本默认不开启设计文档少之又少 QA benchmark 系统未开源可选实用功能插件少 ( 由于功能插件与业务关联太大, Yahoo 不太方便开源 )

51 QA Do you really have Any Question?

Microsoft Word - 3084 中的文档

Microsoft Word - 3084 中的文档政府采购招标文件 ( 服务类 ) 第二册项目编号 :SDGP2015-256-1 项目名称 : 信息系统运维项目包号 :A1 山东省省级机关政府采购中心目录第五部分第六部分第七部分第八部分投标邀请投标人须知附表评标方法和评分细则项目需求和