PowerPoint Presentation

Transcription

1 Amazon EC2 实例深入理解和性能优化 丁成银, AWS 解决方案架构师 Chandler Ding, Solution Architect, Amazon Web Services

2 目录 Understanding the factors that going into choosing an EC2 instance Defining system performance and how it is characterized for different workloads How Amazon EC2 instances deliver performance while providing flexibility and agility How to make the most of your EC2 instance experience through the lens of several instance types

3 Amazon EC2 Instances 实例 1 实例 2 实例 n Hypervisor 物理主机

4 很久以前 2006 年 8 月上线 第一代 EC2 实例 : M1 实例 M1

5 EC2 实例时间线 m1.small c1.xlarge c1.medium m2.xlarge t1.micro cc2.8xlarge m1.medium m3.2xlarge m3.xlarge m3.large m3.medium cr1.8xlarge g2.2xlarge c3.8xlarge c3.4xlarge c3.2xlarge c3.xlarge c3.large r3.8xlarge r3.4xlarge r3.2xlarge r3.xlarge r3.large c4.8xlarge c4.4xlarge c4.2xlarge c4.xlarge c4.large x1.32xlarge r4.16xlarge r4.8xlarge r4.4xlarge r4.2xlarge r4.xlarge r4.large p2.16xlarge p2.8xlarge p2.xlarge x1e.32xlarge p3.16xlarge p3.8xlarge p3.2xlarge m1.large m1.xlarge m2.2xlarge m2.4xlarge cc1.4xlarge cg1.4xlarge hi1.4xlarge hs1.8xlarge i2.xlarge i2.2xlarge i2.4xlarge i2.4xlarge t2.micro d2.xlarge t2.small d2.2xlarge t2.med d2.4xlarge d2.8xlarge g2.8xlarge t2.large m4.large m4.xlarge m4.2xlarge m4.4xlarge m4.10xlarge t2.nano m4.16xlarge f1.2xlarge f1.16xlarge i3.large i3.xlarge i3.2xlarge i3.4xlarge i3.8xlarge i3.16xlarge g3.4xlarge g3.8xlarge g3.16xlarge

6 代数 c4.xlarge 家族 大小

7 EC2 Instance Families 通用 计算优化 存储 I/O 优化 FPGA & GPU 加速 内存优化 M4 C4 D2 I3 P3 R4 C3 G3 X1e F1

8 什么是虚拟 CPU(vCPU) 一个 vcpu 对应一个超线程核 * vcpu 数量 2 得到物理 CPU 核数 EC2 和 RDS 实例的核数 : * T2 除外, 因为它被设计为共享资源并可突发

9

10 为什么以及如何关闭超线程 例如某些浮点运算密集的应用 运行 lscpu 确认拓扑 在线关闭 B 线程 for i in `seq `; do echo 0 > /sys/devices/system/cpu/cpu${i}/online done 修改 Linux 内核启动参数, 只启用前一半 vcpu maxcpus=63 [ec2-user@ip ~]$ lscpu CPU(s): 128 On-line CPU(s) list: Thread(s) per core: 2 Core(s) per socket: 16 Socket(s): 4 NUMA node(s): 4 Model name: Intel(R) Xeon(R) CPU Hypervisor vendor: Xen Virtualization type: full NUMA node0 CPU(s): 0-15,64-79 NUMA node1 CPU(s): 16-31,80-95 NUMA node2 CPU(s): 32-47, NUMA node3 CPU(s): 48-63,

11

12 Instance sizing c4.8xlarge 2 - c4.4xlarge 4 - c4.2xlarge 8 - c4.xlarge

13 资源分配 所有分配给实例的资源都是独享的, 没有超卖 * vcpus 是独占的 内存是独占的 网络资源通过合理分配来避免 吵闹邻居 的影响 想知道每台物理主机能够容纳多少 EC2 实例? 请参考专用主机 (Dedicated Hosts) 的文档. * T2 除外, 因为它被设计为共享资源并可突发

14 启动新实例和并行运行测试的过程很简单 [ 但是在选择实例类型和规格的时候 ] 衡量您的应用程序的性能的过程是无可替代的. -

15 关于时钟 在 EC2 实例中提供时钟远比想象的要困难 gettimeofday(), clock_gettime(), QueryPerformanceCounter() 时间戳计数器 Time Stamp Counter 用户态可访问的 CPU 计数器 需要校准, vdso 在 Sandy Bridge 及更新的处理器上是恒常的 Xen pvclock; 不支持 vdso 在最新一代的实例上, 建议使用 TSC 作为时钟源

16 跑个分 - Benchmark #include <sys/time.h> #include <time.h> #include <stdio.h> #include <unistd.h> int main() { time_t start,end; time (&start); for ( int x = 0; x < ; x++ ) { float f; float g; float h; f = f; g = f; h = f * g; struct timeval tv; gettimeofday(&tv, NULL); } time (&end); double dif = difftime (end,start); printf ("Elasped time is %.2lf seconds.\n", dif ); return 0; }

17 Xen 时钟源 testbench]$ strace -c./test Elasped time is seconds. % time seconds usecs/call calls errors syscall gettimeofday mmap mprotect open fstat close read access brk execve arch_prctl munmap total

18 TSC 时钟源 testbench]$ strace -c./test Elasped time is 2.00 seconds. % time seconds usecs/call calls errors syscall mmap mprotect open close fstat read munmap access execve brk arch_prctl write total

19 性能小提示 : 配置 TSC 作为系统时钟源 # cat /sys/devices/system/cl*/cl*/available_clocksource xen tsc hpet acpi_pm # cat /sys/devices/system/cl*/cl*/current_clocksource xen 修改当前时钟源的命令 : tsc

20 控制处理器的 P-state 和 C-state c4.8xlarge f1.16xlarge p2.16xlarge g3.16xlarge d2.8xlarge i3.8xlarge i3.16xlarge m4.10xlarge m4.16xlarge r4.8xlarge r4.16xlarge x1.16xlarge x1.32xlarge x1e.32xlarge 空闲核心进入深层 C-State, 工作核心可以睿频到更高主频 但是深层 C 状态的核心需要更长时间来唤醒, 可能不适合需要保持稳定的延迟的应用 在 Grub 配置中增加启动参数 intel_idle.max_cstate=1 来指示 CPU 只进入浅层 C 状态

21 性能小提示 : 使用 AVX2 的应用的 P-State 控制 如果应用程序在所有 CPU 上密集执行 Intel 高级矢量扩展指令 AVX/AVX2 密集执行 AVX/AVX2 指令会产生大量热量, 可能会导致 CPU 自动降频 频繁的降频和睿频可能会影响应用的性能的平稳表现 AVX 指令不需要很高的主频也能表现的很好 这时可以禁用睿频, 让 CPU 运行在基准频率 sudo sh -c "echo 1 > /sys/devices/system/cpu/intel_pstate/no_turbo" 参考 :

22 回顾 : T2 实例 最便宜的 EC2 实例,$0.0065/ 小时起 可突发的性能 使用 CPU 额度来控制 Model vcpu Baseline CPU Credits / Hour Memory (GiB) Storage t2.nano 1 5% 3.5 EBS Only t2.micro 1 10% 6 1 EBS Only t2.small 1 20% 12 2 EBS Only t2.medium 2 40%** 24 4 EBS Only t2.large 2 60%** 36 8 EBS Only t2.xlarge 4 90% EBS Only t2.2xlarge 8 135% EBS Only 通用,Web 服务, 开发测试环境, 小型数据库

23 T2 的 CPU 额度原理 1 个 CPU 额度可以支持一个 CPU 核心全速运行 1 分钟 给定规格的 T2 实例以固定速率获得 CPU 额度 实例占用 CPU 运行时消耗 CPU 额度 额度最长有效期为 24 小时 Baseline rate Credit balance Burst rate

24 性能提示 : 监控 CPU 额度

25 回顾 : X1e 实例 最大 4 TB 内存, 已经公布了最大 16TB 内存的路标 四插槽 128vCPU, Intel E7 处理器 机型 vcpu 内存 (GiB) 本地存储 网络带宽 x1.16xlarge x 1920GB SSD 10Gbps x1.32xlarge x 1920GB SSD 25Gbps x1.32xlarge x 1920GB SSD 25Gbps 适合内存数据库 (HANA), 大数据, HPC 场景

26 NUMA 非一致性访存 Non-uniform memory access 多 CPU 系统中的 NUMA 架构中, 处理器访问它自己的本地内存的速度比非本地内存 ( 内存位于另一个处理器 ) 快一些 访问远端内存的性能取决于节点数量以及他们之间如何互联 Intel QuickPath Interconnect (QPI)

27 r3.8xlarge QPI 16 vcpu s 16 vcpu s 122GB 122GB

28 x1.32xlarge QPI 32 vcpu s 32 vcpu s 488GB 488GB QPI QPI QPI QPI 32 vcpu s 32 vcpu s 488GB 488GB

29 性能提示 : NUMA 平衡 相同 NUMA 节点上的进程, 对本地内存的访问性能最优 NUMA 平衡是指内核把进程调度到离程序内存近的 CPU 上运行. Linux 3.8+ 版本支持自动 NUMA 平衡 Windows Server 2003 企业版和数据中心版首次支持 NUMA 如果你的应用使用的内存总量超过 NUMA 单节点的内存, 或者应用线程在多个 NUMA 节点之间来回切换执行 : 设置内核启动参数 numa=off 来减少无效的内存拷贝 使用 numactl 来绑定进程到指定 NUMA 节点的 CPU

30 操作系统版本对性能的影响 例如, 内存密集型的 web 应用 创建很多线程 快速的分配 / 回收内存 对比在 CentOS 6 和 CentOS 7 上的性能 top 命令显示了很大一部分 CPU 周期都消耗在内核态 测试工具 ebizzy 和客户的应用的行为类似 perf 命令来追踪和分析程序的性能

31 CentOS 6 [ec2-user@ip centos6 ebizzy-0.3]$ sudo perf stat./ebizzy -S 10 12,409 records/s real s user 7.37 s sys s Performance counter stats for './ebizzy -S 10': task-clock (msec) # CPUs utilized 10,343 context-switches # K/sec 2,582 cpu-migrations # K/sec 1,418,204 page-faults # M/sec seconds time elapsed

32 火焰图 - CentOS 6

33 CentOS 7 [ec2-user@ip centos7 ~]$ sudo perf stat./ebizzy-0.3/ebizzy -S ,143 records/s real s user s Up from 12,400 records/s! sys 0.18 s Performance counter stats for './ebizzy-0.3/ebizzy -S 10': task-clock (msec) # CPUs utilized 25,256 context-switches # K/sec 2,201 cpu-migrations # K/sec 14,109 page-faults # K/sec seconds time elapsed Down from 1,418,204!

34 火焰图 - CentOS 7

35 大页 Hugepages 禁用透明大页 Transparent Hugepages # echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled # echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 使用显式大页 Explicit Huge Pages $ sudo mkdir /dev/hugetlbfs $ sudo mount -t hugetlbfs none /dev/hugetlbfs $ sudo sysctl -w vm.nr_hugepages=10000 $ HUGETLB_MORECORE=yes LD_PRELOAD=libhugetlbfs.so numactl --cpunodebind=0 \ --membind=0 /path/to/application 参考 :

36 Xen 分离驱动模型 驱动域 Driver Domain 客户域 Guest Domain 客户域 应用 1 套接字 4 设备驱动 后端驱动 3 前端驱动 前端驱动 2 VMM 虚拟 CPU 虚拟内存 CPU 调度 Hardware 物理 CPU 物理内存 网络设备 5

37 Linux 以前的版本 SSD I/O domain 域间 I/O: (1) 授权内存 (2) 写入缓冲区 (3) 实践通知 (4) 读取缓冲区 (5) 映射授权 (6) 读写授权 (7) 取消授权映射 Instance read(fd, buffer, ) 以前的内核版本中需要授权映射 grant mapping 授权映射的开销很大

38 Linux 及以后的版本 I/O domain Instance SSD 授权池 读写授权池 read(fd, buffer ) 批量建立持久的授权映射 从授权池里读取或者写入数据

39 验证是否启用了 Persistent Grants ~]$ dmesg egrep -i 'blkfront' Blkfront and the Xen platform PCI driver have been compiled for this kernel: unplug emulated disks. blkfront: xvda: barrier or flush: disabled; persistent grants: enabled; indirect descriptors: enabled; blkfront: xvdb: flush diskcache: enabled; enabled; ; indirect descriptors: blkfront: xvdc: flush diskcache: enabled; persistent grants: enabled; indirect descriptors: enabled;

40 性能提示 : 使用 版本的 Linux 内核 Amazon Linux or later Ubuntu or later RHEL/Centos 7 or later 其他

41 设备直通 : 增强型联网 Enhanced Networking SR-IOV 不再需要 Hypervisor 的驱动中转 物理网络设备将虚拟化功能暴露给 EC2 实例 需要特殊的驱动程序 : 实例的操作系统需要支持 ixgbevf/ena 驱动 标记 AMI 对增强型联网的支持

42 增强型联网 Driver Domain Guest Domain Guest Domain Application 1 Sockets NIC Driver NIC Driver 2 VMM Virtual CPU Virtual Memory CPU Scheduling Hardware Physical CPU Physical Memory SR-IOV Network Device 3

43 弹性网络适配器 Elastic Network Adapter 下一代增强型联网 Enhanced Networking 硬件校验和 多发送 接收队列 Receive Side Steering 25Gbps 全新的开源驱动

44 网络带宽 25 Gbps 和 10 Gbps 的实例间最大带宽 单向带宽, 双向带宽 = 单项带宽 x2 置放组 (placement groups) 内, 稳定的低延时 高, 中等, 低 使用 iperf3 进行带宽测试 目前, 单个实例到置放组外的实例的带宽最高 5 Gbps 包括到 S3 或者 Internet 带宽

45 EBS 吞吐和 IOPS 性能 实例规格的 EBS 吞吐上限 EBS 卷的容量和类型 启用 EBS 优化特性 完整列表请参考

46 Summary: Getting the Most Out of EC2 Instances 选择最新世代的实例, 使用 HVM AMI 配置时钟源为 TSC 配置处理器核心的 P 状态和 C 状态 监控 T2 实例的 CPU 额度 使用新版本的操作系统和内核 NUMA 配平 确保 Persistent grants 生效 使用支持增强型联网的实例和 AMI 对实际应用进行性能分析 Profiling

47 虚拟化的目标 与裸机相当的性能指标, 很多场景下我们已经做到了 一部 Hypervisor 和 Driver Domain 的消亡史 硬件辅助虚拟化 HVM 调度和 granting 效率 设备直通

48 下一步 参考 Amazon EC2 文档 创建实例, 运行您的应用!

49 谢谢!