光纤通道 SAN 配置指南

Transcription

1 Update 1 ESX 4.0 ESXi 4.0 vcenter Server 4.0 在本文档被更新的版本替代之前, 本文档支持列出的每个产品的版本和所有后续版本 要查看本文档的更新版本, 请访问 ZH_CN

2 最新的技术文档可以从 VMware 网站下载 : VMware 网站还提供最近的产品更新信息 您如果对本文档有任何意见或建议, 请把反馈信息提交至 : docfeedback@vmware.com 版权所有 2009, 2010 VMware, Inc. 保留所有权利 本产品受美国和国际版权及知识产权法的保护 VMware 产品受一项或多项专利保护, 有关专利详情, 请访问 VMware 是 VMware, Inc. 在美国和 / 或其他法律辖区的注册商标或商标 此处提到的所有其他商标和名称分别是其各自公司的商标 VMware, Inc Hillview Ave. Palo Alto, CA 北京办公室北京市海淀区科学院南路 2 号融科资讯中心 C 座南 8 层 上海办公室上海市浦东新区浦东南路 999 号新梅联合广场 23 楼 广州办公室广州市天河北路 233 号中信广场 7401 室 2 VMware, Inc.

3 目录 更新的信息 5 关于本文档 7 1 VMware ESX/ESXi 概述 9 ESX/ESXi 简介 9 了解虚拟化 10 与 ESX/ESXi 系统交互 13 2 将 ESX/ESXi 与光纤通道 SAN 配合使用 15 存储区域网络概念 15 将 ESX/ESXi 与 SAN 配合使用概述 16 了解 VMFS 数据存储 18 决定 LUN 的大小和数目 19 将 SAN 存储器与 ESX/ESXi 配合使用的细节 20 虚拟机如何访问 SAN 上的数据 21 了解多路径和故障切换 21 选择虚拟机位置 24 针对服务器故障的设计 25 优化资源利用 26 3 要求和安装 27 常规 ESX/ESXi SAN 要求 27 ESX 从 SAN 引导的要求 28 安装和设置步骤 29 4 设置与 ESX/ESXi 配合使用的 SAN 存储设备 31 测试 ESX/ESXi SAN 配置 31 光纤通道 SAN 阵列的常规设置注意事项 32 EMC CLARiiON 存储系统 32 EMC Symmetrix 存储系统 33 IBM TotalStorage DS4800 存储系统 33 IBM TotalStorage HP StorageWorks 存储系统 36 Hitachi Data Systems 存储器 37 Network Appliance 存储器 38 5 对 ESX 系统使用从 SAN 引导 39 从 SAN 引导概述 39 准备从 SAN 引导 40 VMware, Inc. 3

4 为从 SAN 引导设置 QLogic FC HBA 42 为从 SAN 引导设置 Emulex FC HBA 44 6 管理使用 SAN 存储器的 ESX/ESXi 系统 47 查看存储适配器信息 47 查看存储设备信息 48 查看数据存储信息 50 解决显示问题 50 N-Port ID 虚拟化 53 路径扫描和声明 55 路径管理和手动或静态负载平衡 58 路径故障切换 59 设置 SCSI 控制器的设备驱动程序选项 60 共享诊断分区 60 禁用自动主机注册 60 避免和解决 SAN 问题 61 优化 SAN 存储器性能 61 解决性能问题 62 SAN 存储器备份注意事项 65 分层应用程序 66 管理重复 VMFS 数据存储 67 A 多路径对照表 71 B 管理存储路径和多路径插件 73 列出主机的声明规则 73 显示多路径模块 74 显示主机的 SATP 75 显示 NMP 存储设备 75 添加 PSA 声明规则 76 删除 PSA 声明规则 77 屏蔽路径 77 取消路径屏蔽 78 定义 NMP SATP 规则 78 esxcli corestorage 命令行选项 79 索引 81 4 VMware, Inc.

5 更新的信息 本 光纤通道 SAN 配置指南 随每一版本的产品更新或在必要时进行更新 下表提供了 光纤通道 SAN 配置指南 的更新历史记录 修订版本 描述 CN 已更新的第 32 页, EMC CLARiiON 存储系统 部分中包含了有关 ESX/ESXi 支持使用 ALUA 的 EMC CLARiiON 的信息 已更新的第 71 页, 附录 A 多路径对照表 中包含了有关 EMC CLARiiON 的故障切换参数的信息 CN CN CN 已更新的第 28 页, 对故障切换设置超时 部分中指定了故障切换的建议 HBA 超时值 已更新的第 71 页, 附录 A 多路径对照表 中包含了有关 ESX/ESXi 主机的 Disk.UseLunReset 和 Disk.UseDeviceReset 参数的信息 初始版本 VMware, Inc. 5

6 6 VMware, Inc.

7 关于本文档 目标读者 文档反馈 光纤通道 SAN 配置指南 介绍了如何将 VMware ESX 和 VMware ESXi 系统与光纤通道存储区域网络 (SAN) 配合使用 本手册将在以下主要主题中讨论背景概念 安装要求和管理信息 : 了解 ESX/ESXi 向 SAN 管理员介绍 ESX/ESXi 系统 ESX/ESXi 与 SAN 配合使用 - 讨论使用 ESX/ESXi 时在设置 SAN 方面的要求与明显差异, 以及如何在两个系统并用的情况下进行管理和故障排除 使 ESX 系统可从 SAN 上的 LUN 进行引导 - 讨论从 SAN 进行引导的要求 限制及管理 光纤通道 SAN 配置指南 涵盖了 ESX ESXi 和 vcenter Server 本手册的目标读者为熟悉虚拟机技术和数据中心操作且具丰富经验的 Windows 或 Linux 系统管理员 VMware 欢迎您提出宝贵建议, 以便改进我们的文档 如有意见, 请将反馈发送到 docfeedback@vmware.com VMware vsphere 文档 VMware vsphere 文档包括 VMware vcenter Server 和 ESX/ESXi 文档集 VMware, Inc. 7

8 技术支持和教育资源 您可以获取以下技术支持资源 有关本文档和其他文档的最新版本, 请访问 : 在线支持和电话支持要通过在线支持提交技术支持请求 查看产品和合同信息以及注册您的产品, 请访问 客户只要拥有相应的支持合同, 就可以通过电话支持, 尽快获得对优先级高的问题的答复 请访问 支持服务项目 VMware 专业服务 要了解 VMware 支持服务项目如何帮助您满足业务需求, 请访问 VMware 教育服务课程提供了大量实践操作环境 案例研究示例, 以及用作作业参考工具的课程材料 这些课程可以通过现场指导 教室授课的方式学习, 也可以通过在线直播的方式学习 关于现场试点项目及实施的最佳实践, VMware 咨询服务可提供多种服务, 协助您评估 计划 构建和管理虚拟环境 要了解有关教育课程 认证计划和咨询服务的信息, 请访问 8 VMware, Inc.

9 VMware ESX/ESXi 概述 1 您可以将 ESX/ESXi 与光纤通道存储区域网络 (SAN) 配合使用, 后者是使用光纤通道 (FC) 协议在您的计算机系统与高性能存储子系统之间传输数据的专用高速网络 将 ESX/ESXi 与 SAN 配合使用可为整合提供额外的存储器, 提高可靠性, 并在灾难恢复方面提供帮助 要将 ESX/ESXi 与 SAN 有效配合使用, 您必须掌握 ESX/ESXi 系统与 SAN 概念的相关应用知识 本章讨论了以下主题 : 第 9 页, ESX/ESXi 简介 第 10 页, 了解虚拟化 第 13 页, 与 ESX/ESXi 系统交互 ESX/ESXi 简介 系统组件 管理员通过 ESX/ESXi 架构可将硬件资源分配给完全隔离的环境中的多个工作负载, 这些环境称作虚拟机 ESX/ESXi 的主要组件包括虚拟化层 硬件接口组件和用户界面 ESX/ESXi 系统具有以下关键组件 虚拟化层 该层提供理想化的硬件环境及基础物理资源到虚拟机的虚拟化 该层包括负责监控虚拟化的虚拟机监控程序 (VMM) 及 VMkernel VMware, Inc. 9

10 虚拟化层可调度虚拟机操作系统, 如果在 ESX 主机上运行, 还可调度服务控制台 虚拟化层将管理操作系统对物理资源的访问方式 VMkernel 必须使用自身的驱动程序来提供对物理设备的访问 VMkernel 驱动程序是经过修改的 Linux 驱动程序, 尽管 VMkernel 并非 Linux 变体 硬件接口组件 虚拟机使用硬件接口组件与 CPU 或磁盘之类的硬件进行通信 这些组件包括设备驱动程序, 可实现特定于硬件的服务交付, 同时隐藏与系统其他组成部分的硬件差异 用户界面管理员可以通过几种方式查看和管理 ESX/ESXi 主机和虚拟机 : VMware vsphere Client (vsphere Client) 可以直接连接到 ESX/ESXi 主机 此设置适合环境中仅有一台主机的情况 vsphere Client 也可连接 vcenter Server 并与 vcenter Server 管理的所有 ESX/ESXi 主机交互 vsphere Web Access Client 可让您使用基于浏览器的界面执行多项管理任务 当必须使用命令行访问时, 可以使用 VMware vsphere 命令行界面 (vsphere CLI) 软件和硬件兼容性 在 VMware ESX/ESXi 架构中, 虚拟机的操作系统 ( 客户机操作系统 ) 仅与虚拟化层呈现的标准 x86 兼容虚拟硬件交互 通过此架构,VMware 产品可支持任何 x86 兼容操作系统 大多数应用程序仅与客户机操作系统交互, 并不与基础硬件交互 因此, 如果在虚拟机上安装了应用程序所需的操作系统, 您便能够在所选硬件上运行应用程序 了解虚拟化 VMware 虚拟化层在各款 VMware 桌面产品 ( 如 VMware Workstation) 及服务器产品 ( 如 VMware ESX/ ESXi) 之间是通用的 该层为应用程序工作负载的开发 测试 交付及支持提供了一致平台 虚拟化层构成方式如下 : 每台虚拟机都运行各自的操作系统 ( 客户机操作系统 ) 和应用程序 虚拟化层提供映射至特定物理设备份额的虚拟设备 这些设备包括虚拟化的 CPU 内存 I/O 总线 网络接口 存储适配器和设备 人机接口设备及 BIOS 10 VMware, Inc.

11 章 1 VMware ESX/ESXi 概述 CPU 内存及网络虚拟化 VMware 虚拟机可提供完全的硬件虚拟化 虚拟机上运行的客户机操作系统和应用程序永远无法直接确定其所访问的物理资源 ( 例如, 在多处理器系统中运行了哪个物理 CPU, 或者哪个物理内存映射到了其页面 ) 将发生以下虚拟化过程 CPU 虚拟化 每台虚拟机显示为分别运行于各自的 CPU( 或一组 CPU) 之上, 与其他虚拟机完全隔离 各虚拟机的注册表 翻译后备缓存及其他控制结构将分开保存 大多数指令直接在物理 CPU 上执行, 使得需占用大量资源的工作负载才能以接近本地的速度运行 虚拟化层可安全执行特权指令 内存虚拟化各虚拟机可见一块连续的内存空间 但是, 所分配的物理内存可能并不连续, 而是将非连续的物理页面重新映射并呈现给各虚拟机 对于占用极大内存的负载, 服务器内存将处于过量使用状态 在这种情况下, 虚拟机的部分物理内存可能映射到共享页面, 或者映射到未映射或换出的页面 ESX/ESXi 无需客户机操作系统所具有的信息便可执行此虚拟内存管理, 并且不会影响客户机操作系统的内存管理子系统 网络虚拟化 虚拟化层确保每台虚拟机与其他虚拟机相隔离 虚拟机仅可通过用于连接独立物理机的类似网络机制相互通信 这种隔离可让管理员构建内部防火墙或其他网络隔离环境, 从而使一些虚拟机可与外部连接, 而另一些虚拟机只能通过虚拟网络与其他虚拟机连接 存储器虚拟化 ESX/ESXi 提供主机级别的存储器虚拟化, 即采用逻辑方式从虚拟机中抽象物理存储器层 在 ESX/ESXi 主机上运行的虚拟机不清楚主机所连接的存储设备的复杂性和特殊性 ESX/ESXi 虚拟机使用虚拟硬盘来存储其操作系统 程序文件, 以及与其活动相关联的其他数据 虚拟磁盘是一个大型物理文件或一组文件, 可以像任何其他文件一样轻松地对其进行复制 移动 存档和备份 您可以配置具有多个虚拟磁盘的虚拟机 要访问虚拟磁盘, 虚拟机需使用虚拟 SCSI 控制器 这些虚拟控制器对于虚拟机而言是不同类型的控制器, 包括 BusLogic 并行 LSI Logic 并行 LSI Logic SAS 和 VMware 准虚拟 虚拟机只能查看和访问以上类型的 SCSI 控制器 虚拟机可通过上述某一虚拟 SCSI 控制器访问的每个虚拟磁盘, 驻留在 VMware 虚拟机文件系统 (VMFS) 数据存储 ( 基于 NFS 的数据存储 ) 或裸磁盘上 从虚拟机的角度而言, 每个虚拟磁盘看上去都好像是与 SCSI 控制器连接的 SCSI 驱动器 实际的物理磁盘设备是通过并行 SCSI iscsi 网络还是主机上的光纤通道适配器来访问, 这对客户机操作系统以及虚拟机上运行的应用程序而言是透明的 图 1-1 概述了存储器虚拟化 图中所示为使用 VMFS 的存储器和使用裸机映射 (RDM) 的存储器 VMware, Inc. 11

12 图 1-1 SAN 存储器虚拟化 ESX/ESXi 虚拟机 1 SCSI 控制器 虚拟磁盘 1 虚拟磁盘 2 VMware 虚拟化层 HBA VMFS LUN1 LUN2 LUN5.vmdk RDM 虚拟机文件系统 在简单配置中, 虚拟机磁盘作为虚拟机文件系统 (VMFS) 内的文件进行存储 当客户机操作系统向其虚拟磁盘发出 SCSI 命令时, 虚拟化层会将这些命令转换成 VMFS 文件操作 ESX/ESXi 主机使用 VMFS 存储虚拟机文件 使用 VMFS, 多个虚拟机可以并发运行, 并且可以并发访问它们的虚拟磁盘文件 由于 VMFS 是一个群集文件系统, 因此多台主机可以同时对 SAN LUN 上的 VMFS 数据存储进行共享访问 VMFS 提供分布式锁定以确保多主机环境的安全 可以在本地磁盘或 SAN LUN 上配置 VMFS 数据存储 如果使用 ESXi 主机, 则将在主机的首次引导期间捕获本地磁盘, 并将其用于 VMFS 数据存储 VMFS 数据存储可以映射到单个 SAN LUN, 也可以跨越多个 SAN LUN 可以通过增加数据存储或添加新的数据区, 在虚拟机正在数据存储上运行时扩展数据存储 VMFS 数据存储可扩展为 32 个相同存储类型的物理存储数据区 裸机映射 裸机映射 (RDM) 是 VMFS 卷中充当裸机代理的特殊文件 ( 例如 SAN LUN) 使用 RDM,SAN LUN 可以直接整个分配到虚拟机 RDM 可提供 VMFS 文件系统中虚拟磁盘的一些优点, 同时保持了直接访问物理设备的部分优势 如果您使用 Microsoft 群集服务 (MSCS) 或者在虚拟机上运行 SAN 快照或其他分层应用程序, 则可能需要 RDM RDM 使系统能够使用 SAN 阵列所固有的硬件功能 但是, 与具有存储在 VMFS 数据存储上的虚拟磁盘文件的虚拟机相比, 具有 RDM 的虚拟机并没有出现性能提升 有关 RDM 的详细信息, 请参见 ESX 配置指南 或 ESXi 配置指南 12 VMware, Inc.

13 章 1 VMware ESX/ESXi 概述 与 ESX/ESXi 系统交互 可以通过几种不同方式与 ESX/ESXi 系统交互 可以使用客户端或以编程方式 ( 在特殊情况下 ) 交互 管理员可以通过以下方式之一与 ESX/ESXi 系统交互 : 使用 GUI 客户端 (vsphere Client 或 vsphere Web Access) 可以直接将客户端连接到 ESX/ESXi 主机, 也可以使用 vcenter Server 同时管理多台 ESX/ESXi 主机 通过命令行界面 vsphere 命令行界面 (vsphere CLI) 命令是在 vsphere SDK for Perl 上运行的脚本 vsphere CLI 软件包包括存储器 网络 虚拟机和用户管理的命令, 并允许执行大多数管理操作 有关详细信息, 请参见 vsphere 命令行界面安装和参考指南 ESX 管理员还可以使用 ESX 服务控制台, 此控制台支持完整的 Linux 环境, 并包括所有 vsphere CLI 命令 使用服务控制台的安全性比远程运行 vsphere CLI 的安全性低 ESXi 不支持服务控制台 VMware vcenter Server vcenter Server 是 ESX/ESXi 主机的中心管理员 可以通过 vsphere Client 或 vsphere Web Access 访问 vcenter Server vcenter Server vsphere Client vcenter Server 可充当已连接到网络的主机的中心管理员 该服务器指导虚拟机和 VMware ESX/ESXi 上的操作 vsphere Client 在 Microsoft Windows 上运行 在多主机环境中, 管理员使用 vsphere Client 向 vcenter Server 发送请求, 由此转而影响其虚拟机和主机 在单服务器环境中,vSphere Client 直接连接 ESX/ESXi 主机 vsphere Web Access 通过 vsphere Web Access, 您可以使用 HTML 浏览器连接 vcenter Server VMware, Inc. 13

14 14 VMware, Inc.

15 将 ESX/ESXi 与光纤通道 SAN 配合使用 2 将 ESX/ESXi 主机设置为使用 FC SAN 阵列存储时, 必须考虑若干特殊注意事项 本节介绍如何将 ESX/ESXi 与 SAN 阵列配合使用 本章讨论了以下主题 : 第 15 页, 存储区域网络概念 第 16 页, 将 ESX/ESXi 与 SAN 配合使用概述 第 18 页, 了解 VMFS 数据存储 第 19 页, 决定 LUN 的大小和数目 第 20 页, 将 SAN 存储器与 ESX/ESXi 配合使用的细节 第 21 页, 虚拟机如何访问 SAN 上的数据 第 21 页, 了解多路径和故障切换 第 24 页, 选择虚拟机位置 第 25 页, 针对服务器故障的设计 第 26 页, 优化资源利用 存储区域网络概念 如果您是 ESX/ESXi 管理员, 并计划设置 ESX/ESXi 主机与 SAN 配合使用, 那么您必须掌握 SAN 概念的相关应用知识 在某些出版资料中和 Internet 上可以找到 SAN 的相关信息 这一领域的发展日新月异, 请时常查看上述资源 如果您对 SAN 技术不甚了解, 请先熟悉基本术语 存储区域网络 (SAN) 是将计算机系统或主机服务器连接到高性能存储子系统的专用高速网络 SAN 组件包括主机服务器中的主机总线适配器 (HBA) 用于路由存储流量的交换机 线缆 存储处理器 (SP) 以及存储磁盘阵列 在网络上至少存在一台交换机的 SAN 拓扑构成了 SAN 架构 为将流量从主机服务器传输到共享存储器,SAN 使用光纤通道 (FC) 协议将 SCSI 命令打包到光纤通道帧中 为限制服务器访问未分配给该服务器的存储阵列,SAN 将使用区域分配 通常会为访问一组共享存储设备和 LUN 的各组服务器创建区域 区域定义了哪些 HBA 可连接哪些 SP 某区域以外的设备对该区域之内的设备不可见 区域分配与 LUN 屏蔽类似, 后者常用于权限管理 LUN 屏蔽是使 LUN 对某些主机可用而对另外一些主机不可用的过程 LUN 屏蔽通常在 SP 或服务器级别执行 VMware, Inc. 15

16 端口 在本文档的上下文中, 端口是指设备与 SAN 的连接 SAN 中的每个节点 ( 主机 存储设备及架构组件 ) 均有一个或多个端口, 用于将其连接到 SAN 端口可通过多种方式进行标识 WWPN( 全球端口名称 ) Port_ID( 或端口地址 ) 一种全球唯一的端口标识符, 可允许特定应用程序访问相应端口 FC 交换机会发现设备或主机的 WWPN, 并向该设备分配一个端口地址 在 SAN 中, 各端口具有唯一的端口 ID, 用作端口的 FC 地址 通过这个唯一 ID 可将数据经由 SAN 路由至相应端口 FC 交换机在设备登录到相应架构时为其分配端口 ID 仅当设备登录后端口 ID 才有效 使用 N-Port ID 虚拟化 (NPIV) 时, 单一 FC HBA 端口 (N-port) 可使用多个 WWPN 向架构注册 这个方法允许一个 N-port 声明多个架构地址, 每个地址都显示为一个唯一的实体 当 ESX/ESXi 主机使用 SAN 时, 上述多个唯一标识符允许在配置各个虚拟机的过程中为虚拟机分配 WWN 多路径和路径故障切换 在主机服务器与存储器之间传输数据时,SAN 将使用多路径技术 使用多路径, 您可以通过多条物理路径从 ESX/ESXi 主机到达存储系统上的 LUN 如果路径或路径所经过的任一组件 (HBA 或网卡 电缆 交换机 / 交换机端口或存储处理器 ) 出现故障, 服务器将选择其他可用路径 检测故障路径并切换到另一条路径的过程称为路径故障切换 存储系统类型 存储磁盘系统类型可以是主动 - 主动和主动 - 被动 ESX/ESXi 支持以下存储系统类型 : 主动 - 主动存储系统, 允许通过所有可用的存储器端口同时访问 LUN, 而不会明显降低性能 所有路径始终保持活动状态, 除非路径发生故障 主动 - 被动存储系统, 其中一个端口主动提供对给定 LUN 的访问 其他端口充当备用 LUN, 并且可以主动提供对其他 LUN I/O 的访问 只能向指定 LUN 的活动端口成功发送 I/O 如果通过主存储器端口访问失败, 则其中一个辅助端口或存储处理器将自动或通过管理员干预变为活动状态 将 ESX/ESXi 与 SAN 配合使用概述 将 ESX/ESXi 与 SAN 配合使用可提高灵活性 效率以及可靠性 将 ESX/ESXi 与 SAN 配合使用还支持集中式管理 故障切换技术和负载平衡技术 下面是将 ESX/ESXi 与 SAN 配合使用的优点 : 可存储冗余数据并配置多个指向存储器的路径, 从而避免出现单一故障点 ESX/ESXi 系统在默认情况下为每个虚拟机提供多路径 将 SAN 与 ESX/ESXi 系统配合使用可将故障恢复功能扩展到服务器 使用 SAN 存储器时, 所有应用程序可在发生主机故障后立即重新启动 可以使用 VMware VMotion 执行虚拟机的实时迁移 将 VMware High Availability (HA) 与 SAN 一同用于冷备用解决方案, 该解决方案可保证快速的自动响应 16 VMware, Inc.

17 章 2 将 ESX/ESXi 与光纤通道 SAN 配合使用 使用 VMware Distributed Resource Scheduler (DRS) 将虚拟机从一台主机迁移到另一台主机以实现负载平衡 由于存储位于 SAN 阵列, 因此应用程序可继续无缝运行 如果使用 VMware DRS 群集, 请将 ESX/ESXi 主机置于维护模式, 以便系统将所有正在运行的虚拟机迁移到其他 ESX/ESXi 主机 随后便可执行升级或其他维护操作 VMware 虚拟机的可传输性和封装与此存储器的共享特性相辅相成 当虚拟机位于基于 SAN 的存储器上时, 您可以快速关闭一台服务器上的虚拟机并在另一台服务器上将其启动, 或在一台服务器上将其挂起并在同一网络上的另一台服务器上恢复操作 此功能可实现在迁移计算资源的同时保持一致的共享访问 ESX/ESXi 和 SAN 用例 将 ESX/ESXi 与 SAN 配合使用时, 可以执行多项任务 将 ESX/ESXi 与 SAN 配合使用对于以下任务非常有效 : 零停机时间维护 负载平衡 存储器整合与存储器布局的简化 在执行 ESX/ESXi 主机或基础结构维护时, 使用 VMware DRS 或 VMotion 将虚拟机迁移至其他服务器 如果共享存储器位于 SAN 上, 您无需中断用户服务就可以执行维护 使用 VMotion 或 VMware DRS 将虚拟机迁移至其他主机以实现负载平衡 如果共享存储器位于 SAN 上, 则无需中断用户连接就可以执行负载平衡 如果使用多台主机, 且每台主机都运行多个虚拟机, 那么当主机上的存储器不再够用时将需要使用外部存储器 选择 SAN 作为外部存储器可使系统架构更为简单, 同时还有其他优点 先预留一个较大的 LUN, 然后根据需要将各部分分配给虚拟机 从存储设备预留及创建 LUN 需一次完成 灾难恢复 简化阵列迁移和存储升级 将所有数据存储在 SAN 上为数据备份的远程存储提供了便利 如果某一站点受到损坏, 可以在远程 ESX/ESXi 主机上重新启动虚拟机进行恢复 在购买新存储系统或阵列时, 使用存储 VMotion 执行实时自动迁移, 将虚拟机磁盘文件从现有存储器迁移到新的目标 查看详细信息 除本文档外, 另有许多其他资源可帮助您配置 ESX/ESXi 系统与 SAN 配合使用 : 对于大多数设置问题, 请使用存储阵列供应商的文档 存储阵列供应商可能还会提供介绍在 ESX/ESXi 环境中使用存储阵列的文档 VMware 文档网站 iscsi SAN 配置指南 论述了 ESX/ESXi 与 iscsi 存储区域网络配合使用的情况 VMware I/O 兼容性指南 列出了当前已认可的 HBA HBA 驱动程序以及驱动程序版本 VMware 存储器 /SAN 兼容性指南 列出了当前已认可的存储阵列 VMware 发行说明 提供了有关已知问题和解决办法的信息 VMware 知识库 包含有关常见问题和解决办法的信息 VMware, Inc. 17

18 了解 VMFS 数据存储 ESX/ESXi 使用数据存储来存储虚拟磁盘, 数据存储是一种逻辑容器, 它将存储器的细节针对虚拟机隐藏起来, 并提供一个统一的模型来存储虚拟机文件 存储设备上部署的数据存储使用 VMware 虚拟机文件系统 (VMFS) 格式, 该格式是针对存储虚拟机而优化的特殊高性能的文件系统格式 VMFS 数据存储可将多个虚拟机作为一个工作负载来运行 VMFS 为虚拟机文件提供分布式锁定, 因此在多台 ESX/ESXi 主机共享一组 LUN 的 SAN 环境中, 虚拟机也能安全运作 使用 vsphere Client, 可以在 ESX/ESXi 主机发现的任何基于 SCSI 的存储设备上预先设置 VMFS 数据存储 一个 VMFS 数据存储可扩展为多个物理存储数据区, 其中包括 SAN LUN 和本地存储器 使用此功能可以将存储放在存储池中, 并灵活地创建虚拟机所需的存储卷 当虚拟机在数据存储上运行时, 您可以增加数据存储的容量 这一功能可让您在虚拟机需要新空间时为 VMFS 数据存储添加新空间 ESX/ESXi VMFS 专用于从多台物理机进行的并发访问, 并在虚拟机文件上执行适当的访问控制 跨 ESX/ESXi 主机共享 VMFS 数据存储 作为一个群集文件系统,VMFS 允许多个 ESX/ESXi 主机同时访问同一个 VMFS 数据存储 为了确保多台服务器不会同时访问同一个虚拟机,VMFS 提供了磁盘锁定 为了协调对 VMFS 内部文件系统信息的访问,ESX/ESXi 会在整个 LUN 上使用 SCSI 预留 图 2-1 显示了共享同一 VMFS 卷的若干 ESX/ESXi 系统 图 2-1 跨 ESX/ESXi 主机共享 VMFS 数据存储 ESX/ESXi ESX/ESXi ESX/ESXi A B C VM1 VM2 VM3 VMFS 卷 磁盘 1 磁盘 2 磁盘 3 虚拟磁盘文件 由于虚拟机共享一个公共的 VMFS 数据存储, 因此可能很难得出固定的高峰访问时段或优化性能 必须针对高峰时段规划虚拟机存储访问, 但是不同的应用程序可能具有不同的高峰访问时段 VMware 建议您使服务器 CPU 及存储器上的虚拟机达到负载平衡 在每台服务器上都运行多台虚拟机的组合, 以便同一区域不会同时面临很高的资源需求 18 VMware, Inc.

19 章 2 将 ESX/ESXi 与光纤通道 SAN 配合使用 元数据更新 VMFS 数据存储保存虚拟机文件 目录 符号链接 RDM 等等 VMS 数据存储还保存这些对象的所有映射信息的一致性视图 此映射信息称为元数据 元数据会在每次访问虚拟机文件的属性时更新或在执行以下任一操作时修改 : 创建 扩展或锁定虚拟机文件 更改文件的属性 启动或关闭虚拟机 决定 LUN 的大小和数目 在使用 VMFS 数据存储格式化 LUN 之前, 必须规划如何设置 ESX/ESXi 系统的存储器 决定 LUN 的大小和数目时, 请牢记以下注意事项 : 每个 LUN 应具有正确的 RAID 级别和存储特性, 适用于使用该 LUN 的虚拟机中的应用程序 一个 LUN 必须仅包含一个 VMFS 数据存储 如果多台虚拟机访问同一个 VMFS, 请使用磁盘份额区分虚拟机的优先级 出于以下原因, 您可能需要较少 较大的 LUN: 在不向存储管理员要求更多空间的情况下, 使创建虚拟机的灵活性更大 使调整虚拟磁盘大小 执行快照等等的灵活性更大 使要管理的 VMFS 数据存储变得更少 出于以下原因, 您可能需要较多 较小的 LUN: 减少存储空间浪费 不同的应用程序可能需要不同的 RAID 特性 为每个 LUN 设置多路径策略和磁盘份额, 从而增加灵活性 使用 Microsoft 群集服务要求每个群集磁盘资源位于各自的 LUN 中 由于对单个卷的争用情况较少, 因此性能更佳 如果没有相关虚拟机的存储描述, 通常很难决定要使用的 LUN 大小和数量 可以使用预测性或自适应性方案决定 LUN 大小和数量 使用预测性方案来决定 LUN 的大小和数目 在使用 VMFS 数据存储格式化 LUN 之前规划如何设置 ESX/ESXi 系统的存储器时, 必须决定要使用的 LUN 的大小和数目 可以使用预测性方案决定 LUN 的大小和数目 步骤 1 创建若干具有不同存储特性的 LUN 2 在每个 LUN 上构建一个 VMFS 数据存储, 并依照相应特性标记各个数据存储 3 分配虚拟磁盘以包含在 LUN 上构建的 VMFS 数据存储中的虚拟机应用程序数据, 这些 LUN 具有满足其上应用程序要求的 RAID 级别 VMware, Inc. 19

20 4 使用磁盘份额来区别高优先级虚拟机与低优先级虚拟机 磁盘份额仅表示给定主机内的比例 分配给某一主机上虚拟机的份额并不影响其他主机上的虚拟机 5 运行应用程序以确定虚拟机性能是否可接受 使用自适应性方案来决定 LUN 的大小和数目 在使用 VMFS 数据存储格式化 LUN 之前规划如何设置 ESX/ESXi 系统的存储器时, 必须决定要使用的 LUN 的大小和数目 可以使用自适应性方案决定 LUN 的大小和数目 步骤 1 创建一个较大的 LUN(RAID 1+0 或 RAID 5), 同时启用写入缓存 2 在该 LUN 上构建 VMFS 3 在 VMFS 上放置四个或五个虚拟磁盘 4 运行应用程序以确定磁盘性能是否可接受 如果性能可接受, 您可以在 VMFS 上再添加虚拟磁盘 如果性能不可接受, 请新建更大的 LUN( 可能采用其他 RAID 级别 ) 并重复此过程 使用迁移, 以便不会在重新创建 LUN 时丢失虚拟机 使用磁盘份额区分虚拟机优先级 如果多台虚拟机访问同一 VMFS 数据存储 ( 因此也是访问同一 LUN), 请使用磁盘份额区分虚拟机对磁盘的访问优先级 磁盘份额可区别高优先级虚拟机与低优先级虚拟机 步骤 1 启动 vsphere Client 并连接到 vcenter Server 2 在 清单 面板中选择虚拟机, 并从菜单中选择编辑设置 3 单击资源选项卡并单击磁盘 4 双击要修改的磁盘的份额列, 然后在下拉菜单中选择所需值 份额是表示用于控制所有虚拟机磁盘带宽的相对衡量指标的值 将 低 正常 高 及 自定义 值与服务器 ESX 主机和服务控制台中所有虚拟机的所有份额的总数进行比较 份额分配符号值可用于将其转换配置为数字值 5 单击确定保存选择 注意磁盘份额仅表示给定 ESX/ESXi 主机内的比例 分配给某一主机上虚拟机的份额并不影响其他主机上的虚拟机 将 SAN 存储器与 ESX/ESXi 配合使用的细节 将 SAN 与 ESX/ESXi 主机一起使用在很多方面有别于传统的 SAN 使用情况 将 SAN 存储器与 ESX/ESXi 配合使用时, 请记住以下注意事项 : 您无法直接访问使用该存储器的虚拟机操作系统 使用传统工具, 只能监控 VMware ESX/ESXi 操作系统 可以使用 vsphere Client 监控虚拟机 默认情况下, 在创建虚拟机时, 虚拟机将配置一个虚拟硬盘和一个虚拟 SCSI 控制器 可以通过使用 vsphere Client 编辑虚拟机设置来修改 SCSI 控制器类型及 SCSI 总线共享特性 您也可以将硬盘添加到虚拟机 通过 SAN 管理工具可看到的 HBA 属于 ESX/ESXi 系统 ( 而不是属于虚拟机 ) ESX/ESXi 系统可执行多路径 20 VMware, Inc.

21 章 2 将 ESX/ESXi 与光纤通道 SAN 配合使用 第三方管理应用程序 可以将第三方管理应用程序与 ESX/ESXi 主机配合使用 大多数 SAN 硬件都附送 SAN 管理软件 此软件通常在存储阵列或单个服务器上运行, 独立于使用 SAN 作为存储器的服务器 此第三方管理软件可用于执行下列任务 : 存储阵列管理 ( 包括 LUN 创建 阵列缓存管理 LUN 映射以及 LUN 安全 ) 设置复制 检查点 快照或镜像 如果决定在虚拟机上运行 SAN 管理软件, 您可享有运行虚拟机的一系列优点, 包括使用 VMotion 和 VMware HA 进行故障切换 但是, 由于附加了间接级别, 管理软件可能检测不到 SAN 使用 RDM 可解决此问题 注意虚拟机能否成功运行管理软件取决于特定的存储系统 虚拟机如何访问 SAN 上的数据 ESX/ESXi 将虚拟机的磁盘文件存储到 SAN 存储设备上所部署的 VMFS 数据存储内 当虚拟机客户机操作系统向其虚拟磁盘发出 SCSI 命令时, 虚拟化层会将这些命令转换成 VMFS 文件操作 虚拟机与其在 SAN 上存储的虚拟磁盘交互时, 将发生以下过程 : 1 虚拟机中的客户机操作系统读写 SCSI 磁盘时, 将向虚拟磁盘发出 SCSI 命令 2 虚拟机操作系统中的设备驱动程序将与虚拟 SCSI 控制器进行通信 3 虚拟 SCSI 控制器将命令转发至 VMkernel 4 VMkernel 将执行以下任务 在 VMFS 卷中查找与客户机虚拟机磁盘对应的文件 将对虚拟磁盘上块的请求映射到相应物理设备上的块 将修改后的 I/O 请求从 VMkernel 中的设备驱动程序发送到物理 HBA( 主机 HBA) 5 主机 HBA 将执行以下任务 将请求从本身的二进制数据形式转换成经光缆传输所需的光学形式 依据 FC 协议的规则将请求打包 将请求传输至 SAN 6 根据 HBA 用于连接架构的端口, 相应 SAN 交换机会收到请求并将其路由至主机要访问的存储设备 此存储设备对主机显示为某一特定磁盘, 但它可能是与 SAN 上的物理设备相对应的逻辑设备 交换机必须确定哪个物理设备可作为主机的目标逻辑设备 了解多路径和故障切换 要维持 ESX/ESXi 主机和其存储器之间的持续连接,ESX/ESXi 必须支持多路径 通过多路径技术, 用户可以使用多个物理路径在主机和外部存储设备之间传输数据 如果 SAN 网络中的任一网元 ( 如适配器 交换机或线缆 ) 发生故障, 则 ESX/ESXi 可以切换到另一不使用故障组件的物理路径 这种避免使用故障组件的路径切换过程称为路径故障切换 VMware, Inc. 21

22 除路径故障切换外, 多路径还提供负载平衡 负载平衡是在多个物理路径中分配 I/O 负载的过程 负载平衡可以减少或消除潜在的瓶颈 注意在路径故障切换发生时, 虚拟机 I/O 最多能延迟 60 秒 此延迟使 SAN 可以在拓扑更改后稳定其配置 通常, 主动 - 被动阵列上的 I/O 延迟时间可能会更长, 而在主动 - 主动阵列上则更短 基于主机的光纤通道故障切换 要支持多路径, 主机通常具有两个或更多个可用的 HBA 此配置对 SAN 多路径配置进行补充,SAN 多路径配置通常为 SAN 架构提供一个或多个交换机并为存储阵列设备本身提供一个或多个存储处理器 在图 2-2 中, 可通过多条物理路径将每台服务器与存储设备相连 例如, 如果 HBA1 或 HBA1 与 FC 交换机之间的链路发生故障,HBA2 会取代 HBA1 并提供服务器与交换机之间的连接 一个 HBA 取代另一个 HBA 的过程称为 HBA 故障切换 图 2-2 多路径和故障切换 ESX/ESXi ESX/ESXi HBA2 HBA1 HBA3 HBA4 交换机 交换机 SP1 SP2 存储阵列 类似地, 如果 SP1 发生故障或 SP1 与交换机之间的链路中断,SP2 会取代 SP1 并提供交换机与存储设备之间的连接 此过程称为 SP 故障切换 VMware ESX/ESXi 通过多路径功能支持 HBA 和 SP 故障切换 管理多路径 为管理存储多路径,ESX/ESXi 使用特殊的 VMkernel 层 ( 即, 可插入存储架构 (PSA)) PSA 是一个协调多个多路径插件 (MPP) 的同时操作的开放式模块框架 ESX/ESXi 默认情况下提供的 VMkernel 多路径插件是 VMware 本机多路径插件 (NMP) NMP 是管理子插件的可扩展模块 NMP 子插件有两种类型, 即存储阵列类型插件 (SATP) 和路径选择插件 (PSP) SATP 和 PSP 可以是 VMware 提供的内置插件, 也可以由第三方提供 如果需要更多多路径功能, 第三方还可以提供 MPP 以作为默认 NMP 的附属或替代运行 当协调 VMware NMP 和所安装的任何第三方 MPP 时,PSA 将执行以下任务 : 加载和卸载多路径插件 对特定插件隐藏虚拟机细节 将特定逻辑设备的 I/O 请求路由到管理该设备的 MPP 处理逻辑设备的 I/O 排队操作 在虚拟机之间实现逻辑设备带宽共享 22 VMware, Inc.

23 章 2 将 ESX/ESXi 与光纤通道 SAN 配合使用 处理物理存储 HBA 的 I/O 排队操作 处理物理路径发现和移除 提供逻辑设备和物理路径 I/O 统计信息 如图 2-3 所示, 多个第三方 MPP 可以与 VMware NMP 并行运行 第三方 MPP 将替代 NMP 的行为, 并且完全控制指定存储设备的路径故障切换和负载平衡操作 图 2-3 可插入存储架构 VMkernel 可插入存储架构 第三方 MPP 第三方 MPP VMware NMP VMware SATP VMware SATP VMware SATP 第三方 SATP VMware PSP VMware PSP 第三方 PSP 多路径模块执行以下操作 : 管理物理路径声明和取消声明 管理逻辑设备的创建 注册和取消注册 将物理路径与逻辑设备关联 处理逻辑设备的 I/O 请求 : 为请求选择最佳物理路径 根据存储设备, 执行处理路径故障和 I/O 命令重试所需的特定操作 支持管理任务, 如中止或重置逻辑设备 VMware 多路径模块 默认情况下,ESX/ESXi 提供名为本机多路径插件 (NMP) 的可扩展多路径模块 一般来说,VMware NMP 支持 VMware 存储 HCL 上列出的所有存储阵列, 并基于阵列类型提供默认的路径选择算法 还将一组物理路径与特定存储设备或 LUN 关联 存储阵列类型插件 (SATP) 负责处理给定存储阵列的路径故障切换 路径选择插件 (PSP) 负责确定哪个物理路径用于向存储设备发出 I/O 请求 SATP 和 PSP 是 NMP 模块中的子插件 VMware SATP 存储阵列类型插件 (SATP) 与 VMware NMP 一起运行, 负责特定于阵列的操作 ESX/ESXi 为 VMware 支持的各种类型阵列提供 SATP 这些 SATP 包括适于非指定存储阵列的主动 / 主动 SATP 和主动 / 被动 SATP, 以及适于直接连接存储器的本地 SATP 每个 SATP 适合特定类别的存储阵列的特殊特性, 并可以执行检测路径状况和激活被动路径所需的特定于阵列的操作 因此,NMP 模块可以使用多个存储阵列, 而无需了解存储设备的特性 在 NMP 确定要为特定存储设备调用哪个 SATP 并将该 SATP 与存储设备的物理路径相关联之后, 该 SATP 会执行以下任务 : 监控每个物理路径的健康状况 报告每个物理路径的状况变化 执行存储器故障切换所需的特定于阵列的操作 例如, 对于主动 / 被动设备, 它可以激活被动路径 VMware, Inc. 23

24 VMware PSP 路径选择插件 (PSP) 与 VMware NMP 一起运行, 负责选择 I/O 请求的物理路径 VMware NMP 根据与每个逻辑设备的物理路径关联的 SATP 为其分配默认 PSP 可以替代默认 PSP 默认情况下,VMware NMP 支持以下 PSP: 最近使用 (MRU) 固定的 选择 ESX/ESXi 主机最近用于访问指定设备的路径 如果此路径不可用, 则主机会切换到替代路径并在该新路径可用时继续使用它 使用指定首选路径 ( 如果已配置 ) 否则, 它将使用在系统引导时间发现的第一个工作路径 如果主机不能使用首选路径, 则它会选择随机替代可用路径 一旦首选路径可用, 主机就会自动恢复到首选路径 注意对于具有固定的路径策略的主动 - 被动阵列, 路径颠簸可能是个问题 循环 (RR) 使用路径选择算法轮流选择所有可用的路径, 并在路径之间启用负载平衡 VMware NMP I/O 流 当虚拟机向 NMP 管理的存储设备发出 I/O 请求时, 将发生以下过程 1 NMP 调用分配给此存储设备的 PSP 2 PSP 将选择要通过其发出 I/O 的相应物理路径 3 如果 I/O 操作成功, 则 NMP 报告其完成 4 如果 I/O 操作报告错误, 则 NMP 调用适当的 SATP 5 SATP 解释 I/O 命令错误, 并在适当时激活非活动路径 6 此时将调用 PSP 以选择要通过其发出 I/O 的新路径 选择虚拟机位置 如果您想要优化虚拟机的性能, 存储位置是个重要因素 提供高性能和高可用性但价格昂贵的存储器与性能较低但成本也较低的存储器之间始终存在一个权衡 根据多种因素, 存储器可分为不同级别 : 高端 中端 低端 提供高性能和高可用性 可能提供内置快照, 便于备份及时间点 (PiT) 还原 支持复制 完全 SP 冗余和光纤驱动器 使用高成本心轴 提供中等程度的性能 较低可用性 部分 SP 冗余以及 SCSI 驱动器 可能提供快照 使用中等成本的心轴 提供低性能及少许内部存储冗余 使用低端 SCSI 驱动器或 SATA( 串行低成本心轴 ) 并非所有应用程序都需要性能最高 可用性最佳的存储器, 至少不是在整个生命周期内一直需要 如果要使用某些高端功能 ( 如快照 ), 但不希望额外支出费用, 则可以在软件中实现某些高性能特性 决定放置某虚拟机的位置时, 请考虑以下问题 : 该虚拟机的重要程度如何? 有哪些性能及可用性要求? 有哪些时间点 (PiT) 还原要求? 24 VMware, Inc.

25 章 2 将 ESX/ESXi 与光纤通道 SAN 配合使用 有哪些备份要求? 有哪些复制要求? 由于重要程度发生改变或技术发展使得目前的较高端功能降为低端功能, 虚拟机在其整个生命周期过程中可能变更级别 重要程度是相对的, 并且可能由于多种原因 ( 包括组织 操作流程 法规要求及灾难规划等方面的变化 ) 而改变 针对服务器故障的设计 SAN 存储器的 RAID 架构本质上是在物理磁盘级别提供故障保护 双重架构拥有所有架构组件的副本, 可在大多数架构发生故障的情况下保护 SAN 使整个环境变得耐故障的最后一步即提供针对服务器故障的保护 使用 VMware HA 使用 VMware HA 可以按故障切换组对虚拟机进行组织 某一主机发生故障时, 其所有虚拟机将立即在其他主机上启动 HA 需要 SAN 存储器 虚拟机在其他主机上还原后会丢失其内存状况, 但磁盘状况与主机发生故障时完全一致 ( 崩溃一致故障切换 ) 注意您必须获得许可才能使用 VMware HA 使用群集服务 服务器群集是一种使用高速网络连接尝试将两个或更多服务器集合在一起的方法, 这样, 一组服务器便可作为单个逻辑服务器运行 如果其中一台服务器发生故障, 群集内的其他服务器将继续运行, 同时接管故障服务器所执行的操作 VMware 对 Microsoft 群集服务与 ESX/ESXi 系统配合使用进行了测试, 但是其他群集解决方案可能同样可行 多种配置选项可用于通过群集实现故障切换 : 机箱内群集 机箱间群集 物理到虚拟群集 (N+1 群集 ) 同一主机上的两台虚拟机可相互作为对方的故障切换服务器 一台虚拟机发生故障后, 将由另一台取代 此配置不会对主机故障提供保护, 而且最常用于测试群集应用程序 某一 ESX/ESXi 主机上的虚拟机在另一 ESX/ESXi 主机上具有与其相匹配的虚拟机 某一 ESX/ESXi 主机上的虚拟机用作一台物理服务器的故障切换服务器 由于单个主机上运行的虚拟机可用作多台物理服务器的故障切换服务器, 因此该群集方式是一种具有成本效益的 N+1 解决方案 VMware, Inc. 25

26 服务器故障切换和存储器注意事项 对于各种类型的服务器故障切换, 您必须考虑有关存储器的问题 仅当每台服务器都对同一存储器具有访问权限时用于服务器故障切换的方法才可行 因为多台服务器需要大量磁盘空间, 而且存储阵列故障切换与服务器故障切换相辅相成, 所以通常会将 SAN 与服务器故障切换结合使用 在将 SAN 设计为与服务器故障切换协同工作时, 由群集虚拟机使用的所有 LUN 必须能够由所有的 ESX/ESXi 主机检测到 这一要求与 SAN 管理员的直觉正好相反, 但却适用于使用虚拟机的情况 虽然主机可以访问 LUN, 但并非该主机上的所有虚拟机就一定具有对 LUN 上所有数据的访问权限 虚拟机只能访问已为其配置的虚拟磁盘 假设出现配置错误, 在虚拟机引导时, 虚拟磁盘将被锁定, 因此不会发生损坏现象 注意一般来说, 从 SAN LUN 引导时, 只有正在从 LUN 引导的主机才能够看到每个引导 LUN 一种例外情况就是当您通过将另一主机指向同一 LUN 来尝试从故障中恢复时 在这种情况下, 上述 SAN LUN 并非真正从 SAN 引导 因 SAN LUN 已损坏, 因此没有任何主机从其引导 SAN LUN 是主机可见的非引导 LUN 优化资源利用 使用 VMware vsphere 可将虚拟机从过度利用的主机迁移到利用不足的主机, 从而优化资源分配 这时您有以下选择 : 使用 VMotion 手动迁移虚拟机 使用 VMware DRS 自动迁移虚拟机 仅当虚拟磁盘位于可由多台服务器访问的共享存储器上时才能使用 VMotion 或 DRS 多数情况下使用 SAN 存储器 使用 VMotion 迁移虚拟机 管理员通过 VMotion 可以手动将虚拟机迁移到不同的主机 管理员可以将正在运行的虚拟机迁移到同一 SAN 所连接的另一台物理服务器, 无需中断服务 通过 VMotion 可以执行以下任务 : 通过移动虚拟机执行零停机时间维护, 使得对基础硬件及存储器的维修不会导致用户会话中断 根据业务需求的变化不断平衡数据中心间的工作负载, 实现最有效的资源利用 使用 VMware DRS 迁移虚拟机 VMware DRS 有助于改善所有主机和资源池之间的资源分配 DRS 将收集 VMware 群集中所有主机和虚拟机的资源使用情况信息, 并在出现以下两种情况之一时给出建议 ( 或迁移虚拟机 ): 初始放置位置 负载平衡 当您在群集中首次启动虚拟机时,DRS 将放置该虚拟机或提出建议 DRS 通过执行虚拟机自动迁移 (VMotion) 或提供虚拟机迁移建议来设法改善群集中的资源利用 26 VMware, Inc.

27 要求和安装 3 将 ESX/ESXi 系统与 SAN 存储器配合使用时, 存在特定的硬件和系统要求 本章讨论了以下主题 : 第 27 页, 常规 ESX/ESXi SAN 要求 第 28 页, ESX 从 SAN 引导的要求 第 29 页, 安装和设置步骤 常规 ESX/ESXi SAN 要求 当您准备配置 SAN 并设置 ESX/ESXi 系统以使用 SAN 存储器时, 请查看要求和建议 : 确保支持使用的 SAN 存储硬件和固件组合与 ESX/ESXi 系统配合使用 将系统配置为每个 LUN 只有一个 VMFS 卷 使用 VMFS-3 时无需设置可访问性 除非使用无磁盘服务器, 否则请勿在 SAN LUN 上设置诊断分区 共享的诊断分区适用于从 SAN 引导无磁盘服务器的情况 使用 RDM 可访问 ESX/ESXi 主机中的裸磁盘或 LUN 要使多路径正常工作, 每个 LUN 必须对所有 ESX/ESXi 主机呈现相同的 LUN ID 号 确保客户机操作系统中使用的驱动程序指定一个足够大的队列 您可以在系统设置过程中设置物理 HBA 的队列深度 在运行 Microsoft Windows 的虚拟机上, 将 SCSI TimeoutValue 参数值增加为 60 此增加使 Windows 可以接受因路径故障切换导致的更长 I/O 延迟 将 ESX/ESXi 与 SAN 配合使用的限制 本主题列出了将 ESX/ESXi 与 SAN 配合使用时存在的限制 ESX/ESXi 不支持 FC 连接磁带设备 您不能使用虚拟机多路径软件对单个物理 LUN 执行 I/O 负载平衡 您不能使用虚拟机逻辑卷管理器软件对虚拟磁盘进行镜像 Microsoft Windows 虚拟机上的动态磁盘是个例外, 但需要进行特殊配置 VMware, Inc. 27

28 设置 LUN 分配 此主题提供 ESX/ESXi 与 SAN 配合使用时如何分配 LUN 的部分常规信息 设置 LUN 分配时, 请注意以下几点 : 存储器置备 为确保 ESX/ESXi 系统在启动时识别 LUN, 将 SAN 连接到 ESX/ESXi 系统前请将所有 LUN 置备到相应的 HBA VMware 建议您同时将所有 LUN 置备到所有 ESX/ESXi HBA 仅当所有 HBA 都看到相同 LUN 时 HBA 故障切换才可行 VMotion 和 VMware DRS 主动 / 主动阵列与主动 / 被动阵列间的比较 当您使用 vcenter Server 以及 VMotion 或 DRS 时, 请确保用于虚拟机的 LUN 已置备到所有的 ESX/ESXi 主机 这可为移动虚拟机提供最大的自由 将 VMotion 或 DRS 用于主动 / 被动 SAN 存储设备时, 请确保所有 ESX/ESXi 系统通向所有存储处理器的路径均一致 否则在进行 VMotion 迁移时可能导致路径抖动 对于 存储器 /SAN 兼容性指南 中未列出的主动 / 被动存储阵列,VMware 不支持存储器端口故障切换 在上述情况下, 您必须将服务器连接到存储阵列上的主动端口 此配置可确保向 ESX/ESXi 主机呈现 LUN 设置光纤通道 HBA 此主题提供在 ESX/ESXi 主机上设置 FC HBA 的常规准则 设置 FC HBA 的过程中, 请考虑以下几个问题 : HBA 默认设置 FC HBA 可在默认配置设置下正常工作 请遵循存储阵列供应商提供的配置准则 注意不应在单个服务器中混合使用不同供应商的 FC HBA 支持拥有相同 HBA 的不同型号, 但单个 LUN 无法通过两个不同类型的 HBA 访问, 只能通过相同类型的 HBA 访问 请确保各 HBA 上的固件级别相同 HBA 间的静态负载平衡 使用主动 / 主动和主动 / 被动存储阵列, 可以将主机设置为使用不同路径访问不同的 LUN, 从而实现适配器的均衡使用 请参见第 58 页, 路径管理和手动或静态负载平衡 对故障切换设置超时 设置用于检测 HBA 驱动程序中的路径出现故障的超时值 VMware 建议将超时设置为 10 秒以确保最佳的性能 对磁带驱动器使用专用适配器 为达到最佳效果, 请对 ESX/ESXi 系统所连接的任何磁带驱动器都使用专用的 SCSI 适配器 不支持 FC 连接磁带驱动器 请使用 Consolidated Backup 代理, 如 虚拟机备份指南 中所述 ESX 从 SAN 引导的要求 如果已针对 ESX 系统对 SAN 存储器进行了配置, 则可以将 ESX 引导映像置于 SAN 中的某个 LUN 上 此配置必须符合特定条件 要使 ESX 系统能够从 SAN 引导, 环境必须满足表 3-1 中列出的要求 28 VMware, Inc.

29 章 3 要求和安装 表 3-1 从 SAN 引导的要求 要求 ESX 系统要求 描述 建议使用 ESX 3.x 或更高版本 使用 ESX 3.x 系统或更高版本时, 支持 RDM 与从 SAN 引导一起使用 对于 ESX Server 2.5.x 系统, 不支持 RDM 与从 SAN 引导一起使用 HBA 要求必须启用并正确配置 HBA FC 卡的 HBA BIOS 才能访问引导 LUN 应将 HBA 插入 PCI 总线和插槽号最小的位置 这使得驱动程序能够迅速检测到 HBA, 因为驱动程序按 PCI 总线和插槽号的升序来扫描 HBA, 与关联的虚拟机 HBA 号无关 引导 LUN 注意事项 从主动 / 被动存储阵列引导时, 与 HBA BIOS 配置中指定的 WWN 相对应的 SP 必须是主动的 如果该 SP 是被动的, 则 HBA 无法支持引导过程 为便于 BIOS 配置, 请屏蔽各引导 LUN, 使其仅对各自的 ESX 系统可见 每个 ESX 系统应看到自身的引导 LUN, 但是不应看到任何其他 ESX 系统的引导 LUN SAN 注意事项 如果阵列未通过直接连接拓扑认证, 则 SAN 必须通过交换拓扑连接 如果阵列已通过直接连接拓扑认证, 则 SAN 可以直接连接到阵列 如果指定阵列的交换拓扑和直接连接拓扑都已通过认证, 则二者都支持从 SAN 引导 支持冗余或非冗余配置 在冗余的情况下,ESX 会将冗余路径折叠以便用户仅看到一条 LUN 路径 特定于硬件的注意事项 如果正在运行 IBM eserver BladeCenter 并使用从 SAN 引导, 您必须禁用刀片服务器上的 IDE 驱动器 安装和设置步骤 本主题提供配置 SAN 环境以使用 ESX/ESXi 时需遵循的安装和设置步骤的概述 请遵循这些步骤以配置 ESX/ESXi SAN 环境 1 如果尚未配置 SAN, 请设计 SAN 多数现有的 SAN 只需略微修改即可用于 ESX/ESXi 2 检查所有 SAN 组件是否满足要求 3 进行任何必要的存储阵列修改 多数供应商会提供各自的特定文档, 介绍如何设置 SAN 与 VMware ESX/ESXi 配合使用 4 为已连接至 SAN 的主机设置 HBA 5 在主机上安装 ESX/ESXi 6 创建虚拟机 7 ( 可选 ) 为实现 VMware HA 故障切换或使用 Microsoft 群集服务而对系统进行设置 8 根据需要升级或修改环境 VMware, Inc. 29

30 30 VMware, Inc.

31 设置与 ESX/ESXi 配合使用的 SAN 存储 4 设备 本节讨论支持与 VMware ESX/ESXi 一起使用的几种存储设备 对于每种设备, 本章将列出可能出现的主要已知问题, 指示特定供应商的信息 ( 如果有 ), 并包括来自 VMware 知识库文章的信息 注意特定存储设备相关的信息仅随每个版本更新 新的信息或许已可通过其他途径获取 请参考最新版本的 存储器 /SAN 兼容性指南, 咨询存储阵列供应商, 以及查看 VMware 知识库文章 本章讨论了以下主题 : 第 31 页, 测试 ESX/ESXi SAN 配置 第 32 页, 光纤通道 SAN 阵列的常规设置注意事项 第 32 页, EMC CLARiiON 存储系统 第 33 页, EMC Symmetrix 存储系统 第 33 页, IBM TotalStorage DS4800 存储系统 第 35 页, IBM TotalStorage 8000 第 36 页, HP StorageWorks 存储系统 第 37 页, Hitachi Data Systems 存储器 第 38 页, Network Appliance 存储器 测试 ESX/ESXi SAN 配置 ESX/ESXi 支持各种具有不同配置的 SAN 存储系统 通常,VMware 使用支持的存储系统测试 ESX/ESXi, 测试内容包括基本连接 HBA 故障切换等 并非所有存储设备都针对 ESX/ESXi 的所有特性和功能进行了认证, 供应商可能就 ESX/ESXi 提供特定形式的支持 基本连接 HBA 故障切换存储器端口故障切换从 SAN 引导 ( 仅限 ESX) 测试 ESX/ESXi 能否识别存储阵列并与存储阵列共同运行 此配置不允许应用多路径或任何类型的故障切换 服务器配备了多个 HBA, 这些 HBA 与一个或多个 SAN 交换机连接 服务器仅在发生 HBA 和交换机故障时能保证正常运行 服务器与多个存储器端口相连, 并在发生存储器端口故障和交换机故障时能正常运行 ESX 主机从 SAN 上配置的 LUN 引导而不是从服务器自身引导 VMware, Inc. 31

32 直接连接 群集 服务器不通过交换机, 而仅使用 FC 线缆连接阵列 对于所有其他测试, 使用架构连接 FC 仲裁环路 (AL) 不受支持 通过在虚拟机中运行 Microsoft 群集服务来测试系统 光纤通道 SAN 阵列的常规设置注意事项 当准备要与 ESX/ESXi 配合使用的 FC SAN 存储时, 必须遵循适用于所有存储阵列的特定常规要求 对于所有存储阵列, 请确保满足以下要求 : LUN 对每台主机的每个 HBA 呈现的 LUN ID 号都必须相同 有关如何配置相同 SAN LUN ID 的说明因供应商而异, 因此请参考存储阵列文档了解详细信息 除非是个别存储阵列的指定主机类型, 否则请将向 ESX/ESXi 显示的 LUN 的主机类型设置为 Linux Linux Cluster 或者设置为 vmware 或 esx( 如果可用 ) 如果使用了 VMotion DRS 或 HA, 则请确保虚拟机的源主机与目标主机都能看到具有相同 LUN ID 的同一 LUN 出于对可能出现数据损坏的担心,SAN 管理员可能认为使多个主机看见相同的 LUN 不合常规 但是,VMFS 可防止多个虚拟机同时对同一文件进行写入, 因此给所有需要的 ESX/ESXi 系统置备 LUN 是可行的 EMC CLARiiON 存储系统 EMC CLARiiON 存储系统可与采用 SAN 配置的 ESX/ESXi 主机配合使用 基本配置包括以下步骤 : 1 安装并配置存储设备 2 在交换机级别配置分区 3 创建 RAID 组 4 创建并绑定 LUN 5 注册 SAN 所连接的服务器 默认情况下, 主机会自动执行此步骤 6 创建包含服务器和 LUN 的存储组 使用 EMC 存储管理软件执行配置 有关信息, 请参见 EMC 文档 ESX/ESXi 会自动将主机的名称和 IP 地址发送到阵列, 并在阵列中注册该主机 不再需要手动执行主机注册 但是, 如果更喜欢使用存储管理软件 ( 如 EMC Navisphere) 来执行手动注册, 请关闭 ESX/ESXi 自动注册功能 关闭该功能有助于避免覆盖手动用户注册 有关信息, 请参见第 60 页, 禁用自动主机注册 由于此阵列是主动 / 被动磁盘阵列, 因此适用于以下常规注意事项 为避免发生路径抖动的可能, 默认多路径策略为最近使用, 而非固定 ESX/ESXi 系统在识别阵列时设置默认策略 AX100 存储设备不支持自动对卷再签名 要使用从 SAN 引导, 请确保在 HBA BIOS 中选择主动 SP 作为引导 LUN 的目标 重要事项要使 ESX/ESXi 支持使用 ALUA 的 EMC CLARiiON, 请检查 HCL 以确保在存储阵列上使用正确的固件版本 有关其他信息, 请与存储器供应商联系 32 VMware, Inc.

33 章 4 设置与 ESX/ESXi 配合使用的 SAN 存储设备 EMC CLARiiON AX100 与 RDM 在 EMC CLARiiON AX100 系统上, 只有在使用 Navisphere Management Suite 进行 SAN 管理时才支持 RDM 不保证 Navilight 能正常运作 要成功使用 RDM, 给定的 LUN 必须对群集中所有 ESX/ESXi 主机呈现相同的 LUN ID 默认情况下,AX100 不支持此配置 AX100 非活动连接的显示问题 使用直接连接 ESX/ESXi 系统的 AX100 FC 存储设备时, 必须验证所有连接均可工作, 并将任何不再使用的连接注销 否则,ESX/ESXi 将无法发现新的 LUN 或路径 请考虑以下情况 : ESX/ESXi 系统直接连接 AX100 存储设备 ESX/ESXi 有两个 FC HBA 其中一个 HBA 先前已在存储阵列注册并且已对其 LUN 进行了配置, 但现在连接为非活动状态 将 ESX/ESXi 主机上的另一 HBA 连接到 AX100 并进行注册后,ESX/ESXi 主机可正确显示阵列具有一个活动连接 但是, 所有先前配置给 ESX/ESXi 主机的 LUN 均不可见, 即使反复地重新扫描也是如此 要解决此问题, 请移除非活动的 HBA 注销非活动 HBA 的连接, 或使所有非活动连接处于活动状态 这会使得存储组中仅包含活动的 HBA 完成此更改后, 通过重新扫描添加已配置的 LUN 将主机配置更改应用于阵列 使用 AX100 存储阵列时, 并无主机代理定期检查主机配置并将更改应用于阵列 axnaviserverutil cli 实用程序将用于更新所作的更改 此为手动操作并应根据需要执行 该实用程序仅在服务控制台上运行, 而在 ESXi 中不可用 EMC Symmetrix 存储系统 EMC Symmetrix 存储系统可与采用 FC SAN 配置的 ESX/ESXi 主机配合使用 通常, 使用 EMC 软件执行配置操作 以下设置在 Symmetrix 网络存储系统上是必需的 有关详细信息, 请参见 EMC 文档 公共序列号 (C) 启用自动协商 (EAN) 在此端口上启用 Fibrepath (VCM) 启用 SCSI 3 (SC3) 集 唯一的全球名称 (UWN) 需要 SPC-2 (Decal) (SPC2) SPC-2 标记 ESX/ESXi 主机将所有来自 Symmetrix 存储阵列 容量不超过 50 MB 的所有 LUN 均视作管理 LUN 这些 LUN 也称为伪 LUN 或网关 LUN 这些 LUN 可显示在 EMC Symmetrix Management Interface 中, 并且不应用于保存数据 IBM TotalStorage DS4800 存储系统 IBM TotalStorage DS4800 系统曾叫作 IBM FAStT 许多存储阵列供应商 ( 包括 LSI 和 StorageTek) 都生产与 DS4800 兼容的 SAN 存储阵列 除 IBM TotalStorage 存储系统的正常配置步骤外, 您还必须执行特定任务 您必须确保多路径策略设置为最近使用 VMware, Inc. 33

34 配置用于 DS4800 存储服务器 SAN 故障切换的硬件 本主题提供如何对 ESX/ESXi 主机和 DS4800 存储设置高可用性 SAN 故障切换配置的相关信息 必须配备以下硬件组件 : 每台 ESX/ESXi 计算机上两个 FC HBA, 如 QLogic 或 Emulex 两台 FC 交换机, 将 HBA 连接到 SAN( 例如,FC 交换机 1 和 FC 交换机 2) 两个 SP( 例如,SP1 和 SP2) 每个 SP 必须至少有两个连接 SAN 的端口 使用以下 ESX/ESXi 主机连接设置, 如图 4-1 所示 : 将每台 ESX/ESXi 计算机上的每个 HBA 各自连接不同交换机 例如, 使 HBA1 连接 FC 交换机 1,HBA2 连接 FC 交换机 2 在 FC 交换机 1 上,SP1 连接的交换机端口号低于 SP2 连接的交换机端口号, 从而确保 SP1 先列出 例如,SP1 连接 FC 交换机 1 端口 1,SP2 连接 FC 交换机 1 端口 2 在 FC 交换机 2 上,SP1 连接的交换机端口号低于 SP2 连接的交换机端口号, 从而确保 SP1 先列出 例如, 将 SP1 连接到 FC 交换机 2 上的端口 1, 将 SP2 连接到 FC 交换机 2 上的端口 2 图 4-1 SAN 故障切换 ESX/ESXi 1 ESX/ESXi 2 HBA1 HBA2 HBA3 HBA4 FC 交换机 1 FC 交换机 2 SP1 SP2 存储器 此配置对每个 HBA 提供两条路径, 使得每条连接均能在发生故障时切换到冗余路径 此配置中的路径顺序可提供 HBA 和交换机故障切换, 无需触发 SP 故障切换 LUN 所有权必须属于首选路径所连的存储处理器 在上述示例配置中,SP1 拥有 LUN 的所有权 注意上述示例假定交换机并非通过一个架构中的交换机内链路 (ISL) 连接 验证存储处理器端口配置 可以通过对比 vsphere Client 信息和 DS4800 子系统配置文件中的信息来验证 SP 端口配置 步骤 1 使用 vsphere Client 连接 ESX/ESXi 主机 2 选择主机并选择配置选项卡 3 在 硬件 面板中单击存储适配器 4 选择各存储适配器以查看其 WWPN 5 选择存储器查看可用数据存储 对比 WWPN 信息与 DS4800 存储子系统配置文件中列出的信息 34 VMware, Inc.

35 章 4 设置与 ESX/ESXi 配合使用的 SAN 存储设备 禁用自动卷传输 为避免发生路径抖动的可能, 请在 SAN 存储处理器上禁用自动卷传输 (AVT) 如果启用了 AVT, 那么两个存储处理器在特定情况下可交替取得 LUN 的所有权, 这会致使性能降低 AVT 也称为 ADT( 自动磁盘传输 ) 要禁用 AVT, 在 DS 4800 Storage Manager 中, 对于包含一台或多台 ESX/ESXi 计算机的 HBA 的各主机组, 请为其中定义的每个端口将主机类型设置为 LNXCL 或 VMware( 用于更高版本 ) 更改 AVT 配置后必须重新引导 ESX/ESXi 主机 配置存储处理器检测数据 将 Windows 作为客户机操作系统运行的 DS4800 SP 在静态时应返回 Not Ready 检测数据 返回 Unit Attention 可能导致 Windows 客户机操作系统在故障切换期间发生故障 步骤 1 在 Shell 窗口中, 使用以下命令确定 LNXCL 主机类型的索引号 输入每条命令后均按 Enter SMcli.exe <ip-addr-for-spa> show hosttopology; <Enter> SMcli.exe <ip-addr-for-spb> show hosttopology; <Enter> 以下命令假定 13 是 NVSRAM 主机类型定义中与 LNXCL 对应的索引号 如果存储处理器的 LNXCL 对应的索引号不同, 请用其替换以下命令中的 13 2 对 SPA 执行下述命令使其返回 Not Ready 检测数据 仅在输入所有命令后按 Enter SMcli.exe <ip-addr-for-spa> set controller [a] HostNVSRAMBYTE [13,0x12]=0x01; set controller [a] HostNVSRAMBYTE [13,0x13]=0x00; reset Controller [a]; <Enter> 3 对 SPB 执行下述命令使其返回 Not Ready 检测数据 仅在输入所有命令后按 Enter SMcli.exe <ip-addr-for-spb> set controller [b] HostNVSRAMBYTE [13,0x12]=0x01; set controller [b] HostNVSRAMBYTE [13,0x13]=0x00; reset Controller [b]; <Enter> 注意如果使用 DS4800 Storage Manager GUI, 请将用于两个存储处理器的配置命令粘贴到单个脚本中, 并同时对二者进行配置 如果使用 SMcli.exe, 请分别连接每个 SP IBM TotalStorage 8000 IBM TotalStorage 8000 系统使用主动 / 主动阵列, 无需特殊配置即可与 VMware ESX/ESXi 一起使用 要成功使用 RDM, 给定的 LUN 必须对群集中所有 ESX/ESXi 主机呈现相同的 LUN ID 在 TotalStorage Configuration Management 工具中, 选择对源和目标中的 LUN 使用相同 ID VMware, Inc. 35

36 IBM TotalStorage 8000 系统不支持自动执行再签名 注意如果要将 ESX 主机配置为从 IBM TotalStorage 8000 阵列上的某个 LUN 使用从 SAN 引导, 请在安装完成之前禁用相应刀片服务器的内部光纤端口 HP StorageWorks 存储系统 本节包含用于不同 HP StorageWorks 存储系统的配置信息 有关其他信息, 请参见 HP 网站上 HP ActiveAnswers 有关 VMware ESX/ESXi 的部分 HP StorageWorks MSA 本节列出了使用 HP StorageWorks MSA 主动 / 被动版本时用户所关心的问题 将配置文件名称设置为 Linux 要将 HP StorageWorks MSA 1000 和 MSA 1500 与 ESX/ESXi 系统配合使用, 请配置 SAN 阵列与 ESX/ESXi 主机之间的 FC 连接, 将配置文件名称设置为 Linux 步骤 1 使用 MSA 1000 命令行界面在 MSA 1000 上创建静态连接 有关安装和配置命令行界面的信息, 请参见 HP StorageWorks MSA 1000 文档 注意无法使用 HP Array Configuration 实用程序创建连接设置 2 将 MSA 1000 命令行界面连接至 MSA 验证 MSA 1000 与 ESX/ESXi 主机之间的 FC 网络运行正常 4 启动命令行界面, 并在提示符处输入以下命令 : SHOW CONNECTIONS 输出显示 MSA 1000 所连各个 FC WWNN 和 WWPN 的连接规范 Connection Name:<unknown> Host WWNN = 20:02:00:a0:b8:0c:d5:56 Host WWPN = 20:03:00:a0:b8:0c:d5:57 Profile Name = Default Unit Offset 0 Controller 1 Port 1 Status = Online Controller 2 Port 1 Status = Online 5 确保主机的 WWNN 和 WWPN 显示 ESX/ESXi 计算机上每个 FC 适配器的正确连接 6 创建静态连接 ADD CONNECTION ESX_CONN_1 WWNN=20:02:00:a0:b8:0c:d5:56 WWPN=20:03:00:a0:b8:0c:d5:57 PROFILE=LINUX 36 VMware, Inc.

37 章 4 设置与 ESX/ESXi 配合使用的 SAN 存储设备 7 通过输入以下内容验证连接 : SHOW CONNECTIONS 输出显示单个连接, 其 WWNN 和 WWPN 对为 20:02:00:a0:b8:0c:d5:56 和 20:03:00:a0:b8:0c:d5:57, 且 Profile Name 设置为 Linux: Connection Name:ESX_CONN_1 Host WWNN = 20:02:00:a0:b8:0c:d5:56 Host WWPN = 20:03:00:a0:b8:0c:d5:57 Profile Name = Linux Unit Offset = 0 Controller 1 Port 1 Status = Online Controller 2 Port 1 Status = Online 注意确保 WWNN = 20:02:00:a0:b8:0c:d5:56 与 WWPN = 20:03:00:a0:b8:0c:d5:57 显示单个连接 对于 WWNN=20:02:00:a0:b8:0c:d5:56 和 WWPN =20:03:00:a0:b8:0c:d5:57, 此时不应再有连接名为 unknown 的连接 8 使用不同的连接名称值为 ESX/ESXi 主机上的每个 WWNN 和 WWPN 添加静态连接 集线器控制器问题 ESX/ESXi 系统在使用 MSA 集线器控制器的情况下可能无法正常工作 请改用 2/8 内部交换机或单端口控制器 HP StorageWorks EVA 要将 HP StorageWorks EVA 系统与 ESX/ESXi 配合使用, 必须配置正确的主机模式类型 向 ESX/ESXi 主机显示 LUN 时请将连接类型设置为 自定义 请采用以下值之一 : 对于所用固件版本低于 的 EVA4000/6000/8000 主动 / 主动阵列, 请使用主机模式类型 E 对于使用 及更高版本固件的 EVA4000/6000/8000 主动 / 主动阵列, 则请使用主机模式类型 VMware 对于其他情况,EVA 系统无需特殊的配置更改即可与 ESX/ESXi 系统配合使用 请参见 HP 网站上的 VMware Infrastructure 与 HP StorageWorks 最佳配置方案 HP StorageWorks XP 对于 HP StorageWorks XP, 请将主机模式设置为 Windows( 而非 Linux) Hitachi Data Systems 也提供此系统 Hitachi Data Systems 存储器 本节介绍 Hitachi Data Systems 存储器的相关设置 Sun 也可提供此存储解决方案, 且该方案可由 HP XP 存储器实现 LUN 屏蔽 微码和配置 要屏蔽 ESX/ESXi 主机上的 LUN, 最好使用 HDS Storage Navigator 软件 请咨询 HDS 代表获取与 ESX/ESXi 交互操作所需的准确配置及微码级别 如果微码不受支持, 则通常不能与 ESX/ESXi 进行交互 模式模式设置取决于所使用的机型, 例如 : 9900 和 9900v 使用 Netware 主机模式 9500v 系列使用 Hostmode1:standard 及 Hostmode2:SUN Cluster 有关此处未列出机型的主机模式设置, 请咨询 HDS 代表 VMware, Inc. 37

38 Network Appliance 存储器 配置 Network Appliance 存储设备时, 首先为存储阵列设置适当的 LUN 类型及启动器组类型 LUN 类型 VMware( 如果 VMware 类型不可用, 请使用 Linux) 启动器组类型 VMware( 如果 VMware 类型不可用, 请使用 Linux) 随后必须置备存储器 从 Network Appliance 存储设备置备存储器 可以使用 CLI 或 FilerView GUI 在 Network Appliance 存储系统上置备存储器 有关 Network Appliance 存储器如何与 VMware 技术配合使用的其他信息, 请参见 Network Appliance 文档 步骤 1 如果需要, 可使用 CLI 或 FilerView GUI 创建集合 aggr create <vmware-aggr> <number of disks> 2 创建灵活卷 vol create <aggregate name> <volume size> 3 创建 Qtree 存储各个 LUN qtree create <path> 4 创建 LUN lun create -s <size> -t vmware <path> 5 创建启动器组 igroup create -f -t vmware <igroup name> 6 将 LUN 映射到刚创建的启动器组 lun map (<path>) <igroup name> <LUN ID> 38 VMware, Inc.

39 对 ESX 系统使用从 SAN 引导 5 本节讨论从 SAN 引导的优点, 并介绍将 ESX 引导映像存储到 SAN LUN 上时需要执行的任务 注意如果不计划从 SAN 引导 ESX 主机, 则请跳过本信息 本章讨论了以下主题 : 第 39 页, 从 SAN 引导概述 第 40 页, 准备从 SAN 引导 第 42 页, 为从 SAN 引导设置 QLogic FC HBA 第 44 页, 为从 SAN 引导设置 Emulex FC HBA 从 SAN 引导概述 考虑如何设置系统从 SAN 引导之前, 请先判断这对您的环境而言是否可行 请在以下情况下使用从 SAN 引导 : 不想维护本地存储器时 需要对服务控制台进行简单克隆时 在无磁盘硬件配置中, 例如, 某些刀片系统上 在以下情况下不应使用从 SAN 引导 : 正在使用 Microsoft 群集服务时 当服务控制台与 VMkernel 之间可能发生 I/O 冲突时 注意对于 ESX Server 2.5, 从 SAN 引导无法与 RDM 一起使用 而 ESX 3.x 或更高版本中则取消了这一限制 从 SAN 引导的工作原理 将主机设置为从 SAN 引导时, 引导映像并非存储在 ESX 主机的本地磁盘上, 而是存储在 SAN LUN 上 主机会获知有关引导映像位置的信息 主机启动之后, 即从 SAN 阵列上的 LUN 进行引导 在设置为从 SAN 引导的系统上 : HBA BIOS 必须指定 FC 卡作为引导控制器 必须配置 FC 卡以启动与目标引导 LUN 的原始连接 VMware, Inc. 39

40 图 5-1 从 SAN 引导的工作原理 主机 服务控制台 VMkernel HBA FC 交换机 存储阵列 引导磁盘 注意对 ESX 主机使用从 SAN 引导时, 每台主机都必须拥有自己的引导 LUN 从 SAN 引导的优点 从 SAN 引导 ESX 主机有许多优点 这些优点包括 : 服务器成本更低 - 无需内部存储器, 可更密集地安置服务器, 且运行过程散热也更少 服务器更换更方便 - 可以更换服务器并将新服务器指向旧的引导位置 减少了空间浪费 备份过程更轻松 - 可作为 SAN 整体备份过程的一部分来备份 SAN 中的系统引导映像 改善了管理 - 创建和管理操作系统映像变得更简单且更高效 准备从 SAN 引导 除了 ESX 与 SAN 合用的常规配置任务外, 请完成以下任务使 ESX 主机能够从 SAN 引导 1 确保配置设置满足从 SAN 引导的基本要求 2 准备硬件元素 其中包括 HBA 网络设备和存储系统 请参阅各设备的产品文档 3 配置 SAN 上的 LUN 屏蔽 这将确保每个 ESX 主机都有专用的 LUN 作为引导分区 引导 LUN 必须专用于单台服务器 4 选择诊断分区的位置 诊断分区可与引导分区置于相同的 LUN 上 核心转储存储在诊断分区中 重要事项主机无法从使用 ALUA 协议的 EMC CLARiiON CX 存储系统引导 启用 ALUA 时, 这些存储系统不支持 SCSI-2 预留, 而 ESX 需要此预留才能从 SAN LUN 引导 40 VMware, Inc.

41 章 5 对 ESX 系统使用从 SAN 引导 开始前 当您准备将 ESX 主机和存储阵列设置为从 SAN 引导时, 请查看包括具体建议和要求 供应商文档在内的所有可用信息 请查看以下信息 : 所需配置类型的相关建议或样本设置 : 指向引导 LUN 的单一路径或冗余路径 FC 交换机架构 适用于所用存储阵列类型的任何特定建议 限制和要求, 其中包括 : 从 SAN 引导的限制 有关要用于从 SAN 引导的存储阵列的供应商建议 有关从 SAN 引导的服务器的供应商建议 使用以下方法之一查找引导路径 HBA 的 WWN: 在引导刚开始时进入 FC HBA BIOS 在物理卡上找到 WWN 其与 MAC 地址类似 从 SAN 引导模式中的 LUN 屏蔽 正确的 LUN 屏蔽对从 SAN 引导模式非常重要 每台服务器只能看到其自身的引导 LUN, 而看不到其他服务器的引导 LUN 多台服务器可以共享一个诊断分区 这点可以通过使用 LUN 屏蔽来实现 有关如何对主机上的特定 LUN 屏蔽路径的详细信息, 请参见第 77 页, 屏蔽路径 准备 SAN 本节列出的步骤用于准备从 SAN 引导的 SAN 存储阵列 步骤 1 连接 FC 和以太网线缆, 请参阅适用于您的设置的任何线缆连接指南 检查 FC 交换机接线 ( 如果有 ) 2 配置存储阵列 a 在 SAN 存储阵列中, 使 ESX 主机对于 SAN 为可见 ( 这通常称为创建对象 ) b 在 SAN 存储阵列中, 设置 ESX 主机, 将主机 FC 适配器的 WWPN 作为端口名称或节点名称使用 c 创建 LUN d 分配 LUN e 记录 FC 交换机和存储阵列的 IP 地址 f 记录涉及到的各个 SP 及主机适配器的 WWPN 小心如果使用脚本式安装在从 SAN 引导模式下安装 ESX, 需要执行特殊步骤来避免意外丢失数据 VMware, Inc. 41

42 3 将 HBA BIOS 配置为从 SAN 引导 4 从 ESX 安装 CD 引导 ESX 系统 QLogic BIOS 使用路径 (wwpn:lun) 搜索列表查找引导映像 如果某一 wwpn:lun 路径与一条被动路径相关联 ( 如使用 CLARiiON 或 IBM TotalStorage DS 4000 系统的情况 ),BIOS 将采用该被动路径且不查找主动路径 如果从 SAN LUN 引导 ESX 系统, 则引导会在主机尝试访问被动路径时失败 尽可能减少启动器数目 确保分区包含尽量少的主机和存储器端口 如果同一分区内包含若干其他启动器而尝试选择引导 LUN, 则 Emulex 和 QLogic BIOS 可能变得没有响应 例如, 如果一个分区内有 15 个启动器和 4 个 Symmetrix 端口, 则可能因 Emulex 或 QLogic BIOS 没有响应而无法从中选择引导设备 如果将两个主机端口作为一个分区, 从这一分区仅看到四个存储器端口, 那么便可以选择引导 LUN 将系统设置为先从 CD-ROM 引导 因为 VMware 安装 CD 已放入 CD-ROM 驱动器, 所以请将系统设置为先从 CD-ROM 引导 为此, 请在系统 BIOS 设置中更改系统引导顺序 例如, 在 IBM X-Series 345 服务器上, 您需要完成以下操作 步骤 1 在系统启动过程中, 进入系统的 BIOS 配置 / 设置实用程序 2 选择启动选项, 并按 Enter 3 选择启动顺序选项, 并按 Enter 4 将第一启动设备更改为 CD-ROM 现在即可安装 ESX 系统 为从 SAN 引导设置 QLogic FC HBA 配置 QLogic HBA BIOS 以从 SAN 引导 ESX 时, 包括启用 QLogic HBA BIOS 启用可选式引导和选择引导 LUN 注意如果正在使用 IBM BladeCenter, 则请从服务器断开所有本地磁盘驱动器 42 VMware, Inc.

43 章 5 对 ESX 系统使用从 SAN 引导 启用 QLogic HBA BIOS 配置 QLogic HBA BIOS 以从 SAN 引导 ESX 时, 请从启用 QLogic HBA BIOS 开始 步骤 1 进入 BIOS Fast!UTIL 配置实用程序 a 引导服务器 b 引导服务器时, 请按 Ctrl+Q 2 根据 HBA 的数目执行适当的操作 选项 一个 HBA 描述 如果只有一个主机总线适配器 (HBA), 此时将显示 Fast!UTIL 选项 页面 请跳至步骤 3 多个 HBA 如果有多个 HBA, 请手动选择 HBA a 在 选择主机适配器 页面中, 使用箭头键将光标定位到适当的 HBA 上 b 按 Enter 3 在 Fast!UTIL 选项 页面中, 选择配置设置并按 Enter 4 在 配置设置 页面中, 选择主机适配器设置并按 Enter 5 设置 BIOS 来搜索 SCSI 设备 a 在 主机适配器设置 页面中, 选择主机适配器 BIOS b c 按 Enter 将值切换至已启用 按 Esc 退出 启用可选式引导 需要启用可选式引导 步骤 1 选择可选式引导设置并按 Enter 2 在 可选式引导设置 页面中, 选择可选式引导 3 按 Enter 将值切换至已启用 选择引导 LUN 如果使用主动 / 被动存储阵列, 选定的 SP 必须在指向引导 LUN 的首选 ( 主动 ) 路径上 如果不确定哪个 SP 在主动路径上, 请使用存储阵列管理软件进行查找 目标 ID 由 BIOS 创建, 并可能随每次重新引导而变化 步骤 1 使用光标键选择存储处理器列表中的第一个条目 2 按 Enter 打开 选择光纤通道设备 页面 3 使用光标键选择所选 SP 并按 Enter 如果 SP 仅连接一个 LUN, 则该 LUN 将被选为引导 LUN, 并可以跳至步骤 4 如果 SP 连接多个 LUN, 此时将打开 选择 LUN 页面 使用箭头键定位到所选 LUN 并按 Enter 如果列表中显示任何其他存储处理器, 请定位到相应条目并按 C 清除数据 VMware, Inc. 43

44 4 按两次 Esc 退出 5 按 Enter 保存设置 为从 SAN 引导设置 Emulex FC HBA 配置 Emulex HBA BIOS 以从 SAN 引导 ESX 时, 包括启用 BootBIOS 提示和启用 BIOS 启用 BootBIOS 提示 将 Emulex HBA BIOS 配置为从 SAN 引导 ESX 时, 需要启用 BootBIOS 提示 步骤 1 在 ESX 服务控制台或 Linux 命令提示符中, 运行 lputil 注意考虑到是从装入 Emulex 驱动器的 Linux Administration CD 引导 ESX 主机, 因而在此处运行 lputil 2 选择 <3> 固件维护 3 选择适配器 4 选择 <6> 引导 BIOS 维护 5 选择 <1> 启用引导 BIOS 启用 BIOS 将 Emulex HBA BIOS 配置为从 SAN 引导 ESX 时, 需要启用 BIOS 步骤 1 重新引导 ESX 计算机 2 在 Emulex 提示处按 ALT+E a 选择适配器 ( 支持 BIOS) b 选择 <2> 配置适配器参数 c 选择 <1> 启用或禁用 BIOS d 选择 <1> 以启用 BIOS e 选择 <x> 退出, 选择 <N> 返回主菜单 3 在 Emulex 主菜单中 : a b c d 选择同一适配器 选择 <1> 配置引导设备 选择引导条目的位置 输入表示引导设备的两位数 e 输入表示启动 LUN 的两位数 (HEX)( 例如,08) f 选择引导 LUN g 选择 <1> WWPN ( 使用 WWPN 而非 DID 引导此设备 ) h 选择 <x> 退出, 选择 <Y> 重新引导 44 VMware, Inc.

45 章 5 对 ESX 系统使用从 SAN 引导 4 进入系统 BIOS, 将 Emulex 移到引导控制器顺序的第一位 5 重新引导并在 SAN LUN 上安装 VMware, Inc. 45

46 46 VMware, Inc.

47 管理使用 SAN 存储器的 ESX/ESXi 系统 6 本节可在管理 ESX/ESXi 系统 有效使用 SAN 存储器以及执行故障排除方面为您提供帮助 另外, 本节还将说明如何查找有关存储设备 适配器及多路径等的信息 本章讨论了以下主题 : 第 47 页, 查看存储适配器信息 第 48 页, 查看存储设备信息 第 50 页, 查看数据存储信息 第 50 页, 解决显示问题 第 53 页, N-Port ID 虚拟化 第 55 页, 路径扫描和声明 第 58 页, 路径管理和手动或静态负载平衡 第 59 页, 路径故障切换 第 60 页, 设置 SCSI 控制器的设备驱动程序选项 第 60 页, 共享诊断分区 第 60 页, 禁用自动主机注册 第 61 页, 避免和解决 SAN 问题 第 61 页, 优化 SAN 存储器性能 第 62 页, 解决性能问题 第 65 页, SAN 存储器备份注意事项 第 66 页, 分层应用程序 第 67 页, 管理重复 VMFS 数据存储 查看存储适配器信息 在 vsphere Client 中, 可以显示主机使用的存储适配器并检查其信息 列出所有可用适配器后, 可以查看其型号 类型 ( 如光纤通道 并行 SCSI 或 iscsi) 及其唯一标识符 ( 如果可用 ) 光纤通道 HBA 使用全球名称 (WWN) 作为唯一标识符 显示每个光纤通道 HBA 的详细信息时, 可了解以下信息 VMware, Inc. 47

48 表 6-1 存储适配器信息 适配器信息型号目标 WWN 描述适配器的型号 通过适配器访问的目标数 根据唯一标识 FC 适配器的光纤通道标准形成的全球名称 设备适配器可以访问的所有存储设备或 LUN 路径 适配器用于访问存储设备的所有路径 查看存储适配器信息 使用 vsphere Client 显示存储适配器, 并查看其信息 步骤 1 在 清单 中, 选择主机和群集 2 选择主机, 然后单击配置选项卡 3 在 硬件 中, 选择存储适配器 4 要查看特定适配器的详细信息, 请从 存储适配器 列表中选择适配器 5 要列出适配器可以访问的所有存储设备, 请单击设备 6 要列出适配器使用的所有路径, 请单击路径 查看存储设备信息 可以使用 vsphere Client 显示主机可用的所有存储设备或 LUN, 包括所有本地和联网的设备 如果使用任何第三方多路径插件, 则通过插件可用的存储设备也将出现在列表上 对于每个存储适配器, 可以显示仅通过此适配器可访问的存储设备的单独列表 在检查存储设备的列表时, 通常可以看到以下信息 表 6-2 存储设备信息 设备信息名称标识符运行时名称 描述主机根据存储器类型和制造商为设备分配的友好名称 通用唯一标识符是存储设备的固有名称 设备第一条路径的名称 LUN 显示目标中 LUN 位置的 LUN 号 类型设备类型, 例如, 磁盘或 CD-ROM 传输 容量 主机用于访问设备的传输协议 存储设备的总容量 所有者主机用于管理存储设备的插件 ( 如 NMP 或第三方插件 ) 每个存储设备的详细信息包括以下内容 : 指向 /vmfs/devices/ 目录中存储设备的路径 主分区和逻辑分区, 包括 VMFS 数据存储 ( 如果已配置 ) 48 VMware, Inc.

49 章 6 管理使用 SAN 存储器的 ESX/ESXi 系统 了解存储设备命名 在 vsphere Client 中, 每个存储设备或 LUN 均由多个名称进行标识 名称 标识符 运行时名称 主机根据存储器类型和制造商分配给设备的友好名称 您可以使用 vsphere Client 修改名称 主机从存储器提取的通用唯一标识符 根据存储器的类型, 主机使用不同算法提取标识符 标识符在重新引导后仍然存在, 且在共享设备的所有主机中相同 设备第一条路径的名称 运行时名称由主机创建 此名称不是设备的可靠标识符, 并不持久 运行时名称具有以下格式 : vmhba#:c#:t#:l#, 其中 vmhba# 是存储适配器的名称 此名称指的是主机上的物理适配器, 而不是由虚拟机使用的 SCSI 控制器 C# 是存储器通道号 T# 是目标号 目标编号由主机决定, 可能会在对于主机可见的目标的映射更改时发生变化 由不同主机共享的目标可能没有相同的目标号 L# 是显示目标中 LUN 位置的 LUN 号 LUN 号由存储系统提供 如果目标只有一个 LUN, 则 LUN 号始终为零 (0) 例如,vmhba1:C0:T3:L1 表示通过存储适配器 vmhba1 和通道 0 访问的目标 3 上的 LUN 1 显示主机的存储设备 可以使用 vsphere Client 显示主机可用的所有存储设备或 LUN, 包括所有本地和联网的设备 如果使用任何第三方多路径插件, 则通过插件可用的存储设备也将出现在列表上 步骤 1 在 清单 中, 选择主机和群集 2 选择主机, 然后单击配置选项卡 3 在 硬件 中, 选择存储器 4 单击设备 5 要查看有关特定设备的其他详细信息, 请从列表中选择设备 显示适配器的存储设备 对于主机上的每个存储适配器, 可以显示只有通过此适配器才可访问的存储设备的列表 步骤 1 在 清单 中, 选择主机和群集 2 选择主机, 然后单击配置选项卡 3 在 硬件 中, 选择存储适配器 4 从 存储适配器 列表中选择适配器 5 单击设备 VMware, Inc. 49

50 查看数据存储信息 可以查看可用数据存储列表并分析它们的属性 数据存储 窗格显示有关数据存储的摘要信息 数据存储所在的目标存储设备 数据存储使用的文件系统 总容量和可用空间 对于每个数据存储, 还可以检查以下详细信息 : 数据存储的位置 总容量, 包括已用空间和可用空间 数据存储跨越的个别数据区及其容量 要查看数据区详细信息, 请单击属性并选择数据区面板 用来访问存储设备的路径 检查数据存储属性 使用 vsphere Client 检查数据存储属性 步骤 1 在清单中选择主机, 然后单击配置选项卡 2 在 硬件 中, 选择存储器 3 单击数据存储视图 4 要显示特定数据存储的详细信息, 请从列表中选择数据存储 解决显示问题 当使用 vsphere Client 查看 ESX/ESXi 主机可用的存储设备时, 如果输出与您的期望有所不同, 请执行故障排除任务 如果存在显示问题, 请执行以下故障排除任务 表 6-3 排除光纤通道 LUN 显示故障 故障排除任务 检查线缆连接 检查区域分配 描述 如果看不到端口, 问题可能在于线缆连接 请先检查线缆 请确保线缆已连接端口, 且链路指示灯表示连接良好 如果线缆任意一端的链路指示灯未显示连接良好, 请更换线缆 区域分配限制对特定存储设备的访问, 增加安全性, 同时降低网络流量 有些存储供应商仅允许单启动器区域 在这种情况下, 一个 HBA 可处于仅面向一个目标的多个区域 另一些供应商允许多启动器区域 请参见存储供应商的文档了解区域分配要求 使用 SAN 交换机软件配置和管理区域分配 检查访问控制配置 MASK_PATH 插件允许您阻止主机看见特定存储阵列或存储阵列上的特定 LUN 如果主机在阵列上看不见预期的 LUN, 则路径屏蔽可能设置不正确 要从 SAN 引导, 请确保每台 ESX 主机仅看到所需的 LUN 不要使任何 ESX 主机看到不归其所有的任何引导 LUN 使用存储系统软件确保 ESX 主机仅能看到应对其可见的 LUN 确保通过 Disk.MaxLUN 设置可查看预期为可见的 LUN 50 VMware, Inc.

51 章 6 管理使用 SAN 存储器的 ESX/ESXi 系统 表 6-3 排除光纤通道 LUN 显示故障 ( 续 ) 故障排除任务 描述 检查存储处理器设置 如果磁盘阵列有多个存储处理器 (SP), 请确保 SAN 交换机连接了要访问的 LUN 所属的 SP 在某些磁盘阵列上, 仅有一个 SP 为主动, 另一 SP 在发生故障前是被动的 如果连接错误的 SP ( 对应被动路径的 SP), 则您可能看到了 LUN, 但在尝试进行访问时出错 重新扫描 HBA 在每次完成以下任务时, 执行重新扫描 : 在 SAN 上创建新 LUN 更改 ESX/ESXi 主机存储系统上的路径屏蔽配置 重新连接线缆 对群集中的主机进行更改 数据存储刷新和存储重新扫描操作 数据存储刷新操作可更新 vsphere Client 中显示的数据存储列表和存储信息 ( 例如数据存储容量 ) 执行数据存储管理任务或在 SAN 配置中进行更改时, 可能需要使用存储适配器重新扫描来扫描存储设备和数据存储 通常, 当进行配置更改之后, 主机或 vcenter Server 会自动重新扫描存储适配器并更新存储设备和 VMFS 数据存储 在某些情况下, 需要手动重新扫描存储适配器 可以重新扫描主机上的所有适配器 如果进行的更改只针对特定适配器, 则只需重新扫描此适配器 如果 vsphere Client 已连接到 vcenter Server 系统, 则可以重新扫描由 vcenter Server 系统管理的所有主机上的适配器 每次进行以下更改之一后请执行重新扫描 : 对 SAN 上的新磁盘阵列进行区域分配 在 SAN 上创建新 LUN 更改主机上的路径屏蔽 重新连接线缆 对群集中的主机进行更改 在 vcenter Server 中编辑或移除由 vcenter Server 主机和单台主机共享的数据存储之后, 向 vcenter Server 中添加该单台主机 重要事项不要在路径不可用时重新扫描 如果一条路径发生故障, 将由另一条路径取代, 系统的所有功能仍继续运行 但是, 如果在路径不可用时重新扫描, 主机会将该路径从指向设备的路径列表中移除 直到下次在该路径处于活动状态下执行重新扫描后, 主机才能使用此路径 重新扫描存储适配器 在 ESX/ESXi 主机或 SAN 配置中进行更改时, 可能需要重新扫描存储适配器 可以重新扫描主机上的所有适配器 如果进行的更改只针对特定适配器, 则只需重新扫描此适配器 如果只需要重新扫描特定主机或特定主机上的适配器, 请使用此步骤 如果要重新扫描由 vcenter Server 系统管理的所有主机上的适配器, 则可以通过右键单击包含这些主机的数据中心 群集或文件夹并选择重新扫描数据存储来执行此操作 VMware, Inc. 51

52 步骤 1 在 vsphere Client 中, 选择一台主机, 然后单击配置选项卡 2 在 硬件 面板中, 选择存储适配器, 然后单击 存储适配器 面板上方的重新扫描 也可右键单击一个适配器, 并单击重新扫描只对该适配器进行重新扫描 重要事项在 ESXi 上, 不可能重新扫描单个存储适配器 如果重新扫描单个适配器, 则所有适配器都会进行重新扫描 3 要发现新的磁盘或 LUN, 请选择扫描新的存储设备 新发现的 LUN 将显示在设备列表上 4 要发现新的数据存储或在其配置更改后更新数据存储, 请选择扫描新的 VMFS 卷 发现的新数据存储或 VMFS 卷将出现在数据存储列表上 更改扫描的 LUN 数目 默认情况下,VMkernel 从每一目标的 LUN 0 扫描到 LUN 255( 总共 256 个 LUN) 可以修改 Disk.MaxLUN 参数以提升发现 LUN 的速度 重要事项无法发现 LUN ID 号大于 255 的 LUN 减小该值可缩短重新扫描时间和引导时间 但是, 重新扫描 LUN 所需的时间可能取决于其他因素, 其中包括存储系统类型以及是否启用了稀疏 LUN 支持 步骤 1 在 vsphere Client 清单 面板中, 选择主机, 然后依次单击配置选项卡和高级设置 2 选择磁盘 3 向下滚动至 Disk.MaxLUN 4 将现有值更改为所选的值, 并单击确定 输入的值会将 LUN 指定为要发现的最后一个 LUN 的后面一个 例如, 要发现 0 到 31 的 LUN, 则将 Disk.MaxLUN 设置为 32 禁用稀疏 LUN 支持 可以禁用默认稀疏 LUN 支持以减少 ESX/ESXi 扫描 LUN 所需的时间 VMkernel 默认提供稀疏 LUN 支持 稀疏 LUN 支持使 VMkernel 在存储系统显示非顺序编号的 LUN( 例如 0 6 和 23) 时可以执行不中断的 LUN 扫描 如果存储系统显示的所有 LUN 均为顺序编号, 则可以禁用稀疏 LUN 支持 步骤 1 在 vsphere Client 清单 面板中, 选择主机, 然后依次单击配置选项卡和高级设置 2 在 高级设置 对话框中, 选择磁盘 3 向下滚动至 Disk.SupportSparseLUN, 将值更改为 0, 然后单击确定 52 VMware, Inc.

53 章 6 管理使用 SAN 存储器的 ESX/ESXi 系统 N-Port ID 虚拟化 N-Port ID 虚拟化 (NPIV) 是一个 ANSI T11 标准, 介绍单个光纤通道 HBA 端口如何使用多个全球端口名称 (WWPN) 向架构注册 这将允许架构所连接的 N-port 要求使用多个架构地址 每个地址在光纤通道架构上都显示为唯一的实体 基于 NPIV 的 LUN 访问如何运作 NPIV 使得单一 FC HBA 端口可以向架构注册多个唯一的 WWN, 其中每个 WWN 都可分配给单个虚拟机 可向 SAN 对象 ( 如交换机 HBA 存储设备或虚拟机 ) 分配全球名称 (WWN) 标识符 WWN 在光纤通道架构中唯一标识此类对象 如果虚拟机具有 WWN 分配, 它们将分配的 WWN 用于所有 RDM 流量, 因此虚拟机上任何 RDM 所指向的 LUN 不得针对其 WWN 进行屏蔽 如果虚拟机没有 WWN 分配, 它们将使用主机物理 HBA 的 WWN 访问存储 LUN 但是, 通过使用 NPIV,SAN 管理员可以按虚拟机监控和路由存储访问 下一节将介绍其运作方式 向虚拟机分配了 WWN 后, 该虚拟机的配置文件 (.vmx) 将更新为包含一个 WWN 对 ( 由全球端口名称 (WWPN) 和全球节点名称 (WWNN) 组成 ) 当该虚拟机已启动时,VMkernel 将在物理 HBA 上实例化一个虚拟端口 (VPORT), 用于访问 LUN VPORT 是虚拟 HBA, 在 FC 架构中显示为物理 HBA, 也就是说, 它有自己唯一的标识符, 即分配给虚拟机的 WWN 对 每个 VPORT 均特定于虚拟机, 虚拟机关闭后,VPORT 便在主机上消失, 并且不会再显示于 FC 架构 当虚拟机从一个 ESX/ESXi 迁移到另一个时,VPORT 会在第一台主机上关闭, 然后在目标主机上打开 如果启用了 NPIV, 在创建时会为每个虚拟机指定四个 WWN 对 (WWPN 和 WWNN) 启动使用 NPIV 的虚拟机后, 它会依次使用上述各个 WWN 对来尝试发现指向存储器的访问路径 实例化的 VPORT 数目等于主机上存在的物理 HBA 个数, 最大为四 VPORT 创建于建立了物理路径的各物理 HBA 之上 各条物理路径可用于确定将用来访问 LUN 的虚拟路径 请注意,NPIV 无法识别的 HBA 在此发现过程中将被跳过, 因为其上无法实例化 VPORT 注意如果主机将四个物理 HBA 作为指向存储器的路径, 所有物理路径必须由 SAN 管理员针对虚拟机进行区域分配 这需要支持多路径, 即使一次只有一条路径处于活动状态 使用 NPIV 的要求 如果计划在虚拟机上启用 NPIV, 则应当了解某些要求和限制 存在以下要求和限制 : NPIV 仅能用于具备 RDM 磁盘的虚拟机 具备常规虚拟磁盘的虚拟机将使用主机物理 HBA 的 WWN 对于此 NPIV 实施,ESX/ESXi 主机上的物理 HBA( 使用其自身的 WWN) 必须对该主机上运行的虚拟机要访问的所有 LUN 具有访问权限 ESX/ESXi 主机的物理 HBA 必须支持 NPIV 在位于 的 VMware 兼容性指南 中搜索 NPIV 支持的 HBA 以检查 ESX/ESXi 支持 有关 NPIV 支持的 HBA 的信息, 请向特定供应商咨询 每台虚拟机仅生成四个 WWN 对 对分配了 WWN 的虚拟机或模板进行克隆后, 得到的克隆副本不保留 WWN 使用的交换机必须是 NPIV 可识别的 VMware, Inc. 53

54 配置用于在存储器级别进行访问的 NPIV LUN 时, 请确保 NPIV LUN 号和 NPIV 目标 ID 与物理 LUN 和目标 ID 相匹配 始终使用 vsphere Client 对具有 WWN 的虚拟机进行操作 小心在虚拟机正在运行时, 在 FC 交换机上禁用 NPIV 功能然后重新将其启用可能会导致 FC 链接失败和 I/O 停止 向虚拟机分配 WWN 可在创建带有 RDM 磁盘的新虚拟机时向此虚拟机分配 WWN, 或者向可以暂时关闭的现有虚拟机分配 WWN 步骤 1 在 vsphere Client 中, 单击导航栏中的清单, 并在必要时展开清单 2 在清单列表中, 选择要添加新虚拟机的受管主机 3 选择文件 > 新建 > 虚拟机 此时将显示创建新的虚拟机向导 4 选择自定义, 然后单击下一步 5 键入虚拟机名称, 然后单击下一步 6 选择一个文件夹或数据中心的根目录, 然后单击下一步 7 如果资源池选项可用, 请展开此树直到找到要运行虚拟机的资源池, 将其突出显示, 然后单击下一步 8 选择在其中存储虚拟机文件的数据存储, 然后单击下一步 9 在客户机操作系统下, 选择操作系统系列 (Microsoft Windows Linux Novell NetWare Solaris 或其他 ) 10 在下拉菜单中选择版本, 然后单击下一步 11 在下拉列表中选择虚拟机的虚拟处理器数目, 然后单击下一步 12 选择以兆字节为单位的数字来配置虚拟机的内存大小, 然后单击下一步 13 配置网络连接, 然后单击下一步 14 选择希望虚拟机使用的 SCSI 适配器的类型 15 选择裸机映射, 然后单击下一步 16 在 SAN 磁盘或 LUN 列表中, 选择想要虚拟机直接访问的裸 LUN 17 为 RDM 映射文件选择数据存储 可以将 RDM 文件置于虚拟机文件所驻留的同一数据存储上, 也可以选择不同的数据存储 注意如果要对启用了 NPIV 的虚拟机使用 VMotion, 请确保 RDM 文件位于虚拟机配置文件所驻留的同一数据存储 启用 NPIV 后, 无法在数据存储之间执行 Storage VMotion 或 VMotion 18 选择兼容模式 : 物理或虚拟 根据您的选择, 后续屏幕将提供不同的选项 物理兼容模式允许客户机操作系统直接访问硬件 如果正在虚拟机中使用 SAN 感知应用程序, 则物理兼容非常有用 但是, 如果迁移过程涉及到复制磁盘, 则使用进行了物理兼容性配置的 RDM 的已启动虚拟机无法迁移 此类虚拟机无法克隆, 也无法克隆为模板 虚拟兼容允许 RDM 像虚拟磁盘一样工作, 因此您可以使用快照和克隆之类的功能 19 在 高级选项 页面中, 可以更改虚拟设备节点, 然后单击下一步 54 VMware, Inc.

55 章 6 管理使用 SAN 存储器的 ESX/ESXi 系统 20 向虚拟机分配 WWN 21 在 即将完成 新建虚拟机页面上, 请选择完成前编辑虚拟机设置复选框, 并单击下一步 分配或修改 WWN 创建了带有 RDM 的虚拟机后, 您可以向其分配虚拟 WWN 您还可以对带有 RDM 的现有虚拟机修改 WWN 分配 前提条件 如果要编辑现有的 WWN, 请确保关闭相应虚拟机 在开始操作前, 请确保 SAN 管理员已置备了存储 LUN ACL, 允许虚拟机的 ESX/ESXi 主机进行访问 步骤 1 打开 虚拟机属性 对话框 选项 新建虚拟机 现有虚拟机 操作 对于新的虚拟机, 创建虚拟机后, 在 即将完成 新建虚拟机页面上选中完成前编辑虚拟机设置复选框, 然后单击继续 对于现有的虚拟机, 在 清单 面板中选择虚拟机, 然后单击编辑设置链接 2 选择选项选项卡 3 选择光纤通道 NPIV 4 在打开的对话框中, 选择以下选项之一 : 选项 保留不变 生成新的 WWN 描述 保留现有 WWN 分配 此对话框的只读 WWN 分配 部分显示所有现有 WWN 分配的节点和端口值 生成新的 WWN 并分配给虚拟机, 覆盖任何现有 WWN(HBA 自身的 WWN 不受影响 ) 移除 WWN 分配移除向虚拟机分配的 WWN, 虚拟机将使用 HBA WWN 访问存储 LUN 如果创建新的虚拟机, 则此选项不可用 小心移除或更改虚拟机的现有 WWN 分配可导致其与存储 LUN 的连接丢失 5 单击确定保存更改 路径扫描和声明 启动 ESX/ESXi 主机或重新扫描存储适配器时, 主机会发现它可以使用的存储设备的所有物理路径 根据 /etc/ vmware/esx.conf 文件中所定义的一组声明规则, 主机会确定应声明特定设备路径并负责管理该设备的多路径支持的多路径插件 (MPP) 默认情况下, 主机每 5 分钟执行一次定期路径评估, 从而促使相应 MPP 声明任何尚未声明的路径 对声明规则进行了编号 对于每个物理路径, 主机都通过声明规则运行, 首先从最小编号开始 然后, 会将物理路径的属性与声明规则中的路径规范进行比较 如果二者匹配, 主机会分配声明规则中指定的一个 MPP 来管理物理路径 此过程将持续到所有物理路径均由相应 MPP( 第三方多路径插件或本机多路径插件 (NMP)) 声明后才结束 对于由 NMP 模块管理的路径, 将应用第二组声明规则 这些规则确定哪些 SATP 应当用于管理特定阵列类型的路径, 以及哪些 PSP 用于各个存储设备 例如, 对于属于 EMC CLARiiON CX 存储系列的存储设备, 默认 SATP 是 VMW_SATP_CX, 默认 PSP 是 最近使用 VMware, Inc. 55

56 使用 vsphere Client 查看主机用于特定存储设备的 SATP 和 PSP, 以及该存储设备的所有可用路径的状态 如果需要, 可以使用 vsphere Client 更改默认 VMware PSP 要更改默认 SATP, 需要使用 vsphere CLI 修改声明规则 可以在第 73 页, 附录 B 管理存储路径和多路径插件 中找到有关修改声明规则的部分信息 有关可用于管理 PSA 的命令的详细信息, 请参见 vsphere 命令行界面安装和参考指南 查看路径信息 使用 vsphere Client 确定 ESX/ESXi 主机用于特定存储设备的 SATP 和 PSP, 以及该存储设备的所有可用路径的状态 可以从 数据存储 和 设备 视图访问路径信息 对于数据存储, 请检查与部署了数据存储的设备相连的路径 路径信息包括分配用来管理设备的 SATP 路径选择策略 (PSP) 路径及其物理特性的列表 ( 如适配器和各条路径使用的目标 ) 以及各条路径的状态 其中会显示以下路径状态信息 : 活动 可用于对 LUN 发出 I/O 的路径 目前用于传输数据的单个或多个工作路径标记为 活动 (I/O) 注意对于运行 ESX/ESXi 3.5 或更低版本的主机, 术语 主动 意为只有一条路径被主机用来向 LUN 发出 I/O 备用路径处于工作状态, 并且在活动路径发生故障时可用于 I/O 禁用 中断 路径已禁用, 无法传输数据 软件无法通过此路径连接磁盘 如果正在使用固定路径策略, 就可以看到哪一条路径是首选路径 首选路径的 首选 列标有一个星号 (*) 查看数据存储路径使用 vsphere Client 检查连接到部署了数据存储的存储设备的路径 步骤 1 登录 vsphere Client, 在 清单 面板中选择服务器 2 依次单击配置选项卡和 硬件 面板中的存储器 3 在 查看 下方单击数据存储 4 在已配置的数据存储列表中, 选择要查看或配置其路径的数据存储 详细信息 面板显示用来访问设备的路径总数, 以及是否有任何路径已中断或已禁用 5 单击属性 > 管理路径以打开 管理路径 对话框 可以使用 管理路径 对话框来启用或禁用路径 设置多路径策略, 以及指定首选路径 查看存储设备路径使用 vsphere Client 查看主机用于特定存储设备的 SATP 和 PSP, 以及该存储设备的所有可用路径的状态 步骤 1 登录 vsphere Client, 在 清单 面板中选择服务器 2 依次单击配置选项卡和 硬件 面板中的存储器 3 在 查看 下方单击设备 4 单击管理路径以打开 管理路径 对话框 56 VMware, Inc.

57 章 6 管理使用 SAN 存储器的 ESX/ESXi 系统 设置路径选择策略 对于每个存储设备,ESX/ESXi 主机都将根据 /etc/vmware/esx.conf 文件中所定义的声明规则来设置路径选择策略 默认情况下,VMware 支持以下路径选择策略 如果在主机上安装了第三方的 PSP, 其策略也将显示于列表中 固定的 (VMware) 最近使用 (VMware) 循环 (VMware) 当通往磁盘的首选路径可用时, 主机将始终使用此路径 如果主机无法通过首选路径访问磁盘, 它会尝试替代路径 固定的 是主动 - 主动存储设备的默认策略 主机使用磁盘的路径, 直到路径不可用为止 当路径不可用时, 主机将选择替代路径之一 当该路径再次可用时, 主机不会恢复到原始路径 没有 MRU 策略的首选路径设置 MRU 是主动 - 被动存储设备的默认策略并且对于这些设备是必需的 主机使用自动路径选择算法轮流选择所有可用路径 这样可跨所有可用物理路径实现负载平衡 负载平衡即是将服务器 I/O 请求分散于所有可用主机路径的过程 目的是针对吞吐量 ( 每秒 I/O 流量 每秒兆字节数或响应时间 ) 实现最佳性能 表 6-4 总结了主机的行为随不同阵列类型和故障切换策略变化的情况 表 6-4 路径策略影响 策略 / 控制器主动 - 主动主动 - 被动 最近使用 发生路径故障后进行故障恢复需要管理员操作 发生路径故障后进行故障恢复需要管理员操作 固定的 连接恢复后,VMkernel 继续使用首选路径 VMkernel 尝试继续使用首选路径 这会导致 路径抖动或故障, 因为另一 SP 现拥有 LUN 的所有权 循环无故障恢复 选择了循环调度中的下一路径 更改路径选择策略 通常, 不需要更改主机用于特定存储设备的默认多路径设置 但是, 如果要进行任何更改, 可以使用 管理路径 对话框修改路径选择策略并指定 固定 策略的首选路径 步骤 1 从 数据存储 视图或 设备 视图打开 管理路径 对话框 2 选择路径选择策略 默认情况下,VMware 支持以下路径选择策略 如果在主机上安装了第三方的 PSP, 其策略也将显示于列表中 固定 (VMware) 最近使用 (VMware) 循环 (VMware) 3 对于 固定 策略, 请指定首选路径, 方法是 : 右键单击要作为首选路径分配的路径并选择首选 4 单击确定以保存设置并退出对话框 VMware, Inc. 57

58 禁用路径 由于维护或其他原因, 可以暂时禁用路径 您可以使用 vsphere Client 完成此操作 步骤 1 从 数据存储 视图或 设备 视图打开 管理路径 对话框 2 在 路径 面板中, 右键单击要禁用的路径, 然后选择禁用 3 单击确定以保存设置并退出对话框 还可以通过右键单击列表中的路径, 然后选择禁用来从适配器的 路径 视图禁用路径 路径管理和手动或静态负载平衡 在可用路径间平衡负载将提高性能 使用主动 / 主动和主动 / 被动存储阵列, 可以将主机设置为使用不同路径访问不同的 LUN, 从而实现适配器的平均使用 如果某一路径发生故障, 其余可用路径将承载所有流量 路径故障切换可能需要一分钟或更长时间, 因为 SAN 可能要协同新的拓扑来尝试还原服务 此延迟对于允许 SAN 在拓扑更改后稳定其配置是必要的 使用主动 / 主动存储阵列, 通过将首选的路径分配到 LUN, 可以配置 ESX/ESXi 主机以跨多个适配器平衡流量负载 路径策略必须设置为 固定 以下示例演示如何在主动 / 主动阵列执行手动负载平衡 假定以下设置, 如图 6-1 中所示 主动 / 主动 SP 一个 ESX/ESXi 系统 每台服务器中有四个光纤通道 HBA Director 级软件 图 6-1 手动平衡光纤通道负载 ESX/ESXi HBA1 HBA2 HBA3 HBA4 FC 交换机 SP1 SP 存储阵列 为实现负载平衡, 请按如下所示设置首选路径 尽管此示例使用四个 HBA, 其实只需使用两个 HBA 即可执行负载平衡 对于 LUN 1:HBA1-SP1-LUN1 对于 LUN 2:HBA2-SP1-LUN2 对于 LUN 3:HBA3-SP2-LUN3 对于 LUN 4:HBA4-SP2-LUN4 58 VMware, Inc.