Slide 1

Transcription

1 Oracle VM Server for SPARC 安装

2 SPARC T5 Processor 新一代处理器 3.6Ghz,16 核心 (S3),8 线程 / 核, 共 128 线程 每核心,16KB 数据和 16KB 指令 L1 缓存,128KB L2 缓存 16 核心共享 8MB L3 缓存 Out of Order Execution 乱序执行 28nm 技术 2 个片上双通道内存控制器 支持 DDR 3 内存 2 个片上 x8 PCIe 8GT/s New! 2

3 架构 3

4 设计背景 旧有的单线程技术 85% 的时钟时间在等待内存 C M C M C M C M C M C M C C M C M M 节省的时间 CPU 时间 内存延迟 4

5 现在的多线程技术 CPU 利用率更高 C M C M C M C M C M C M C M C M C M C M C M C M CPU 时间 内存延迟 5

6 Oracle SPARC T5 处理器技术 6

7 Designed for CPU thread rich 为多线程系统设计 传统虚拟化系统基于 VM 虚拟机 CPU 的划分, 由于 CPU 数量少只能 over commit, 并且需 CPU 分时间片 会因分时间片而产生额外负载 每个中断会产生延时 Oracle SPARC 系列服务器为多线程设计, 而可以为各 Domain 指定 CPU 线程, 并以完全 CPU 性能运行 减少 CPU 延时和额外消耗 有些虚拟化系统还 over commit 内存 需要复杂内存管理, 引发额外消耗 轻量工作负载还可以, 但企业应用性能差 7

8 Oracle SPARC Portfolio 产品线 关键业务的基础 SPARC T5-1B 3.6Ghz 16-cores 128 threads 512GB Memory New! SPARC M6-32 SPARC T Ghz 16-cores/ 128 threads/ 32-cores 256 threads 1TB Memory SPARC T Ghz 64-cores 512 threads 2TB Memory SPARC T Ghz 128-cores 1024 threads 4TGB Memory 3.6Ghz 384-cores 3072 threads 4TGB Memory 8

9 SPARC T5-8 8 插槽 8RU 高端数据中心服务器 New! Compute 4 or 8x 3.6GHz SPARC T5 16-core 512 or 1024 threads 128x DDR3 DIMM slot 4TB of memory High Reliability 8x 600GB SAS-2/SSD disks RAID 0/1 4x 3000W 2+2 Redundant, hotswappable PSUs and Fans Expandable 16x PCIe 3.0 x8 4x 10GbE Solaris 10 1/13 Solaris SRU3 9

10 系统视图 ( 前面 ): 10

11 系统视图 ( 后面 ): 11

12 Processor Module 板 : 12

13 Main Module 板 : 13

14 T - SPARC T5 Internode Coherency Overview 互联架构 1-hop 扩展支持 8 个处理器 直连架构, 减少延迟 PCIe G3 PCIe G3 每处理器连接采用 14 个通道 15Gbps/lane DIMMs PCIe G3 T5 T5 DIMMs PCIe G3 DIMMs T5 T5 DIMMs DIMMs T5 T5 DIMMs PCIe G3 DIMMs T5 T5 DIMMs PCIe G3 PCIe G3 PCIe G3 14

15 Oracle VM Server for SPARC 虚拟化 Oracle VM Server for SPARC 是针对 Oracle SPARC T 系列服务器的高效和企业级虚拟化平台 利用内置的 Hypervisor 固件和软件,SPARC T 系列服务器可划分系统资源 (CPU/ 内存 / 网络 / 存储等 ) 到逻辑分区 (Logical domain, 虚拟机 ), 各分区 (Domain) 可同时独立运行操作系统 各 Domain 的生命周期就是先定义, 再绑定资源, 然后启动, 最后也可删除 在 Logical domain 域中隔离操作系统和应用 Oracle Solaris 10 Oracle Solaris 10 Oracle Solaris 10 Oracle Solaris 10 GP Domain GP Domain GP Domain GP Domain Oracle Solaris 11 Oracle Solaris 11 Oracle Solaris 11 Oracle Solaris 11 Database Domain Database Domain Database Domain Database Domain 基于固件的 hypervisor 每个 Logical domain 域指定 CPU thread SPARC Hypervisor Oracle SPARC Server 15

16 Dynimic Reconfiguration 动态重新配置 Domain 运行时,Domain 的配置可以被改变, 而无需 Domain 或应用重启 DR Feature CPU DR Memory DR Virtual I/O DR Crypto Unit DR Supported 16

17 安全在线迁移 ( 不加密从 T2 到 M5 都可支持 加密需同类型 ) SPARC M5 SPARC T5 SPARC T4 SPARC T3 在线迁移不替代 HA 方案 VM Secure Live Migration (SSL) Oracle VM Server Pool VM VM SPARC T-Series servers External Shared Storage 17

18 推荐 Domain 配置 Blade 1 Socket 2 Socket 4 Socket 8 Socket Model T4-1B T5-1B T4-1 T4-2 T5-2 T4-4 T5-4 T5-8 Processor T4 T5 T4 T4 T5 T4 T5 T5 Core/Thread 8/64 16/128 8/64 16/128 32/256 32/256 64/ /1024 Memory 512GB 256GB 512GB 1TB 512GB 2TB 2TB 4TB HDD GbE/10GbE 2/2 2/2 4/2 4/4 4 4/8 4 4 PCIe Slot LDoms

19 使用场景 :Oracle CRM in a BOX Oracle SPARC T5 Oracle Siebel CRM 系统 19

20 Role of Domains 概念 控制域 (Control Domain,Primary Domain) 提供服务器和 Domain 管理, 每物理服务器 1 个 通常也称为 Service 和 I/O Domain 需保持固件最新 ( 包含 Hypervisor) 分配完全的 CPU 核心, 从 1 个开始, 若用在线迁移, 建议 2 个以上 内存从 4GB 或 8GB 起 (ZFS 需更多 ) 安装 Solaris 和 Domain Manger 支持 Solaris 10 和 11 采用 Solaris 11 功能和性能增强 为了稳定性, 通常不运行应用 为安全性, 需限制访问 20

21 服务域 (Service Domain, I/O Domain) 拥有物理 I/O 设备 提供虚拟 I/O 设备给其它 Domain 采用 Direct I/O SR-IOV( 需设备认证 ) 或 RC 以提高性能 采用真实存储 ( 硬盘或 LUN) 可高性能 Domain 间通信采用虚拟交换机 (vsw), 无需硬件, 快速和安全 在线迁移需共享存储 (NFS SAN iscsi) ZFS 克隆允许快速分发文件系统, 并节省空间, 采用 zvol 能更好性能 来宾域 (Guest domains) 通常应用运行在 Guest Domain 里 使用 Service 和 I/O Domain 提供 I/O 被 Control Domain 管理 独立运行, 分配完全的 CPU 核心, 内存频繁访问会增加迁移的时间 21

22 Typical Simple Configuration 典型配置 1 个 Control Service I/O domain, 即 primary domain 1 个虚拟交换机 (vsw),1 个虚拟控制台 (vcc) 1 个虚拟硬盘服务 (vds), 为其他 domain 呈现虚拟硬盘 (vdisk) 其它 domain 为 primary domain 提供 vnet 和 vdisk 服务的客户端 physical network disk, ZFS volume primary domain vsw0 ixgbe0 ldm vntsd vsw vds ldmd vcc Hypervisor vnet1 vdc vnet1 vdc vnet1 vdc vnet1 vdc Guest domain 1 Guest domain 2 Guest domain 3 Guest domain 4 22

23 vcpu 虚拟处理器 同处理器线程 (threads/stannds), 每 domain 最少 1 个, 最多 128 个 domains, 支持在线动态配置 23

24 Memory 内存 最少可分配 4MB 通常大于 512MB 可在线动态分配 ( 最小单位 256MB) 24

25 I/O 分配 Domain 可选择使用物理 I/O, 即无虚拟化, 裸性能 但无在线迁移功能 拥有 PCIe 总线 (PCIe bus,rc(root complex)) 拥有 PCIe 卡 (Directory I/O) 拥有 PCIe 卡虚拟功能 (Virtual Function,SR-IOV) Domain 可选择使用虚拟 I/O Guest domain 通过 Service domain 分配虚拟 I/O 支持在线迁移 (Live migration) 有性能额外开销 25

26 Virtual I/O Model 模式 由 Service Domain 代理 I/O, 使用 LDCs 通道为自身 I/O 资源提供桥接访问 虚拟硬盘 (Virtual disks) 物理硬盘或硬盘分区, 包括 iscsi 和 SAN UFS ZFS NFS 文件 SVM ZFS 卷 若需 Live Migration, 则需 iscsi SAN NFS 虚拟网卡 (Virtual NICs) 虚拟交换机 (Virtual switches) 26

27 架构 Guest Domain Guest Domain Service Domain App App App App App App kernel ` Solaris I/O stack kernel Solaris I/O stack kernel Virtual Device Service LDC LDC Solaris I/O stack Virtual Device Driver Virtual Device Driver Device Driver LDC LDC LDC LDC LDC Hypervisor Physical Device 27

28 Virtual Disk Server device(vds) 虚拟硬盘 虚拟硬盘服务器提供虚拟硬盘客户 (disk/lun/zfs/dvd 等 ) 物理盘 (disk/lun) 提供最佳性能 文件系统 (ZFS 等 ) 易于设置 拷贝 ( 快照 / 克隆 ) 在线迁移需共享存储, 不支持内置硬盘和 ZFS 28

29 Redundant Domains boot disks 提供冗余启动盘 29

30 Virtual Ethernet 虚拟网络 虚拟网络交换机 (vsw) 为 2 层交换机 (Layer 2) 与物理网卡配置, 提供服务器外部网络连接 无需物理网卡, 提供 Domain 间虚拟网络连接 各 Guest domain 会呈现虚拟网卡 (vnetn) 30

31 Domain 间虚拟网络连接采用 LDC 通道直连 Virtual Switch LDC LDC LDC Vnet1 Vnet2 Vnet3 Guest1 LDC Guest2 LDC Guest3 LDC 31

32 冗余网络可采用 IPMP 配置 可以是相同或不同的 I/O domain 32

33 PCIe Root Complexes 配置 SPARC T5 处理器有 2 个 RC, 片上 PCIe 端口控制 2 个 PCIe 插槽 SPARC T5 处理器 2 个 RC 需分配在相同的 Ldoms 中 33

34 T5-2 PCIe Root Complexes(RC) 配置 34

35 T5-2 System Board CPU BUS I/O Slot Root Complex Path BUS Name /pci@300/pci@1/pci@0/pci@4 pci_0 SASHBA0 /pci@300/pci@1/pci@0/pci@2/scsi@0 1 5 /pci@340/pci@1/pci@0/pci@4 pci_1 6 /pci@340/pci@1/pci@0/pci@5 pci_1 7 /pci@340/pci@1/pci@0/pci@6 pci_ /pci@380/pci@1/pci@0/pci@5 pci_2 3 /pci@380/pci@1/pci@0/pci@6 pci_2 4 /pci@380/pci@1/pci@0/pci@7 pci_2 SASHBA Disk Net disk0,disk1 ixgbe0, ixgbe1 3 8 /pci@3c0/pci@1/pci@0/pci@7 pci_3 SASHBA1 /pci@3c0/pci@1/pci@0/pci@2/scsi@0 disk4,disk5 ixgbe2, ixgbe3 35

36 T5-4 1PM PCIe 连接 36

37 T5-4 2PM PCIe 连接 37

38 T5-4 2PM PCIe 连接 ( 简化说明 ) 38

39 T5-4 PM CPU Switch I/O Slot Root Complex Path BUS Name Disk Net /pci@300/pci@1/pci@0/pci@6 pci_0 Disk0-3 ixgbe0, ixgbe1 2 /pci@300/pci@1/pci@0/pci@c pci_0 1 3 /pci@340/pci@1/pci@0/pci@6 pci_1 4 /pci@340/pci@1/pci@0/pci@c pci_ /pci@380/pci@1/pci@0/pci@a pci_2 10 /pci@380/pci@1/pci@0/pci@4 pci_ /pci@3c0/pci@1/pci@0/pci@e pci_3 12 /pci@3c0/pci@1/pci@0/pci@8 pci_ /pci@400/pci@1/pci@0/pci@e pci_4 6 /pci@400/pci@1/pci@0/pci@8 pci_4 2 7 /pci@440/pci@1/pci@0/pci@e pci_5 8 /pci@440/pci@1/pci@0/pci@8 pci_ /pci@480/pci@1/pci@0/pci@a pci_6 14 /pci@480/pci@1/pci@0/pci@4 pci_ /pci@4c0/pci@1/pci@0/pci@8 pci_7 16 /pci@4c0/pci@1/pci@0/pci@4 pci_7 Disk4-7 ixgbe2, ixgbe3 39

40 T5-8 2PM PCIe Root Complexes(RC) 配置 40

41 T5-8 2PM PCIe Root Complexes(RC) 配置 41

42 T5-8 2PM PCIe Root Complexes(RC) 配置 PM CPU Switch I/O Slot Root Complex Path BUS Name Disk Net /pci@300/pci@1/pci@0/pci@6 pci_0 Disk0-3 ixgbe0, ixgbe1 2 /pci@300/pci@1/pci@0/pci@c pci_1 1 3 /pci@340/pci@1/pci@0/pci@6 pci_1 4 /pci@340/pci@1/pci@0/pci@c pci_ /pci@380/pci@1/pci@0/pci@a pci_2 10 /pci@380/pci@1/pci@0/pci@4 pci_ /pci@3c0/pci@1/pci@0/pci@e pci_3 12 /pci@3c0/pci@1/pci@0/pci@8 pci_ /pci@600/pci@1/pci@0/pci@e pci_12 6 /pci@600/pci@1/pci@0/pci@8 pci_ /pci@640/pci@1/pci@0/pci@e pci_13 8 /pci@640/pci@1/pci@0/pci@8 pci_ /pci@680/pci@1/pci@0/pci@a pci_14 14 /pci@680/pci@1/pci@0/pci@4 pci_ /pci@6c0/pci@1/pci@0/pci@8 pci_15 16 /pci@6c0/pci@1/pci@0/pci@4 pci_15 Disk4-7 ixgbe2, ixgbe3 42

43 T5-8 4PM PCIe Root Complexes(RC) 配置 43

44 T5-8 4PM PCIe Root Complexes(RC) 配置 44

45 T5-8 4PM PCIe Root Complexes(RC) 配置 PM CPU Switch I/O Slot Root Complex Path BUS Name Disk Net /pci@300/pci@1/pci@0/pci@6 pci_0 Disk0-3 ixgbe0, ixgbe1 1 3 /pci@340/pci@1/pci@0/pci@6 pci_ /pci@380/pci@1/pci@0/pci@a pci_ /pci@3c0/pci@1/pci@0/pci@e pci_ /pci@400/pci@1/pci@0/pci@c pci_4 1 4 /pci@440/pci@1/pci@0/pci@c pci_ /pci@480/pci@1/pci@0/pci@4 pci_ /pci@4c0/pci@1/pci@0/pci@8 pci_ /pci@500/pci@1/pci@0/pci@e pci_8 2 7 /pci@540/pci@1/pci@0/pci@e pci_ /pci@580/pci@1/pci@0/pci@a pci_ /pci@580/pci@1/pci@0/pci@a pci_ /pci@600/pci@1/pci@0/pci@8 pci_ /pci@640/pci@1/pci@0/pci@8 pci_ /pci@680/pci@1/pci@0/pci@4 pci_ /pci@6c0/pci@1/pci@0/pci@4 pci_15 Disk5-7 ixgbe2, ixgbe3 45

46 Direct I/O(DIO) 直接 IO 分配单独的 PCIe 卡到 Guest domain, 提供 Derict I/O 功能 不支持 DR 动态配置和在线迁移 并不是所有的 PCIe 卡都支持, 支持的硬件需查 MOS ,4 口 GbE 网卡,UTP ,4 口 GbE 网卡,UTP , 双口 GbE 网卡,MMF , 双口 GbE 网卡,MMF 现有的驱动继续有效 46

47 SR-IOV(SingleRoot IO Virtualization) 虚拟化 基于 PCI-SIG 标准创建 PCIe 设备物理功能 (PF) 的多个虚拟功能 (VF),VF 可像通常的 PCIe 设备一样为虚拟机使用, 即直接共享 I/O 设备到 Guest domain, 无额外开销, 可实现 native I/O 性能 Control Domain 需采用 Solaris 11 SRU7 并不是所有的 PCIe 卡都支持, 支持的硬件需查 MOS ,4 口 GbE 网卡,UTP , 双口 GbE 网卡,MMF 目前无 HBA 支持 SR-IOV 47

48 Virtual Consoles 虚拟控制台 Service domain 虚拟控制台 (vcc) 通过 Hypervisor, 可与 Guest domain 控制台通信 48

49 Live Migration 在线迁移 源系统 Guest domain 只使用虚拟 I/O 支持 IPMP, 不能使用 MpxIO 硬盘 使用缺省电源管理 (performance 模式 ) 目标系统 有足够资源 (CPU 内存等 ) VM Secure Live Migration (SSL) VM VM 有 VIO 服务 (vds vsw vcc) 能提供 VIO 设备 (vdisk,vnet) Oracle VM Server Pool CPU 同类型 ( 包括相同主频 ) SPARC T-Series servers External Shared Storage 49

50 Cold Migration 非在线迁移的操作过程 50

51 Live Migration 在线迁移的操作过程 同 CPU 类型和频率 需有足够 CPU 和内存 共享存储 (NFS/SAN/iSCSI) 若不成功会切回 51

52 竞争 IBM PowerVM 虚拟化技术 52

53 Oracle VM for SPARC 53

54 Oracle VM for SPARC 54

55 SPARC T 系列服务器安装 2014 年 9 月, 北京

56 安装准备 安装前确认 路由器 IP( ) 服务器序列号 ( SPARC T5-8,AK ) 服务器序列号 ( SPARC T5-8,AK ) 56

57 硬件确认 参考 Oracle SPARC T3/T4/T5 服务器信息中心 (MOS: ) 57

58 硬件确认 处理器 T5-1B T5-2 T5-4 T5-8 1x SPARC T5 (16 核心 ) 2x SPARC T5 (32 核心 ) 4x SPARC T5 (64 核心 ) 8x SPARC T5 内存 256GB 512GB 2TB 2TB( 最大 4TB) 硬盘 2x 600GB 2x 300GB ( 最大 6x 600GB) 4x 600GB ( 最大 8 个 ) 主板网口 2x 1GbE 4x 10GbE 4x 10GbE 4x 10GbE PCIE 插槽 共 2 个 EM 共 2 个 NEM 8x 300GB( 最大 600GB) 共 16 个 共 16 个 共 16 个 : 4x 1GbE, 双光口 4x 10GbE, 双 SFP+ 1x SAS HBA 4x HBA, 双口,8Gb 58

59 场地确认 ( SPARC T5-8) B6000/T5-1B T5-2 T5-4 T5-8 Weight 重量 kg 36.3 kg 75.4 kg kg Height 高 mm 130 mm 215 mm 350 mm Width 宽 mm mm 445 mm 445 mm Depth 深 mm 732 mm 800 mm 800 mm Power 电源 2x 5740W 2x 2060W 2x 3000W,1+1 4x 3000W,2+2 Cooling 最大制冷 BTU/hr BTU/hr BTU/hr Airflow 最大通风 1012 CFM

60 场地确认 ( Sun Rack II 1242) 机柜 PDU( 单相, 共 2 个, 每个 3 个 32A 蓝色插头 ): Voltage: VAC 1 ph Frequency: 50/60Hz Current: 32 A max Power: 22 kva Output current: 96A (3x 32 A) Outlets: 42 C13, 6x C19 Group protection: 20A IEC309-2P3W-IP44 32A 250VAC (Hubbell equivalent is HBL332R/C9W) 60

61 软件确认 Solaris 11.2(Control domain,guest domain) Oracle VM Server for SPARC 3.2 T5 Firmware d 61

62 LDoms 确认 ( T5-8 服务器 1,128 核心,2TB, 8x300GB 硬盘 ) T5-8 (2TB) Control Domain ( 生产 DB1) Guest domain 1 ( 测试 S11) 主机名 hncjdb01 hncjdb01-ldg1 IP CPU 核心 内存 (GB) 1600GB 448GB 硬盘 6x 300GB 2x 300GB 网卡 (10GbE) ixgbe0/net0 ixgbe1/net1 ixgbe2/net2 ixgbe3/net3 HBA 5/11 NIC 13/14 HBA 6/12 62

63 LDoms 确认 ( T5-8 服务器 2,128 核心,2TB, 8x300GB 硬盘 ) T5-8 (2TB) Control Domain ( 生产 DB1) Guest domain 1 ( 测试 S11) 主机名 hncjdb02 hncjdb02-ldg1 IP CPU 核心 内存 (GB) 1600GB 448GB 硬盘 6x 300GB 2x 300GB 网卡 (10GbE) ixgbe0/net0 ixgbe1/net1 ixgbe2/net2 ixgbe3/net3 HBA 5/11 NIC 13/14 HBA 6/12 63

64 网络连接 ( 原不分区 ) 生产网 71/137/139 72/ /25 心跳网 管理网 / /24 ipmp0 net0/1 ipmp1 net2/3 ipmp0 net0/1 ipmp1 net2/3 ILOM 121 hncjdb01 hncjdb02 ILOM.122 Disk Disk 64

65 网络连接 ( 后 2 分区 ) 生产网 71/137/139 72/ /25 心跳网 管理网 / /24 ipmp0 net0/1 ipmp1 net2/3 ipmp0 net0/1 ipmp1 net2/3 ILOM 生产 (DB1) 测试 (S11) 生产 (DB2) 测试 (S11) ILOM hncjdb01 hncjdb02 Disk Disk 65

66 防火墙需打开的端口 : 20/21,FTP over TCP,Proxy Controller 到 ALOM/XCSF 22,SSH over TCP,Enterprise Controller/Proxy Controller/ 操作系统 23,Telnet over TCP, Proxy Controller 到 ALOM, 操作系统 25,SMTP, 数据库 / 存储 /IB/KVM/PDU 等管理 53,DNS, 数据库 / 存储 /IB/KVM/PDU 等管理 67,DHCP over UDP,Proxy Controller 到操作系统 69,TFTP over TCP,Proxy Controller 到 ILOM 80,HTTP over TCP, Enterprise Controller,Web 管理 123,NTP over TCP, 数据库 / 存储 /IB/KVM/PDU 等管理 161,SNMP over UDP,Proxy Controller 到 ALOM 162,SNMP over UDP,IPMI over UDP,SP 到 Proxy Controller 389,LDAP over TCP/UDP, 用户管理 66

67 防火墙需打开的端口 : 443,HTTPS over TCP,Enterprise Controller/Proxy Controller 465,SMTP, 数据库 / 存储 /IB/KVM/PDU 等管理 (SSL) 514,Syslog over UDP, 数据库 / 存储 /IB/KVM/PDU 等管理 623,IPMI over UDP, 服务器管理 ,SNMP over UDP, Agent Controller 到 Proxy Controller 1159,TCP,Oracle EM Grid Control 1161,SNMP over UDP, Agent Controller 到 Proxy Controller 1521,TCP,Database listener 1812,RADIUS over UDP, 数据库 / 存储 /IB/KVM/PDU 管理 2068,TCP,KVM session data 4889,TCP,Oracle EM Grid Control , 提供各 domain 控制台 5120,TCP,ILOM (CD) 67

68 防火墙需打开的端口 : 5121,TCP,ILOM (Keyboard&Mouse) 5123,TCP,ILOM (diskette) 5555,TCP,ILOM ( 加密 ) 5556,TCP,ILOM ( 认证 ) 6481,TCP, Proxy Controller 到 ALOM/ILOM(Servicetag), 操作系统 7578,TCP,ILOM (Video) 7579,TCP,ILOM (Serial) 7777,TCP,Oracle EM Grid Control 数据库和存储管理 7799,TCP,Oracle EM Grid Control 数据库和存储管理 8002,HTTPs over TCP,Agent Controller 到 Proxy Controller 8004,HTTP over TCP,Proxy Controller(WAN Boot) 8005,HTTPs over TCP,Enterprise Controller 68

69 防火墙需打开的端口 : 9443,HTTPs over TCP,Enterprise Controller,Web 管理 11165,TCP,Enterprise Controller 11172,TLS, Java client(jmx 访问 ) 11176,TCP, Enterprise Controller, 本地数据库 21161,SSH over TCP, Enterprise Controller 到 Proxy Controller 21162,TCP, WMI client(proxy Controller) 到 Agent 21165,HTTPs over TCP, Agent Controller 到 Proxy Controller 69

70 架装 (SPARC T5-8) 70

71 SPARC T5 服务器加电 SPARC T5-8 服务器连电源线, 控制器 SP 会自动启动 4x 3000W, 热插拔 AC 电源,2+2 服务器电源开关及 LED 指示灯 1. 定位指示灯 ( 白色 ) 2. 服务请求指示灯 ( 橙色 ) 3. 电源指示灯 ( 绿色 ) 4. 电源开关 5. 过热指示灯 ( 橙色 ) 6. 风扇模块故障灯 ( 橙色 ) 7. PCIe 卡故障等 ( 橙色 ) 71

72 SPARC 服务器 ILOM 操作 Oracle Integrated Lights Out Manager(ILOM) 是 Oracle 服务器的远程服务器管理技术, 包括 Service Processor(SP) 硬件和专用软件 包括针对 Oracle x86 和 SPARC T 服务器的 Lights Out 管理 提供单台服务器本地和远程访问, 可设置 维护 和监控管理 支持全 RKVMS(Remote Keyboard Video Mouse Storage) 功能 支持 CLI 命令行和基于 Web 的访问界面 支持 SSH2.0/3.0 SNMP v1/2c/3 IPMI 2.0 和 LDAP 等协议标准 72

73 典型结构 73

74 RKVMS 零接触远程管理 74

75 服务器接口 75

76 连接控制器 (SP) 串口 (RJ45), 进行系统设置 缺省 :9600,8-n-1,root/changeme Password: X11 forwarding request failed on channel 0 Oracle(R) Integrated Lights Out Manager Version b r90525 Copyright (c) 2014, Oracle and/or its affiliates. All rights reserved. Warning: password is set to factory default. Hostname: ORACLESP-AK > 76

77 连接控制器 (SP) 串口 (RJ45), 进行系统设置 若忘记口令, 可试 default 用户登录 (default/defaultpassword), 再修改 -> set /SP/users/root password=welcome1 Changing password for user /SP/users/root... Enter new password again: ******** New password was successfully set for user /SP/users/root 77

78 连接控制器 (SP) 串口 (RJ45), 进行系统设置 若恢复 SP 缺省出厂设置, 并重启系统及 SP -> cd /HOST/bootmode -> set config=factory-default Set 'config' to 'factory-default' -> set /SP reset_to_defaults=factory Set 'reset_to_defaults' to 'factory' The configuration change will be applied the next time the SP is reset. -> stop /SYS -> reset /SP 78

79 连接控制器 (SP) 串口 (RJ45), 进行系统设置 若有故障黄灯, 可先清除, 举例 ( 清主板或 PCI 卡故障 ): -> cd /SP/faultmgmt/0 -> set /SYS/MB clear_fault_action=true Are you sure you want to clear /SYS/MB (y/n)? y Set 'clear_fault_action' to 'true root@t :~# fmadm repair dev:////pci@480/pci@1/pci@0/pci@a/sunw,qlc@0 fmadm: recorded repair to dev:////pci@480/pci@1/pci@0/pci@a/sunw,qlc@0 root@t :~# fmadm faulty 79

80 连接控制器 (SP) 串口 (RJ45), 进行系统设置 配置网路 IP 等, 用于以后通过网络远程操作 -> cd /SP/network /SP/network -> set pendingipdiscovery=static -> set pendingipaddress= > set pendingipnetmask= > set pendingipgateway= > set commitpending=true 80

81 以后可用 Web 方式登录 ILOM( 缺省 :root/changeme) 81

82 观察控制器固件等系统信息 82

83 SPARC T5 Firmware T5-1B T5-2 T5-4 T5-8 sysfw c c c c SP FW c c c c OBP Patch

84 可选择升级控制器固件 需从 MOS 下载控制器固件补丁 84

85 可选择升级控制器固件 需系统下电, 并选 ILOM Administration>Maintenance>Firmware Upgrade, 点击 Enter Upgrade Mode 85

86 可选择升级控制器固件 指定固件, 并选择 Upload 上载 86

87 可选择升级控制器固件 选择 Start Upgrade 升级 87

88 可选择升级控制器固件 观察升级过程 ( 约 6 分钟 ),SP 控制器会重启, 即浏览器需重新连接 88

89 可选择升级控制器固件 浏览器重新连接后, 可观察 SP 固件版本已更新 89

90 SPARC 服务器 OBP 操作 若使用硬件 RAID 需安装 RAID 卡, 缺省主板有 RAID 控制器 ( 支持 RAID 0/1,FCode 命令 ) RAID 1, 需 2 个硬盘, 若硬盘坏, 采用同样容量硬盘更换, 会自动配置和同步 RAID 1E, 最少 3 个硬盘, 若硬盘坏, 采用同样容量硬盘更换, 会自动配置和同步 90

91 若使用硬件 RAID T5-2(0-3,4-5)/T5-4/T5-8(0-3,4-7) 有 2 个 SAS 控制器 以采用 2 盘镜像 (RAID 1) 为例, 选择设备路径 (RC) {0} ok show-devs /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0 /pci@300/pci@1/pci@0/pci@4/pci@0/pci@c/scsi@0 {0} ok select /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0 91

92 若使用硬件 RAID 显示 RC 下硬盘 {0} ok show-children FCode Version , MPT Version 2.00, Firmware Version Target 9 Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043b32458 SASAddress 5000cca043b32459 PhyNum 0 Target a Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043d00e1c SASAddress 5000cca043d00e1d PhyNum 1 Target b Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043d10148 SASAddress 5000cca043d10149 PhyNum 2 Target c Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043b32c34 SASAddress 5000cca043b32c35 PhyNum 3 92

93 若使用硬件 RAID 创建镜像 (RAID1,2 个硬盘 ), 例如用 T5-8 前 2 个硬盘 (9 和 a) 做镜像 {0} ok 9 a create-raid1-volume Target 9 size is Blocks, 298 GB Target a size is Blocks, 298 GB The volume can be any size from 1 MB to MB What size do you want? [285148] Volume size will be Blocks, 298 GB Enter a volume name: [0 to 15 characters] cd Volume has been created {0} ok 93

94 若使用硬件 RAID 观察创建的镜像卷 (0) {0} ok show-volumes Volume 0 Target 143 Type RAID1 (Mirroring) Name cd WWID 0abd2ad5f1c6d787 Optimal Enabled Background Init In Progress 2 Members Blocks, 298 GB Disk 0 Primary Optimal Target 9 HITACHI H109030SESUN300G A690 PhyNum 0 Disk 1 Secondary Optimal Target a HITACHI H109030SESUN300G A690 PhyNum 1 94

95 若使用硬件 RAID 选做, 举例若删除卷 0: {0} ok 0 delete-volume The volume and its data will be deleted Are you sure (yes/no)? [no] yes Volume 0 has been deleted {0} ok 95

96 若使用硬件 RAID 释放 RC( 即不选择 ) {0} ok unselect-dev 96

97 若使用硬件 RAID 观察另外 RC 的硬盘 {0} ok select {0} ok show-children FCode Version , MPT Version 2.00, Firmware Version Target 9 Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca04380d0e4 SASAddress 5000cca04380d0e5 PhyNum 0 Target a Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043b64ebc SASAddress 5000cca043b64ebd PhyNum 1 Target b Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043d35e9c SASAddress 5000cca043d35e9d PhyNum 2 Target c Unit 0 Disk HITACHI H109030SESUN300G A Blocks, 300 GB SASDeviceName 5000cca043bb9274 SASAddress 5000cca043bb9275 PhyNum 3 97

98 若使用硬件 RAID 创建镜像 (RAID1,2 个硬盘 ) {0} ok 9 b create-raid1-volume Target 9 size is Blocks, 298 GB Target b size is Blocks, 298 GB The volume can be any size from 1 MB to MB What size do you want? [285148] Volume size will be Blocks, 298 GB Enter a volume name: [0 to 15 characters] gd Volume has been created 98

99 若使用硬件 RAID 观察创建的镜像卷 (0), 若不需要, 可选删除 {0} ok show-volumes Volume 0 Target 143 Type RAID1 (Mirroring) Name gd WWID 0b4ed09042a84f02 Optimal Enabled Background Init In Progress 2 Members Blocks, 298 GB Disk 0 Primary Optimal Target 9 HITACHI H109030SESUN300G A690 PhyNum 0 Disk 1 Secondary Optimal Target b HITACHI H109030SESUN300G A690 PhyNum 1 {0} ok 0 delete-volume {0} ok unselect-dev 99

100 当重新安装 Solaris 时, 若不希望系统自动启动而停在 ok 状态下 -> set /HOST send_break_action=break Set 'send_break_action' to 'break' -> cd /HOST/bootmode /HOST/bootmode -> set script="setenv auto-boot? false" Set 'script' to 'setenv auto-boot? false 100

101 当重新安装 Solaris 时, 若需通过 ILOM 访问 ( 缺省 ) -> start /SP/console Are you sure you want to start /SP/console (y/n)? y Serial console started. To stop, type #. {0} ok setenv input-device virtual-console {0} ok setenv output-device virtual-console or -> set /HOST/bootmode script="set-default input-device set-default output-device" 101

102 当重新安装 Solaris 时, 若接显示器 / 键盘, 重启生效 {0} ok setenv input-device keyboard {0} ok setenv output-device screen {0} ok reset-all # ln s /dev/fbs/ast0 /dev/fb # fbconfig xserver Xorg # reboot 102

103 当重新安装 Solaris 时, 若需通过 rkvm 访问, 重启生效 {0} ok setenv input-device rkeyboard {0} ok setenv output-device rscreen {0} ok reset-all 103

104 Solaris 安装 Solaris 11.1(SRU 18.5) 安装要求 内存 :1.5GB(SPARC) 硬盘 :4.8GB(SPARC) 104

105 安装 Solaris 11.1 选择 Remote Control>Redirection>Launch Remote Console 105

106 安装 Solaris 11.1 选择 KVMS>Storage 106

107 安装 Solaris 11.1 选择 Add 107

108 安装 Solaris 11.1 选择光盘映像文件 (SRU18.5) 108

109 安装 Solaris 11.1 选择 Connect 109

110 安装 Solaris 11.1 登录 SP 控制台 -> start /SP/console Are you sure you want to start /SP/console (y/n)? y SPARC T5-8, Keyboard Present Copyright (c) 1998, 2014, Oracle and/or its affiliates. All rights reserved. OpenBoot , GB memory available, Serial # Ethernet address 0:10:e0:56:eb:22, Host ID: 8656eb22. {0} ok 110

111 安装 Solaris 11.1 需从 Solaris DVD 光盘启动, 或选择从 rkvm 挂载 DVD 光盘映像文件启动 {0} ok boot rcdrom Boot device: File and args: SunOS Release 5.11 Version bit Copyright (c) 1983, 2012, Oracle and/or its affiliates. All rights reserved. 111

112 安装 Solaris 11.1 观察操作系统版本等信息 more /etc/release Oracle Solaris 11.1 SPARC Copyright (c) 1983, 2013, Oracle and/or its affiliates. All rights reserved. Assembled 06 November 2013 pkg list entire NAME (PUBLISHER) VERSION IFO entire i-- df -h Filesystem Size Used Available Capacity Mounted on rpool/root/solaris 274G 2.2G 201G 2% / 112

113 设置 Solaris 可选, 允许 root SSH 登录 vi /etc/ssh/sshd_config PermitRootLogin yes svcadm restart svc:/network/ssh:default vi /etc/user_attr #root::::type=role 113

114 设置 Solaris 可选, 检查和增加 swap prtconf grep Mem Memory size: Megabytes swap -l -h swapfile dev swaplo blocks free /dev/zvol/dsk/rpool/swap 287,2 8K 4.0G 4.0G swap -d /dev/zvol/dsk/rpool/swap zfs volsize=128g rpool/swap swap -a /dev/zvol/dsk/rpool/swap swap -l -h swapfile dev swaplo blocks free /dev/zvol/dsk/rpool/swap 287,2 8K 128G 128G 114

115 Enable Multipathing 多路径 I/O Enable 设备多路径, 并重启系统 stmsboot e Do you wish to continue? [y/n] (default: y) WARNING: This operation will require a reboot. Do you want to continue? [y/n] (default: y) y The changes will come into effect after rebooting the system. Reboot the system now? [y/n] (default: y) Boot device: /pci@300/pci@1/pci@0/pci@4/pci@0/pci@c/scsi@0/disk@w5000cca02530a23d,0:a File and args: SunOS Release 5.11 Version bit Copyright (c) 1983, 2012, Oracle and/or its affiliates. All rights reserved. stmsboot: Root is on ZFS stmsboot: configuring devices 115

116 Enable Multipathing 多路径 I/O 观察 Enable 设备多路径 prtconf -vc /devices/scsi_vhci grep dev_link.*s2 dev_link=/dev/dsk/c0t5000cca04380d0e4d0s2 dev_link=/dev/rdsk/c0t5000cca04380d0e4d0s2 116

117 升级 Solaris 下载并上传 repo 光盘映像文件 (zip,13.9gb) 并解压 ls -l total rw-r--r-- 1 root root 月 18 日 16:52 repo-21.4.tar root@server1:~# mkdir -p /disk1/software root@server1:~# cd /disk1/software root@server1:/disk1/software# tar xvf /root/repo-21.4.tar 117

118 升级 Solaris 升级到指定 SRU(21.4), 并重启 pkg set-publisher -G '*' -g file:///disk1/software/repo/repo solaris pkg update Packages to install: 1 Packages to update: 73 Create boot environment: Yes Create backup boot environment: No DOWNLOAD PKGS FILES XFER (MB) SPEED Completed 74/ / / M/s root@server1:/disk1/software# reboot 118

119 升级 Solaris 可选, 安装 Solaris 桌面 pkg list entire NAME (PUBLISHER) VERSION IFO entire i-- pkg install solaris-desktop Packages to install: 339 Create boot environment: No Create backup boot environment: Yes Services to change: 14 DOWNLOAD PKGS FILES XFER (MB) SPEED Completed 339/ / / M/s... reboot 119

120 Oracle VM Server for SPARC 配置 查看 Oracle VM Server for SPARC (LDoms)Resource Center 资源中心 (MOS: ) 120

121 查看预装的 Oracle VM Server for SPARC 3.1 pkg info ldomsmanager 名称 : system/ldoms/ldomsmanager 摘要 : Logical Domains Manager 描述 : LDoms Manager - Virtualization for SPARC T-Series 类别 : System/Virtualization 状态 : 已安装 发布者 : solaris 版本 : 内部发行版 : 5.11 分支 : 打包日期 : 2014 年 02 月 21 日星期五 23 时 04 分 02 秒 大小 : 3.87 MB FMRI: pkg://solaris/system/ldoms/ldomsmanager@ , : t230402z 121

122 观察 Oracle VM Server for SPARC 服务等 svcs -a grep ldmd online 17:17:20 svc:/ldoms/ldmd:default ldm -V Logical Domains Manager (v ) Hypervisor control protocol v 1.11 Using Hypervisor MD v 1.4 System PROM: Hostconfig v /04/04 17:50 Hypervisor v a 2014/04/08 14:05 OpenBoot v /04/04 15:50 root@server1:~# ldm list NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-c-- UART G 0.1% 0.1% 4m 122

123 观察服务器资源 (I/O Bus) ldm list -l -o physio primary DEVICE PSEUDONYM OPTIONS pci_0 pci_1 pci_2 pci_3 pci_12 pci_13 pci_14 pci_15 123

124 创建 3 个服务 : Virtual console concentrator(primary-vcc0), 提供各 domain 控制台服务 Virtual disk device service (primary-vds0), 提供各 domain 虚拟硬盘服务 Virtual network switch (primary-vsw0), 提供各 domain 间虚拟网服务 physical network disk, ZFS volume primary domain vsw0 ixgbe0 ldm vntsd vsw vds ldmd vcc Hypervisor vnet0 vdc vnet0 vdc vnet0 vdc vnet0 vdc Guest domain 1 Guest domain 2 Guest domain 3 Guest domain 4 124

125 创建 3 个服务 : Virtual console concentrator(primary-vcc0), 提供各 domain 控制台服务 Virtual disk device service (primary-vds0), 提供各 domain 虚拟硬盘服务 Virtual network switch (primary-vsw0), 提供各 domain 间虚拟网服务 root@server1:~# ldm add-vcc port-range= primary-vcc0 primary root@server1:~# ldm add-vds primary-vds0 primary root@server1:~# ldm add-vsw net-dev=net0 primary-vsw0 primary root@server1:~# svcs -a grep ldom disabled online online 17:16:43 svc:/ldoms/vntsd:default 17:17:09 svc:/ldoms/agents:default 17:17:20 svc:/ldoms/ldmd:default 125

126 配置 Control domain 为 Control domain 分配 vcpu 或 core, 以 32 核为例 ldm set-core 32 primary 126

127 配置 Control domain 为 Control domain 分配内存, 不推荐在 Control domain 运行时, 利用 DR 功能减少 I/O 和内存, 使用延迟重新配置, 重启后才生效, 推荐使用 2GB 以上内存, 以 512GB 为例 : root@server1:~# ldm start-reconf primary Initiating a delayed reconfiguration operation on the primary domain. All configuration changes for other domains are disabled until the primary domain reboots, at which time the new configuration for the primary domain will also take effect. root@server1:~# ldm set-memory 512G primary Notice: The primary domain is in the process of a delayed reconfiguration. Any changes made to the primary domain will only take effect after it reboots

128 配置 Control domain 显示 I/O 设备 ldm list-io NAME TYPE BUS DOMAIN STATUS pci_0 BUS pci_0 primary pci_1 BUS pci_1 primary pci_2 BUS pci_2 primary pci_3 BUS pci_3 primary /SYS/MB/PCIE5 PCIE pci_1 primary OCC /SYS/MB/PCIE2 PCIE pci_2 primary OCC 128

129 配置 Control domain 从 Primary domain 删除 PCI 设备 ldm start-reconf primary Initiating a delayed reconfiguration operation on the primary domain. All configuration changes for other domains are disabled until the primary domain reboots, at which time the new configuration for the primary domain will also take effect. root@t52:~# ldm set-io iov=on pci_1 root@t52:~# ldm set-io iov=on pci_2 root@t52:~# ldm remove-io /SYS/MB/PCIE2 primary root@t52:~# ldm remove-io /SYS/MB/PCIE5 primary 129

130 配置 Control domain 观察 IO ldm list-io NAME TYPE BUS DOMAIN STATUS pci_0 BUS pci_0 primary pci_1 BUS pci_1 primary IOV pci_2 BUS pci_2 primary IOV pci_3 BUS pci_3 primary /SYS/MB/PCIE5 PCIE pci_1 OCC /SYS/MB/PCIE2 PCIE pci_2 OCC 130

131 配置 Control domain 从 Primary domain 删除 PCI BUS ldm remove-io pci_12 primary ldm remove-io pci_13 primary ldm remove-io pci_14 primary ldm remove-io pci_15 primary Notice: The primary domain is in the process of a delayed reconfiguration. Any changes made to the primary domain will only take effect after it reboots

132 配置 Control domain 观察 IO ldm list-io NAME TYPE BUS DOMAIN STATUS pci_0 BUS pci_0 primary pci_1 BUS pci_1 primary pci_2 BUS pci_2 primary pci_3 BUS pci_3 primary pci_12 BUS pci_12 pci_13 BUS pci_13 pci_14 BUS pci_14 pci_15 BUS pci_15 132

133 配置 Control domain 保存配置到 SP 控制器, 并给名称, 需服务器下电及加电启动 ldm add-spconfig sg-io-domain ldm list-spconfig factory-default sg-io-domain [current] shutdown -y -g0 -i6 Shutdown started 年 09 月 18 日星期四 17 时 42 分 52 秒 CST server1 console login 133

134 配置 Control domain 缺省 Domain 间网络是 disabled 状态,vsw0 需 enable, 需在 ILOM 上操作 ifconfig -a net0: flags= <up,broadcast,running,multicast,ipv4,physrunning> mtu 1500 index 2 inet netmask ffffff00 broadcast ether 0:10:e0:56:eb:22 root@server1:~# ipadm delete-ip net0 134

135 配置 Control domain 缺省 Domain 间网络是 disabled 状态, 需 enable, 需在 ILOM 上操作 dladm show-phys LINK MEDIA STATE SPEED DUPLEX DEVICE net9 Ethernet unknown 0 unknown ixgbe5 net5 Ethernet unknown 0 unknown igb1 net7 Ethernet unknown 0 unknown ixgbe3 net6 Ethernet unknown 0 unknown ixgbe2 net20 Ethernet up 10 full usbecm2 net22 Ethernet up 0 unknown vsw0 135

136 配置 Control domain 缺省 Domain 间网络是 disabled 状态, 需 enable, 需在 ILOM 上操作 ipadm create-ip net22 ipadm create-addr -T static -a /24 net22/v4 route -p add default -gateway add net default: gateway add persistent net default: gateway : entry exists root@server1:~# ifconfig -a net22: flags= <up,broadcast,running,multicast,ipv4,physrunning> mtu 1500 index 4 inet netmask ffffff00 broadcast ether 0:14:4f:fa:2c:84 136

137 配置 Control domain 启动虚拟网络终端服务器, 提供到各 domain 的虚拟 console svcs -a grep vntsd disabled 17:45:29 svc:/ldoms/vntsd:default svcadm enable svc:/ldoms/vntsd:default svcs -a grep vntsd online 17:59:27 svc:/ldoms/vntsd:default ldm list NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART G 0.0% 0.0% 16m 137

138 创建 Guest domain(ldg1) 并分配资源, 包括 CPU 核心, 内存等 ldm add-domain ldg1 ldm set-core 32 ldg1 ldm list-devices mem MEMORY PA 0x x SIZE 255G 256G ldm add-memory 511G ldg1 ldm list NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART G 0.0% 0.0% 18m ldg1 inactive G 138

139 创建 Guest domain(ldg1) 增加 PCI 设备 ldm add-io /SYS/MB/PCIE2 ldg1 ldm add-io /SYS/MB/PCIE5 ldg2 ldm add-spconfig cncc-dio ldm list-spconfig factory-default cncc cncc-dio [current] 139

140 创建 Guest domain(ldg1) 增加 PCI BUS ldm add-io pci_12 ldg1 ldm add-io pci_13 ldg1 ldm add-io pci_14 ldg1 ldm add-io pci_15 ldg1 140

141 创建 Guest domain(ldg1) 设置 OBP 变量 ldm set-var auto-boot\?=false ldg1 141

142 创建 Guest domain(ldg1) 分配光盘到 Control domain 虚拟硬盘服务器设备 分配 Control domain 虚拟硬盘服务器设备到 Guest domain ls -l -rw-r--r-- 1 root root 月 18 日 18:04 sol-11_1_18_5_0-text-sparc.iso root@server1:~# lofiadm -a sol-11_1_18_5_0-text-sparc.iso /dev/lofi/1 root@server1:~# ldm add-vdsdev /dev/lofi/1 iso_vol_ldg1@primary-vds0 root@server1:~# ldm add-vdisk vdisk_iso iso_vol_ldg1@primary-vds0 ldg1 142

143 创建 Guest domain(ldg1) 为 Guest domain 绑定资源, 并启动, 观查 domain 状态 ldm bind ldg1 ldm start-domain ldg1 LDom ldg1 started ldm list NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART G 0.0% 0.0% 24m ldg1 active G 0.0% 0.0% 0s 143

144 创建 Guest domain(ldg1) 登录 Guest domain, 并查看 domain 的启动 telnet Trying Connected to 0. Escape character is '^]'. Connecting to console "ldg1" in group "ldg1"... Press ~? for control options.. {0} ok banner SPARC T5-8, No Keyboard Copyright (c) 1998, 2014, Oracle and/or its affiliates. All rights reserved. OpenBoot , GB memory available, Serial # Ethernet address 0:14:4f:fa:97:b1, Host ID: 84fa97b1. {0} ok 144

145 创建 Guest domain(ldg1) 观察 I/O ldm list-io NAME TYPE BUS DOMAIN STATUS pci_0 BUS pci_0 primary pci_1 BUS pci_1 primary pci_2 BUS pci_2 primary pci_3 BUS pci_3 primary pci_12 BUS pci_12 ldg1 pci_13 BUS pci_13 ldg1 pci_14 BUS pci_14 ldg1 pci_15 BUS pci_15 ldg1 145

146 创建 Guest domain(ldg1) 保存配置到 SP 控制器, 并给名称, 需服务器下电及加电启动 ldm add-spconfig sg-io-domain-ldg1 ldm list-spconfig factory-default sg-io-domain sg-io-domain-ldg1 [current] 146

147 为 Guest domain 安装 Solaris 启动 Guest domain, 并查看硬盘 / 光盘设备 {0} ok devalias screen vdisk_iso disk7 disk6 disk5 disk4 scsi1 net3 net2 disk virtual-console name /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@7/display@0 /virtual-devices@100/channel-devices@200/disk@0 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0/disk@p3 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0/disk@p2 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0/disk@p1 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0/disk@p0 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@c/scsi@0 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@4/network@0,1 /pci@6c0/pci@1/pci@0/pci@c/pci@0/pci@4/network@0 /virtual-devices@100/channel-devices@200/disk@0 /virtual-devices/console@1 aliases 147

148 为 Guest domain 安装 Solaris 虚拟光盘启动, 安装 Solaris {0} ok boot vdisk_iso:f Boot device: File and args: SunOS Release 5.11 Version bit Copyright (c) 1983, 2012, Oracle and/or its affiliates. All rights reserved. 148

149 为 Guest domain 安装 Solaris 观察 Solaris 完成安装后重启 SPARC T5-8, No Keyboard Copyright (c) 1998, 2014, Oracle and/or its affiliates. All rights reserved. OpenBoot , GB memory available, Serial # Ethernet address 0:14:4f:fa:97:b1, Host ID: 84fa97b1. Boot device: File and args: server1-ldg1 console login: 149

150 Guest domain 设置 Solaris 可选, 允许 root SSH 登录 vi /etc/ssh/sshd* PermitRootLogin yes svcadm restart ssh 150

151 Guest domain 设置 Solaris 可选, 增加 Swap 空间 prtconf grep Mem Memory size: Megabytes swap -l -h swapfile dev swaplo blocks free /dev/zvol/dsk/rpool/swap 287,2 8K 4.0G 4.0G swap -d /dev/zvol/dsk/rpool/swap zfs volsize=128g rpool/swap swap -a /dev/zvol/dsk/rpool/swap swap -l -h swapfile dev swaplo blocks free /dev/zvol/dsk/rpool/swap 287,2 8K 128G 128G 151

152 Guest domain 设置 Solaris Enable 设备多路径, 并重启系统 stmsboot e Do you wish to continue? [y/n] (default: y) WARNING: This operation will require a reboot. Do you want to continue? [y/n] (default: y) The changes will come into effect after rebooting the system. Reboot the system now? [y/n] (default: y) 152

153 为 Guest domain 安装 Solaris 升级到指定 SRU(21.4) -p /disk1/software e# tar xvf /root/repo-21.4.tar pkg set-publisher -G '*' -g file:///disk1/software/repo/repo solaris pkg update reboot pkg list entire NAME (PUBLISHER) VERSION IFO entire i-- 153

154 为 Guest domain 安装 Solaris 观察 Solaris 完成安装后 Control domain 和 Guest domain 硬盘 df -h Filesystem Size Used Available Capacity Mounted on rpool/root/solaris-1 547G 30G 318G 9% / root@server1-ldg1:~# df -h Filesystem Size Used Available Capacity Mounted on rpool/root/solaris-1 274G 29G 46G 39% / 154

155 为 Guest domain 安装 Solaris 为 Control domain 和 Guest domain 增加镜像盘 ( 重启前需同步完成 ) root@hsedwd01:~# zpool attach -f rpool c0t5000cca022755cd4d0 c0t5000cca022756b60d0 root@hsedwd01:~# zpool status mirror-0 DEGRADED c0t5000cca022755cd4d0 ONLINE c0t5000cca022756b60d0 DEGRADED (resilvering) root@hsboed01:~# zpool attach rpool c0t5000cca0561b6090d0 c0t5000cca0561db480d0 root@hsboed01:~# zpool status mirror-0 DEGRADED c0t5000cca0561b6090d0 ONLINE c0t5000cca0561db480d0 DEGRADED (resilvering) 155

156 为 Guest domain 安装 Solaris 查看 Control domain 和 Guest domain HBA prtdiag grep pci /SYS/MB/PCIE1 PCIE SUNW,qlc-pciex1077,2532 QLE GT/x8 5.0GT/x4 /SYS/MB/PCIE1 PCIE SUNW,qlc-pciex1077,2532 QLE GT/x8 5.0GT/x4 prtdiag grep pci /SYS/MB/CM1/CMP/PEU0 PCIE SUNW,qlc-pciex1077,2532 QLE GT/x8 5.0GT/x4 /SYS/MB/CM1/CMP/PEU0 PCIE SUNW,qlc-pciex1077,2532 QLE GT/x8 5.0GT/x4 156

157 为 Guest domain 安装 Solaris 查看 Control domain 和 Guest domain HBA fcinfo HBA-port HBA Port WWN: ff51d3f0 Manufacturer: QLogic Corp. Model: State: online HBA Port WWN: ff51d3f1 State: online 157

158 为 Guest domain 安装 Solaris 查看 Control domain 和 Guest domain HBA fcinfo HBA-port HBA Port WWN: ff51d3f4 Manufacturer: QLogic Corp. Model: State: online HBA Port WWN: ff51d3f5 State: online 158

159 为 Guest domain 安装 Solaris 查看 Control domain 和 Guest domain HBA 连接 Pillar zpool status oradata ONLINE c0t000b08004b004203d0 ONLINE root@hsboed01:~# zpool status... data1 ONLINE c0t000b08004a004203d0 ONLINE

160 为 Control domain 和 Guest domain 安装其它语言包 中文 德文 英文 意大利语 日语 西班牙语 locale -a C POSIX de_de.utf-8 en_us.utf-8 es_es.utf-8 fr_fr.utf-8 it_it.utf-8 ja_jp.utf-8 ko_kr.utf-8 pt_br.utf-8 zh_cn.utf-8 zh_tw.utf-8 160

161 为 Control domain 和 Guest domain 安装其它语言包 中文 德文 英文 意大利语 日语 西班牙语 locale -a C POSIX de_de.utf-8 en_us.utf-8 es_es.utf-8 fr_fr.utf-8 it_it.utf-8 ja_jp.utf-8 ko_kr.utf-8 pt_br.utf-8 zh_cn.utf-8 zh_tw.utf-8 161

162 为 Control domain 和 Guest domain 创建备份 BE beadm create beadm create -e s11.1-sru11.4 beadm create beadm create -e s11.1-sru

163 可选 :X-Windows 访问 编辑文件并重启 vi custom.conf [xdmcp] Enable=true svcadm enable svc:/application/graphicallogin/gdm:default reboot svcadm enable svc:/application/graphicallogin/gdm:default reboot 163

164 可选 : 回复 LDoms 导入配置 # ldm list-constraints x > everything.xml # ldm init-system i everything.xml 164

165 可选 : 恢复出厂设置 删除所有 Guest domain root@hsedwd01:~# ldm stop-domain -a root@hsedwd01:~# ldm unbind-domain ldg1 root@hsedwd01:~# ldm remove-domain a 165

166 删除所有 domain 配置, 并重启服务器 ldm list-spconfig factory-default hisense-io-domain hisense-io-domain-hsboed01 [current] ldm rm-config hisense-io-domain ldm rm-config hisense-io-domain-hsboed01 ldm set-config factory-default shutdown -i5 -g0 -y -> stop /SYS -> start /SYS 166

167 SP 控制器恢复出厂配置, 并重启服务器 -> set /HOST/bootmode config=factory-default Set 'config' to 'factory-default' -> reset /SYS Are you sure you want to reset /SYS (y/n)? y 167