PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

诞略扈
5 years ago
Views:

1 Linux 盘符绑定实现原理正一

2 目录 Linux 盘符的分配 Linux 内核 IDR 机制 Linux 盘符绑定

3 Linux 盘符的分配 sd_probe() 函数系统中有新的 SCSI 磁盘 ( 包括 USB 硬盘 ) 插入, 就会调用 sd_probe() 函数哪里决定盘符? 01438: spin_lock(&sd_index_lock ); 01439: error = idr_get_new(&sd_index_idr, NULL, &index); 01440: spin_unlock(&sd_index_lock ); 01441: index 的值决定了盘符若 index=0, 则分配给此块 SCSI 硬盘的盘符为 sda; 若 index=1, 则分配给此块 SCSI 硬盘的盘符为 sdb; 若 index=25, 则分配给此块 SCSI 硬盘的盘符为 sdz;

$Linux 盘符的分配 01408: static int sd_probe(struct device *dev) 01409: {...... 01435: if (!$

4 Linux 盘符的分配 01408: static int sd_probe(struct device *dev) 01409: { : if (! idr_pre_get(&sd_index_idr, GFP_KERNEL)) 01436: goto out_put; 01437: 01438: spin_lock(&sd_index_lock ); 01439: error = idr_get_new(&sd_index_idr, NULL, &index); 01440: spin_unlock(&sd_index_lock ); 01441: 01442: if (index >= SD_MAX_DISKS) 01443: error = - EBUSY; 01444: if (error) 01445: goto out_put; : if (index < 26) { 01466: sprintf(gd- >disk_name, "sd%c", 'a' + index % 26); 01467: } else if (index < (26 + 1) * 26) { 01468: sprintf(gd- >disk_name, "sd%c%c", 01469: a' + index / 26-1,'a' + index % 26); 01470: } else { 01471: const unsigned int m1 = (index / 26-1) / 26-1; 01472: const unsigned int m2 = (index / 26-1) % 26; 01473: const unsigned int m3 = index % 26; 01474: sprintf(gd- >disk_name, "sd%c%c%c", 01475: 'a' + m1, 'a' + m2, 'a' + m3); 01476: } : }? end sd_probe?

5 Linux 盘符的分配 index 值的由来 01435: if (! idr_pre_get(&sd_index_idr, GFP_KERNEL)) 01436: goto out_put; 01437: 01438: spin_lock(&sd_index_lock ); 01439: error = idr_get_new(&sd_index_idr, NULL, &index); 01440: spin_unlock(&sd_index_lock ); index 的值调用 idr_get_new() 函数获取

6 Linux 内核 IDR 机制 idr 的由来如何通过设备的 ID, 来找到快速设备相应的数据结构? 内核 idr 机制 idr 在 linux 内核中指的就是整数 ID 管理机制, 从本质上来说, 这就是一种将整数 ID 号和特定指针关联在一起的机制 idr 机制适用在那些需要把某个整数和特定指针关联在一起的地方该机制内部采用 radix 树实现, 可以很方便地将整数和指针关联起来, 并且具有很高的搜索效率

7 Linux 内核 IDR 机制通过 idr 机制获取 ID 过程 (1) 为 idr 分配内存 int idr_pre_get(struct idr *idp, unsigned int gfp_mask); 每次通过 idr 获得 ID 号之前, 需要先分配内存返回 0 表示错误, 非零值代表正常 (2) 分配 ID 号并将 ID 号和指针关联 int idr_get_new(struct idr *idp, void *ptr, int *id); int idr_get_new_above(struct idr *idp, void *ptr, int start_id, int *id); idp: 之前通过 idr_init 初始化的 idr 指针 id: 由内核自动分配的 ID 号 ptr: 和 ID 号相关联的指针 start_id: 起始 ID 号内核在分配 ID 号时, 会从 start_id 开始

$Linux 内核 IDR 机制 00261: int idr_get_new(struct idr *idp, void *ptr, int *id) 00262: { 00263: int rv; 00264: rv = idr_get_new_above_int(idp, ptr, 0); 00265: / * 00266: * This is a cheap hack until the$

8 Linux 内核 IDR 机制 00261: int idr_get_new(struct idr *idp, void *ptr, int *id) 00262: { 00263: int rv; 00264: rv = idr_get_new_above_int(idp, ptr, 0); 00265: / * 00266: * This is a cheap hack until the IDR code can be fixed to 00267: * return proper error values : */ 00269: if (rv < 0) { 00270: if (rv == - 1) 00271: return - EAGAIN; 00272: else / * Will be - 3 */ 00273: return - ENOSPC; 00274: } 00275: *id = rv; 00276: return 0; 00277: } 00278: EXPORT_SYMBOL(idr_get_new); 00279:

9 Linux 盘符绑定如何控制盘符的名称? 控制 index 的值即可如何做到盘符绑定? 做到硬盘所在的槽位 ID 与 index 值绑定即可即若硬盘槽位 ID 为 1, 则分配的 index 值为 0, 得到的盘符为 sda, 硬盘槽位 ID 为 2, 则分配的 index 值为 1, 得到的盘符为 sdb, 硬盘槽位 ID 为 12, 则分配的 index 值为 11, 得到的盘符为 sdl,

10 Linux 盘符绑定如何获取硬盘槽位 ID? 只有磁盘控制器才知道某块硬盘所在的物理槽位号, 所以借助磁盘控制器驱动, 就可获取硬盘所在的槽位 ID 本材料以 LSI 控制器及对应的 mpt 驱动为例, 介绍获取硬盘所在槽位号的过程热插拔硬盘时所在槽位 ID 获取热插拔硬盘时, 会调用 mptsas_hotplug_work(void *arg) 函数

11 Linux 盘符绑定热插拔时从哪里知道硬盘槽位 ID? 热插拔硬盘时,message frame 消息中记录了发生热插拔事件所在的物理槽位 ID 而驱动将这个物理槽位 ID 存放在 mptsas_hotplug_event 数据结构中的 phy_id 成员变量中 00072: struct mptsas_hotplug_event { 00073: struct work_struct hotplug_work; 00074: MPT_ADAPTER *ioc; 00075: enum mptsas_hotplug_action event_type; 00076: u64 sas_address; 00077: u8 channel; 00078: u8 id; 00079: u32 device_info; 00080: u16 handle; 00081: u8 phy_id; 00082: u8 phys_disk_num; / * hrc - unique index*/ 00083: u8 retries; 00084: u8 refresh_raid_config_pages; 00085: struct scsi_device *sdev; 00086: struct list_head list; 00087: };

12 Linux 盘符绑定热插拔硬盘盘符绑定知道了发生热插拔事件所在的物理槽位 ID, 就可以控制 sd_probe() 函数中的 index 值, 进而控制分配给该块硬盘的盘符系统启动过程中, 无任何热插拔, 如何做到盘符绑定? RHEL4/SLES9 和 RHEL5/SLES10 所使用的 mpt 驱动版本有所不同 ( 详情请参考 mptsas_probe 函数 ) 下面我们分别讨论 RHEL4/SLES9 和 RHEL5/SLES10 系列代码中系统启动过程中如何获取物理槽位 ID

13 Linux 盘符绑定 RHEL5/SLES10 系统启动过程中, 硬盘物理槽位 ID 的获取 mptsas_probe() 调用的 mptsas_scan_sas_topology(), 进而调用 mptsas_probe_expander_phys() 函数, 进而调用 mptsas_probe_one_phy() 函数 00143: struct mptsas_devinfo { 00144: u16 handle; / * unique id to address this device */ 00145: u16 handle_parent; / * unique id to address parent device */ 00146: u16 handle_enclosure; / * enclosure identifier of the enclosure */ 00147: u16 slot; / * physical slot in enclosure */ 00148: u8 phy_id; / * phy number of parent device */ 00149: u8 port_id; / * sas physical port this device 00150: is assoc'd with */ 00151: u8 id; / * logical target id of this device */ 00152: u32 phys_disk_num; / * phys disk id, for csmi- ioctls */ 00153: u8 channel;/ * logical bus number of this device */ 00154: u64 sas_address; / * WWN of this device, 00155: SATA is assigned by HBA,expander */ 00156: u32 device_info; / * bitfield detailed info about this device */ 00157: }; sd_probe() 函数调用栈

14 Linux 盘符绑定 [<f883b327>] sd_probe+0x33a/0x35b [sd_mod] [<c055255e>] device_attach+0x0/0x5 [<c055250e>] driver_probe_device+0x42/0x92 [<c0551e68>] bus_for_each_drv+0x37/0x5e [<c05525aa>] device_attach+0x47/0x58 [<c055255e>] device_attach+0x0/0x5 [<c0551bca>] bus_attach_device+0x13/0x26 [<c05510f2>] device_add+0x204/0x2de [<f8862a9b>] scsi_sysfs_add_sdev+0x2a/0x1d2 [scsi_mod] [<f >] mptscsih_slave_configure+0xb2/0x13d [mptscsih] [<f88614c4>] scsi_probe_and_add_lun+0x7d7/0x8c1 [scsi_mod] [<f8861a9f>] scsi_scan_target+0xb1/0x58c [scsi_mod] [<c04a7ed1>] sysfs_new_dirent+0x53/0x5d [<c04a7f25>] sysfs_make_dirent+0x10/0x6c [<c04a773d>] sysfs_add_file+0x51/0x6a [<c04a774c>] sysfs_add_file+0x60/0x6a [<c04f72e8>] acpi_pci_find_root_bridge+0x1e/0x45 [<f88621c7>] scsi_scan_target+0x5f/0x73 [scsi_mod] [<f884174f>] sas_rphy_add+0xd8/0xe3 [scsi_transport_sas] [<f88acfc8>] mptsas_probe_one_phy+0x422/0x4de [mptsas] [<f88ac9a7>] mptsas_setup_wide_ports+0x115/0x314 [mptsas] [<f88add1e>] mptsas_probe_hba_phys+0x813/0x85e [mptsas] [<f88be27d>] mpt_timer_expired+0x0/0x4e [mptbase] [<f88be27d>] mpt_timer_expired+0x0/0x4e [mptbase] [<f88be27d>] mpt_timer_expired+0x0/0x4e [mptbase] [<f88aed82>] mptsas_probe+0x373/0x3fb [mptsas]

15 Linux 盘符绑定 RHEL4/SLES9 系统启动过程中, 硬盘物理槽位 ID 的获取 mptsas_probe() 函数是向各个 SCSI 通道发送 SCSI 命令, 若有响应则说明该槽位存在硬盘, 最后调用 sd_probe() 函数来分配盘符, 产生新的磁盘设备而在此过程中, 无任何机会获取硬盘所在的物理槽位 ID; 包括 mpt 驱动, 也没给出新发现的硬盘所在的物理槽位 ID 在 mptsas_probe() 函数执行 scsi_scan_host(sh) 之前, 我们可以借助 mpt_sas_get_info() 函数来获取各个槽位的磁盘在位情况这样我们就可以知道当前添加的硬盘所在物理槽位 ID 了

16 Linux 盘符绑定盘符绑定源码何时会执行? 系统启动时, 加载 mptsas 驱动过程中, 会扫描机器上所有的硬盘, 对找到的每块硬盘, 调用 sd_probe() 函数, 分配盘符, 系统就可以使用当空闲的硬盘槽位有硬盘插入时, 也会调用 sd_probe() 函数, 分配盘符, 将新硬盘添加到系统中硬盘读写过程中, 不会执行任何相关盘符绑定源码内核 SCSI 模块和 mpt 驱动中的硬盘读写函数, 未作任何修改服务器厂商认证源码何时会执行? 系统启动时只执行一次, 后续不再执行硬盘读写过程中, 不会执行服务器厂商验证代码

17 Linux 盘符绑定盘符绑定是否会影响硬盘读写性能? 对硬盘读写性能, 无任何影响! 盘符绑定源码只会与机器上的硬盘变化有关, 与硬盘数据读写无关内核 SCSI 模块和 mpt 驱动中的硬盘读写函数, 未作任何修改实现盘符绑定后的驱动和正常的驱动, 硬盘读写流程无任何差异, 无任何额外执行代码

18 谢谢!

CC213

CC213 : (Ken-Yi Lee), E-mail: feis.tw@gmail.com 49 [P.51] C/C++ [P.52] [P.53] [P.55] (int) [P.57] (float/double) [P.58] printf scanf [P.59] [P.61] ( / ) [P.62] (char) [P.65] : +-*/% [P.67] : = [P.68] : ,