目录 1 进程监控和维护 进程监控和维护命令 display exception context display exception filepath display kernel deadloop di

Transcription

1 目录 1 进程监控和维护 进程监控和维护命令 display exception context display exception filepath display kernel deadloop display kernel deadloop configuration display kernel exception display kernel reboot display kernel starvation display kernel starvation configuration display process display process cpu display process log display process memory display process memory heap display process memory heap address display process memory heap size exception filepath monitor kernel deadloop enable monitor kernel deadloop exclude-thread monitor kernel deadloop time monitor kernel starvation enable monitor kernel starvation exclude-thread monitor kernel starvation time monitor process monitor thread process core reset exception context reset kernel deadloop reset kernel exception reset kernel reboot reset kernel starvation 1-44 i

2 1 进程监控和维护 1.1 进程监控和维护命令 display memory display process display process cpu monitor process 和 monitor thread 命令既可显示用户态进程的相关信息, 又可显示内核线程的相关信息, 为简便起见, 在这些命令中, 统一使用 进程 一词来指代 display exception context display exception context 命令用来显示进程异常时的上下文信息 命令 display exception context [ count value ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 count value: 表示上下文信息的显示个数, 取值范围为 1~20, 缺省值为 1 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 当进程发生一次异常, 系统会生成一个 core 文件, 还会生成一条上下文信息, 用于记录异常进程的 ID 生成 core 文件的时间 core 文件存放的位置 栈信息和寄存器信息 一个 core 文件对应 1 条上下文信息, 最多记录的上下文信息数和可记录的 core 文件数目相同 举例 # 显示在设备上的异常上下文信息 <Sysname> display exception context Index 1 of Crashed PID: 120 (routed) Crash signal: SIGBUS Crash time: Tue Apr 9 17:14: Core file path: flash:/core/node0_routed_120_7_ _ core #0 0xb7caba4a #1 0x0804cb79 1-1

3 #2 0xb7cd77c4 #3 0x08049f45 Backtrace stopped. Registers' content eax:0xfffffffc ebx:0x ecx:0xbfe244ec edx:0x a esp:0xbfe244b8 ebp:0xbfe244c8 esi:0xffffffff edi:0xbfe24674 eip:0xb7caba4a eflag:0x cs:0x ss:0x b ds:0x b es:0x b fs:0x gs:0x 略 表 1-1 display exception context 命令输出信息描述表 字段 描述 Crashed PID Crash signal Crash time Core file path Backtrace stopped Registers content 生成 core 文件的进程 ID 导致生成 core 文件的信号生成 core 文件的时间 core 文件存放的位置提示栈信息已经显示完毕寄存器的内容 表 1-2 生成 core 信号描述表 字段 描述 SIGUNKNOW SIGABRT SIGBUS SIGFPE SIGILL SIGQUIT SIGSEGV SIGSYS SIGTRAP SIGXCPU SIGXFSZ 未知原因异常终止 (abort) 硬件故障算术异常非法硬件指令终端退出符无效存储访问无效系统调用硬件故障超过 CPU 限制 (setrlimit) 超过文件长度限制 (setrlimit) 相关命令 reset exception context 1-2

4 1.1.2 display exception filepath display exception filepath 命令用来显示 core 文件的保存路径 命令 display exception filepath [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 slot slot-number: 表示设备在 IRF 中的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示设备 core 文件的保存路径 <Sysname> display exception filepath The exception filepath on slot 1 is flash: display kernel deadloop display kernel deadloop 命令用来显示内核线程死循环信息 命令 display kernel deadloop show-number [ offset ] [ verbose ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 show-number: 需要显示的死循环信息的数目, 取值范围为 1~20 offset: 需要显示的起始条目距最近条目的偏移, 取值范围为 0~19, 缺省值为 0 verbose: 表示显示详细信息 不指定该参数时, 显示概要信息 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示最近一条内核线程死循环的概要信息 <Sysname> display kernel deadloop Deadloop record Description : BUG: soft lockup - CPU#0 stuck for 61! [comsh: 16306] 1-3

5 Recorded at : :16: Occurred at : :16: Instruction address : 0x c Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) # 显示最近一条内核线程死循环的详细信息 <Sysname> display kernel deadloop 1 verbose Deadloop record Description : BUG: soft lockup - CPU#0 stuck for 61! [comsh: 16306] Recorded at : :16: Occurred at : :16: Instruction address : 0x c Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) Last 5 thread switches : migration/0 (11:16: )--> swapper (11:16: )--> kthreadd (11:16: )--> swapper (11:16: )--> disk (11:16: ) Register content: Reg: r0, Val = 0x ; Reg: r1, Val = 0xe2be5ea0 ; Reg: r2, Val = 0x ; Reg: r3, Val = 0x ; Reg: r4, Val = 0x ; Reg: r5, Val = 0x ; Reg: r6, Val = 0x ; Reg: r7, Val = 0x0000ffff ; Reg: r8, Val = 0x ; Reg: r9, Val = 0x ; Reg: r10, Val = 0x ; Reg: r11, Val = 0x c ; Reg: r12, Val = 0x057d9484 ; Reg: r13, Val = 0x ; Reg: r14, Val = 0x ; Reg: r15, Val = 0x ; Reg: r16, Val = 0xe2be5f00 ; Reg: r17, Val = 0x ; Reg: r18, Val = 0x ; Reg: r19, Val = 0x ; Reg: r20, Val = 0x024c10f8 ; Reg: r21, Val = 0x057d9244 ; Reg: r22, Val = 0x ; Reg: r23, Val = 0x c ; Reg: r24, Val = 0x ; Reg: r25, Val = 0x ; Reg: r26, Val = 0x ; Reg: r27, Val = 0x057d9484 ; Reg: r28, Val = 0x c ; Reg: r29, Val = 0x ; Reg: r30, Val = 0x c ; Reg: r31, Val = 0x ; 1-4

6 Reg: cr, Val = 0x ; Reg: nip, Val = 0x057d9550 ; Reg: xer, Val = 0x ; Reg: lr, Val = 0x0186eff0 ; Reg: ctr, Val = 0x682f7344 ; Reg: msr, Val = 0x00784b5c ; Reg: trap, Val = 0x0000b030 ; Reg: dar, Val = 0x ; Reg: dsisr, Val = 0x ; Reg: result, Val = 0x ; Dump stack (total 1024 bytes, 16 bytes/line): 0xe2be5ea0: 02 be 5e c d xe2be5eb0: d 34 c4 0xe2be5ec0: 02 be 60 a ef f xe2be5ed0: b xe2be5ee0: xe2be5ef0: xe2be5f00: a0 e xe2be5f10: e xe2be5f20: xe2be5f30: be 66 c0 02 be 66 d0 0xe2be5f40: 02 be 61 e b3 a4 0xe2be5f50: 02 be 5f be 5f e xe2be5f60: 02 be 5f ac 1b xe2be5f70: 05 b4 5f be 5f e be 5f e0 0xe2be5f80: 02 be 5f c0 00 ac 1b f xe2be5f90: be 5f e xe2be5fa0: 02 be 5f c0 00 ac 1b f1 2e ae xe2be5fb0: b be 5f d be 5f e0 0xe2be5fc0: 02 be ff f xe2be5fd0: 02 be 5f f0 00 e8 93 7e 02 be 5f f8 02 be 5f fc 0xe2be5fe0: be xe2be5ff0: 02 be e a 4f 0xe2be6000: 02 be be xe2be6010: 02 be e8 c6 a xe2be6020: 02 be be xe2be6030: be xe2be6040: 02 be b be xe2be6050: e xe2be6060: xe2be6070: be 66 c0 02 be 66 d0 0xe2be6080: 02 be 61 e be xe2be6090: d 34 c4 05 7d Call trace: Function Address = 0x8012a4b4 Function Address = 0x c Function Address = 0x80179b30 Function Address = 0x Function Address = 0x8012d734 Function Address = 0x80100a00 Function Address = 0xe

7 Function Address = 0x8016ce0c Function Address = 0x801223a0 Instruction dump: 41a2fe9c ec ec 7f efe8c b07b9 40a2fe80 4bfffe6c f64db ea35 <807f002c> a c 表 1-3 display kernel deadloop 命令显示信息描述表 字段 描述 Description Recorded at Occurred at Instruction address Thread Context Slot CPU ID Kernel module info Last 5 thread switches Register content Dump stack Call trace Instruction dump No information to display 发生死循环的内核线程的描述信息, 包括死循环内核线程所在的 CPU 编号 内核线程连续运行的时间 内核线程的名称和编号 内核线程死循环被记录到主控板上的时间点, 精确到微秒 内核线程发生死循环的时间, 精确到微秒 内核线程被检测到发生死循环时对应的指令信息 发生死循环的内核线程的名称和编号 内核线程被检测到发生死循环时所在的上下文环境 运行该内核线程的设备的成员编号 运行该内核线程的 CPU 的编号 内核线程被检测到发生死循环时, 系统中已加载的内核模块信息 包括内核模块名和内核模块加载的内存地址 内核线程被检测到发生死循环时, 记录死循环发生的 CPU 上 最近五次的内核线程切换轨迹 包括内核线程的名称和内核线程切换时间点, 时间精确到微秒 内核线程被检测到发生死循环时现场的寄存器信息 Reg 表示寄存器名称,Val 表示寄存器中保存的值 内核线程被检测到发生死循环时现场的堆栈信息 内核线程被检测到发生死循环时现场的函数调用栈信息, 即每级调用函数的指令地址 内核线程被检测到发生死循环时对应的指令码 非法指令用 ffffffff 表示 表示系统中没有内核线程死循环记录 相关命令 reset kernel deadloop display kernel deadloop configuration display kernel deadloop configuration 命令用来显示内核线程死循环监控参数配置 命令 display kernel deadloop configuration [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 1-6

8 缺省用户角色 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示内核线程死循环监控参数配置 <Sysname> display kernel deadloop configuration Thread dead loop detection: Enabled Dead loop timer (in seconds): 60 Threads excluded from monitoring: 1 TID: 15 Name: co0 表 1-4 display kernel deadloop configuration 命令显示信息描述表 字段 Thread dead loop detection: Enabled Thread dead loop detection: Disabled Dead loop timer (in seconds): n Threads excluded from monitoring Name TID No thread is excluded from monitoring 描述 内核线程死循环检测功能处于开启状态 内核线程死循环检测功能处于关闭状态 内核线程死循环判定周期 ( 单位为秒 ), 即内核线程连续运行时间大于 n 秒时, 则判定为死循环 不进行死循环检测的内核线程列表, 配置 monitor kernel deadloop exclude-thread 命令后才会显示该信息 不进行死循环检测的内核线程的名称 不进行死循环检测的内核线程的编号 对所有内核线程都进行死循环检查 display kernel exception display kernel exception 命令用来显示内核线程的异常信息 命令 display kernel exception show-number [ offset ] [ verbose ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 show-number: 需要显示的异常信息的数目, 取值范围为 1~20 1-7

9 offset: 开始显示的条目距最近条目的偏移, 取值范围为 0~19, 缺省值为 0 verbose: 显示详细信息 不指定该参数时, 显示概要信息 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 当内核线程在运行过程中发生异常时, 系统会自动记录异常信息, 以便设备维护人员定位问题 举例 # 显示最近一条内核线程异常的概要信息 <Sysname> display kernel exception Exception record Description : Oops[#0] Recorded at : :16: Occurred at : :16: Instruction address : 0x c Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (disk) module address (0xe00bd000) # 显示最近一条内核线程异常的详细信息 <Sysname> display kernel exception 1 verbose Exception record Description : Oops[#0] Recorded at : :16: Occurred at : :16: Instruction address : 0x c Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) Last 5 thread switches : migration/0 (11:16: )--> swapper (11:16: )--> kthreadd (11:16: )--> swapper (11:16: )--> disk (11:16: ) Register content: Reg: r0, Val = 0x ; Reg: r1, Val = 0xe2be5ea0 ; Reg: r2, Val = 0x ; Reg: r3, Val = 0x ; 1-8

10 Reg: r4, Val = 0x ; Reg: r5, Val = 0x ; Reg: r6, Val = 0x ; Reg: r7, Val = 0x0000ffff ; Reg: r8, Val = 0x ; Reg: r9, Val = 0x ; Reg: r10, Val = 0x ; Reg: r11, Val = 0x c ; Reg: r12, Val = 0x057d9484 ; Reg: r13, Val = 0x ; Reg: r14, Val = 0x ; Reg: r15, Val = 0x ; Reg: r16, Val = 0xe2be5f00 ; Reg: r17, Val = 0x ; Reg: r18, Val = 0x ; Reg: r19, Val = 0x ; Reg: r20, Val = 0x024c10f8 ; Reg: r21, Val = 0x057d9244 ; Reg: r22, Val = 0x ; Reg: r23, Val = 0x c ; Reg: r24, Val = 0x ; Reg: r25, Val = 0x ; Reg: r26, Val = 0x ; Reg: r27, Val = 0x057d9484 ; Reg: r28, Val = 0x c ; Reg: r29, Val = 0x ; Reg: r30, Val = 0x c ; Reg: r31, Val = 0x ; Reg: cr, Val = 0x ; Reg: nip, Val = 0x057d9550 ; Reg: xer, Val = 0x ; Reg: lr, Val = 0x0186eff0 ; Reg: ctr, Val = 0x682f7344 ; Reg: msr, Val = 0x00784b5c ; Reg: trap, Val = 0x0000b030 ; Reg: dar, Val = 0x ; Reg: dsisr, Val = 0x ; Reg: result, Val = 0x ; Dump stack (total 1024 bytes, 16 bytes/line): 0xe2be5ea0: 02 be 5e c d xe2be5eb0: d 34 c4 0xe2be5ec0: 02 be 60 a ef f xe2be5ed0: b xe2be5ee0: xe2be5ef0: xe2be5f00: a0 e xe2be5f10: e xe2be5f20: xe2be5f30: be 66 c0 02 be 66 d0 0xe2be5f40: 02 be 61 e b3 a4 0xe2be5f50: 02 be 5f be 5f e xe2be5f60: 02 be 5f ac 1b xe2be5f70: 05 b4 5f be 5f e be 5f e0 0xe2be5f80: 02 be 5f c0 00 ac 1b f xe2be5f90: be 5f e xe2be5fa0: 02 be 5f c0 00 ac 1b f1 2e ae xe2be5fb0: b be 5f d be 5f e0 0xe2be5fc0: 02 be ff f xe2be5fd0: 02 be 5f f0 00 e8 93 7e 02 be 5f f8 02 be 5f fc 0xe2be5fe0: be xe2be5ff0: 02 be e a 4f 0xe2be6000: 02 be be xe2be6010: 02 be e8 c6 a xe2be6020: 02 be be xe2be6030: be xe2be6040: 02 be b be

11 0xe2be6050: e xe2be6060: xe2be6070: be 66 c0 02 be 66 d0 0xe2be6080: 02 be 61 e be xe2be6090: d 34 c4 05 7d Call trace: Function Address = 0x8012a4b4 Function Address = 0x c Function Address = 0x80179b30 Function Address = 0x Function Address = 0x8012d734 Function Address = 0x80100a00 Function Address = 0xe Function Address = 0x8016ce0c Function Address = 0x801223a0 Instruction dump: 41a2fe9c ec ec 7f efe8c b07b9 40a2fe80 4bfffe6c f64db ea35 <807f002c> a c 本命令显示信息的详细描述请参见表 1-3 相关命令 reset kernel exception display kernel reboot display kernel reboot 命令用来显示内核线程的重启信息 命令 display kernel reboot show-number [ offset ] [ verbose ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 show-number: 需要显示的重启信息的数目, 取值范围为 1~20 offset: 需要显示的起始条目距最近条目的偏移, 取值范围为 0~19, 缺省值为 0 verbose: 表示显示详细信息 不指定该参数时, 显示概要信息 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示最近一条内核线程重启的概要信息 <Sysname> display kernel reboot

12 Reboot record Recorded at : :16: Occurred at : :16: Reason : 0x31 Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) # 显示最近一条内核线程重启的详细信息 <Sysname> display kernel reboot 1 verbose Reboot record Recorded at : :16: Occurred at : :16: Reason : 0x31 Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) Last 5 thread switches : migration/0 (11:16: )--> swapper (11:16: )--> kthreadd (11:16: )--> swapper (11:16: )--> disk (11:16: ) Dump stack (total 1024 bytes, 16 bytes/line): 0xe2be5ea0: 02 be 5e c d xe2be5eb0: d 34 c4 0xe2be5ec0: 02 be 60 a ef f xe2be5ed0: b xe2be5ee0: xe2be5ef0: xe2be5f00: a0 e xe2be5f10: e xe2be5f20: xe2be5f30: be 66 c0 02 be 66 d0 0xe2be5f40: 02 be 61 e b3 a4 0xe2be5f50: 02 be 5f be 5f e xe2be5f60: 02 be 5f ac 1b xe2be5f70: 05 b4 5f be 5f e be 5f e0 0xe2be5f80: 02 be 5f c0 00 ac 1b f xe2be5f90: be 5f e

13 0xe2be5fa0: 02 be 5f c0 00 ac 1b f1 2e ae xe2be5fb0: b be 5f d be 5f e0 0xe2be5fc0: 02 be ff f xe2be5fd0: 02 be 5f f0 00 e8 93 7e 02 be 5f f8 02 be 5f fc 0xe2be5fe0: be xe2be5ff0: 02 be e a 4f 0xe2be6000: 02 be be xe2be6010: 02 be e8 c6 a xe2be6020: 02 be be xe2be6030: be xe2be6040: 02 be b be xe2be6050: e xe2be6060: xe2be6070: be 66 c0 02 be 66 d0 0xe2be6080: 02 be 61 e be xe2be6090: d 34 c4 05 7d Call trace: Function Address = 0x8012a4b4 Function Address = 0x c Function Address = 0x80179b30 Function Address = 0x Function Address = 0x8012d734 Function Address = 0x80100a00 Function Address = 0xe Function Address = 0x8016ce0c Function Address = 0x801223a0 表 1-5 display kernel reboot 命令显示信息描述表 字段 Recorded at Occurred at Reason Thread Context Slot CPU ID Kernel module info Last 5 thread switches Dump stack Call trace No information to display 描述 内核线程重启记录到系统中的时间点, 精确到微秒 内核线程重启的时间, 精确到微秒 内核线程重启的原因 重启的内核线程的名称和编号 内核线程重启时所在的上下文环境 运行该内核线程的设备的成员编号 重启发生时当前 CPU 编号 重启发生时, 系统中已加载的内核模块信息 包括内核模块名和内核模块加载的内存地址 系统重启时, 记录重启的 CPU 上 最近五次的内核线程切换轨迹 包括内核线程的名称和内核线程切换时间点, 时间精确到微秒 内核线程重启时现场的堆栈信息 内核线程重启时现场的函数调用栈信息, 即每级调用函数的指令地址 表示系统中没有内核线程重启记录 1-12

14 相关命令 reset kernel reboot display kernel starvation display kernel starvation 命令用来显示内核线程饿死信息 命令 display kernel starvation show-number [ offset ] [ verbose ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 show-number: 需要显示的内核线程饿死信息的数目, 取值范围为 1~20 offset: 需要显示的起始条目距最近条目的偏移, 取值范围为 0~19, 缺省值为 0 verbose: 表示显示详细信息 不指定该参数时, 显示概要信息 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示最近一条内核线程饿死的概要信息 <Sysname> display kernel starvation Starvation record Description : INFO: task comsh: blocked for more than 10 seconds. Recorded at : :16: Occurred at : :16: Instruction address : 0x c Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) # 显示最近一条内核线程饿死的详细信息 <Sysname> display kernel starvation 1 verbose Starvation record Description : INFO: task comsh: blocked for more than 10 seconds. Recorded at : :16: Occurred at : :16:

15 Instruction address : 0x c Thread : comsh (TID: 16306) Context : thread context Chassis : 0 Slot : 0 CPU ID : 0 Kernel module info : module name (mrpnc) module address (0xe332a000) module name (12500) module address (0xe00bd000) Last 5 thread switches : migration/0 (11:16: )--> swapper (11:16: )--> kthreadd (11:16: )--> swapper (11:16: )--> disk (11:16: ) Register content: Reg: r0, Val = 0x ; Reg: r1, Val = 0xe2be5ea0 ; Reg: r2, Val = 0x ; Reg: r3, Val = 0x ; Reg: r4, Val = 0x ; Reg: r5, Val = 0x ; Reg: r6, Val = 0x ; Reg: r7, Val = 0x0000ffff ; Reg: r8, Val = 0x ; Reg: r9, Val = 0x ; Reg: r10, Val = 0x ; Reg: r11, Val = 0x c ; Reg: r12, Val = 0x057d9484 ; Reg: r13, Val = 0x ; Reg: r14, Val = 0x ; Reg: r15, Val = 0x ; Reg: r16, Val = 0xe2be5f00 ; Reg: r17, Val = 0x ; Reg: r18, Val = 0x ; Reg: r19, Val = 0x ; Reg: r20, Val = 0x024c10f8 ; Reg: r21, Val = 0x057d9244 ; Reg: r22, Val = 0x ; Reg: r23, Val = 0x c ; Reg: r24, Val = 0x ; Reg: r25, Val = 0x ; Reg: r26, Val = 0x ; Reg: r27, Val = 0x057d9484 ; Reg: r28, Val = 0x c ; Reg: r29, Val = 0x ; Reg: r30, Val = 0x c ; Reg: r31, Val = 0x ; Reg: cr, Val = 0x ; Reg: nip, Val = 0x057d9550 ; Reg: xer, Val = 0x ; Reg: lr, Val = 0x0186eff0 ; Reg: ctr, Val = 0x682f7344 ; Reg: msr, Val = 0x00784b5c ; Reg: trap, Val = 0x0000b030 ; Reg: dar, Val = 0x ; Reg: dsisr, Val = 0x ; Reg: result, Val = 0x ; Dump stack (total 1024 bytes, 16 bytes/line): 0xe2be5ea0: 02 be 5e c d xe2be5eb0: d 34 c4 0xe2be5ec0: 02 be 60 a ef f xe2be5ed0: b xe2be5ee0: xe2be5ef0: xe2be5f00: a0 e xe2be5f10: e xe2be5f20:

16 0xe2be5f30: be 66 c0 02 be 66 d0 0xe2be5f40: 02 be 61 e b3 a4 0xe2be5f50: 02 be 5f be 5f e xe2be5f60: 02 be 5f ac 1b xe2be5f70: 05 b4 5f be 5f e be 5f e0 0xe2be5f80: 02 be 5f c0 00 ac 1b f xe2be5f90: be 5f e xe2be5fa0: 02 be 5f c0 00 ac 1b f1 2e ae xe2be5fb0: b be 5f d be 5f e0 0xe2be5fc0: 02 be ff f xe2be5fd0: 02 be 5f f0 00 e8 93 7e 02 be 5f f8 02 be 5f fc 0xe2be5fe0: be xe2be5ff0: 02 be e a 4f 0xe2be6000: 02 be be xe2be6010: 02 be e8 c6 a xe2be6020: 02 be be xe2be6030: be xe2be6040: 02 be b be xe2be6050: e xe2be6060: xe2be6070: be 66 c0 02 be 66 d0 0xe2be6080: 02 be 61 e be xe2be6090: d 34 c4 05 7d Call trace: Function Address = 0x8012a4b4 Function Address = 0x c Function Address = 0x80179b30 Function Address = 0x Function Address = 0x8012d734 Function Address = 0x80100a00 Function Address = 0xe Function Address = 0x8016ce0c Function Address = 0x801223a0 Instruction dump: 41a2fe9c ec ec 7f efe8c b07b9 40a2fe80 4bfffe6c f64db ea35 <807f002c> a c 本命令显示信息的详细描述请参见表 1-3 相关命令 reset kernel starvation display kernel starvation configuration display kernel starvation configuration 命令用来显示内核线程的饿死监控参数的配置 命令 display kernel starvation configuration [ slot slot-number [ cpu cpu-number ] ] 1-15

17 视图 任意视图 缺省用户角色 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示内核线程饿死监控参数配置 <Sysname> display kernel starvation configuration Thread starvation detection: Enabled Starvation timer (in seconds): 10 Threads excluded from monitoring: 1 TID: 123 Name: co0 表 1-6 display kernel starvation configuration 命令显示信息描述表 字段 Thread starvation detection: Enabled Thread starvation detection: Disabled Starvation timer (in seconds): n Threads excluded from monitoring Name TID 描述 内核线程饿死检测功能处于开启状态 内核线程饿死检测功能处于关闭状态 内核线程饿死判定周期 ( 单位为秒 ) 即如果内核线程在 n 秒内一直不能运行, 则判定为饿死 不进行饿死检测的内核线程列表 不进行饿死检测的内核线程的名称 不进行饿死检测的内核线程的编号 相关命令 monitor kernel starvation enable monitor kernel starvation exclude-thread monitor kernel starvation time display process display process 命令用来显示进程的状态信息 命令 display process [ all job job-id name process-name ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 1-16

18 缺省用户角色 network-operator all: 显示所有进程的状态信息 指定 all 参数和不指定任何可选参数时, 命令行的执行效果相同 job job-id: 任务编号, 用于唯一标识一个进程, 该编号不会随着进程的重启而改变, 取值范围为 1~ name process-name: 进程名称, 为 1~15 个字符的字符串, 不区分大小写, 不能包含问号和空格 slot slot-number: 表示设备在 IRF 中的成员编号, 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示进程 scmd 的状态信息 <Sysname> display process name scmd Job ID: 1 PID: 1 Parent JID: 0 Parent PID: 0 Executable path: - Instance: 0 Respawn: OFF Respawn count: 1 Max. spawns per minute: 0 Last started: Wed Jun 1 14:45: Process state: sleeping Max. core: 0 ARGS: - TID LAST_CPU Stack PRI State HH:MM:SS:MESC Name 1 0 0K 120 S 0:0:5:220 scmd 表 1-7 display process name 命令显示信息描述表 字段 描述 Job ID PID Parent JID Parent PID 任务编号, 用于唯一标识一个进程, 该编号不会随着进程的重启而改变进程编号, 用于标识一个进程, 但该编号可能会随着进程的重启而改变父进程的任务编号父进程的进程编号 Executable path 进程执行路径 ( 内核线程执行路径显示为 - ) Instance 进程的实例号 ( 一个进程根据需要在软件实现时决定了它是否会运行多个实例 ) 运行出错时, 该进程是否会自动重启 : Respawn ON 表示自动重启 OFF 表示不自动重启 1-17

19 字段 描述 Respawn count 进程重启的次数 ( 初始值为 1) Max. spawns per minute Last started 进程一分钟内允许异常重启的最大次数 ( 如果进程在一分钟内异常重启次数超过该值, 则系统会自动关闭该进程 ) 进程最近一次启动的日期和时间 进程状态, 可能的取值为 : Process state Max. core running, 运行状态或正在队列中等待调度 sleeping, 可中断睡眠状态 traced or stopped, 暂停状态 uninterruptible sleep, 不可中断睡眠状态 zombie, 僵死状态 进程最多可以生成的 core 文件的数量, 如果为 0 表示不生成 core 文件 ( 进程异常重启一次, 会产生一个 core 文件 如果生成的 core 文件的数目达到最大值, 则不再生成 core 文件 软件开发和维护人员能够根据 core 文件的内容来定位异常的原因和异常的位置 ) ARGS 进程启动时携带的参数 如果进程不带参数, 显示为 - TID LAST_CPU Stack PRI 线程编号进程最近一次被调度时, 所在的 CPU 堆栈大小线程优先级 线程状态, 可能的取值为 : State HH:MM:SS:MESC Name R:running, 运行状态或正在队列中等待调度 S:sleeping, 可中断睡眠状态 T:traced or stopped, 暂停状态 D:uninterruptible sleep, 不可中断睡眠状态 Z:zombie, 僵死状态进程最近一次启动后的运行时间进程名称 # 显示所有进程的状态信息 <Sysname> display process all JID PID %CPU %MEM STAT PRI TTY HH:MM:SS COMMAND S :00:04 scmd S :00:00 [kthreadd] S 99-00:00:00 [migration/0] S :00:05 [ksoftirqd/0] S 99-00:00:00 [watchdog/0] S :00:00 [events/0] S :00:00 [khelper] S :00:00 [kblockd/0] 1-18

20 S :00:00 [ata/0] S :00:00 [ata_aux] S :00:00 [kseriod] S :00:00 [vzmond] S :00:00 [pdflush] S :00:00 [pdflush] S :00:00 [kswapd0] S :00:00 [aio/0] S :00:00 [scsi_eh_0] S :00:00 [scsi_eh_1] S :00:00 [scsi_eh_2] D :00:00 [lipc_topology] ---- More ---- 表 1-8 display process all 命令显示信息描述 字段 描述 JID PID 任务编号, 用于唯一标识一个进程, 该编号不会随着进程的重启而改变 进程编号 %CPU CPU 使用率 ( 用百分比表示 ) %MEM 内存使用率 ( 用百分比表示 ) 进程状态, 可能的取值为 : STAT R:running, 运行状态或处于运行队列 S:sleeping, 可中断睡眠状态 T:traced or stopped, 暂停状态 D:uninterruptible sleep, 不可中断睡眠状态 Z:zombie, 僵死状态 PRI 进程优先级 ( 优先级在进程调度时发挥作用, 优先级高的会优先得到调度 ) TTY HH:MM:SS 进程使用的终端 进程最近一次启动后的运行时间 COMMAND 进程名称以及进程运行的参数 ( 如果进程名称带有 [ ] 标记, 则表示内核线程 ) display process cpu display process cpu 命令用来显示所有进程的 CPU 使用率信息 命令 display process cpu [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 1-19

21 network-operator slot slot-number: 表示设备在 IRF 中的成员编号, 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示所有进程 CPU 使用率信息 <Sysname> display process cpu CPU utilization in 5 secs: 16.8%; 1 min: 4.7%; 5 mins: 4.7% JID 5Sec 1Min 5Min Name 1 0.0% 0.0% 0.0% scmd 2 0.0% 0.0% 0.0% [kthreadd] 3 0.1% 0.0% 0.0% [ksoftirqd/0] 4 0.0% 0.0% 0.0% [watchdog/0] 5 0.0% 0.0% 0.0% [events/0] 6 0.0% 0.0% 0.0% [khelper] % 0.0% 0.0% [kblockd/0] % 0.0% 0.0% [vzmond] % 0.0% 0.0% [pdflush] % 0.0% 0.0% [pdflush] % 0.0% 0.0% [kswapd0] % 0.0% 0.0% [aio/0] % 0.0% 0.0% [mtdblockd] % 0.0% 0.0% [TNetJob] % 0.0% 0.0% [TMTH] % 0.0% 0.0% [CF] % 0.0% 0.0% [DIBC] % 0.0% 0.0% [lipc_topology] % 0.0% 0.0% [MNET] % 0.0% 0.0% [SYSM] ---- More ---- 表 1-9 display process cpu 命令显示信息描述表 字段 CPU utilization in 5 secs: 16.8%; 1 min: 4.7%; 5 mins: 4.7% 描述 系统最近 5 秒 CPU 使用率 ; 最近 1 分钟 CPU 使用率 ; 最近 5 分钟 CPU 使用率 JID 任务编号 ( 用于唯一标识一个进程, 该编号不会随着进程的重启而改变 ) 5Sec 1Min 5Min 最近 5 秒钟内进程的 CPU 使用率 最近 1 分钟内进程的 CPU 使用率 最近 5 分钟内进程的 CPU 使用率 Name 进程名称 ( 如果进程名称带有 [ ] 标记, 则表示该进程为内核线程 ) 1-20

22 display process log display process log 命令用来显示所有用户态进程的日志信息 命令 display process log [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 network-operator slot slot-number: 表示设备在 IRF 中的成员编号, 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 举例 # 显示所有用户态进程的日志信息 <Sysname> display process log Name JID PID Abort Core Start-time End-time knotify N N :31: :31:02 knotify N N :31: :31:02 knotify N N :31: :31:03 pkg_update N N :31: :31:06 autocfgd N N :31: :31:13 comsh N N :31: :31:13 表 1-10 display process log 命令显示信息描述表 字段 描述 Name JID PID 用户态进程名 用户态进程任务编号 用户态进程编号 是否异常退出 : Abort Y 表示异常退出 N 表示正常退出 是否产生 core 文件 Core Start-time End-time Y 表示产生 N 表示未产生用户态进程创建时间用户态进程结束时间 1-21

23 display process memory display process memory 命令用来显示所有用户态进程的代码段 数据段以及堆栈等的内存使用信息 命令 display process memory [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 network-operator slot slot-number: 表示设备在 IRF 中的成员编号, 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 用户态进程启动时, 会向系统申请 Text Data Stack 和 Dynamic 类型的内存 Text 类型的内存用来存放用户态进程的代码 Data 类型的内存用来存放用户态进程的数据 Stack 内存指的是栈内存, 一般存放临时数据 Dynamic 类型的内存指的是堆内存 (heap), 由系统根据用户态进程运行需要进行动态分配 (malloc) 和释放 (free), 可使用 display process memory heap 命令显示 Dynamic 类型内存的详细信息 举例 # 显示所有用户态进程的内存使用信息 <Sysname> display process memory JID Text Data Stack Dynamic Name scmd [kthreadd] [ksoftirqd/0] [watchdog/0] [events/0] [khelper] [kblockd/0] [vzmond] [pdflush] ---- More ---- 表 1-11 display process memory 命令显示信息描述表 字段 描述 JID 任务编号 用于唯一标识一个用户态进程, 该编号不会随着用户态进程的重启而改变 1-22

24 字段 描述 Text 用户态进程占用的代码段大小, 单位为 KB( 内核线程该项大小为 0) Data 用户态进程占用的数据段大小, 单位为 KB( 内核线程该项大小为 0) Stack 用户态进程占用的堆栈大小, 单位为 KB( 内核线程该项大小为 0) Dynamic 用户态进程动态申请内存大小, 单位为 KB( 内核线程该项大小为 0) Name 用户态进程名称 ( 如果用户态进程名称带有 [ ] 标记, 则表示该进程为内核线程 ) 相关命令 display process memory heap display process memory heap address display process memory heap size display process memory heap display process memory heap 命令用来显示指定用户态进程的堆内存统计信息 命令 display process memory heap job job-id [ verbose ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 network-operator job job-id: 任务编号, 用于唯一标识一个用户态进程, 该编号不会随着用户态进程的重启而改变 取值范围为 1~ verbose: 显示内存详细统计信息 不指定该参数时, 显示内存概要统计信息 slot slot-number: 表示设备在 IRF 中的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 系统的堆内存由固定大小 ( 比如 size=16 字节 size=64 字节等 ) 的内存块构成, 用于存放用户态进程运行过程中需要用到的数据或者中间变量 当用户态进程启动时, 系统会根据用户态进程运行需要, 给用户态进程动态分配堆内存 用户态进程的堆内存信息可使用 display process memory heap 命令显示 每个内存块都有地址, 该地址用十六进制数表示, 可通过 display process memory heap size 命令显示 用户使用内存块的地址可以访问内存块, 获取内存块的内容, 内存块的内容可通过 display process memory heap address 命令显示 1-23

25 举例 # 显示 job 148 的堆内存概要统计信息 <Sysname> display process memory heap job 148 Total virtual memory heap space(in bytes) : Total physical memory heap space(in bytes) : Total allocated memory(in bytes) : # 显示 job 148 的堆内存详细统计信息 <Sysname> display process memory heap job 148 verbose Heap usage: Size Free Used Total Free Ratio % % % % % % % Summary: Total virtual memory heap space (in bytes) : Total physical memory heap space (in bytes) : Total allocated memory (in bytes) : 以上显示信息表明 :job 148 分得 size 大小 16 字节的内存块 60 个 ( 已用 52 个, 还有 8 个未使用 ), size 大小为 64 字节的内存块 1265 个 ( 已用 1262 个, 还有 3 个未使用 ), 以此类推 表 1-12 display process memory heap 命令显示信息描述表 命令字 功能描述 Total virtual memory heap space(in bytes) Total physical memory heap space(in bytes) Total allocated memory(in bytes) Size Free Used Total Free Ratio 虚拟堆内存总大小, 单位为字节物理堆内存总大小, 单位为字节任务已使用的堆内存大小, 单位为字节内存块大小, 单位为字节空闲的内存块个数已使用的内存块个数指定大小内存块总个数, 为 Free 和 Used 之和 Free 与 Total 的比率, 可以反映这种大小内存块的碎片情况 相关命令 display process memory display process memory heap address display process memory heap size 1-24

26 display process memory heap address display process memory heap address 命令用来显示从指定地址开始的内存空间的内容 命令 display process memory heap job job-id address starting-address length memory-length [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 network-operator job job-id: 任务编号, 用于唯一标识一个用户态进程, 该编号不会随着用户态进程的重启而改变, 取值范围为 1~ address starting-address: 内存块的起始地址 length memory-length: 内存的长度, 取值范围为 1~1024, 单位为字节 slot slot-number: 表示设备在 IRF 中的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 当用户态进程运行异常时, 使用该命令可以帮助设备维护人员诊断和定位问题 举例 # 显示 job 1 从地址 0xb7e30580 开始, 长度为 128 字节的内存空间的内容 <Sysname> display process memory heap job 1 address b7e30580 length 128 B7E30580: EF FF E4 39 E2 B7 7C 05 E3 B B7E30590: EF FF 2F E 2F 73 6C /sbin/slbgd. B7E305A0: EF FF B E2 B7 8C 05 E3 B7...D;... B7E305B0: EF FF 2F E 2F 6F /sbin/d. B7E305C0: EF FF A4 3C E2 B7 AC 05 E3 B7...<... B7E305D0: EF FF 2F E 2F 6D /sbin/mstpd. B7E305E0: EF FF E E2 B7 CC 05 E3 B7...>... B7E305F0: EF FF 2F E 2F 6E /sbin/ntpd.. 相关命令 display process memory heap display process memory heap size display process memory heap size display process memory heap size 命令用来显示指定大小已使用内存块的地址 1-25

27 命令 display process memory heap job job-id size memory-size [ offset offset-size ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 network-operator job job-id: 任务编号, 用于唯一标识一个用户态进程, 该编号不会随着用户态进程的重启而改变, 取值范围为 1~ size memory-size: 内存块大小, 取值范围为 1~ offset offset-size: 要查询的内存块的偏移, 取值范围为 0~ , 缺省值为 128 比如, 系统给 job 1 分配了 size 为 16 字节的内存块 100 个, 用户态进程当前已用了 66 个, 如果执行命令 display process memory heap job 1 size 16 offset 50, 则会显示该用户态进程第 51 到第 66 个 size 为 16 字节的内存块的地址 slot slot-number: 表示设备在 IRF 中的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 该命令显示的地址为十六进制格式, 使用该地址, 通过 display process memory heap address 命令可以显示该地址内存的具体内容 举例 # 显示 job 1 已使用的 size 大小为 16 字节的内存块的地址 <Sysname> display process memory heap job 1 size 16 0xb7e300c0 0xb7e300d0 0xb7e300e0 0xb7e300f0 0xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e301a0 0xb7e301b0 0xb7e301c0 0xb7e301d0 0xb7e301e0 0xb7e301f0 0xb7e xb7e xb7e xb7e30230 # 显示 job 1 已使用的 size 大小为 16 字节的内存块的地址, 从第 5 个已使用内存块开始显示 <Sysname> display process memory heap job 1 size 16 offset 4 0xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e xb7e301a0 0xb7e301b0 0xb7e301c0 0xb7e301d0 0xb7e301e0 0xb7e301f0 0xb7e xb7e xb7e xb7e30230 相关命令 display process memory heap display process memory heap address 1-26

28 exception filepath exception filepath 命令用来设置 core 文件的保存路径 undo exception filepath 命令用来将 core 文件的保存路径设置为空 命令 exception filepath directory undo exception filepath directory 缺省情况 Core 文件的保存路径为主设备的根目录 视图 用户视图 缺省用户角色 directory: 表示 core 文件的保存路径, 只能为 Flash 的根目录 使用指导 Core 文件仅保存在主设备的根目录下 当 core 文件的保存路径为空或无法正常访问时, 系统将无法保存 core 文件, 也无法记录用户态进程异常时的上下文信息 举例 # 设置 core 文件的保存路径为 flash:/ <Sysname> exception filepath flash:/ 相关命令 display exception filepath process core monitor kernel deadloop enable monitor kernel deadloop enable 命令用来开启内核线程死循环检测功能 undo monitor kernel deadloop enable 命令用来关闭内核线程死循环检测功能 命令 monitor kernel deadloop enable [ slot slot-number [ cpu cpu-number ] ] undo monitor kernel deadloop enable [ slot slot-number [ cpu cpu-number ] ] 缺省情况 内核线程死循环检测功能处于关闭状态 视图 系统视图 1-27

29 缺省用户角色 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 在内核态空间中, 所有资源都是共享的, 多个内核线程之间通过任务调度协调工作 如果某个内核线程长时间一直占用 CPU, 就会导致其它内核线程获取不到运行机会, 整个系统挂死, 我们称这种现象为死循环 开启内核线程死循环检测功能后, 如果系统发现某内核线程在指定时间内一直占用 CPU, 则判定该内核线程为死循环 系统会记录一条死循环信息供管理员查询, 并自动重启整个系统来解除死循环 开机后, 系统会自动检测内核线程是否发生了死循环 如果需要配置, 请在 H3C 工程师的指导下进行, 以免引起系统异常 举例 # 开启内核线程死循环检测功能 <Sysname> system-view [Sysname] monitor kernel deadloop enable 相关命令 display kernel deadloop display kernel deadloop configuration monitor kernel deadloop exclude-thread monitor kernel deadloop time monitor kernel deadloop exclude-thread monitor kernel deadloop exclude-thread 命令用来配置不检测指定内核线程是否发生了死循环 undo monitor kernel deadloop exclude-thread 命令用来恢复对指定内核线程是否发生了死循环进行检测 命令 monitor kernel deadloop exclude-thread tid [ slot slot-number [ cpu cpu-number ] ] undo monitor kernel deadloop exclude-thread [ tid ] [ slot slot-number [ cpu cpu-number ] ] 缺省情况 开启内核线程死循环检测功能后, 系统会监控所有内核线程是否发生了死循环 视图 系统视图 缺省用户角色 1-28

30 tid: 表示内核线程编号, 用于唯一标识一个内核线程, 取值范围为 1~ 不指定该参数时, 表示恢复到缺省情况 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 缺省情况下, 系统会检测所有内核线程是否发生了死循环 多次执行该命令, 可以配置对多个内核线程不进行检测, 最多可以配置 128 个 开机后, 系统会自动检测内核线程是否发生了死循环 如果需要配置, 请在 H3C 工程师的指导下进行, 以免引起系统异常 举例 # 对编号为 15 的内核线程不进行死循环检测 <Sysname> system-view [Sysname]monitor kernel deadloop exclude-thread 15 相关命令 display kernel deadloop configuration display kernel deadloop monitor kernel deadloop enable monitor kernel deadloop time monitor kernel deadloop time monitor kernel deadloop time 命令用来配置判定内核线程是否死循环的时长 undo monitor kernel deadloop time 命令用来恢复缺省情况 命令 monitor kernel deadloop time interval [ slot slot-number [ cpu cpu-number ] ] undo monitor kernel deadloop time [ slot slot-number [ cpu cpu-number ] ] 缺省情况 当某内核线程连续运行超过 8 秒钟, 则判定为死循环 视图 系统视图 缺省用户角色 time interval: 表示内核线程死循环判定时长, 取值范围为 1~65535, 单位为秒 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 1-29

31 使用指导 开启内核线程检测功能后, 如果某内核线程持续运行指定时间, 则认为该内核线程已经死循环, 系统将记录一条死循环信息并重启 开机后, 系统会自动检测内核线程是否发生了死循环 如果需要配置, 请在 H3C 工程师的指导下进行, 以免引起系统异常 举例 # 配置当某内核线程连续运行超过 8 秒钟, 则判定为死循环 <Sysname> system-view [Sysname] monitor kernel deadloop time 8 相关命令 display kernel deadloop configuration display kernel deadloop monitor kernel deadloop enable monitor kernel deadloop exclude-thread monitor kernel starvation enable monitor kernel starvation enable 命令用来开启内核线程饿死检测功能 undo monitor kernel starvation enable 命令用来关闭内核线程饿死检测功能 命令 monitor kernel starvation enable [ slot slot-number [ cpu cpu-number ] ] undo monitor kernel starvation enable [ slot slot-number [ cpu cpu-number ] ] 缺省情况 内核线程饿死检测功能处于关闭状态 视图 系统视图 缺省用户角色 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 如果内核线程本身的触发条件没有达到, 会导致该内核线程在一段时间内一直得不到调度, 我们称这种现象为饿死 开启内核线程饿死检测功能后, 当系统检测到某内核线程饿死时, 会记录一条饿死信息供管理员查询 内核线程饿死并不会影响整个系统的运行, 当触发条件达到, 处于饿死状态的内核线程会自动执行 1-30

32 开机后, 系统会自动检测内核线程是否发生了饿死 如果需要配置, 请在 H3C 工程师的指导下进行, 以免引起系统异常 举例 # 开启内核线程饿死检测功能 <Sysname> system-view [Sysname] monitor kernel starvation enable 相关命令 display kernel starvation configuration display kernel starvation monitor kernel starvation time monitor kernel starvation exclude-thread monitor kernel starvation exclude-thread monitor kernel starvation exclude-thread 命令用来配置不检测指定内核线程是否发生了饿死 undo monitor kernel starvation exclude-thread 命令用来恢复对指定内核线程是否发生了饿死进行检测 命令 monitor kernel starvation exclude-thread tid [ slot slot-number [ cpu cpu-number ] ] undo monitor kernel starvation exclude-thread [ tid ] [ slot slot-number [ cpu cpu-number ] ] 缺省情况 开启内核线程死循环检测功能后, 会监控所有内核线程是否发生了饿死 视图 系统视图 缺省用户角色 tid: 表示内核线程编号, 用于唯一标识一个内核线程, 取值范围为 1~ 不指定该参数时, 表示恢复到缺省情况 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 缺省情况下, 系统会检测所有内核线程是否发生了饿死 多次执行该命令, 可以配置对多个内核线程不进行检测, 最多可以配置 128 个 开机后, 系统会自动检测内核线程是否发生了饿死 如果需要配置, 请在 H3C 工程师的指导下进行, 以免引起系统异常 举例 # 对编号为 15 的内核线程不进行饿死检测 1-31

33 <Sysname> system-view [Sysname] monitor kernel starvation exclude-thread 15 相关命令 display kernel starvation display kernel starvation configuration monitor kernel starvation time monitor kernel starvation enable monitor kernel starvation time monitor kernel starvation time 命令用来配置判定内核线程是否饿死的时长 undo monitor kernel starvation time 命令用来恢复缺省情况 命令 monitor kernel starvation time interval [ slot slot-number [ cpu cpu-number ] ] undo monitor kernel starvation time [ slot slot-number [ cpu cpu-number ] ] 缺省情况 当某内核线程在 120 秒内一直没有运行, 则认为该内核线程被饿死 视图 系统视图 缺省用户角色 time interval: 表示内核线程饿死判定时长, 取值范围为 1~65535, 单位为秒 slot slot-number: 表示 IRF 中设备的成员编号 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 开机后, 系统会自动检测内核线程是否发生了饿死 如果需要配置, 请在 H3C 工程师的指导下进行, 以免引起系统异常 举例 # 配置当内核线程在 120 秒内一直没有运行, 则认为该内核线程被饿死 <Sysname> system-view [Sysname] monitor kernel starvation time 120 相关命令 display kernel starvation display kernel starvation configuration monitor kernel starvation enable monitor kernel starvation exclude-thread 1-32

34 monitor process monitor process 命令用来显示进程的统计信息 命令 monitor process [ dumbtty ] [ iteration number ] [ slot slot-number [ cpu cpu-number ] ] 视图 任意视图 缺省用户角色 dumbtty: 以哑终端方式显示进程统计信息 ( 即屏幕不支持定时刷新统计信息 ) 指定该参数时, 全部进程的统计信息以 CPU 使用率降序排列输出到屏幕上 ; 不指定该参数时, 统计信息以交互模式显示, 缺省情况下按 CPU 占用率降序显示前 10 个进程的统计信息, 且每隔 5 秒刷新一次 iteration number: 表示进程统计信息的显示次数, 取值范围为 1~ 指定 dumbtty 参数时,number 的缺省值为 1; 不指定 dumbtty 且不配置 number 参数时, 表示显示次数没有限制, 统计信息会每隔 5 秒刷新一次, 一直显示 slot slot-number: 表示设备在 IRF 中的成员编号, 不指定该参数时, 表示主设备 cpu cpu-number: 表示 CPU 编号 不指定该参数时, 表示默认 CPU 使用指导 不指定 dumbtty 参数的情况下, 统计信息以交互模式显示 交互模式下, 系统会自动计算可显示的进程个数, 超过屏幕范围的不显示 交互模式下, 用户可通过输入表 1-13 中指定的交互命令字来执行相应的操作 表 1-13 monitor process 命令支持的交互命令字描述表 命令字 功能描述? 或 h 帮助信息, 显示可用的交互式命令字 各物理 CPU 状态的显示开关 比如 : 1 c d f k l m (1) 输入 1, 分别显示各物理 CPU 的参数值 (2) 再次输入 1, 显示所有 CPU 的参数的平均值 (3) 第三次输入 1, 又分别显示各物理 CPU 的参数值 (4) 如此循环缺省情况下, 显示所有 CPU 的参数的平均值按 CPU 占用率降序排列, 缺省情况下采用降序排列设置统计信息的更新时间间隔, 取值范围为 1~ 秒, 缺省值为 5 秒按进程打开的文件句柄数降序排列终止一个任务, 此命令会影响系统运行, 请谨慎使用刷新屏幕按进程使用内存大小降序排列 1-33

35 命令字 功能描述 n q t 改变显示的进程个数, 取值范围为 0~ ( 缺省值为 10 个,0 表示不作限制 ); 超过屏幕范围时, 仍只显示一屏内可容纳的进程个数 退出交互模式 按进程最近一次启动后的运行时间降序排列 < 排序项向左移动一列 > 排序项向右移动一列 举例 # 以哑终端方式显示进程统计信息 ( 使用该方式显示时, 系统会一次显示所有进程的统计信息, 并 且不支持定时刷新, 显示完毕后, 会退回到命令视图 ) <Sysname> monitor process dumbtty 76 processes; 103 threads; 687 fds Thread states: 1 running, 102 sleeping, 0 stopped, 0 zombie CPU states: 77.16% idle, 0.00% user, 14.96% kernel, 7.87% interrupt Memory: 496M total, 341M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name R K 00:02: % diagd S K 00:00: % scmd S 0 0K 00:00: % [sock/1] S K 00:00: % syslogd S 0 0K 00:00: % [kthreadd] S 0 0K 00:00: % [migration/0] S 0 0K 00:00: % [ksoftirqd/0] S 0 0K 00:00: % [watchdog/0] S 0 0K 00:00: % [events/0] S 0 0K 00:00: % [khelper] S K 00:00: % comsh S K 00:00: % top <Sysname> # 以哑终端方式显示进程统计信息, 并且执行一次命令显示两次统计结果 <Sysname> monitor process dumbtty iteration 2 76 processes; 103 threads; 687 fds Thread states: 1 running, 102 sleeping, 0 stopped, 0 zombie CPU states: 44.84% idle, 0.51% user, 39.17% kernel, 15.46% interrupt Memory: 496M total, 341M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name R K 00:02: % diagd S K 00:00: % scmd S 0 0K 00:00: % [sock/1] S K 00:00: % syslogd S K 00:01: % devd S 0 0K 00:00: % [ksoftirqd/0] 1-34

36 S 0 0K 00:00: % [karp/1] S 0 0K 00:00: % [knd/1] S K 00:00: % top S 0 0K 00:00: % [kthreadd] S 0 0K 00:00: % [migration/0] S 0 0K 00:00: % [watchdog/0] S 0 0K 00:00: % [events/0] S 0 0K 00:00: % [khelper] S K 00:00: % login S K 00:00: % comsh // 5 秒钟后, 系统会自动统计一次, 并显示统计信息如下 ( 相当于执行了两次 monitor process dumbtty, 两次执行的时间间隔为 5 秒 ) 76 processes; 103 threads; 687 fds Thread states: 1 running, 102 sleeping, 0 stopped, 0 zombie CPU states: 78.71% idle, 0.16% user, 14.86% kernel, 6.25% interrupt Memory: 496M total, 341M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name R K 00:02: % diagd S K 00:00: % scmd S K 00:01: % devd S 0 0K 00:00: % [sock/1] S K 00:00: % top S 0 0K 00:00: % [events/0] S 0 0K 00:00: % [karp/1] S 0 0K 00:00: % [knd/1] S K 00:00: % telnetd S 0 0K 00:00: % [kthreadd] S 0 0K 00:00: % [migration/0] S 0 0K 00:00: % [ksoftirqd/0] S 0 0K 00:00: % [watchdog/0] S 0 0K 00:00: % [khelper] S K 00:00: % login S K 00:00: % comsh <Sysname> # 以交互方式显示进程统计信息 <Sysname> monitor process 76 processes; 103 threads; 687 fds Thread states: 1 running, 102 sleeping, 0 stopped, 0 zombie CPU states: 78.98% idle, 0.16% user, 14.57% kernel, 6.27% interrupt Memory: 496M total, 341M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name R K 00:02: % diagd S K 00:00: % scmd S K 00:01: % devd S 0 0K 00:00: % [sock/1] S 0 0K 00:00: % [karp/1] S 0 0K 00:00: % [ksoftirqd/0] 1-35

37 S 0 0K 00:00: % [knd/1] S K 00:00: % telnetd S K 00:00: % top S 0 0K 00:00: % [kthreadd] 以上信息会每隔 5 秒刷新一次 输入 h 或?, 将显示如下帮助信息 Help for interactive commands:?,h Show the available interactive commands 1 Toggle SMP view: '1' single/separate states c Sort by the CPU field(default) d Set the delay interval between screen updates f Sort by number of open files k Kill a job l Refresh the screen m Sort by memory used n Set the maximum number of processes to display q Quit the interactive display t Sort by run time of processes since last restart < Move sort field to the next left column > Move sort field to the next right column Press any key to continue 输入 d 后, 根据出现的提示如果输入 3, 则统计信息将会每隔 3 秒更新一次 Enter the delay interval between updates(1~ ):3 输入 n 后, 根据出现的提示如果输入 5, 则显示的进程数目将会变为 5 个 Enter the max number of procs to display(0 is unlimited):5 87 processes; 113 threads; 735 fds Thread states: 2 running, 111 sleeping, 0 stopped, 0 zombie CPU states: 86.57% idle, 0.83% user, 11.74% kernel, 0.83% interrupt Memory: 755M total, 414M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name S K 00:00: % syslogd R K 00:00: % top S K 00:00: % devd S K 00:00: % scmd S K 00:00: % diagd 输入 f, 统计信息将以打开的文件句柄数降序输出 (c m t 命令字类似 ) 87 processes; 113 threads; 735 fds Thread states: 1 running, 112 sleeping, 0 stopped, 0 zombie CPU states: 90.66% idle, 0.88% user, 5.77% kernel, 2.66% interrupt Memory: 755M total, 414M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name S K 00:00: % dbmd S K 00:00: % ipbased S K 00:00: % had S K 00:00: % lsmd S K 00:00: % routed 输入 k 后, 根据出现的提示如果输入 884, 将会终止此 JID 对应的任务 lsmd 1-36

38 Enter the JID to kill: processes; 107 threads; 683 fds Thread states: 1 running, 106 sleeping, 0 stopped, 0 zombie CPU states: 59.03% idle, 1.92% user, 37.88% kernel, 1.15% interrupt Memory: 755M total, 419M available, page size 4K JID PID PRI State FDs MEM HH:MM:SS CPU Name S K 00:00: % dbmd S K 00:00: % ipbased S K 00:00: % had S K 00:00: % routed S K 00:00: % sshd 输入 q, 将退出交互模式 表 1-14 monitor process 命令显示信息描述表 字段 84 processes; 107 threads; 683 fds Thread states: 1 running, 102 sleeping, 0 stopped, 0 zombie CPU states Memory 描述 系统的进程总数, 线程总数, 文件句柄总数 线程状态 : 处于 running 状态的线程数, 处于 sleeping( 包括 interruptible sleep 和 uninterruptible sleep) 状态的线程数, 处于 stopped 状态的线程数, 处于 zombie 状态的线程数 CPU 状态 : 空闲率, 用户态占用率, 内核态占用率, 中断占用率 内存状态 : 总量, 可用内存数,page 大小, 单位为 KB JID 任务编号 ( 用于唯一标识一个进程, 该编号不会随着进程的重启而改变 ) PID PRI 进程编号 进程优先级 进程状态, 可能的取值为 : State FDs R:running, 运行状态或处于运行队列 S:sleeping, 可中断睡眠状态 T:traced or stopped, 暂停状态 D:uninterruptible sleep, 不可中断睡眠状态 Z:zombie, 僵死状态 file descriptions, 进程打开的文件句柄数 MEM 进程所使用的内存大小 ( 内核线程该项显示为 0) HH:MM:SS CPU 进程自最近一次启动以来的运行时间 进程 CPU 使用率 Name 进程名称 ( 如果进程名称带有 [ ] 标记, 则表示该进程为内核线程 ) monitor thread monitor thread 命令用来显示线程的统计信息 1-37