基 于 胜 任 特 征 模 型 的 结 构 化 面 试 信 度 和 效 度 验 证 张 玮 北 京 邮 电 大 学 经 济 管 理 学 院, 北 京 (100876) E-mail: weeo1984@sina.com 摘 要 : 提 高 结 构 化 面 试 信 度 和 效 度 是 面 试 技 术 研 究 的 核 心 内 容 近 年 来 国 内 有 少 数 学 者 探 讨 过 基 于 胜 任 特 征 模 型 的 结 构 化 面 试 的 科 学 性, 但 是 这 些 研 究 鲜 有 从 实 证 角 度 验 证 这 种 新 型 面 试 的 可 靠 性 本 研 究 基 于 实 际 测 量 中 得 出 的 数 据, 通 过 假 设 检 验 的 基 本 逻 辑 程 序 验 证 基 于 胜 任 特 征 模 型 的 面 试 信 度 和 效 度 本 文 预 设 的 理 论 前 提 是 承 认 胜 任 特 征 模 型 高 度 绩 效 相 关 和 可 以 被 测 量, 在 此 基 础 上 得 出 两 个 假 设, 第 一 是 结 构 化 面 试 能 够 测 量 胜 任 力 水 平, 第 二 是 胜 任 特 征 模 型 能 够 提 高 结 构 化 面 试 的 信 度 和 效 度 测 试 样 本 为 一 个 MBA 班, 具 备 一 定 的 工 作 经 验, 这 样 能 够 确 保 测 量 维 度 的 水 平 已 在 工 作 经 历 中 得 到 证 明 本 研 究 效 标 来 自 360 度 评 价 反 馈 法 的 统 计, 分 析 方 法 主 要 有 区 分 度 α 系 数 Kendall 和 谐 系 数 皮 尔 森 系 数 等 关 键 词 : 胜 任 特 征 模 型 ; 结 构 化 面 试 ; 实 证 研 究 ; 信 度 ; 效 度 1. 研 究 目 的 和 假 设 提 高 结 构 化 面 试 信 度 和 效 度 是 面 试 技 术 研 究 的 核 心 内 容 在 结 构 化 面 试 中, 考 生 的 得 分 主 要 由 考 生 评 委 测 量 维 度 以 及 评 价 方 法 四 个 方 面 共 同 决 定 (Linacre, Wright.1990; Luz, Wright. 1990) 其 中, 考 生 的 能 力 水 平 是 面 试 的 测 量 目 标, 而 其 它 几 个 方 面 则 是 影 响 评 分 质 量 的 误 差 来 源 评 委 在 主 观 评 判 和 一 致 性 差 异 方 面 的 特 点 上 影 响 评 价 的 客 观 性 ; 面 试 维 度 的 选 择 和 试 题 设 计 与 测 评 目 标 直 接 相 关, 即 与 员 工 的 工 作 表 现 直 接 相 关, 所 以 影 响 面 试 效 度 ; 评 价 标 准 和 评 定 等 级 等 方 面 将 共 同 决 定 考 生 的 面 试 得 分 和 面 试 决 策 的 准 确 程 度 已 有 的 优 化 结 构 化 面 试 研 究 多 集 中 于 面 试 工 具 本 身, 如 考 官 培 训 和 程 序 设 计 等 方 面, 本 研 究 利 用 成 熟 的 管 理 工 具 --- 胜 任 特 征 模 型, 跳 出 面 试 本 身 的 分 析 框 架, 将 现 代 流 行 的 评 价 模 型 应 用 于 结 构 化 面 试, 对 面 试 中 的 评 委 测 评 维 度 和 评 价 方 法 三 个 环 节 分 别 进 行 深 入 分 析, 设 计 出 基 于 胜 任 特 征 模 型 的 结 构 化 面 试, 并 通 过 实 证 分 析 验 证 信 度 和 效 度 分 析 表 明, 胜 任 特 征 模 型 能 够 深 度 改 进 面 试 中 测 评 要 素 的 精 确 性, 提 高 面 试 决 策 绩 效 相 关 程 度 ; 通 过 对 传 统 面 试 内 容 的 改 进 设 计, 考 官 主 观 性 因 素 可 以 有 效 降 低 ; 在 胜 任 特 征 模 型 框 架 内, 评 价 等 级 进 一 步 细 化, 评 价 方 法 更 有 操 作 性, 区 分 度 较 高 胜 任 特 征 ( competence) 能 将 工 作 ( 或 组 织 文 化 ) 中 有 卓 越 成 就 者 与 表 现 平 平 者 区 分 开 来, 它 可 以 是 动 机 特 质 自 我 形 象 态 度 或 价 值 观 某 领 域 知 识 认 知 或 行 为 技 能 等 任 何 可 以 被 可 靠 测 量 或 计 量 的, 并 且 能 显 著 区 分 优 秀 与 一 般 绩 效 ( Spencer, 1993 年 ) 因 此, 只 要 胜 任 特 征 的 高 低 能 够 得 到 有 效 测 量, 那 么 新 员 工 的 绩 效 水 平 就 能 够 有 效 预 测 由 此 得 到 假 设 1: 假 设 1: 结 构 化 面 试 能 够 测 量 胜 任 力 水 平 表 现 在 测 量 结 果 中 就 是 胜 任 特 征 水 平 高 的 人 与 低 的 人 能 够 得 到 有 效 区 分 本 研 究 的 目 的 是 证 明 与 胜 任 特 征 模 型 相 结 合 是 确 保 结 构 化 面 试 与 工 作 绩 效 相 关 性 的 有 效 途 径 在 研 究 中 面 试 的 效 度 一 直 受 到 质 疑, 在 实 践 中 也 普 遍 认 为 比 较 容 易 受 到 应 试 者 表 面 印 象 的 影 响, 而 很 难 评 价 实 际 水 平 和 工 作 能 力 虽 然 许 多 研 究 (Wiser Conway, Jaky & Goodman, 1995;&Cronshaw, 1988; McDaniel et al, 1994;Schmidt&Hunter, 1998) 发 现 结 构 化 面 试 有 较 好 的 信 度 和 效 度, 但 面 试 结 构 化 这 个 缓 冲 变 量 对 面 试 的 信 度 和 效 度 影 响 很 大 而 由 于 胜 任 特 征 模 型 与 绩 效 直 接 相 关, 因 而 以 它 作 为 测 量 维 度 将 能 够 能 提 高 面 试 结 构 化 程 度 由 此 得 到 假 设 2: 假 设 2:, 胜 任 特 征 模 型 能 够 提 高 结 构 化 面 试 的 信 度 和 效 度 - 1 -
二 数 据 来 源 样 本 选 择 和 数 据 搜 集 方 法 借 鉴 麦 克 莱 兰 (1973) 为 美 国 国 务 院 选 拔 外 交 官 时 采 用 的 方 法, 以 及 他 和 戈 尔 曼 (2000) 在 研 究 绩 效 卓 越 者 所 具 备 的 素 质 时 获 得 的 结 论 麦 克 莱 兰 建 议, 要 了 解 那 些 使 人 们 在 工 作 中 取 得 优 秀 业 绩 的 能 力, 不 妨 先 看 看 那 些 卓 尔 不 群 者, 看 他 们 具 有 什 么 能 力 本 研 究 即 以 该 思 路 为 基 础, 选 择 绩 优 者 必 须 具 备 的 素 质 作 为 测 量 维 度, 那 么 这 些 维 度 在 测 评 中 的 得 分 高 低 代 表 着 绩 优 者 与 绩 效 一 般 者 的 差 别 进 而 验 证 使 用 基 于 胜 任 特 征 模 型 的 结 构 化 面 试 能 够 实 现 这 种 区 分 1.1 测 量 维 度 本 文 选 择 沟 通 能 力 人 际 知 觉 主 动 性 和 组 织 协 调 能 力 作 为 测 量 维 度, 因 为 这 些 维 度 在 创 造 优 秀 绩 效 中 的 作 用 已 得 到 充 分 证 明 麦 克 莱 兰 在 测 量 能 力 而 非 智 力 (1973) 一 书 中 指 出, 事 业 成 就 者 与 仅 能 抱 住 饭 碗 者 之 间 的 差 异 就 在 于 成 功 者 所 具 有 的 移 情 自 我 约 束 主 动 性 等 特 殊 能 力 而 沟 通 能 力 人 际 知 觉 和 协 调 能 力 都 是 移 情 的 结 果 丹 尼 尔. 戈 尔 曼 的 著 作 情 感 智 商 (1996) 描 述 了 对 于 成 功 者 至 关 重 要 的 情 感 智 能 框 架, 沟 通 能 力 人 际 知 觉 主 动 性 和 团 队 协 调 能 力 分 别 出 现 在 成 就 动 机 移 情 社 交 技 巧 三 个 大 类 中 任 何 一 个 胜 任 特 征 模 型 都 包 含 这 几 个 维 度, 它 们 的 定 义 和 行 为 表 现 描 述 十 分 成 熟 根 据 测 量 维 度, 我 们 设 计 的 试 题 如 表 1: 组 织 协 调 表 1 测 试 题 本 测 量 维 度 定 义 : 能 够 有 效 组 织 各 类 资 源, 通 过 说 服, 协 调 等 方 式 得 到 相 关 部 门 或 人 员 的 支 持, 以 使 所 作 的 计 划 顺 利 推 行 下 去 行 为 表 现 : 设 计 和 制 定 工 作 流 程, 细 化 步 骤, 落 实 各 项 具 体 任 务, 进 行 组 织 分 工 ; 把 管 辖 范 围 内 的 人 力 物 力 财 力 统 筹 安 排 实 施 合 理 有 效 的 组 合 ; 关 注 过 程, 建 立 监 控 和 信 息 反 馈 机 制, 整 体 把 握 计 划 实 施 的 过 程, 随 时 准 备 应 对 各 种 障 碍 和 问 题, 并 根 据 情 况 迅 速 调 整 策 略 ; 能 够 注 意 做 好 横 向 沟 通, 在 计 划 实 行 过 程 中, 得 到 有 关 部 门 及 人 员 的 大 力 配 合 ; 情 境 型 面 试 题 : 假 如 公 司 任 命 你 为 项 目 负 责 人, 项 目 名 称 为 基 于 TD 网 络 的 新 业 务 设 计, 要 求 你 组 建 项 目 团 队 并 迅 速 开 展 工 作, 那 么, 你 觉 得 自 己 应 该 做 哪 些 工 作? 答 题 要 点 : 1 明 确 项 目 目 标 和 要 求, 确 定 需 要 的 人 力 资 源 ; 2 能 够 协 调 各 方 关 系 得 到 想 要 的 人 力 物 力 资 源 ; 3 合 理 分 配 任 务 和 资 源 ; 安 排 工 作 进 度 ; 4 对 项 目 执 行 情 况 随 时 进 行 反 馈 ; 5 随 时 与 上 级 沟 通 取 得 支 持 ; 有 意 识 协 调 来 自 不 同 部 门 组 员 间 的 关 系 - 2 -
主 动 性 沟 通 能 力 定 义 : 在 没 有 其 他 人 鼓 励 的 情 况 下 能 够 主 动 寻 求 适 宜 方 法 并 采 取 必 要 行 动 行 为 表 现 : 能 积 极 寻 求 额 外 的 责 任, 在 必 要 时 能 采 取 独 立 行 动 自 愿 帮 助 其 他 人 而 无 需 鼓 励, 乐 于 承 担 更 多 的 责 任 在 任 何 有 必 要 或 适 当 的 情 况 下 能 另 辟 蹊 径 当 目 标 不 可 能 独 自 实 现 时, 能 向 他 人 寻 求 帮 助 行 为 型 面 试 题 : 你 有 在 某 个 项 目 或 活 动 中 担 任 别 人 助 手 的 经 历 吗?( 或 者 是 协 助 他 人 工 作 的 经 历 ) 在 这 个 过 程 中 你 都 做 了 那 些 事? 请 举 例 具 体 描 述 一 下 答 题 要 点 : 1 不 用 工 作 职 责 限 定 自 己 的 行 动 范 围 ; 2 能 够 超 出 工 作 要 求 完 成 任 务 ; 3 具 有 不 断 探 索 新 办 法 来 解 决 问 题 的 企 业 家 精 神 ; 4 具 有 韧 性, 即 使 面 对 失 败 或 被 拒 绝 也 不 轻 易 放 弃 ; 5 敢 于 在 不 是 指 派 而 是 主 动 请 缨 承 接 新 任 务 ; 定 义 : 能 够 进 行 清 晰 的 交 流 和 公 开 的 反 馈 行 为 表 现 : 能 够 利 用 多 种 渠 道 获 得 信 息 能 够 有 效 地 在 沟 通 中 推 断 出 话 语 隐 含 的 意 思, 能 够 清 晰 地 理 解 复 杂 的 意 见 能 够 鼓 励 人 们 公 开 表 达 他 们 的 想 法, 以 及 分 享 他 们 所 关 心 的 问 题 明 确 清 晰 地 表 达 自 己 的 想 法 和 意 见 觉 察 到 他 人 的 情 绪 和 情 感 理 解 他 人 为 什 么 会 长 期 存 在 某 种 态 度 或 行 为 模 式 情 境 型 面 试 题 : 请 用 简 洁 的 语 言 描 述 你 对 通 信 行 业 的 认 识?(10 秒 思 考, 回 答 限 时 3 分 钟 ) 答 题 要 点 1 声 音 大 小 适 中, 不 让 人 听 着 费 劲 ; 2 吐 字 清 晰 连 贯, 不 结 巴 不 反 复 ; 3 仪 表 神 态 自 然 自 信, 目 光 能 够 正 视 前 方 ; 4 内 容 有 逻 辑 性 和 条 理 性, 不 跳 跃, 内 容 散 乱 - 3 -
人 际 知 觉 定 义 : 能 够 妥 善 处 理 组 织 内 外 与 上 级 同 级 以 及 下 级 之 间 的 关 系, 促 成 相 互 理 解, 获 得 支 持 与 配 合 的 能 力 行 为 表 现 : 在 工 作 中, 与 各 个 关 系 网 保 持 密 切 联 系 和 良 好 关 系 愿 意 体 谅 和 理 解 他 人, 面 对 具 体 情 况 会 做 出 相 应 的 调 整 与 妥 协 能 够 提 出 双 赢 的 协 议 能 准 确 认 清 社 交 形 势 和 网 络 关 系 行 为 型 面 试 题 : 能 否 处 理 好 复 杂 的 人 际 关 系 ( 与 客 户 同 事 上 级 下 级 的 关 系 等 ) 会 影 响 到 工 作 业 绩 你 对 此 有 什 么 经 验 或 者 心 得 体 会, 能 否 举 个 例 子 具 体 说 说 行 为 题 : 1 把 人 际 关 系 的 协 调 建 立 在 充 分 沟 通 和 信 息 把 握 的 基 础 上 ; 2 能 够 对 各 方 的 需 求 和 动 机 有 准 确 的 把 握 ; 3 能 够 说 出 切 实 可 行 的 方 法 ; 4 通 过 强 调 目 标 和 利 益 的 一 致 性 来 化 解 矛 盾 或 建 立 联 系 ; 注 : 由 于 测 试 样 本 是 北 邮 MBA 学 生, 且 大 多 数 人 曾 在 运 营 商 工 作, 所 以 部 分 试 题 设 计 通 信 行 业 专 业 名 词 1.2 样 本 试 测 对 象 选 择 的 是 一 个 06 级 MBA 班 共 30 人, 其 中 男 生 18 人, 女 生 12 人, 平 均 年 龄 30 岁, 工 作 经 验 2 年 以 上 面 试 中 有 三 名 考 官, 其 中 两 名 校 机 关 干 部, 一 名 在 读 硕 士, 面 试 之 前 都 进 行 了 培 训, 熟 悉 结 构 化 面 试 题 及 操 作 手 册 每 位 同 学 在 每 个 测 量 维 度 上 都 有 三 个 分 数, 因 此 每 个 人 在 每 个 维 度 的 得 分 取 三 位 考 官 的 平 均 分, 计 算 相 关 性 也 用 这 个 数 据 1.3 效 标 在 前 文 中, 测 量 维 度 的 高 绩 效 相 关 性 已 得 到 证 明, 因 而 样 本 的 测 量 维 度 真 实 值 可 作 为 效 标 本 研 究 采 用 360 度 反 馈 评 价 法 获 取 测 量 维 度 的 真 实 值 360 度 反 馈 评 价 (360-degree feedback) 是 一 种 从 不 同 层 面 的 人 员 中 收 集 考 评 信 息, 从 多 个 视 角 对 员 工 进 行 综 合 绩 效 考 评 并 提 供 反 馈 的 方 法 也 称 全 方 位 反 馈 评 价 或 多 源 反 馈 评 价 它 不 同 于 自 上 而 下, 由 上 级 主 管 评 定 下 属 的 传 统 方 式 在 360 度 评 价 中, 评 价 者 不 仅 仅 是 被 评 介 者 的 上 级 主 管, 还 包 括 其 他 与 之 密 切 接 触 的 人 员, 比 如 同 事 下 属 客 户 等, 同 时 包 括 自 评 或 者 说 是 一 种 基 于 上 级 同 事 下 级 和 客 户 等 信 息 资 源 的 收 集 信 息 评 估 绩 效 并 提 供 反 馈 的 方 法 本 研 究 从 四 个 角 度 对 样 本 的 测 量 维 度 进 行 评 价 一 是 自 我 考 评, 占 总 分 比 的 10%; 二 是 同 学 互 评 占 总 分 比 的 25%; 三 是 研 究 者 考 评 25%; 四 是 教 师 考 评 占 总 分 比 的 40% 反 馈 测 量 表 有 两 种 第 一 种 测 量 表 为 MBA 自 评 和 互 评 量 表, 在 这 个 量 表 中, 测 量 维 度 被 细 化 为 3~5 条 重 点 行 为 表 现, 所 有 设 问 都 以 行 为 表 现 为 基 础, 属 于 同 一 个 维 度 的 行 为 被 分 开 以 减 少 表 面 效 度 另 一 种 量 表 为 教 师 和 研 究 人 员 测 评 表, 这 个 量 表 直 接 以 行 为 表 现 为 考 评 标 准, 因 为 老 师 和 研 究 人 员 对 测 评 标 准 熟 悉 并 且 理 解 所 有 考 评 均 以 10 分 为 满 分, 分 为 五 档 :10~8.5, 8.49~7,6.99~5.50,5.49~4,4 分 以 下 - 4 -
2. 分 析 过 程 2.1 基 本 统 计 分 析 运 用 SPSS 进 行 频 数 分 析 得 表 2 和 图 1, 其 中 mean( 平 均 数 ) 为 6.6119, 中 值 median 为 6.6700,Std. Deviation 标 准 差 为 0.96796, 方 差 Variance 为 0.937, 全 距 Range 为 5.00, 最 大 值 为 8.67, 最 小 值 为 3.67 有 效 数 据 为 120 个, 所 有 统 计 数 据 均 在 合 理 范 围 之 内 表 2 统 计 频 率 表 N Valid 120 Missing 1 Mean 6.6119 Median 6.6700 Std. Deviation.96796 Variance.937 Range 5.00 Minimum 3.67 Maximum 8.67 根 据 操 作 手 册 的 分 数 等 级 划 分 标 准, 试 测 数 据 中 优 秀 占 6.60%, 良 好 占 33.1%, 中 等 占 44.60%, 一 般 和 差 等 分 别 占 14% 和 0.8% 面 试 分 数 等 级 分 布 45.00% 40.00% 35.00% 30.00% 25.00% 20.00% 15.00% 10.00% 5.00% 0.00% 44.60% 33.10% 14% 6.60% 0.80% 优 秀 良 好 中 等 一 般 差 系 列 1 图 1 面 试 分 数 分 布 图 2.2 区 分 度 分 析 区 分 度 是 指 试 题 对 被 测 试 对 象 实 际 水 平 的 鉴 别 能 力, 是 把 被 测 者 区 别 开 来 的 统 计 量, 其 数 值 在 -1~1 之 间, 数 值 越 高, 说 明 试 题 设 计 的 区 分 度 越 高, 试 题 越 可 信 结 构 化 面 试 评 分 是 一 个 客 观 评 分 过 程, 虽 然 带 有 主 观 成 分, 但 以 客 观 为 目 的, 所 以 面 试 得 分 是 非 连 续 的 等 级 变 量, 因 而 在 此 使 用 皮 尔 森 (Pearson) 等 级 相 关 分 析, 得 表 3 区 分 度 指 数 D=r(r 为 相 关 系 数 ), - 5 -
对 于 本 次 测 量, 得 到 的 区 分 度 如 下 : 表 3 区 分 度 总 分 人 际 知 觉 组 织 协 调 主 动 性 沟 通 能 力 总 分 Pearson Correlation 1.837(**).812(**).688(**).839(**) Sig. (2-tailed).000.000.000.000 N 30 30 30 30 30 如 表 所 示, 四 道 面 试 题 的 区 分 度 均 十 分 出 色,D1=0.837,D2=0.812,D4=0.839, 具 有 显 著 的 统 计 学 意 义 只 有 主 动 性 的 区 分 度 较 低 D3=0.688, 这 应 当 与 该 测 量 维 度 的 测 评 难 度 有 显 著 关 系 在 试 题 构 思 时 我 们 已 经 发 现 有 些 维 度 十 分 抽 象, 很 难 用 具 体 的 行 为 表 现 来 准 确 描 述, 更 难 通 过 设 置 具 体 情 境 模 拟, 所 以 导 致 试 题 构 思 效 度 无 法 与 其 它 维 度 相 比 在 测 量 中 表 现 为 应 试 者 对 试 题 反 映 不 灵 敏, 回 答 重 点 较 容 易 偏 离 答 题 要 点 2.3 信 度 分 析 信 度 是 反 映 测 试 内 部 题 目 得 分 一 致 性 程 度 的 统 计 量 面 试 信 度 主 要 有 两 个 方 面, 其 一 是 面 试 要 素 内 部 信 度, 指 面 试 测 评 要 素 之 间 的 一 致 性, 通 常 采 用 克 伦 巴 赫 (Cronbach)Alpha 系 数 表 示 ( 杨 代 庆,2005) 其 二, 在 小 组 面 试 中 还 要 考 察 评 委 间 信 度, 指 评 委 之 间 的 评 价 一 致 性 评 委 间 信 度 有 多 种 评 价 方 法, 如 相 关 系 数 与 Kendall 和 谐 系 数 相 关 系 数 通 常 适 用 于 两 位 评 委 情 况,Kendall 和 谐 系 数 可 用 于 三 位 或 三 位 以 上 评 委 情 况 (1) Alpha 系 数 -- 内 部 一 致 性 将 30 个 样 本 数 据 输 入 SPSS 软 件, 使 用 克 伦 巴 赫 (Cronbach)Alpha 模 型 计 算 表 4 列 出 出 样 本 数 均 数 和 标 准 差, 表 5 的 测 评 要 素 内 部 一 致 性 信 度 系 数 在 0.760-0.91 之 间, 评 均 信 度 为 0.771 由 此 可 见, 该 套 面 试 题 信 度 水 平 很 高, 特 别 是 从 整 体 角 度 分 析, 各 维 度 指 标 间 评 价 差 异 不 显 著 同 时, 主 动 性 这 一 测 量 维 度 对 整 个 信 度 水 平 有 特 殊 影 响 数 据 显 示, 当 忽 略 主 动 性 维 度 时, 试 题 信 度 达 到 0.791, 这 说 明 在 没 有 主 动 性 这 一 维 度 的 情 况 下, 其 它 维 度 的 一 致 性 将 尤 其 显 著 出 现 这 种 情 况 的 原 因 在 之 前 已 有 分 析, 主 动 性 这 一 维 度 的 测 量 难 度 是 所 有 维 度 中 最 大 的, 在 力 求 减 小 表 面 效 度 的 同 时 很 难 确 保 区 分 度 表 4 基 本 数 据 Mean Std. Deviation N 人 际 知 觉 6.6100 1.06043 30 组 织 协 调 6.5443 1.08151 30 主 动 性 6.6767.98186 30 沟 通 能 力 6.6167.75986 30 Scale Mean if Item Deleted Scale Variance if Item Deleted 表 5 Alpha 系 数 Corrected Item-Total Correlation Squared Multiple Correlation Cronbach's Alpha if Item Deleted 人 际 知 觉 46.2787 30.357.793..778 组 织 协 调 46.2853 28.139.739..760 主 动 性 46.3510 29.627.576..791 沟 通 能 力 46.2187 28.443.780..758-6 -
(2) Kendall 和 谐 系 数 评 委 间 信 度 评 价 者 间 信 度 是 衡 量 数 位 评 委 在 评 价 过 程 中 的 一 致 性 由 于 评 委 间 的 判 断 标 准 和 策 略 存 在 个 体 差 异, 在 小 组 面 试 中 把 各 位 评 委 评 价 结 果 整 合 起 来, 会 降 低 面 试 效 度 (Dreler, 1988) Dougherty(1986) 等 研 究 三 位 评 委 的 面 试 效 度 差 异, 发 现 如 果 把 他 们 的 评 价 累 加 在 一 起, 面 试 结 果 与 工 作 绩 效 的 相 关 未 达 到 统 计 显 著 水 平, 但 是 单 独 分 析 三 位 评 委 的 面 试 效 度, 发 现 其 中 一 位 的 评 价 结 果 与 工 作 绩 效 显 著 相 关 在 小 组 面 试 中, 如 果 评 委 间 信 度 系 数 比 较 低, 把 分 数 整 合 在 一 起 对 面 试 效 果 的 影 响 是 不 利 的 因 此 本 研 究 使 用 Kendal I 和 谐 系 数 来 计 算 评 委 间 信 度, 从 面 试 要 素 得 分 和 面 试 总 分 进 行 详 细 考 察 验 证 面 试 信 度, 取 值 范 围 应 该 在 0-1 之 间,0 表 示 完 全 不 一 致,l 表 示 完 全 一 致 Kendal I 和 谐 系 数 的 一 个 优 点 在 于 适 合 于 三 位 或 三 位 以 上 的 评 价 者 情 况 本 研 究 的 面 试 小 组 由 三 人 组 成, 每 名 评 委 对 30 名 样 本 进 行 评 价 面 试 评 委 间 信 度 见 表 6,Kendall 和 谐 系 数 值 在 0.648 0.707 之 间, 平 均 值 为 0.684 Kendall's tau_b 表 6 Kendall 和 谐 系 数 组 织 协 调 人 际 知 觉 主 动 性 沟 通 能 力 总 分 Correlation Coefficient 0.680 0.699 0.648 0.707 Sig. (2-tailed) 0.000 0.000 0.000 0.000 N 30 30 30 30 **Correlation is significant at the 0.01 level (2-tailed). *Correlation is significant at the 0.05 level (2-tailed). 2.4 效 度 在 研 究 中 面 试 的 效 度 一 致 受 到 质 疑, 在 实 践 中 也 普 通 认 为 比 较 容 易 受 到 应 试 者 表 面 印 象 的 影 响, 而 很 难 评 价 实 际 水 平 和 工 作 能 力 本 研 究 的 结 果 表 明, 基 于 胜 任 特 征 的 结 构 化 面 试 是 有 效 的, 对 工 作 绩 效 有 预 测 作 用 内 部 一 致 性 α 系 数 和 评 委 间 信 度 Kendall 系 数 分 析 显 示 本 套 面 试 题 信 度 比 较 高, 因 此 效 度 分 析 在 小 组 水 平 上 进 行 我 们 以 三 位 评 委 的 在 某 测 评 维 度 上 的 平 均 得 分 为 该 应 试 者 的 相 应 维 度 得 分 本 研 究 中 面 试 得 分 与 效 标 的 相 关 系 数 通 过 计 算 皮 尔 森 (Pearson) 皮 尔 森 获 得 表 7 显 示 的 是 单 个 测 量 维 度 与 效 标 间 的 相 关 系 数, 其 中 人 际 知 觉 和 组 织 协 调 达 到 0.774 和 0.795, 主 动 性 和 沟 通 能 力 相 对 较 低, 为 0.474 和 0.597, 平 均 效 度 达 到 0.66, 高 于 以 往 研 究 中 的 一 般 水 平, 即 0.5(Schmidt & Hunter,1998) 表 8 显 示 的 是 本 套 测 试 题 的 整 体 效 度, 达 到 0.668 表 7 皮 尔 森 系 数 - 分 项 效 度 人 际 知 觉 组 织 协 调 主 动 性 沟 通 能 力 Pearson Correlation 0.774 ** 0.795 ** 0.474 ** 0.597 ** Sig. (2-tailed) 0 0 0 0 N 30 30 30 30 ** Correlation is significant at the 0.01 level (2-tailed). - 7 -
平 均 分 真 实 值 ** Correlation is significant at the 0.01 level (2-tailed). 3. 分 析 结 果 表 8 皮 尔 森 系 数 --- 整 体 效 度 平 均 分 真 实 值 Pearson Correlation 1.668(**) Sig. (2-tailed).000 N 120 120 Pearson Correlation.668(**) 1 Sig. (2-tailed).000 N 120 120 (1) 关 于 假 设 1, 利 用 结 构 化 面 试 能 够 有 效 区 分 胜 任 特 征 水 平 的 高 低, 也 即 意 味 着 基 于 胜 任 特 征 模 型 的 机 构 化 面 试 可 以 预 测 新 入 职 员 工 的 绩 效 水 平 (2) 关 于 假 设 2, 胜 任 特 征 模 型 确 保 面 试 具 有 较 高 的 结 构 化 程 度, 从 而 提 高 了 结 构 化 面 试 的 信 度 和 效 度 参 考 文 献 [1] 时 勘, 基 于 胜 任 特 征 模 型 的 人 力 资 源 开 发, 心 理 学 进 展,2006,14(4). [2] 丹 尼 尔. 戈 尔 曼,EQII: 工 作 情 商, 上 海 科 学 技 术 出 版 社 (2000). [3]McClelland D C,Testing for competence rather than for intelligence. American Psychologist, 1973. [4] 杨 代 庆, 几 种 利 用 SPSS 对 试 卷 进 行 分 析 的 方 法, 贵 州 教 育 学 院 学 报,2005,(4). [5] 张 磊, 面 试 主 要 理 论 和 效 用 研 究, 博 士 论 文,2004,4. [6] 洪 自 强, 人 力 资 源 面 试 选 饭 决 策 和 效 度 验 证 : 映 象 理 论 观 点, 博 士 论 文,2003. [7] 刘 远 我 张 厚 案, 面 试 评 分 中 的 误 差 分 析 研 究, 心 理 科 学,1999,22(5). [8] 冯 明, 360 度 绩 效 反 馈 作 用 机 制 研 究, 博 士 论 文,2000. [9] 王 晓 军, 综 合 能 力 模 型 及 其 在 工 作 情 景 中 的 效 度 验 证, 博 士 论 文,1999. [10] 吴 志 明 张 厚 案 杨 立 谦, 结 构 化 面 试 中 的 评 分 一 致 性 问 题 初 探, 应 用 心 理 学,1997,2(2). The Verification of Reliability and Validity Of Structured Interviews Based On Competency Model ZHANG Wei School of Economics and Management of BUPT, Beijing (100876) Abstract To improve reliability and validity of the structured interview is the core of interview technical studies. In recent years, there are a small number of scholars explored the question of whether the competency-based interview is scientific, but these studies are not from the perspective of evidence to verify the reliability of this new type of interview. My study is based on actual measurement data, derived through the basic logic named hypothesis testing procedures to verify reliability and validity of the competency model based interview. In this paper, one pre-theoretical assumption is that competency model is in a high degree of performance associated and can be measured. On the basis of which come two assumptions, the first is structured interview can measure the level of competence. and the second is using competency model into the structured interview will improve reliability and validity. Test samples was a whole MBA class, all of them have some work experience, which ensure that the level of dimensions have been proved during work experience. In this study, criterion came from the 360-degree Feedback Evaluation method, and the main ways of statistical analysis is distinguish between degrees, α coefficient, Kendall coefficient of harmony, Pearson, and other factors. Key words: Competency model; Structured Interviews; Empirical Study Reliability; Validity 作 者 简 介 : 张 玮 (1984-), 男, 浙 江 金 华 人, 北 京 邮 电 大 学 经 济 管 理 学 院 行 政 管 理 06 级 研 究 生 - 8 -