2010 年 CFPS 基 线 调 查 于 2010 年 4 月 5 日 正 式 开 始 入 户 访 问, 此 次 调 查 的 质 量 督 导 工 作 由 北 京 大 学 中 国 社 会 科 学 调 查 中 心 ( 以 下 简 称 中 心 ) 负 责 实 施 为 了 保 证 调 查 质 量, 中 心

China Family Panel Studies CFPS 中 国 家 庭 动 态 跟 踪 调 查 技 术 报 告 系 列 :CFPS-4 系 列 编 辑 : 谢 宇 责 任 编 辑 : 胡 婧 炜 中 国 家 庭 动 态 跟 踪 调 查 2010 年 基 线 调 查 质 量 督 导 报 告 严 洁 孙 翊 滕 学 亮 任 莉 颖 孙 妍 2012.12.20

2010 年 CFPS 基 线 调 查 于 2010 年 4 月 5 日 正 式 开 始 入 户 访 问, 此 次 调 查 的 质 量 督 导 工 作 由 北 京 大 学 中 国 社 会 科 学 调 查 中 心 ( 以 下 简 称 中 心 ) 负 责 实 施 为 了 保 证 调 查 质 量, 中 心 设 立 了 两 个 质 量 督 导 组 和 一 个 核 查 执 行 组 来 分 别 负 责 质 量 督 导 事 宜 : 质 量 督 导 一 组 负 责 核 查 管 理 系 统 的 数 据, 包 括 联 系 记 录 与 末 端 抽 样 ; 质 量 督 导 二 组 主 要 集 中 检 查 六 类 调 查 问 卷 的 质 量, 以 及 采 访 员 的 行 为 规 范 ; 核 查 执 行 组 负 责 各 类 核 查 任 务 的 实 现 与 结 果 反 馈 下 面 我 们 将 依 次 汇 报 质 量 督 导 的 方 式 结 果, 以 及 投 入 的 成 本 有 关 质 量 督 导 的 成 效, 可 以 参 考 其 它 相 关 技 术 报 告 1. 质 量 督 导 目 标 方 法 策 略 1.1 质 量 督 导 目 标 入 户 调 查 数 据 质 量 的 误 差 可 以 分 为 系 统 误 差 和 随 机 误 差 两 大 类 其 中 系 统 误 差 多 数 是 由 人 为 因 素 引 起 的, 减 少 系 统 误 差 是 质 量 督 导 的 主 要 目 标 系 统 误 差 的 来 源 可 以 分 为 以 下 几 种 : ⑴ 问 卷 设 计 不 当 产 生 的 系 统 误 差 如 由 于 问 卷 中 的 问 题 设 计 不 适 用 于 受 访 者 导 致 受 访 者 很 难 回 答 或 者 大 量 拒 答, 或 者 系 统 性 错 误 跳 转 模 式 选 项 不 完 整 选 项 分 类 效 度 太 低 等 ⑵ 末 端 抽 样 框 误 差 如 在 调 查 开 始 后 才 发 现 抽 中 了 空 宅 非 住 宅 单 位, 或 抽 中 的 住 户 单 位 不 符 合 事 先 设 定 的 样 本 条 件 等 ⑶ 访 员 行 为 不 规 范 导 致 的 系 统 误 差 这 部 分 误 差 来 源 比 较 多, 比 较 常 见 的 可 以 细 分 为 : 1 替 换 或 访 错 地 址 2 替 换 或 访 错 住 户 3 替 换 或 访 错 个 人, 例 如, 访 员 请 住 户 内 的 成 员 代 答 其 他 成 员 问 卷, 或 访 问 了 住 户 内 的 不 符 合 调 查 资 格 的 成 员, 或 访 员 自 填 问 卷 等 4 破 坏 中 立 原 则, 引 导 受 访 者 选 择 某 些 答 案 1

5 用 各 种 方 式 催 促 受 访 者, 使 受 访 者 未 加 思 考 匆 匆 作 答 6 通 过 跳 转 模 式 故 意 回 避 需 要 长 时 间 作 答 的 题 组 7 访 员 自 行 填 答 一 些 题 目 或 选 择 选 项 8 系 统 地 读 错 题 目 或 选 错 答 案 中 的 代 码, 或 录 入 错 误 ⑷ 数 据 汇 总 和 整 理 过 程 中 出 现 的 系 统 误 差 这 部 分 误 差 由 于 使 用 了 CAPI 系 统 会 大 大 减 少, 但 是 在 对 原 始 开 放 型 问 题 的 编 码 过 程 中, 也 可 能 产 生 系 统 误 差 2010 年 CFPS 基 线 调 查 质 量 督 导 的 目 标 就 是 尽 可 能 地 控 制 和 减 少 这 些 误 差, 最 大 限 度 地 保 证 调 查 数 据 的 整 体 质 量 为 此, 我 们 针 对 上 述 误 差 的 来 源, 分 别 制 定 了 具 体 的 质 量 督 导 方 案 1.2 质 量 督 导 方 法 CFPS2010 调 查 质 量 督 导 主 要 有 以 下 几 种 方 法 : ⑴ 电 话 核 查 : 通 过 给 受 访 户 打 电 话 的 方 式 进 行 核 查 1 ⑵ 实 地 核 查 : 通 过 中 心 以 及 第 三 方 学 术 机 构 访 地 址 进 行 核 查 的 督 导 员 和 实 地 核 查 员 直 接 到 抽 中 的 受 ⑶ 录 音 核 查 : 通 过 重 复 收 听 每 份 问 卷 的 录 音 进 行 核 查 ⑷ 采 访 过 程 回 放 : 根 据 每 个 问 题 的 采 访 用 时, 通 过 专 门 工 具 进 行 键 盘 操 作 过 程 回 放 进 行 核 查 ⑸ 数 据 的 统 计 分 析 : 对 各 类 问 卷 的 数 据, 以 及 采 访 过 程 的 并 行 数 据 进 行 统 计 描 述 和 统 计 分 析, 从 数 据 分 布 的 角 度 来 检 查 数 据 的 质 量 1 具 体 机 构 名 称 与 所 负 责 核 查 的 省 份 参 见 表 2 2

1.3 质 量 督 导 策 略 1.3.1 方 法 策 略 结 合 系 统 误 差 的 不 同 来 源 以 及 可 实 施 的 质 量 督 导 方 法, 中 心 制 定 了 不 同 的 督 导 策 略 ⑴ 针 对 问 卷 设 计 不 合 理 产 生 的 系 统 性 误 差, 采 用 对 问 卷 数 据 和 并 行 数 据 进 行 统 计 分 析 的 方 法 来 达 成 质 量 督 导 目 的 在 调 查 开 始 之 后, 每 周 汇 总 各 问 卷 的 调 查 数 据, 由 数 据 组 人 员 进 行 统 计 描 述 和 分 析, 找 出 存 在 系 统 偏 差 的 位 置, 以 及 系 统 偏 差 的 分 布 模 式, 然 后 根 据 需 要 更 新 采 访 系 统, 修 正 设 计 上 的 漏 洞 主 要 督 导 内 容 包 括 各 类 问 卷 中 每 个 变 量 的 频 数 与 频 率 分 布 集 中 与 离 散 趋 势 离 群 值 无 回 答 率 每 个 变 量 的 采 访 用 时 等 ⑵ 针 对 末 端 抽 样 框 误 差, 主 要 依 靠 实 地 核 查 来 达 成 质 量 督 导 目 的 主 要 督 导 内 容 包 括 无 效 地 址 非 住 宅 多 次 联 系 不 上 住 户 的 住 宅 地 址 内 符 合 调 查 资 格 的 住 户 数 住 户 内 符 合 调 查 资 格 的 人 数 等 ⑶ 针 对 以 下 访 员 行 为 不 规 范 导 致 的 系 统 误 差, 需 要 借 助 所 有 的 质 量 督 导 方 法 来 达 成 质 量 督 导 目 的 1 找 错 地 址 这 种 情 况 需 要 在 调 查 开 始 之 前 之 后 分 别 选 择 不 同 的 方 法 进 行 督 导 : 第 一, 在 调 查 开 始 之 前, 抽 样 员 或 村 居 干 部 会 把 给 住 户 的 信 投 递 到 正 确 地 址, 然 后 由 住 户 打 电 话 回 中 心 登 记 必 要 信 息 我 们 会 将 这 些 信 息 与 访 员 回 传 的 地 址 信 息 进 行 核 对 第 二, 对 于 一 些 自 编 号 的 地 址, 中 心 派 核 查 督 导 和 访 员 一 起 确 认 受 访 地 址 第 三, 对 访 员 7 天 的 培 训 将 重 点 强 调 并 严 格 考 察 访 员 的 行 为 规 范 第 四, 在 调 查 开 始 之 后, 通 过 实 地 核 查 来 核 实 地 址 的 准 确 性, 以 及 无 效 地 址 非 住 宅 多 次 联 系 不 上 住 户 的 住 宅 地 址 内 符 合 调 查 资 格 的 住 户 数 住 户 内 符 合 调 查 资 格 的 人 数 等 情 况 第 五, 对 于 地 址 访 问 错 误 的 情 况, 则 找 到 正 确 地 址 进 行 访 问 2 替 换 或 访 错 住 户 针 对 这 种 情 况, 第 一, 在 调 查 开 始 之 前, 抽 样 员 或 村 居 干 部 会 把 给 住 户 的 信 投 递 到 正 确 的 地 址, 然 后 由 住 户 打 电 话 回 中 心 登 记 必 要 信 息 我 们 会 将 这 些 信 息 与 访 员 回 传 的 住 户 信 息 进 行 核 对 第 二, 在 调 查 开 始 之 后, 通 过 实 3

2 地 核 查 来 核 实 住 户 抽 样 的 准 确 性, 实 地 核 查 员 将 登 记 并 反 馈 地 址 内 符 合 调 查 资 格 的 住 户 数, 以 及 访 员 访 问 时 地 址 内 各 住 户 是 否 拒 访 或 者 无 法 联 系 等 情 况 第 三, 对 于 访 问 错 误 住 户 的 情 况, 则 找 到 正 确 的 住 户 进 行 访 问 3 替 换 或 者 访 错 个 人 这 种 情 况 通 过 调 查 开 始 之 后 的 实 地 核 查 电 话 核 查 和 录 音 核 查 来 控 制 对 于 访 问 错 误 个 人 的 情 况, 则 找 到 正 确 的 人 进 行 访 问 4 破 坏 中 立 的 原 则, 引 导 受 访 者 选 择 某 些 答 案 这 种 情 况 通 过 电 话 核 查 和 录 音 核 查 来 控 制 5 用 各 种 方 式 催 促 受 访 者, 使 受 访 者 未 加 思 考 匆 匆 作 答 这 种 情 况 需 要 通 过 电 话 核 查 录 音 核 查 采 访 过 程 回 放, 以 及 对 问 卷 数 据 无 回 答 率 和 各 题 目 采 访 用 时 的 统 计 分 析 来 控 制 6 通 过 跳 转 模 式 故 意 回 避 需 要 长 时 间 作 答 的 题 组 针 对 这 种 情 况, 通 过 电 话 核 查 录 音 核 查 采 访 回 放, 以 及 对 问 卷 数 据 中 每 个 受 访 者 在 各 个 变 量 上 的 无 回 答 率 和 每 个 访 员 在 各 变 量 上 的 采 访 用 时 进 行 统 计 分 析, 从 而 达 成 质 量 督 导 目 的 7 访 员 自 己 自 行 填 答 一 些 题 目 或 选 择 选 项 针 对 这 种 情 况, 采 用 电 话 核 查 录 音 核 查 采 访 回 放 的 方 法, 并 分 析 每 个 访 员 在 各 变 量 上 的 采 访 用 时 以 及 他 们 的 键 盘 输 入 模 式 的 特 点, 以 此 发 现 问 题, 达 成 质 量 督 导 目 的 8 系 统 性 地 读 错 题 目 选 错 答 案 代 码 或 录 入 错 误 通 过 电 话 核 查 录 音 核 查 以 及 对 问 卷 数 据 离 群 值 的 统 计 分 析 来 发 现 问 题, 达 成 质 量 督 导 的 目 的 ⑷ 数 据 汇 总 和 整 理 过 程 中 出 现 的 系 统 性 误 差, 主 要 来 源 于 编 码 过 程 和 数 据 整 理 过 程 我 们 借 助 系 统 化 的 编 码 表, 安 排 三 个 人 分 别 对 原 始 资 料 进 行 编 码, 如 果 三 人 对 同 一 题 目 的 编 码 不 一 致, 则 重 新 编 码, 通 过 这 种 方 式, 减 少 编 码 误 差 ; 对 于 数 据 整 理 过 程 中 的 误 差, 则 主 要 依 靠 多 人 多 次 循 环 检 验 的 方 式 进 行 质 量 控 制 1.3.2 覆 盖 面 及 数 量 策 略 核 查 的 覆 盖 面 以 及 数 量 也 将 影 响 数 据 质 量 水 平, 在 有 限 成 本 的 前 提 下, 中 心 制 定 了 覆 盖 2 CFPS2010 年 基 线 调 查 中, 如 果 一 个 抽 样 地 址 内 有 多 个 符 合 条 件 的 住 户, 系 统 会 随 机 抽 取 1 户 作 为 受 访 家 庭, 我 们 称 之 为 住 户 抽 样 4

面 和 数 量 上 的 策 略 从 覆 盖 面 上 讲 : ⑴ 对 每 一 份 问 卷 中 的 所 有 变 量 和 并 行 数 据 中 的 所 有 变 量 定 期 ( 每 7 天 ) 使 用 统 计 分 析 的 方 法 进 行 检 验, 查 找 系 统 性 偏 差 并 加 以 督 导 ⑵ 每 个 访 员 都 要 经 历 所 有 的 核 查 方 式 ⑶ 每 个 访 员 访 问 的 每 类 问 卷 数 据 都 被 核 查 到 ⑷ 每 个 访 员 每 种 类 型 的 联 系 结 果 ( 例 如, 完 访 空 址 拒 访 身 体 语 言 障 碍, 等 等 ) 都 被 核 查 到 从 数 量 上 讲 : ⑴ 每 个 访 员 未 能 完 成 访 问 的 地 址, 有 60% 的 比 例 被 实 地 核 查 ⑵ 每 个 访 员 已 完 成 家 庭 或 个 人 问 卷 访 问 的 住 户 中, 分 别 有 15% 25% 15% 5% 的 住 户 被 选 中 进 行 录 音 核 查 电 话 核 查 实 地 核 查 和 采 访 回 放 的 核 查 其 中, 对 于 被 选 中 进 行 录 音 核 查 的 住 户, 我 们 选 择 家 庭 成 员 问 卷 家 庭 问 卷 一 份 成 人 和 一 份 少 儿 问 卷 进 行 录 音 回 放 ; 对 于 被 选 中 进 行 电 话 和 实 地 核 查 的 住 户, 我 们 核 实 其 回 答 家 庭 成 员 问 卷 家 庭 问 卷 成 人 问 卷 和 少 儿 问 卷 的 情 况 ; 采 访 回 放 则 对 住 户 内 的 不 同 问 卷 有 目 的 有 选 择 地 进 行 1.3.3 顺 序 策 略 各 种 质 量 督 导 方 法 的 使 用 顺 序 将 依 据 误 差 来 源 的 产 生 期 及 方 法 的 适 用 性 有 所 不 同 : 数 据 的 统 计 分 析 始 终 用 于 全 面 数 据 核 查, 在 各 类 数 据 样 本 量 达 到 30 以 上 的 时 候 开 始, 每 7 天 汇 总 一 次 所 有 数 据, 检 查 系 统 误 差 录 音 核 查 优 先 用 于 全 面 核 查, 针 对 所 有 访 员 有 录 音 的 样 本, 按 比 例 进 行 核 查 在 收 到 回 传 数 据 的 第 2 天 开 始 进 行 录 音 核 查, 一 直 伴 随 整 个 调 查 期, 并 延 续 至 调 查 期 结 束 后 的 第 3 天 电 话 核 查 优 先 用 于 没 有 录 音 或 没 有 经 过 录 音 核 查 的 样 本 在 收 到 回 传 数 据 的 第 2 天 开 始 电 话 核 查 5

实 地 核 查 重 点 用 于 检 验 末 端 抽 样 的 精 度 在 收 到 回 传 数 据 的 20 天 之 内 开 始 进 行 实 地 核 查 实 地 核 查 所 需 人 力 交 通 组 织 成 本 较 高, 因 此 分 批 进 行 出 于 工 作 的 需 要, 实 地 核 查 由 中 心 和 第 三 方 学 术 机 构 组 织 人 力 共 同 实 施 实 地 核 查 的 主 要 对 象 为 没 有 经 过 录 音 核 查 和 电 话 核 查 的 样 本, 以 及 在 录 音 核 查 和 电 话 核 查 中 无 法 确 认 质 量 的 样 本 采 访 过 程 回 放 主 要 针 对 通 过 前 几 种 方 式 发 现 存 在 问 题 例 如, 采 访 用 时 过 短 或 过 长, 疑 为 有 偷 工 减 料 行 为, 疑 为 有 系 统 性 错 误 跳 转 模 式 或 错 误 录 入 模 式, 等 等 的 样 本 进 行 回 放, 从 而 对 采 访 过 程 中 访 员 行 为 规 范 进 行 检 查 1.3.4 实 效 策 略 质 量 督 导 的 效 果 取 决 于 其 时 效 性, 在 收 回 调 查 数 据 的 第 2 天, 录 音 核 查 便 开 始 了, 之 后 陆 续 在 第 一 可 能 时 间 点 上 开 始 各 种 方 式 的 核 查 数 据 组 人 员 每 周 对 核 查 结 果 进 行 汇 总 和 统 计 分 析, 并 向 执 行 组 以 及 实 地 的 采 访 人 员 进 行 反 馈 和 指 导 负 责 质 量 督 导 的 各 组 负 责 人, 每 周 递 交 本 组 本 周 的 核 查 报 告 2. 质 量 督 导 实 施 过 程 2.1 质 量 督 导 的 组 织 机 构 ⑴ 质 量 督 导 组 的 构 成 中 心 设 立 两 个 质 量 督 导 组 和 一 个 协 调 人 来 分 工 负 责 如 下 事 宜 : 质 量 督 导 一 组 负 责 核 查 住 宅 抽 样 住 户 抽 样, 以 及 调 查 管 理 系 统 所 记 录 的 有 关 入 户 次 数 入 户 时 间 入 户 结 果 等 联 系 记 录 方 面 的 数 据 ; 质 量 督 导 二 组 负 责 核 查 6 种 调 查 问 卷 的 质 量, 以 及 访 员 的 行 为 规 范 ; 协 调 人 负 责 质 量 督 导 组 内, 以 及 质 量 督 导 组 核 查 执 行 组 与 调 查 组 设 计 组 技 术 组 等 部 门 的 协 调 与 沟 通 这 两 个 质 量 督 导 组 独 立 于 调 查 组 之 外, 分 别 由 设 计 主 管 以 及 数 据 主 管 担 任 组 长 并 负 责 具 6

体 执 行, 调 查 中 心 主 任 助 理 担 当 协 调 人 职 责 ⑵ 质 量 督 导 组 内 部 结 构 在 两 个 质 量 督 导 组 的 内 部 下 设 一 个 质 量 核 查 的 执 行 组, 由 一 名 核 查 执 行 主 管 具 体 负 责 核 查 任 务 的 实 现 与 反 馈 在 核 查 执 行 主 管 的 下 面 配 置 2 个 核 查 督 导 协 助 核 查 执 行 主 管 的 工 作 再 往 下 则 是 由 实 习 生 组 成 的 专 职 核 查 队 伍, 分 为 录 音 核 查 员 和 电 话 核 查 员 两 类 实 地 核 查 员 则 由 中 心 以 及 第 三 方 学 术 机 构 进 行 选 拔, 由 核 查 执 行 主 管 进 行 组 织 和 管 理 ⑶ 质 量 督 导 主 管 人 员 名 单 及 职 责 协 调 人 : 负 责 草 拟 质 量 督 导 方 案, 配 置 核 查 组 织 结 构 ; 安 排 核 查 任 务 ; 协 调 核 查 任 务 和 核 查 结 果 在 各 部 门 之 间 的 周 转 ; 汇 总 与 分 发 核 查 数 据 ; 监 测 核 查 进 度 和 核 查 比 例 ; 管 理 访 问 质 量 ; 与 实 地 核 查 合 作 机 构 联 系 与 沟 通 等 事 宜 质 量 一 组 : 负 责 核 查 联 系 记 录 的 逻 辑 性 和 末 端 抽 样 的 精 确 性, 并 负 责 核 查 任 务 与 核 查 结 果 在 部 门 间 的 周 转 质 量 二 组 : 负 责 各 类 问 卷 数 据 的 核 查, 包 括 每 个 访 员 的 采 访 用 时 分 布 无 回 答 率 态 度 量 表 的 信 度 评 估 等, 并 负 责 核 查 任 务 与 核 查 结 果 在 部 门 间 的 周 转 核 查 执 行 组 :1 负 责 各 个 村 居 各 类 核 查 方 式 的 随 机 核 查 任 务 的 实 现, 包 括 招 聘 和 管 理 核 查 员 安 排 核 查 进 度 汇 总 核 查 结 果 撰 写 核 查 周 报 等 2 执 行 质 量 督 导 一 组 二 组 协 调 人 发 出 的 核 查 任 务, 并 反 馈 核 查 结 果 3 负 责 实 地 核 查 的 具 体 组 织 实 施 2.2 质 量 督 导 的 程 序 与 反 馈 机 制 质 量 督 导 的 程 序 根 据 核 查 任 务 的 不 同 而 不 同 CFPS2010 年 调 查 的 核 查 任 务 主 要 分 为 两 种 情 况 : A 类 任 务 : 需 要 进 一 步 向 督 导 访 员 或 受 访 者 核 实 的 信 息, 例 如, 结 果 代 码 的 登 记 错 误, 7

离 群 值 的 核 实, 等 等 B 类 任 务 : 需 要 通 过 随 机 抽 查 样 本 的 方 式 来 督 导 访 员 的 系 统 误 差 ⑴ 对 于 A 类 任 务, 执 行 程 序 如 下 : 第 一 步 : 由 质 量 督 导 组 的 两 个 组 长 分 别 检 查 各 自 负 责 的 数 据 质 量 第 二 步 : 将 核 查 任 务 直 接 交 给 调 查 主 管, 由 调 查 主 管 安 排 相 关 督 导 进 行 信 息 核 实 工 作 第 三 步 : 调 查 主 管 汇 总 督 导 们 的 反 馈, 分 别 再 反 馈 给 质 量 督 导 一 组 和 二 组 第 四 步 : 质 量 督 导 组 的 组 长 将 核 查 结 果 及 改 进 质 量 的 建 议, 根 据 问 题 涉 及 到 的 部 门 反 馈 给 协 调 人 调 查 主 管 数 据 主 管 技 术 主 管, 设 计 主 管, 以 及 中 心 主 任 第 五 步 : 各 有 关 部 门 根 据 核 查 的 结 果 改 进 执 行 质 量 图 1. 质 量 督 导 A 类 任 务 流 程 示 意 图 8

⑵ 对 于 B 类 任 务, 执 行 程 序 如 下 : 第 一 步 : 由 质 量 督 导 组 的 两 个 组 长 分 别 检 查 各 自 负 责 的 数 据 质 量 第 二 步 : 将 需 要 录 音 核 查 电 话 核 查 实 地 核 查 软 件 回 放 的 样 本 名 单 及 核 查 内 容 交 给 核 查 执 行 主 管, 并 将 实 地 核 查 名 单 抄 送 给 调 查 主 管 第 三 步 : 核 查 执 行 主 管 将 核 查 任 务 分 配 给 核 查 员 执 行, 然 后 汇 总 并 反 馈 给 质 量 督 导 组 组 长 ; 在 这 个 环 节, 有 一 种 特 殊 情 况, 由 于 实 地 核 查 会 采 用 第 三 方 执 行 的 方 式, 那 么 与 第 三 方 的 协 调 与 沟 通, 以 及 组 织 与 管 理 第 三 方 的 实 地 核 查 员 的 工 作 将 由 调 查 主 管 直 接 负 责, 核 查 执 行 主 管 将 协 助 完 成 具 体 工 作 第 四 步 : 质 量 督 导 组 的 组 长 将 核 查 结 果 及 改 进 质 量 的 建 议, 根 据 问 题 所 涉 及 到 的 部 门 反 馈 给 调 查 主 管 数 据 主 管 技 术 主 管, 设 计 主 管, 以 及 中 心 主 任 第 五 步 : 各 有 关 部 门 根 据 核 查 的 结 果 改 进 执 行 质 量 图 2. 质 量 督 导 B 类 任 务 流 程 示 意 图 9

2.3 核 查 比 例 ⑴ 录 音 核 查 核 查 内 容 为 采 访 员 行 为 规 范, 以 及 调 查 问 卷 的 全 部 内 容 核 查 比 例 按 照 完 访 家 户 数 进 行 计 算, 要 求 在 有 录 音 的 家 户 中, 至 少 有 15% 被 录 音 核 查 前 提 条 件 是 : 每 个 访 员 的 完 成 样 本 中 至 少 有 一 户 被 录 音 核 查 ; 访 问 过 快 的 访 员 收 听 全 部 有 录 音 的 样 本 此 外, 对 于 电 话 核 查 中 发 现 的 疑 似 代 答 的 样 本, 则 用 录 音 核 查 的 方 式, 选 取 采 访 过 程 中 的 5 个 时 点, 判 断 是 否 为 代 答 实 际 核 查 的 家 户 数 占 完 访 家 户 数 的 28%, 实 际 录 音 核 查 的 问 卷 总 量 达 到 全 部 问 卷 总 量 的 16% ⑵ 电 话 核 查 核 查 内 容 包 括 是 否 接 受 了 访 问, 以 及 对 各 类 问 卷 中 若 干 关 键 问 题 的 回 答 等 核 查 比 例 按 照 完 访 家 户 数 进 行 计 算, 要 求 每 个 村 居 的 完 访 家 户 至 少 有 25% 被 核 查, 每 个 访 员 的 完 访 家 户 至 少 有 25% 被 核 查 实 际 拨 打 电 话 的 家 户 数 占 全 部 完 访 家 户 数 的 33%, 成 功 接 受 电 话 核 查 的 家 户 数 占 全 部 完 访 家 户 数 的 19% 拨 打 电 话 的 联 系 结 果 表 1 表 1. 电 话 核 查 状 态 汇 总 表 电 话 拨 打 状 态 户 数 比 例 (%) 成 功 联 系 2674 61.63% 联 系 不 上 ( 一 直 无 人 接 听 一 直 占 线 等 ) 1304 30.05% 语 言 障 碍 无 法 交 谈 89 2.05% 空 号 停 机 或 电 话 号 码 错 误 98 2.26% 拒 访 174 4.01% 共 打 出 电 话 4339 100.00% 10

⑶ 实 地 核 查 在 录 音 核 查 和 电 话 核 查 的 样 本 以 外, 我 们 选 择 了 部 分 需 要 实 地 核 查 的 样 本 核 查 内 容 包 括 是 否 为 住 户 单 元, 是 否 接 受 了 访 问, 以 及 对 各 类 问 卷 中 若 干 关 键 问 题 的 回 答 等 核 查 比 例 按 照 完 访 家 户 数 进 行 计 算, 要 求 每 个 村 居 的 完 访 家 户 至 少 有 15% 被 核 查, 每 个 访 员 的 完 访 家 户 至 少 有 15% 被 核 查 实 际 核 查 的 家 户 数 占 全 部 家 户 数 的 25% 参 与 实 地 核 查 的 第 三 方 学 术 机 构 及 其 负 责 核 查 的 省 份 见 表 2, 其 它 省 份 由 中 心 负 责 核 查 表 2. 参 与 实 地 核 查 的 第 三 方 学 术 机 构 名 称 及 核 查 省 份 机 构 名 称 东 北 财 经 大 学 上 海 大 学 中 山 大 学 兰 州 大 学 河 南 大 学 贵 州 民 族 学 院 核 查 省 份 黑 龙 江 吉 林 辽 宁 上 海 广 东 甘 肃 河 南 贵 州 此 外, 在 2010 年 调 查 结 束 后, 我 们 还 进 行 了 两 轮 实 地 核 查 工 作 : 在 2010 年 12 月 10 日 至 2 月 27 日, 中 心 组 织 访 员 对 全 国 360 个 村 居 进 行 了 新 一 轮 实 地 核 查 ; 在 2011 年 7 月 22 日 至 11 月 12 日, 中 心 执 行 了 CFPS2011 年 的 样 本 维 护 调 查, 借 此 机 会 对 2010 年 的 全 部 样 本 再 一 次 进 行 了 核 查 ⑷ 采 访 过 程 回 放 采 访 过 程 回 放 指 通 过 专 门 设 计 的 playback 软 件, 根 据 每 个 问 题 的 采 访 用 时, 进 行 键 盘 操 作 过 程 的 回 放 实 际 核 查 的 样 本 数 占 全 部 有 效 样 本 数 的 3% 在 调 查 执 行 的 中 后 期, 由 于 时 间 成 本 过 高 且 收 效 不 明 显, 采 访 过 程 回 放 最 后 被 问 卷 监 测 题 目 采 访 用 时 的 统 计 分 析 替 代 11

⑸ 数 据 的 统 计 分 析 数 据 部 的 专 业 人 员 每 周 对 问 卷 数 据 并 行 数 据 管 理 系 统 信 息 数 据 进 行 统 计 分 析 和 描 述, 检 查 系 统 性 的 误 差, 并 分 别 向 质 量 督 导 组 和 调 查 组 报 告 如 下 内 容 : 采 访 用 时 统 计 表 ( 包 括 问 卷 和 监 测 题 目 的 采 访 用 时 ) 无 回 答 率 ( 包 括 单 元 无 回 答 和 监 测 题 目 上 的 题 目 无 回 答 ) 离 群 值, 以 及 态 度 量 表 题 目 的 内 部 一 致 性 信 度 系 数 等 2.4 核 查 的 技 术 在 整 个 质 量 督 导 过 程 中, 我 们 依 赖 合 并 程 序 完 成 数 据 整 合, 利 用 SAS 软 件 的 SQL 程 序 来 提 取 管 理 系 统 的 数 据, 利 用 Blaise to SAS 软 件 来 提 取 问 卷 数 据 库, 利 用 SAS STATA SPSS 软 件 中 的 数 据 管 理 程 序 数 据 描 述 程 序 信 度 检 验 程 序 来 挑 选 核 查 目 标 在 执 行 核 查 的 阶 段, 利 用 核 查 系 统 ( 见 图 3) 来 实 现 核 查 样 本 的 随 机 筛 选 分 配 以 及 核 查 问 卷 的 登 录, 利 用 playback 软 件 来 实 现 采 访 过 程 回 放 的 核 查 12

图 3. 核 查 系 统 简 单 示 意 图 (1) 图 3. 核 查 系 统 简 单 示 意 图 (2) 13

3. 质 量 督 导 结 果 3.1 数 据 质 量 评 估 数 据 质 量 需 要 考 察 每 个 变 量 的 抽 样 误 差 和 非 抽 样 误 差, 非 抽 样 误 差 中 又 分 为 覆 盖 误 差 无 回 答 误 差 测 量 误 差 关 于 抽 样 误 差 覆 盖 误 差 无 回 答 误 差 的 评 估 请 参 见 相 关 技 术 报 告 关 于 测 量 误 差 的 评 估 目 前 很 难 测 定 和 识 别, 需 要 研 究 者 在 研 究 过 程 中 根 据 各 自 的 分 析 模 型 来 具 体 问 题 具 体 分 析 本 报 告 将 仅 从 采 访 过 程 中 的 访 员 规 范 的 质 量 监 测 效 果 出 发, 来 报 告 质 量 督 导 的 结 果 3.2 访 员 规 范 面 访 调 查 中, 访 员 不 规 范 的 访 问 行 为 会 对 数 据 质 量 造 成 损 害, 也 一 直 被 作 为 质 量 监 控 的 重 点 常 见 的 访 员 不 规 范 行 为 可 以 细 分 为 : 替 换 受 访 地 址 或 受 访 户 ; 替 换 受 访 者 ; 访 员 不 登 门, 自 填 整 份 问 卷 ; 访 问 过 程 中 破 坏 中 立 原 则, 引 导 受 访 者 选 择 答 案 ; 访 问 过 程 中 用 各 种 方 式 催 促 受 访 者, 使 受 访 者 未 加 思 考 匆 匆 作 答 ; 通 过 跳 转 模 式 故 意 回 避 需 要 长 时 间 作 答 的 题 组 ; 有 意 地 不 提 问 某 些 题 目 而 自 行 填 答 ; 系 统 地 读 错 题 目 或 选 错 答 案 中 的 代 码 ; 等 等 下 面 将 主 要 介 绍 我 们 针 对 以 下 几 个 问 题 的 核 查 结 果 ⑴ 是 否 访 问 非 受 访 户 非 受 访 人? 由 核 查 结 果 来 看, 在 所 有 接 受 了 电 话 核 查 实 地 核 查 录 音 核 查 的 家 户 中, 没 有 发 生 访 问 非 受 访 户 的 情 况 在 成 人 问 卷 中, 有 81 份 问 卷 属 于 代 答 的 情 况 : 其 中 有 59 份 属 于 同 一 访 员 的 作 弊 行 为 ; 有 7 份 问 卷 属 于 受 访 者 不 在 家 而 被 家 人 代 答 的 情 况,; 其 余 15 份 属 于 受 访 者 无 回 答 能 力, 或 者 被 抢 答 的 情 况 全 部 成 人 问 卷 的 代 答 总 共 涉 及 21 个 访 员 在 10 岁 -15 岁 少 儿 自 答 问 卷 中, 有 22 份 存 在 代 答 的 情 况, 其 中 有 7 份 属 于 孩 子 在 回 答 过 程 中, 被 家 长 抢 答 的 情 况 少 儿 自 答 问 卷 的 代 答 总 共 涉 及 20 个 访 员 除 此 之 外, 在 实 地 核 查 中, 我 们 还 发 现 了 其 它 几 例 严 重 作 弊 行 为, 如 访 员 请 人 代 替 自 己 进 行 访 问 等 具 体 情 况 与 处 理 方 法 可 参 考 中 国 家 庭 动 态 跟 踪 调 查 2010 年 基 线 调 查 执 行 报 告 (CFPS-3) 14

⑵ 采 访 是 否 符 合 规 范? 在 电 话 和 实 地 核 查 中, 受 访 家 户 普 遍 反 映 访 员 很 好 地 遵 守 了 采 访 规 范 在 录 音 核 查 中, 我 们 也 发 现 绝 大 多 数 访 员 在 绝 大 多 数 采 访 过 程 中 都 严 格 地 遵 守 了 采 访 规 范 部 分 访 员 的 不 规 范 之 处 主 要 表 现 在 : 第 一, 采 访 语 速 过 快 或 者 漏 问 题 目 较 多 导 致 采 访 用 时 过 短 我 们 将 总 采 访 用 时 过 短, 并 且 采 访 用 时 过 短 的 题 目 数 占 监 测 题 目 总 数 的 比 例 超 过 50% 的 样 本 定 义 为 采 访 用 时 过 短 样 本 这 类 样 本 共 有 1051 份 ( 包 括 家 庭 和 个 人 问 卷 ), 共 涉 及 到 50 个 访 员 第 二, 至 少 有 1 个 漏 问 题 目 截 止 到 2010 年 9 月 15 日,CFPS 调 查 完 成 住 户 过 滤 问 卷 家 庭 成 员 问 卷 家 庭 问 卷 成 人 问 卷 少 儿 问 卷 共 计 84361 份 依 据 CFPS 调 查 质 量 核 查 方 案, 全 部 问 卷 中 有 50% 的 问 卷 被 随 机 核 查 在 被 抽 查 的 问 卷 中, 发 现 至 少 有 1 个 漏 问 题 目 的 问 卷 共 有 7914 份 漏 问 的 原 因 有 两 类 : 一 是 访 员 根 据 观 察 或 者 已 经 获 得 的 信 息 判 断 出 问 题 的 答 案, 例 如, 在 家 庭 成 员 问 卷 中 已 经 询 问 过 受 访 人 的 婚 姻 状 况 是 丧 偶, 那 么 在 成 人 问 卷 中 当 再 次 问 到 婚 姻 状 况 时, 访 员 直 接 填 答 丧 偶 ; 或 者 访 员 看 见 受 访 人 在 打 手 机, 在 问 到 您 是 否 有 手 机 这 个 问 题 时, 则 没 有 询 问 受 访 人 而 自 行 填 了 答 案 这 些 情 况 均 不 能 作 为 判 断 数 据 质 量 的 依 据 二 是 故 意 漏 问, 这 种 情 况 则 有 可 能 影 响 到 数 据 的 质 量 经 过 与 访 员 们 的 核 实, 绝 大 多 数 问 卷 属 于 前 者, 在 没 有 识 别 哪 些 变 量 可 以 依 靠 观 察 判 断 获 得 准 确 信 息 之 前, 根 据 漏 问 的 数 量 暂 时 不 能 判 断 访 问 质 量 但 是, 在 采 访 过 程 中, 基 于 严 格 要 求 访 员 遵 守 规 范 的 角 度, 我 们 要 求 每 一 个 题 目 都 不 得 漏 问 根 据 实 时 监 测 的 结 果, 我 们 对 出 现 至 少 1 个 漏 问 题 目 的 访 员 进 行 了 干 预 表 3 显 示 了 在 农 村 成 人 问 卷 中, 质 量 督 导 干 预 前 后 访 员 漏 问 情 况 的 变 化 通 过 单 因 素 方 差 分 析, 我 们 发 现 质 量 干 预 前 后 访 员 的 漏 题 卷 占 完 成 卷 比 例 的 均 值 存 在 显 著 差 异 (F=75.661,p<0.001) 漏 题 卷 比 例 的 均 值, 在 干 预 之 前 为 11.5%, 在 干 预 之 后 则 降 低 为 6.7% 由 此 可 见 质 量 干 预 的 效 果 15

表 3. 质 量 干 预 前 后 的 有 漏 题 卷 与 无 漏 题 卷 的 基 本 情 况 访 员 类 型 3 有 漏 题 卷 未 被 干 预 访 员 数 漏 题 卷 占 完 成 卷 比 例 的 均 值 漏 题 卷 的 总 数 农 村 成 人 卷 总 数 57 0.115 316 3541 有 漏 题 卷 已 被 干 预 108 0.068 630 10418 没 有 漏 题 卷 153 0.000 0 8563 合 计 318 946 22522 4. 人 力 与 时 间 成 本 4.1 专 职 人 员 负 责 人 : 严 洁 任 莉 颖 孙 妍 执 行 主 管 : 孙 玉 环 李 力 邹 艳 辉 ; 孙 翊 滕 学 亮 余 越 洋 丛 维 核 查 时 间 :2010 年 4 月 8 日 9 月 20 日 加 班 时 间 : 约 730 小 时 ( 未 计 算 负 责 人 的 加 班 时 间 ) 4.2 兼 职 人 员 ⑴ 录 音 核 查 录 音 核 查 员 :136 名 核 查 时 间 :2010 年 4 月 14 日 9 月 26 日 总 时 数 : 约 11786 个 小 时 ⑵ 电 话 核 查 电 话 核 查 员 :58 名 核 查 时 间 :2010 年 4 月 14 日 9 月 19 日 3 57 个 访 员 的 316 份 问 卷 由 于 已 经 结 束 访 问 而 没 有 来 得 及 进 行 干 预 没 有 实 现 干 预 的 原 因 有 四 类 : 有 21 个 访 员 历 经 了 每 周 的 质 量 监 测, 但 是 直 到 最 后 一 次 监 测 才 发 现 问 题 ; 有 10 个 访 员 完 成 的 样 本 量 很 少, 且 执 行 时 间 集 中 在 1-2 周 内, 当 质 量 监 测 人 员 发 现 问 题 时, 访 问 已 经 结 束 ; 有 2 个 访 员 开 始 访 问 的 时 间 临 近 调 查 季 结 束, 发 现 问 题 时, 已 经 结 束 访 问 ; 有 24 个 访 员 因 录 音 核 查 访 问 过 程 键 盘 回 放 的 延 时 和 滞 后, 导 致 发 现 问 题 晚, 从 而 未 能 及 时 实 施 干 预 前 三 类 存 在 不 可 避 免 性, 第 四 类 则 是 在 调 查 中 需 要 进 一 步 解 决 的 问 题 16

总 时 数 : 约 1277 小 时 ⑶ 实 地 核 查 实 地 核 查 员 :158 名, 其 中, 合 作 大 学 核 查 员 :93 名 核 查 时 间 :2010 年 4 月 26 日 -9 月 10 日 5. 经 验 总 结 5.1 执 行 核 查 的 难 点 5.1.1 受 访 人 的 合 作 在 电 话 核 查 实 地 核 查 的 过 程 中, 我 们 遇 到 的 严 重 困 难 之 一 是 受 访 人 不 愿 意 合 作 根 据 统 计, 电 话 核 查 的 拒 访 率 为 7.7% 的 我 们 的 核 查 员 打 通 电 话 后, 受 访 人 听 明 来 意 后 便 挂 断 电 话, 即 使 接 受 过 我 们 的 调 查 也 不 愿 意 配 合 回 访, 态 度 非 常 强 硬 此 外, 核 查 员 在 核 实 受 访 者 居 住 地 址 信 息 时, 农 村 受 访 者 多 数 不 清 楚 自 己 家 的 门 牌 号, 城 区 的 部 分 受 访 者 则 不 愿 意 透 露 自 己 的 详 细 家 庭 住 址, 还 有 少 数 受 访 者 要 求 寄 到 所 在 居 委 会 这 在 一 定 程 度 上 就 给 我 们 的 后 续 工 作 ( 实 地 核 查, 明 年 的 追 访 等 ) 带 来 了 困 难 5.1.2 语 言 障 碍 在 录 音 电 话 与 实 地 核 查 过 程 中 遇 到 的 另 外 一 个 严 重 困 难 就 是 语 言 不 通 各 地 方 言 之 间 存 在 着 沟 通 障 碍, 这 对 核 查 的 质 量 和 速 度 产 生 了 不 小 的 影 响 尤 其 是 在 南 方 各 省, 各 县 乡 之 间 的 语 言 也 有 着 很 大 差 异, 中 心 虽 然 为 此 招 聘 了 会 当 地 方 言 的 学 生 来 做 电 话 回 访, 但 依 然 会 遇 到 地 区 方 言 上 的 困 难 5.1.3 实 地 核 查 的 成 本 控 制 与 时 效 性 之 间 的 矛 盾 实 地 核 查 要 求 每 个 村 居 都 有 一 定 比 例 的 核 查 样 本, 而 控 制 成 本 需 要 同 时 展 开 邻 近 省 市 的 17

核 查 但 是 由 于 各 区 县 之 间 同 一 区 县 的 不 同 村 居 之 间 的 访 问 进 度 差 异 很 大, 很 难 在 成 本 与 时 效 性 之 间 达 到 均 衡 本 次 核 查 最 后 以 控 制 成 本 为 先, 兼 顾 时 效 性 为 原 则, 分 批 开 展 了 实 地 核 查 工 作, 基 本 上 等 到 一 省 的 访 问 完 成 60% 以 上 之 后 才 开 始 本 省 的 实 地 核 查, 致 使 有 一 个 存 在 严 重 质 量 问 题 的 访 员 的 实 地 核 查 结 果 在 调 查 临 近 结 束 时 才 获 得 5.1.4 录 音 文 件 上 传 速 度 与 时 效 性 之 间 的 矛 盾 按 照 访 问 管 理 的 要 求, 录 音 文 件 应 该 及 时 由 访 员 上 传 到 服 务 器 但 是 在 实 地 过 程 中, 多 数 访 员 由 于 录 音 文 件 字 节 数 太 大 而 无 法 及 时 上 传 录 音 文 件, 他 们 的 录 音 文 件 是 在 笔 记 本 电 脑 寄 回 中 心 之 后, 由 技 术 部 门 单 独 上 传 的, 从 而 导 致 那 些 一 直 没 有 上 传 录 音 文 件 的 访 员 的 录 音 核 查 的 时 效 性 受 损 此 外, 一 部 分 访 员 将 一 个 家 户 内 的 所 有 样 本 的 录 音 都 存 储 在 一 个 音 频 文 件 中, 导 致 录 音 核 查 的 时 间 成 本 大 量 增 加 5.1.5 核 查 问 卷 的 部 分 题 目 的 效 度 存 在 问 题 目 前 使 用 的 各 类 核 查 问 卷 在 部 分 题 目 上 已 经 发 现 存 在 效 度 问 题, 从 而 导 致 不 能 由 此 判 断 访 员 的 违 规 行 为 与 访 问 质 量 的 关 系 此 外, 在 题 目 采 访 用 时 的 监 测 表 中, 也 有 一 些 题 目 存 在 效 度 问 题 良 好 的 测 量 工 具 是 提 高 质 量 督 导 效 果 的 有 效 手 段, 建 议 在 今 后 的 工 作 中 对 核 查 问 卷 和 监 测 量 表 能 够 有 更 为 科 学 和 细 致 的 设 计 5.1.6 对 严 重 质 量 问 题 进 行 判 定 的 困 难 在 访 问 过 程 中, 每 周 需 要 对 访 员 行 为 进 行 归 纳 汇 总, 其 中, 对 于 存 在 严 重 质 量 问 题 的 判 定 存 在 一 定 的 困 难 第 一, 没 有 对 访 员 的 访 问 质 量 制 定 出 统 一 的 标 准 由 于 属 于 初 创 期, 很 多 判 定 标 准 并 未 得 到 经 验 数 据 的 检 验, 还 都 是 根 据 以 往 的 经 验 得 出 的, 因 此 是 否 科 学 还 需 要 在 得 到 第 一 波 的 数 据 后 加 以 验 证 这 个 工 作 是 接 下 来 的 工 作 之 重 第 二, 缺 少 能 够 对 访 问 质 量 做 出 敏 感 准 确 判 断 的 研 究 型 人 才 由 于 每 周 要 及 时 汇 总 访 18

问 过 程 中 的 问 题, 我 们 对 具 有 研 究 能 力 和 判 断 能 力, 同 时 具 有 丰 富 的 调 查 经 验 的 人 才 的 需 求 非 常 高, 急 需 有 一 个 高 级 质 量 督 导 担 任 此 项 工 作 5.2 核 查 经 验 与 需 改 进 之 处 5.2.1 经 验 CFPS2010 的 质 量 督 导 方 法 策 略 人 员 结 构 程 序 以 及 反 馈 机 制 比 较 合 适, 有 效 地 督 导 了 访 问 质 量 今 后 可 在 此 方 案 的 基 础 上 加 以 改 进, 以 达 到 质 量 与 成 本 的 双 优 目 标 5.2.2 需 改 进 之 处 ⑴ 核 查 系 统 今 年 刚 投 入 使 用, 还 需 要 对 样 本 筛 选 功 能 进 一 步 改 进, 对 数 据 库 汇 总 分 析 的 功 能 进 一 步 加 强 ⑵ 核 查 问 卷 要 进 一 步 修 订, 去 掉 效 度 低 的 题 目, 增 加 测 量 指 标 ⑶ 制 定 判 断 访 问 质 量 的 标 准, 将 违 规 行 为 与 访 问 质 量 联 系 起 来 ⑷ 核 查 结 果 的 传 递 与 反 馈 任 务 建 议 实 现 网 络 化, 这 样 可 减 少 协 调 人 的 中 转 时 间 和 成 本 ⑸ 采 访 过 程 回 放 (Playback) 软 件 核 查 可 以 被 分 题 采 访 用 时 的 汇 总 分 析 所 替 代, 以 节 约 时 间 成 本 ⑹ 录 音 核 查 的 时 间 成 本 与 效 果 之 间 的 比 例 不 合 理, 成 本 高 但 效 果 不 明 显, 建 议 降 低 随 机 录 音 核 查 的 比 例, 增 加 有 目 的 的 录 音 核 查 数 量 ; 同 时, 增 加 TIEQ( 单 题 访 问 时 长 ) 核 查 的 覆 盖 面 ⑺ 中 心 的 实 地 核 查 员 如 果 由 实 地 的 样 本 维 护 人 员 来 担 任, 可 以 节 约 交 通 成 本 以 上 汇 报 了 2010 年 CFPS 质 量 督 导 工 作 的 方 式 及 结 果 总 的 说 来,2010 年 的 调 查 工 作 取 得 了 成 功, 调 查 目 的 得 以 圆 满 实 现, 我 们 不 仅 获 得 了 质 量 可 靠 的 调 查 数 据, 也 为 CFPS 调 查 工 作 积 累 了 丰 富 的 宝 贵 的 行 之 有 效 的 经 验 为 此, 我 们 向 所 有 为 CFPS 项 目 付 出 心 血 和 劳 动 的 人 员 表 示 感 谢 19