教 育 部 社 科 委 学 风 建 设 委 员 会 工 作 简 报 2014 年 第 3 期 ( 总 第 42 期 ) 学 风 建 设 委 员 会 秘 书 处 编 2014 年 月 日 高 校 人 文 社 科 学 术 成 果 同 行 评 议 指 标 的 构 建 长 安 大 学 杜 向 民 蒲 济 生 樊 建 强 一 高 校 人 文 社 科 学 术 成 果 同 行 评 议 的 现 状 同 行 评 议 是 一 项 历 史 悠 久 的 科 研 评 价 机 制, 具 有 自 主 性 公 正 性 择 优 性 等 本 质 特 征, 被 广 泛 应 用 于 成 果 评 价 职 称 评 审 项 目 资 助 论 文 发 表 机 构 评 估 等 科 研 活 动 中, 在 遴 选 优 秀 科 研 成 果 优 化 科 研 资 源 配 置 把 握 科 研 方 向 等 方 面 具 有 重 要 作 用, 是 全 世 界 普 遍 认 同 的 科 研 评 价 制 度 但 是 在 我 国 人 文 社 科 学 术 成 果 评 价 实 践 中, 往 往 由 于 专 家 遴 选 机 制 不 健 全 同 行 专 家 库 信 息 不 全 面 评 议 专 家 选 择 方 式 不 科 学 评 价 运 行 机 制 与 监 督 机 制 不 1
完 善 等 问 题 的 存 在, 导 致 同 行 评 议 过 程 中 专 家 出 现 错 位 失 位 等 现 象, 加 上 人 际 关 系 利 益 关 系 名 家 马 太 效 应 等 外 部 因 素 的 干 扰, 评 价 结 果 往 往 难 以 令 人 信 服, 同 行 评 议 失 去 应 有 的 公 正 性, 甚 至 出 现 劣 币 驱 逐 良 币 的 结 果 二 高 校 人 文 社 科 学 术 成 果 同 行 评 议 指 标 设 计 的 逻 辑 学 术 成 果 评 价 历 来 是 一 个 难 题 所 谓 学 术 成 果, 是 指 运 用 科 学 的 研 究 方 法 和 学 术 规 范, 通 过 创 造 性 劳 动 产 出 的 具 有 一 定 价 值 含 量 ( 包 括 学 术 价 值 和 社 会 价 值 ) 及 传 播 渠 道 的 科 学 文 献 由 此 可 见, 创 新 性 和 价 值 性 是 评 判 学 术 成 果 质 量 优 劣 的 两 大 基 本 标 准 目 前, 同 行 评 议 法 和 文 献 计 量 法 是 两 种 比 较 流 行 的 学 术 成 果 评 价 方 法, 其 中 文 献 计 量 法 是 一 种 基 于 形 式 的 评 价 方 法, 并 且 比 较 侧 重 于 学 术 成 果 的 影 响 力 评 价 但 是, 人 文 社 会 科 学 不 同 于 自 然 科 学, 其 研 究 成 果 往 往 具 有 不 易 量 化 性 价 值 体 现 延 时 性 效 益 表 现 间 接 性 等 特 点, 从 而 使 其 影 响 力 在 短 期 内 难 以 完 全 显 现 ( 例 如 转 载 率 不 高 影 响 因 子 低 等 ) 因 此, 如 果 过 分 倚 重 文 献 计 量 法, 则 容 易 导 致 人 文 社 科 学 术 成 果 评 价 结 果 失 真 现 象 的 发 生 而 同 行 评 议 法 自 17 世 纪 产 生 以 来, 一 直 作 为 一 种 有 效 的 学 术 评 价 机 制 而 存 在, 属 于 基 于 内 容 的 学 术 评 价 方 法, 即 根 据 科 学 发 展 的 内 在 规 律 和 学 科 本 身 的 逻 辑 结 构 进 行 评 价 由 此 可 见, 同 行 评 议 的 本 质 特 征 与 学 术 成 果 评 价 的 基 本 要 求 高 度 一 致 基 于 此, 在 人 文 社 科 学 术 成 果 评 价 过 程 中, 应 该 特 别 重 视 同 行 评 议 法 尽 管 同 行 评 议 法 比 较 适 合 于 人 文 社 科 学 术 成 果 的 评 价, 但 是 2
容 易 受 到 评 议 人 主 观 因 素 的 影 响, 如 评 议 人 的 知 识 结 构 学 术 兴 趣 道 德 标 准 人 际 关 系 工 作 责 任 心 等 因 此, 为 了 有 效 地 防 止 同 行 评 议 的 随 意 性, 构 建 一 套 基 于 创 新 性 和 价 值 性 的 学 术 成 果 评 价 指 标 势 在 必 行 评 价 指 标 体 系 可 从 五 个 方 面 着 手, 即 学 术 规 范 性 研 究 科 学 性 价 值 含 量 创 新 程 度 难 易 程 度 具 体 说 明 如 下 :(1) 前 三 项 指 标 ( 即 学 术 规 范 性 研 究 科 学 性 价 值 含 量 ) 主 要 用 于 评 价 学 术 成 果 的 价 值 程 度, 即 在 严 格 的 学 术 规 范 下, 运 用 科 学 的 研 究 方 法, 经 过 严 密 的 逻 辑 推 导 过 程, 可 得 出 令 人 信 服 的 具 有 一 定 学 术 价 值 或 应 用 价 值 的 成 果 (2) 后 两 项 指 标 ( 即 创 新 程 度 难 易 程 度 ) 主 要 用 于 评 价 学 术 成 果 的 创 新 性, 即 在 判 断 学 术 成 果 创 新 程 度 的 基 础 上, 结 合 创 新 形 成 过 程 的 难 易 程 度, 恰 当 评 价 学 术 成 果 创 新 性 三 高 校 人 文 社 科 学 术 成 果 同 行 评 议 指 标 的 具 体 设 计 首 先, 评 价 学 术 成 果 价 值 性 具 体 指 标 的 设 计 (1) 学 术 规 范 性 此 项 指 标 强 调 结 构 规 范 引 用 规 范 参 考 文 献 规 范 等 三 个 方 面, 有 助 于 读 者 或 同 行 作 进 一 步 研 究 或 证 伪 (2) 研 究 科 学 性 此 项 指 标 可 从 选 题 合 理 性 方 法 科 学 性 逻 辑 严 密 性 论 据 充 分 性 等 方 面 进 行 判 断, 其 目 的 是 通 过 上 述 几 方 面 的 判 读, 使 读 者 相 信 成 果 的 形 成 过 程 符 合 科 学 规 律, 从 而 使 其 对 研 究 结 论 的 价 值 判 断 有 意 义 (3) 价 值 含 量 此 项 指 标 直 接 反 映 评 价 对 象 质 量 高 低 和 效 用 程 度, 可 从 学 术 价 值 和 社 会 价 值 两 个 角 度 展 开, 3
其 中 学 术 价 值 从 是 否 创 立 了 新 理 论 或 新 学 说 是 否 填 补 了 学 科 理 论 上 的 空 白 或 开 创 了 新 学 科 是 否 对 学 科 建 设 具 有 重 大 贡 献 等 方 面 进 行 评 价 ; 社 会 价 值 从 是 否 对 解 决 社 会 发 展 中 重 大 问 题 提 出 了 建 设 性 意 见 和 对 策 是 否 有 预 测 未 来 的 战 略 功 能 是 否 取 得 了 重 大 经 济 或 社 会 效 益 是 否 在 国 际 范 围 内 产 生 影 响 等 方 面 进 行 评 价 另 外, 价 值 含 量 的 判 断 可 以 参 考 成 果 的 转 载 率 同 行 评 论 外 文 出 版 采 纳 范 围 等 间 接 资 料, 但 对 此 不 应 过 于 依 赖 其 次, 评 价 学 术 成 果 创 新 性 具 体 指 标 的 设 计 创 新 是 科 学 研 究 的 灵 魂, 同 时 相 对 而 言 也 是 一 个 易 于 判 断 的 指 标 学 术 成 果 的 创 新 性 评 价 可 从 创 新 程 度 和 难 易 程 度 两 个 角 度 展 开, 具 体 指 标 设 计 如 下 :(1) 创 新 程 度 借 助 同 行 评 议 文 献 查 新 成 果 展 示 等 手 段, 从 理 论 突 破 性 观 点 新 颖 性 方 法 创 新 性 资 料 整 理 新 颖 性 等 角 度 对 评 价 对 象 的 创 新 程 度 给 予 判 断 同 时, 创 新 程 度 的 判 断 还 可 参 考 查 新 报 告 发 表 期 刊 的 影 响 因 子 文 献 摘 录 获 奖 层 次 等 间 接 资 料, 但 不 应 过 分 依 赖 (2) 难 易 程 度 此 指 标 是 评 价 创 新 性 的 辅 助 指 标, 具 体 可 从 论 题 的 复 杂 程 度 资 料 收 集 或 处 理 的 难 度 论 题 的 受 关 注 程 度 等 方 面 展 开 因 为 研 究 过 程 越 困 难 受 关 注 程 度 越 高 研 究 者 越 多, 新 理 论 新 思 想 新 观 点 新 资 料 越 难 以 出 现, 在 这 种 情 况 下, 依 据 难 易 程 度 和 创 新 程 度 就 可 以 对 成 果 创 新 性 给 予 恰 当 的 评 价 在 此 项 评 价 中, 创 新 程 度 高 和 研 究 难 度 大 的 成 果 创 新 性 最 强 ; 创 新 程 度 低 和 研 究 难 度 不 大 的 成 果 创 新 性 最 低 ; 对 于 创 新 程 度 高 和 4
研 究 难 度 低 的 成 果 创 新 程 度 低 和 研 究 难 度 大 的 成 果, 其 创 新 性 介 于 最 大 和 最 小 之 间 表 1 人 文 社 会 科 学 学 术 成 果 同 行 评 议 的 指 标 体 系 一 级 指 标 二 级 指 标 评 价 要 点 学 术 规 范 性 内 容 结 构 规 范 性 引 用 文 献 规 范 性 参 考 文 献 规 范 性 学 术 规 范 性 研 究 是 研 究 成 果 科 学 性 的 基 本 要 求 和 根 本 此 项 指 标 评 价 应 该 注 重 成 果 内 容 结 果 的 规 范 性, 按 照 综 述 问 题 提 出 观 点 论 证 研 究 结 论 框 架 形 成 ; 引 用 文 献 准 确, 恰 当, 标 注 规 范 ; 参 考 文 献 全 面 真 实 研 究 科 学 性 选 题 合 理 性 方 法 科 学 性 逻 辑 严 密 性 论 据 充 分 性 选 题 具 有 理 论 价 值 或 实 践 价 值 ; 研 究 方 法 科 学 先 进 ; 研 究 成 果 目 标 明 确 结 构 合 理 逻 辑 性 强 ; 参 考 资 料 占 用 全 面 论 据 充 分 可 信 学 术 科 学 进 步 价 值 是 否 创 立 了 新 理 论 或 新 学 说 填 补 了 价 值 学 科 建 设 价 值 学 科 理 论 上 的 空 白 或 开 创 了 新 学 科 或 对 社 会 反 响 学 科 建 设 具 有 重 大 贡 献 ; 是 否 对 解 决 社 会 价 值 含 量 社 会 价 值 社 会 效 益 发 展 中 的 重 大 问 题 提 出 符 合 实 际 的 富 有 创 建 的 思 路 和 对 策 是 否 有 预 测 未 来 战 略 功 能 是 否 取 得 了 重 大 解 决 解 决 或 社 会 效 益 或 在 国 际 范 围 产 生 影 响 创 新 程 度 理 论 突 破 性 是 否 具 有 重 大 发 现 或 理 论 创 新, 填 补 5
观 点 新 颖 性 研 究 领 域 空 白 ; 是 否 提 出 新 观 点 新 视 角, 方 法 创 新 性 资 料 整 理 新 颖 性 论 题 的 复 杂 程 度 资 料 收 集 或 处 理 的 难 度 促 进 学 科 发 展 ; 是 否 引 入 新 颖 研 究 方 法, 取 得 有 效 成 果 ; 是 否 发 现 新 资 料 新 史 料 新 证 据 新 数 据 论 题 的 论 证 过 程 复 杂 涉 及 面 广 ; 资 料 收 集 全 面, 资 料 整 理 难 度 大 ; 论 题 受 关 难 易 程 度 注 程 度 大, 研 究 人 员 多 ( 注 : 越 容 易 受 论 题 的 受 关 注 程 度 关 注 问 题, 由 于 研 究 人 员 多, 各 种 观 点 也 多, 因 此 越 不 容 易 出 现 创 新 ) 三 高 校 人 文 社 科 学 术 成 果 同 行 评 议 指 标 应 用 的 进 一 步 说 明 评 价 指 标 体 系 的 构 建, 只 是 完 成 了 同 行 评 议 法 改 进 的 第 一 步 工 作 在 此 基 础 上, 还 应 该 :(1) 确 定 指 标 权 重 通 过 比 较 主 观 赋 权 法 ( 如 AHP 法 Delphi 法 等 ) 客 观 赋 权 法 ( 如 最 大 熵 技 术 法 主 成 分 分 析 法 等 ) 主 客 观 综 合 集 成 赋 权 法 等 方 法, 并 结 合 人 文 社 科 学 术 成 果 评 价 的 特 点, 选 择 恰 当 的 评 价 指 标 赋 权 方 法, 以 便 将 各 指 标 的 专 家 评 议 分 值 综 合 量 化, 进 而 相 互 比 较 (2) 建 立 主 观 评 分 调 整 机 制 同 行 评 议 过 程 中, 不 同 专 家 的 学 术 水 平 学 术 背 景 参 照 体 系 等 方 面 存 在 较 大 差 异, 从 而 使 不 同 专 家 对 评 分 标 准 的 认 识 和 尺 度 掌 握 存 在 差 异, 即 把 同 样 的 分 数 映 射 到 不 同 评 委 的 价 值 坐 标 系 中, 所 反 映 的 成 果 水 平 并 不 相 同, 甚 至 相 差 很 远 基 于 此, 应 结 合 优 化 理 论, 利 用 归 一 化 算 法 消 除 因 价 值 坐 标 系 不 一 致 对 评 价 结 果 的 影 响, 最 终 得 到 一 个 建 立 在 归 一 化 体 系 下 6
的 消 除 了 部 分 主 观 误 差 的 同 行 评 议 量 化 结 果 (3) 健 全 同 行 专 家 遴 选 机 制, 提 高 评 议 主 体 和 客 体 的 匹 配 性 为 了 防 止 同 行 评 议 过 程 中 的 错 位 现 象, 实 现 小 同 行 评 议, 一 方 面 从 定 性 角 度 全 面 分 析 待 评 专 家 的 个 人 信 息 和 研 究 专 长, 另 一 方 面 可 借 助 一 些 新 技 术 和 新 方 法 ( 如 主 题 地 图 可 视 化 著 者 同 被 引 技 术 社 会 网 络 分 析 语 义 索 引 技 术 等 ) 选 择 合 适 的 同 行 专 家 进 行 评 议, 从 而 提 高 评 议 专 家 的 适 配 性 利 用 前 文 构 建 的 评 价 指 标 体 系, 同 时 结 合 上 述 评 价 技 术 和 评 价 方 法, 能 够 在 一 定 程 度 上 解 决 由 谁 评 如 何 评 如 何 确 保 评 价 结 果 的 可 比 较 性 等 同 行 评 议 过 程 中 的 基 本 问 题, 从 而 提 高 人 文 社 科 学 术 成 果 评 价 的 客 观 公 正 性 7
报 : 教 育 部 党 组 成 员 ; 教 育 部 社 会 科 学 委 员 会 送 : 全 国 哲 学 社 会 科 学 规 划 办 公 室 ; 科 技 部 科 研 诚 信 办 公 室 ; 教 育 部 有 关 司 局 电 子 版 送 : 各 省 市 自 治 区 教 育 厅 ( 教 委 ); 教 育 部 直 属 高 等 学 校 发 : 教 育 部 社 科 委 学 风 建 设 委 员 会 委 员 联 系 电 话 :(010)82509315/66096704 E-mail: xfsk@moe.edu.cn 2014 年 月 日 印 8