2013_6_3.indd

Transcription

1 中 国 科 技 资 源 导 刊 ISSN 年 11 月 第 45 卷 第 6 期 95-99, 107 CHINA SCIENCE & TECHNOLOGY RESOURCES REVIEW ISSN Vol.45 No , 107 Nov 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 1 来 天 平 等 王 春 霞 (1. 北 京 大 学 计 算 中 心, 北 京 ;2. 北 京 万 方 数 据 股 份 有 限 公 司, 北 京 ) 2 摘 要 : 在 大 数 据 的 背 景 下, 结 合 对 高 校 信 息 化 中 服 务 发 展 的 需 求, 提 出 建 立 智 能 高 校 信 息 化 管 理 服 务 系 统 的 思 路 依 据 大 数 据 的 基 本 思 想, 首 先 提 出 高 校 大 数 据 的 概 念 并 分 析 其 基 本 特 征 对 智 能 高 校 信 息 化 服 务 具 体 体 现 方 式 进 行 研 究, 详 细 阐 述 建 设 智 能 高 校 信 息 化 管 理 服 务 系 统 的 原 则 和 构 架 设 计 的 逻 辑 框 架, 进 一 步 探 讨 在 实 践 中 ETL 数 据 仓 库 建 模 等 关 键 技 术, 以 实 例 说 明 智 能 信 息 化 管 理 中 的 数 据 应 用 服 务 和 决 策 支 持, 为 全 面 建 立 智 能 化 的 高 校 信 息 化 管 理 服 务 系 统 提 供 探 索 和 实 践 基 础 关 键 词 : 大 数 据 ; 智 能 服 务 ; 高 校 信 息 化 ; 数 据 挖 掘 ; 决 策 支 持 中 图 分 类 号 :TP393 文 献 标 识 码 :A DOI: /j.issn Building Intelligence University Information Management Service System Based on Big Data Lai Tianping 1, Wang Chunxia 2 (1. Computer Center, Peking University, Beijing ; 2. Wanfang Data CO., LTD., Beijing ) Abstract: In large data background and the demand of information of colleges and universities, this paper proposed the establishment of university information management system of intelligent service idea. Based on the basic idea of big data, put forward the concept of the big data in university and analyze their basic features. After Studying the intelligence services of the college information specific implementations, Elaborate building it s system architecture design principles and the logical framework; Explore ETL, data warehouse modeling and other key technologies. With examples, how to build intelligent information management and decision support data application services. For the full establishment of the University of intelligent information management service system provides exploration and practical basis. Keywords: big data, intelligence service, university informatization, data mining, decision support 1 引 言 大 数 据 作 为 一 个 较 新 的 概 念, 还 没 有 特 别 明 确 的 定 义 比 较 通 用 的 表 述 是 指 所 涉 及 的 资 料 量 规 模 巨 大 到 无 法 通 过 目 前 主 流 软 件 工 具 在 合 理 时 间 内 撷 取 管 理 处 理 并 整 理 成 有 助 于 实 现 企 业 经 营 决 策 更 积 极 目 的 的 资 讯 [1] 英 国 维 克 多 迈 尔 - 舍 恩 伯 格 所 著 大 数 据 时 代 [2] 中 的 描 述 则 更 为 实 用 书 中 对 大 数 据 的 总 体 情 况 进 行 了 详 细 描 述, 很 难 用 几 句 话 高 度 概 括 总 结 大 数 据 的 几 个 鲜 明 特 征 如 下 第 一, 它 不 是 随 机 样 本 而 是 全 体 数 据 这 是 与 样 本 调 查 模 式 的 数 据 分 析 的 显 著 区 别 随 机 样 本 是 希 望 通 过 尽 可 能 少 的 样 本 获 得 尽 可 能 多 的 信 息 但 其 受 限 于 样 本 选 择 的 算 法, 往 往 会 有 遗 漏 大 数 据 不 是 样 本, 而 是 全 部 数 据 第 二, 全 数 据 模 式 在 这 一 点 中 强 调 大 数 据 的 大 不 是 指 绝 对 数 值 上 的 大, 而 是 所 有 数 据 ( 如 果 高 第 一 作 者 简 介 : 来 天 平 (1977- ), 男, 北 京 大 学 计 算 中 心 工 程 师, 主 要 研 究 方 向 : 高 校 信 息 化 计 算 机 应 用 技 术 收 稿 日 期 :2013 年 11 月 14 日 95

2 中 国 科 技 资 源 导 刊 第 45 卷 第 6 期 2013 年 11 月 校 学 生 招 生 20 年, 那 么 拥 有 20 年 学 生 数 据 的 所 有 就 可 以 称 之 为 大 数 据 ) 第 三, 强 调 了 不 是 因 果 关 系 而 是 相 关 关 系, 这 种 关 系 导 致 大 数 据 的 最 终 关 键 点 是 预 测 大 数 据 的 发 展 对 高 校 信 息 化 产 生 了 巨 大 影 响 北 京 大 学 自 20 世 纪 90 年 代 开 始 进 行 高 校 信 息 化 系 统 建 设, 覆 盖 学 生 人 事 资 产 等 多 方 面 业 务 随 着 社 交 网 络 在 生 活 学 习 中 的 渗 入, 学 生 老 师 中 高 层 管 理 者 对 于 信 息 化 系 统 服 务 的 需 求 不 再 局 限 于 填 报 信 息 统 计 数 据 等 基 本 功 能, 对 于 直 接 面 对 消 费 者 的 服 务 产 生 了 更 高 的 期 望 智 能 化 的 高 校 信 息 化 管 理 服 务 系 统 一 方 面, 高 校 具 备 了 大 量 的 历 史 数 据 ; 另 一 方 面, 基 于 大 数 据 的 数 据 分 析 使 得 智 能 服 务 的 实 现 成 为 可 能 这 种 大 数 据 不 妨 称 之 为 高 校 大 数 据 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 系 统 是 大 数 据 在 高 校 信 息 化 中 的 进 一 步 发 展, 必 将 对 涉 及 决 策 支 持 智 能 自 助 个 性 化 服 务 预 警 服 务 及 预 测 等 领 域 的 业 务 产 生 巨 大 的 推 动 作 用 2 高 校 大 数 据 与 智 能 服 务 虽 然 高 校 数 据 量 绝 对 值 并 不 大, 但 同 样 是 大 数 据 这 里 以 北 京 大 学 为 例, 该 校 从 20 世 纪 90 年 代 开 始 高 校 信 息 化 建 设, 经 过 了 萌 芽 期 基 础 建 设 期 和 成 熟 期 三 大 阶 段, 将 业 务 全 局 规 划 为 学 生 人 事 财 务 办 公 科 研 等 主 线 [3] 表 1 是 摘 录 学 生 主 要 相 关 的 数 据 统 计 ( 仅 结 构 化 数 据 ) (1) 高 校 信 息 化 的 时 间 跨 度 大 约 有 20 年, 每 个 学 校 每 年 招 生 数 量 比 较 固 定, 所 以 对 于 某 一 个 高 校 而 言, 其 数 据 量 是 比 较 有 限 的 但 从 大 数 据 含 义 出 发, 如 果 这 些 数 据 对 于 此 高 校 而 言 就 是 全 部 的 数 据 了, 那 么 这 些 数 据 即 使 数 据 量 不 大, 也 可 以 称 为 大 数 据, 其 特 点 是 : 时 间 跨 度 不 一 由 于 信 息 系 统 建 设 周 期 不 同, 像 北 京 大 学 这 样 的 高 校, 其 有 效 的 数 据 库 存 储 数 据 时 间 从 最 初 的 1991 年 到 2010 年 都 存 在 样 本 分 布 (2) 数 据 项 目 噪 点 多 分 析 成 绩 数 据, 不 同 时 期, 同 一 个 字 段 所 代 表 的 含 义 并 不 一 致 虽 然 有 统 一 的 代 码 标 准, 但 标 准 ( 比 如 专 业 ) 也 在 周 期 性 变 更 这 种 情 况 的 存 在 给 数 据 的 梳 理 带 来 了 极 大 的 困 难 (3) 待 结 构 化 的 数 据 多 一 方 面, 类 似 就 业 数 据, 业 务 部 门 其 实 拥 有 多 年 的 就 业 信 息, 但 都 没 有 数 据 化 对 于 数 据 分 析 而 言, 需 要 将 纸 质 文 档 统 一 规 划 整 理 为 结 构 化 的 数 据 库 数 据 另 一 方 面, 非 结 构 化 的 数 据 文 件 影 音 日 志 等 信 息 对 于 数 据 预 测 同 样 具 有 重 要 的 作 用 (4) 数 据 分 散, 信 息 关 联 性 弱 信 息 化 建 设 初 期 并 没 有 考 虑 到 统 一 的 数 据 分 析, 其 目 标 主 要 是 为 业 务 服 务, 每 个 业 务 系 统 相 对 比 较 独 立, 没 有 形 成 按 照 某 种 线 索 形 成 的 数 据 集 即 使 建 立 了 部 分 的 主 题 数 据 库, 但 其 目 的 大 多 局 限 于 数 据 共 享, 与 大 数 据 的 可 分 析 性 差 距 比 较 大 总 之, 高 校 的 大 数 据 固 有 的 一 些 特 点 为 大 数 据 分 析 带 来 了 巨 大 的 挑 战 高 校 信 息 化 开 始 建 设 时 期 主 要 是 满 足 业 务 单 位 管 理 需 要, 后 逐 渐 发 展 演 变 为 学 生 教 师 的 科 研 学 习 服 务 信 息 化 系 统 建 立 从 根 本 上 没 有 脱 离 实 际 管 理 业 务 本 身, 结 果 是 围 绕 管 理 业 务 实 现 了 数 字 化 的 教 学 管 理 直 接 面 对 信 息 化 系 统 消 费 者 ( 学 生 教 师 管 理 者 ) 的 主 动 服 务 少 之 又 少 [4] 智 能 服 务 是 指 能 够 自 动 辨 识 用 户 的 显 性 和 隐 性 需 求, 并 且 主 动 高 效 安 全 绿 色 地 满 足 其 需 求 的 服 务 智 能 服 务 是 信 息 化 后 一 个 主 流 的 发 展 方 向 高 校 智 能 服 务 主 要 体 现 在 以 下 几 个 方 面 (1) 智 能 化 自 助 应 答 学 生 如 果 要 办 理 学 籍 异 动, 可 以 在 学 校 网 站 中 查 询 学 籍 异 动, 可 以 看 到 有 关 学 籍 异 动 办 理 的 流 程 说 明 办 理 注 意 事 项 办 理 的 具 体 地 点 等 信 息 同 时, 根 据 不 同 的 办 理 流 程, 可 以 逐 步 细 化 办 理 操 作 (2) 个 性 化 服 务 推 荐 对 于 学 生 教 师 科 研 工 作 者 等 不 同 类 别 的 用 户, 在 校 内 信 息 门 户 提 供 服 务 推 荐 不 再 是 拘 泥 于 菜 单 的 机 械 摆 放, 而 是 有 针 表 1 北 京 大 学 学 生 数 据 统 计 类 别 成 绩 成 绩 课 程 课 程 选 课 选 课 就 业 就 业 数 量 ( 万 条 ) 数 据 项 目 起 始 时 间

3 实 践 探 讨 来 天 平 等 : 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 对 性 地 提 供 服 务 推 荐 比 如, 在 选 课 期 间, 选 课 是 推 荐 服 务 ; 在 出 成 绩 时, 成 绩 查 询 作 为 推 荐 服 务 (3) 个 性 化 学 习 指 导 新 生 刚 入 校 时 候, 对 于 选 什 么 样 的 课 程 是 比 较 迷 茫 的 通 过 智 能 服 务, 系 统 可 以 自 动 判 断 学 生 是 新 生, 在 学 生 进 行 选 课 操 作 时, 依 据 大 数 据 的 预 测 结 果, 自 动 为 学 生 推 荐 其 专 业 可 以 修 订 的 课 程 信 息 教 师 信 息 及 成 绩 分 布 等 (4) 预 测 式 服 务 教 师 开 课 往 往 对 于 拟 定 的 选 课 学 生 数 量 没 有 准 确 估 计 而 不 得 不 在 后 期 调 整 教 室 系 统 在 教 师 申 请 教 室 时 可 以 提 供 预 测 数 量, 尽 可 能 避 免 类 似 情 况 发 生 (5) 预 警 服 务 通 过 学 生 的 消 费 记 录 上 课 记 录 成 绩 数 据 上 网 记 录 等 信 息, 查 询 或 者 定 位 到 在 心 理 方 面 存 在 问 题 的 学 生, 及 时 进 行 心 理 辅 导, 防 止 事 态 进 一 步 恶 性 发 展 (6) 决 策 支 持 为 学 校 领 导 提 供 决 策 所 需 的 动 态 多 维 数 据 信 息 和 背 景 资 料, 除 了 满 足 日 常 简 单 的 查 询 统 计 和 维 护 全 局 统 筹 规 划 管 理 外, 为 高 校 决 策 者 提 供 有 关 教 育 形 势 的 瞬 时 变 化 发 展 趋 势, 提 取 隐 含 在 其 中 的 事 先 未 知 的 潜 在 的 深 层 次 的 有 价 值 的 信 息 例 如 科 研 成 果 及 论 文 统 计 分 析 招 生 情 况 综 合 分 析 比 较 教 学 科 研 专 项 经 费 计 划 及 完 成 情 况 教 师 构 成 及 年 度 分 析 比 较 等 大 数 据 分 析 为 高 校 智 能 服 务 提 供 了 技 术 基 础 智 能 服 务 中 的 主 动 服 务 预 测 式 服 务 等 都 需 要 历 史 数 据 或 者 综 合 全 数 据 分 析, 尤 其 是 决 策 支 持, 可 以 说, 如 果 没 有 大 数 据 支 持 就 无 法 实 现 真 正 的 智 能 高 校 服 务 3 大 数 据 智 能 服 务 系 统 构 建 3.1 建 设 原 则 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统, 不 是 要 推 翻 现 有 的 系 统 建 设 模 式, 而 是 将 大 数 据 思 想 融 入 到 建 设 的 方 方 面 面 (1) 基 于 原 有 的 总 体 规 划 建 立 智 能 信 息 化 管 理 服 务 系 统 子 规 划 依 据 大 数 据 的 背 景 和 已 建 成 信 息 化 系 统, 充 分 了 解 目 前 学 生 教 师 业 务 单 位 的 需 求, 结 合 目 前 IT 发 展 的 状 况, 充 分 考 虑 大 数 据 挖 掘 的 需 求, 有 针 对 性 地 建 立 关 于 智 能 信 息 化 管 理 服 务 系 统 的 子 规 划 规 划 要 管 理 人 员 与 技 术 人 员 共 同 参 与 一 方 面 大 数 据 的 挖 掘 与 IT 技 术 结 合 非 常 紧 密, 另 一 方 面, 数 据 挖 掘 的 最 终 目 标 预 测 需 求 需 要 管 理 人 员 提 出 这 样 保 障 了 规 划 和 IT 技 术 发 展 的 统 一 (2) 分 步 骤 分 层 次 实 施 项 目 智 能 信 息 化 系 统 依 靠 的 IT 技 术 对 于 硬 件 环 境 ( 网 络 和 服 务 器 ) 要 求 较 高, 充 分 考 虑 人 力 与 财 力, 有 步 骤 地 实 施 短 期 目 标 和 长 期 目 标 (3) 数 据 条 件 成 熟 的 先 进 行 实 施 学 生 是 高 校 的 主 体, 其 信 息 一 般 比 较 全 面, 作 为 大 数 据 挖 掘 的 条 件 比 较 成 熟, 可 以 先 进 行 实 施 (4) 建 设 示 范 工 程 基 于 大 数 据 的 智 能 信 息 化 系 统 作 为 新 生 事 物, 必 定 要 经 过 一 定 的 摸 索 阶 段, 为 避 免 走 弯 路, 可 以 先 拟 定 几 个 典 型 应 用 的 试 范 工 程 从 实 践 中 掌 握 建 设 的 思 路 和 方 法, 总 结 经 验 (5) 处 理 数 据 为 基 础 高 校 数 据 具 有 数 据 噪 点 多 存 在 非 结 构 化 数 据 数 据 结 构 不 一 致 与 来 源 分 散 等 特 性, 要 实 现 科 学 的 信 息 挖 掘 与 分 析, 必 须 先 对 数 据 进 行 处 理 3.2 平 台 逻 辑 框 架 以 学 生 信 息 举 例, 图 1 为 智 能 系 统 的 数 据 逻 辑 框 架 (1) 原 系 统 信 息 原 系 统 信 息 指 信 息 的 最 初 来 源 学 生 信 息 的 原 系 统 包 括 招 生 学 籍 教 学 培 养 成 绩 就 业 等 资 源 北 京 大 学 从 2007 年 开 始, 统 一 规 划 建 立 学 生 综 合 信 息 管 理 系 统, 依 据 学 生 从 入 校 到 离 校 的 全 流 程, 梳 理 老 系 统 业 务, 建 立 全 信 息 管 理 系 统 系 统 目 前 还 在 建 设 中 新 老 系 统 的 并 存 导 致 资 源 存 在 建 设 周 期 不 同, 数 据 库 数 据 结 构 可 能 存 在 较 大 的 差 异, 数 据 异 构 性 和 不 一 致 性 比 较 严 重 等 问 题 (2) 数 据 抽 取 (ETL) ETL 负 责 将 分 散 异 构 数 据 库 中 的 数 据 抽 取 到 临 时 中 间 层 后 进 行 清 洗 转 换 集 成, 最 后 加 载 到 数 据 仓 库 或 者 数 据 集 市 ETL 是 实 施 数 据 仓 库 的 核 心 和 灵 魂 其 工 作 占 数 据 仓 库 工 作 量 的 60%~80% [5] (3) 数 据 仓 库 根 据 业 务 需 求, 将 学 生 总 体 数 据 划 分 为 4 部 分 1 学 生 信 息 库 : 主 要 是 学 生 的 基 本 信 息, 如 学 号 姓 名 院 系 专 业 等 2 教 学 资 源 库 : 主 要 是 课 程 信 息, 如 课 程 名 课 程 任 课 教 师 学 生 选 课 学 生 培 养 方 案 个 人 培 养 计 划 教 室 资 源 等 3 学 习 成 果 库 : 主 要 包 括 学 生 成 绩 发 表 文 章 科 研 成 果 等 信 息 4 学 习 经 历 库 : 主 要 包 括 学 生 的 异 动 社 团 资 源 社 会 活 动 学 习 经 历 工 作 经 历 等 信 息 97

4 中 国 科 技 资 源 导 刊 第 45 卷 第 6 期 2013 年 11 月 数 据 应 用 数 据 服 务 决 策 支 持 数 据 调 用 个 性 服 务 推 荐 智 能 自 助 应 答 API WebService 数 据 门 户 BI 报 表 学 生 信 息 数 据 服 务 决 策 支 持 招 生 信 息 学 籍 信 息 教 学 信 息 培 养 信 息 成 绩 信 息 就 业 信 息 ETL 学 生 信 息 库 学 习 成 果 资 源 库 数 据 仓 库 教 学 资 源 信 息 库 关 联 学 习 经 历 资 源 库 图 1 智 能 系 统 学 生 业 务 逻 辑 框 架 3.3 ETL 北 京 大 学 学 生 库 建 设 中,ETL 主 要 包 括 数 据 的 初 始 化 和 数 据 刷 洗 数 据 的 初 始 化 关 注 建 立 维 表 与 事 实 表, 并 且 存 储 相 应 的 数 据 在 数 据 仓 库 建 模 小 节 中 将 详 细 介 绍 数 据 刷 新 关 注 当 源 数 据 发 生 变 化 后, 如 何 在 数 据 仓 库 中 建 立 某 种 机 制 保 持 数 据 的 一 致 性 在 数 据 源 的 前 端 建 立 SSA 层 ( 复 制 层 ) [5] : 在 源 数 据 基 上 插 入 时 间 戳, 形 成 具 有 历 史 信 息 的 实 时 数 据 在 SSA 层 上 的 表 中 建 立 insert delete update 触 发 器 每 当 源 数 据 发 生 变 化 时,SSA 的 数 据 进 行 相 应 的 变 化 变 化 数 据 写 入 临 时 表 同 时 在 数 据 库 层 面 定 义 作 业 和 存 储 过 程, 规 定 每 种 数 据 的 刷 新 频 率 和 变 化 情 况, 按 照 时 间 顺 序 产 生 任 务 调 度, 调 用 相 应 的 存 储 过 程 完 成 数 据 的 变 更 和 抽 取 存 储 过 程 中 可 以 定 义 较 复 杂 的 业 务 逻 辑 和 数 据 规 范 如 果 存 储 过 程 无 法 满 足 实 际 业 务 需 求, 可 以 在 业 务 层 定 义 WebService, 利 用 业 务 逻 辑 实 现 更 为 复 杂 的 业 务 数 据 变 更 触 发 器 模 式 对 于 高 校 的 大 数 据 抽 取 具 有 性 能 高 规 则 简 单 实 现 方 便 等 特 点 随 着 数 据 仓 库 的 复 杂 程 度 升 级 和 数 据 量 的 海 量 化, 可 以 采 用 DataX [6] 技 术 DataX 是 在 异 构 的 数 据 库 / 文 件 系 统 之 间 高 速 交 换 数 据 的 工 具, 实 现 在 任 意 的 数 据 处 理 系 统 (RDBMS/Hdfs/Local file system) 之 间 交 换 数 据 3.4 数 据 仓 库 建 模 经 过 多 年 实 践, 高 校 中 采 用 Kimball [7] 提 倡 的 维 度 建 模 法 通 过 对 各 个 维 度 大 量 的 预 处 理, 极 大 提 高 数 据 仓 库 的 处 理 能 力 对 于 另 外 一 种 范 式 建 模 法 而 言, 维 度 建 模 更 加 贴 近 实 际 业 务 模 型, 直 观 地 反 映 业 务 数 据 (1) 确 定 业 务 主 题 结 合 学 生 的 信 息, 将 学 生 信 息 划 分 为 一 个 维 度 主 题 和 4 个 业 务 主 题 : 学 生 基 本 信 息 教 学 资 源 学 习 成 果 学 习 经 历 维 度 主 题 包 括 时 间 地 理 校 标 教 标 等 学 生 基 本 信 息 关 注 个 人 属 性 信 息, 如 学 号 姓 名 院 系 专 业 等 ; 教 学 资 源 是 课 程 执 行 计 划 选 课 培 养 计 划 等 ; 学 习 成 果 关 注 成 绩 论 文 科 研 实 践 等 ; 学 习 经 历 包 括 社 团 活 动 组 织 关 系 学 习 经 历 工 作 经 历 (2) 确 定 分 析 粒 度 记 录 每 个 学 生 的 明 细 情 况 在 大 数 据 时 代 背 景 下, 详 细 的 明 细 记 录 对 于 将 来 的 分 析 具 有 很 强 的 参 考 依 据 比 如 选 课 信 息, 不 仅 记 录 了 每 次 选 课 的 明 细, 对 于 选 课 的 IP 地 址, 选 课 退 课 记 录 等 信 息 都 涵 盖 在 内 (3) 设 计 维 度 统 计 和 分 析 数 据 的 角 度, 与 统 计 分 析 的 参 数 对 应 特 别 对 于 特 别 属 性, 要 独 立 提 出 作 为 一 个 维 度 98

5 实 践 探 讨 来 天 平 等 : 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 (4) 建 立 事 实 表 为 了 跟 踪 具 有 生 命 周 期 的 活 动 数 据 的 变 化 过 程 以 保 留 历 史 信 息, 设 计 事 实 表 时 使 用 缓 慢 变 化 维 的 方 法 以 捕 获 变 化 数 据 [8] 4 智 能 服 务 案 例 4.1 数 据 应 用 与 服 务 (1) 学 业 预 警 学 业 预 警, 是 指 通 过 对 学 生 在 校 期 间 的 学 习 生 活 数 据 进 行 分 析, 提 前 发 现 学 生 潜 在 的 学 业 问 题, 告 之 本 人 和 相 关 的 管 理 人 员, 帮 助 学 生 顺 利 完 成 学 业 例 如 个 人 培 养 计 划 预 警 个 人 培 养 计 划 是 学 生 根 据 学 校 制 定 的 学 科 培 养 方 案 在 每 学 期 拟 定 的 学 习 计 划 个 人 培 养 计 划 包 括 课 程 学 习 计 划 和 学 位 论 文 计 划, 是 导 师 指 导 学 习 开 展 研 究 工 作 的 依 据, 也 是 院 对 进 行 毕 业 资 格 审 核 及 授 予 学 位 的 依 据 预 警 系 统 的 主 要 功 能 是 核 查 个 人 培 养 计 划 是 否 满 足 相 应 培 养 方 案 的 要 求, 对 于 不 合 格 的 个 人 培 养 计 划 适 时 给 予 提 醒 学 科 培 养 方 案 要 求 见 表 2 个 人 培 养 计 划 学 分 汇 总 ( 表 3) 预 警 根 据 业 务 部 门 进 行 规 定 可 以 包 括 多 个 级 别 比 如 一 级 预 警 定 义 为 : 新 生 在 第 一 学 期 第 二 学 期 选 课 之 后 ( 选 课 期 间 可 制 订 或 修 改 个 人 培 养 计 划 ), 个 人 培 养 计 划 不 符 合 相 应 培 养 方 案 的 要 求 (2) 个 性 化 服 务 推 荐 个 性 化 服 务 推 荐, 是 将 个 人 数 据 整 理 分 析, 预 测 式 主 动 性 地 向 用 户 提 供 服 务 推 荐 在 选 课 系 统 中, 为 新 生 选 课 进 行 课 程 推 荐 新 生 入 学 后, 一 般 对 将 要 上 什 么 课 程 比 较 迷 茫 对 近 10 年 选 课 数 据, 根 据 同 一 院 系 同 一 专 业 成 绩 合 格 率 等 维 度 进 行 分 析 整 理, 列 出 课 程 选 课 人 数 成 绩 状 况 等 信 息, 排 序 ( 例 如 前 10 名 ) 后, 推 荐 新 生 选 课 4.2 决 策 支 持 以 公 派 出 国 业 务 举 例 通 过 院 系 开 设 的 全 英 文 课 程 的 学 生 统 计, 可 以 发 现 公 派 出 国 的 学 生 占 全 部 选 课 学 生 的 比 例 情 况 实 际 上, 数 据 表 明, 全 英 文 课 程 的 开 设, 使 学 生 在 校 内 即 可 了 解 到 学 术 领 域 的 最 新 国 际 前 沿 动 态, 开 拓 了 学 生 的 国 际 视 野, 使 得 学 生 有 可 能 与 国 际 同 行 进 行 交 流 和 学 习, 有 力 地 促 进 了 学 生 的 学 术 研 究 水 平 的 提 高 和 国 际 竞 争 力 的 提 升, 可 以 为 学 校 管 理 层 在 课 程 建 设 方 面 提 供 决 策 依 据 5 结 语 目 前, 参 与 高 校 智 能 服 务 的 大 数 据 在 绝 对 数 量 值 和 计 算 量 都 不 是 很 高, 为 了 应 对 将 来 可 能 产 生 的 海 量 数 据 和 高 负 荷 计 算, 需 要 部 署 实 施 MapReduce [9] 和 Hadoop [10] MapReduce 将 传 统 的 查 询 分 解 及 数 据 分 析 进 行 分 布 式 处 理, 将 处 理 任 务 分 配 到 不 同 的 处 理 节 点 本 质 上,MapReduce 是 一 套 软 件 框 架, 包 括 Map ( 映 射 ) 和 Reduce( 化 简 ), 对 海 量 数 据 进 行 分 割 任 务 分 解 与 结 果 汇 总 后 完 成 海 量 数 据 的 并 行 处 理 Hadoop 是 由 Apache 基 金 会 开 发 的 一 个 分 布 式 系 统 基 础 架 构, 利 用 集 群 的 高 速 运 算 和 存 储 Hadoop 实 现 了 分 布 式 文 件 系 统 (Hadoop Distributed File System), 简 称 HDFS HDFS 具 有 高 容 错 性 的 特 点, 特 别 适 合 部 署 在 低 廉 的 硬 件 上, 比 较 适 合 高 校 中 轻 量 级 的 高 速 运 算 建 立 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 对 于 高 校 信 息 化 建 设 是 一 个 机 遇 也 是 一 种 挑 战 文 中 提 出 的 建 设 思 路 方 法 与 设 计 还 不 成 熟, 实 践 案 例 覆 盖 范 围 较 小, 需 要 在 实 践 中 检 验 和 完 善, 特 别 对 于 高 运 算 量 下 如 何 利 用 mapreduce 和 hadoop 工 具 ( 下 转 第 107 页 ) 表 2 培 养 方 案 要 求 学 号 姓 名 方 案 ID 方 案 名 称 学 位 课 学 位 课 考 试 必 修 课 选 修 课 限 选 课 开 题 报 告 要 求 综 合 考 试 要 求 表 3 个 人 培 养 计 划 拟 定 情 况 学 号 姓 名 学 位 课 学 位 课 考 试 必 修 课 选 修 课 限 选 课 开 题 报 告 计 划 综 合 考 试 计 划 个 人 培 养 计 划 是 否 符 合 培 养 方 案 要 求 是 / 否 99

6 实 践 探 讨 林 垚 : 交 通 科 技 信 息 资 源 共 享 平 台 服 务 标 准 的 设 计 展, 还 是 相 对 滞 后, 原 因 在 于 缺 少 定 量 评 判 标 准 此 外, 由 于 缺 乏 定 量 成 效 的 公 开 规 定, 各 子 平 台 不 主 动 展 示, 阻 碍 对 其 效 果 的 监 督 与 评 判, 对 于 促 进 效 用 提 高 也 是 不 利 影 响 (6) 未 满 足 使 用 者 的 告 知 需 求 如 表 6, 共 享 平 台 未 满 足 用 户 的 两 类 告 知 需 求 其 一, 有 关 服 务 内 容 方 式 流 程 及 用 户 注 册 浏 览 器 版 本 等 指 南 须 知, 在 子 平 台 中 尤 为 明 显 ; 其 二, 含 有 人 工 环 节 的 服 务 答 复, 例 如 问 题 咨 询 代 查 代 检 等 审 核 回 复, 尤 其 是 未 通 过 审 核 的 理 由 两 种 不 满 足 与 缺 乏 约 束 相 关, 对 于 前 者, 未 将 其 作 为 服 务 内 容 提 出 公 开 要 求 ; 对 于 后 者, 缺 少 将 其 写 入 服 务 职 责 规 范 服 务 人 员 5 规 范 服 务 的 对 策 (1) 提 取 标 准 设 计 的 大 方 向 前 述 中 存 在 的 问 题 围 绕 服 务 内 容 及 要 求 提 供 方 式 流 程 人 员 效 用 设 施 6 个 方 面, 基 于 此, 标 准 设 计 也 应 涵 盖 这 些 基 本 内 容, 它 们 是 信 息 服 务 标 准 应 约 束 的 方 向 (2) 转 化 问 题 为 对 标 准 设 计 的 要 求 针 对 各 方 向 下 问 题, 逐 一 从 使 用 者 角 度 考 虑 希 望 获 取 的 服 务 状 态, 提 出 满 足 状 态 的 必 要 条 件, 此 条 件 即 为 对 标 准 设 计 的 要 求 在 这 一 过 程 中, 以 部 级 平 台 服 务 现 状 用 户 需 求 作 为 设 计 要 求 的 具 体 化 基 础, 并 借 鉴 国 内 外 相 关 标 准 的 优 势 之 处, 补 充 问 题 中 未 提 及 内 容 需 要 说 明 的 是, 转 化 结 果 应 不 可 再 分, 在 其 上 能 直 接 开 展 标 准 编 制 运 用 对 策 确 定 在 标 准 设 计 中 需 规 范 的 全 部 内 容 如 表 7 所 示 参 考 文 献 [1] 交 通 科 技 信 息 资 源 共 享 平 台 [DB/OL].[ ]. [2] 浙 江 子 平 台 [DB/OL].[ ]. cn. [3] 江 苏 子 平 台 [DB/OL].[ ]. cn. [4] 吉 林 子 平 台 [DB/OL].[ ]. [5] 福 建 子 平 台 [DB/OL].[ ]. 29/website. [6] 安 徽 子 平 台 [DB/OL].[ ]. gov.cn/web/default.aspx. [7] 中 交 集 团 子 平 台 [DB/OL].[ ] /InnerLZRMIP/MIPFRAME/zjindex.aspx. ( 上 接 第 99 页 ) 还 在 探 索 之 中 改 变 信 息 化 建 设 模 式, 高 度 重 视 基 础 数 据 的 收 集 与 整 理, 为 大 数 据 分 析 奠 定 基 础, 是 建 设 智 能 化 高 校 系 统 的 基 础 工 作 参 考 文 献 [1] 张 意 轩, 于 洋. 大 数 据 时 代 的 大 媒 体 [N]. 人 民 日 报, (14). [2] 维 克 多, 迈 尔 - 舍 恩 伯 格, 肯 尼 思, 等. 大 数 据 时 代 [M]. 杭 州 : 浙 江 人 民 出 版 社,2012. [3] 来 天 平, 种 连 荣, 王 倩 宜, 等. 高 校 信 息 化 横 向 建 设 模 式 的 探 索 与 实 践 [J]. 武 汉 大 学 学 报 : 理 学 版,2012(Z1): [4] 智 能 服 务 服 务 中 国 [EB/OL].[ ]. ccwresearch.com.cn/white_book_detail.htm?id=16. [5] 王 亦 然. 数 据 仓 库 技 术 基 于 业 务 报 表 数 据 的 应 用 研 究 [D]. 北 京 : 中 国 地 质 大 学 ( 北 京 ),2010. [6] Bazhen Datax[EB/OL]. [ ]. [7] Kimball R, Ross M. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling[M]. New York: John Wiley and Sons, [8] 高 亮. 高 校 数 据 仓 库 建 设 研 究 [J]. 武 汉 大 学 学 报 : 理 学 版,2012,58(Z1): [9] Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simpleied Data Processing on Large Clusters[J]. Communications of the Acm, 2008,51(1): [10] Scobinz. Hadoop[EB/OL]. [ ]. baidu.com/view/ htm. 107