2013_6_3.indd



Similar documents
实 践 探 讨 高 丽 : 从 少 数 民 族 大 学 生 的 阅 读 需 求 看 民 族 院 校 图 书 馆 的 资 源 建 设 有 区 域 性 和 民 族 性 很 强 的 传 统 学 科 特 色 学 科 及 优 势 学 科, 因 此 图 书 馆 的 资 源 建 设 也 要 顺 应 这 一 特 性

ZS.indd

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1

Mechanical Science and Technology for Aerospace Engineering October Vol No. 10 Web SaaS B /S Web2. 0 Web2. 0 TP315 A

10 中 草 药 Chinese Traditional and Herbal Drugs 第 43 卷 第 1 期 2012 年 1 月 生 药 打 粉 入 药 的 基 本 特 点, 借 鉴 材 料 学 粉 体 学 等 学 科 的 研 究 成 果, 在 中 药 传 统 制 药 理 念 的 启 发

Microsoft Word 年第三期09

University of Science and Technology of China A dissertation for master s degree Research of e-learning style for public servants under the context of

Reducing Client Incidents through Big Data Predictive Analytics

國軍統計表冊資訊化之研究

填 表 说 明 1. 本 表 用 钢 笔 填 写, 也 可 直 接 打 印, 不 要 以 剪 贴 代 填 字 迹 要 求 清 楚 工 整 2. 本 表 所 填 内 容 必 须 真 实 可 靠, 如 发 现 虚 假 信 息, 将 取 消 所 在 学 院 参 评 资 格 3. 本 表 涉 及 的 项 目

深圳市太光电信股份有限公司章程

Microsoft Word - 专论综述1.doc

Tenure-track Tenure-track WTO Peer Effect 46

Microsoft Word - 33-p skyd8.doc

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项

Microsoft Word - 王彬_已修改_.doc

j.sd

L1-01.FIT)

科 研 信 息 化 技 术 与 应 用,2015, 6 (1) of identity and the framework of identity management, this paper analyses the development trend of Identity Management

2013_2_4.indd

j.sjbm

标题

Microsoft Word - 1-編者的話

Microsoft Word 記錄附件

业 务 与 运 营 社 交 网 络 行 为 将 对 网 络 流 量 造 成 较 大 影 响 3) 即 时 通 信 类 业 务 包 括 微 信 QQ 等, 该 类 业 务 属 于 典 型 的 小 数 据 包 业 务, 有 可 能 带 来 较 大 的 信 令 开 呼 叫 建 立 的 时 延 销 即 时

第 37 卷 第 5 期 自 然 论 坛 亿, 相 当 于 总 人 口 的 1/4; 到 2050 年, 比 重 将 达 到 1/3, 相 当 于 三 个 人 中 就 有 一 个 老 年 人 2013 年 上 海 市 60 岁 及 以 上 老 年 人 口 为 万 人, 占 总 人 口

标题

untitled

Revit Revit Revit BIM BIM 7-9 3D 1 BIM BIM 6 Revit 0 4D 1 2 Revit Revit 2. 1 Revit Revit Revit Revit 2 2 Autodesk Revit Aut

4 115,,. : p { ( x ( t), y ( t) ) x R m, y R n, t = 1,2,, p} (1),, x ( t), y ( t),,: F : R m R n.,m, n, u.,, Sigmoid. :,f Sigmoid,f ( x) = ^y k ( t) =

<4D F736F F D20B6E0D6D8B1E4D0CEBCD3B9A4B3A4CBBF2E646F63>

XML SOAP DOM B2B B/S B2B B2B XML SOAP

those four kinds of factors are significantly associated with the intention to institutional care of the elderly without ADL disability. However for t

西部人居环境学刊2016年第1期.indd

基于Proficy软件平台的大直缝埋弧 焊管生产线MES系统——王东明(初编辑稿-作者修改)

Construction of Chinese pediatric standard database A Dissertation Submitted for the Master s Degree Candidate:linan Adviser:Prof. Han Xinmin Nanjing

S9 2 S S S S S S

1.2 资 金 的 管 理 1.1 权 利 义 务 来 源 MOU 1.3 数 据 的 使 用 和 保 护 2 国 际 空 间 站 资 源 分 配 方 案 54



6 : W eb 827 ) [ 5 ] 211, : (1) (2),, (3) 212, [ 6-7 ], B /S,,,, 1 1 Fig11 Design of the system architecture

[1] Liu Hongwei,2013, Study on Comprehensive Evaluation of Iron and Steel Enterprises Production System s Basic Capacities, International Asia Confere

于 水 等 : 多 源 流 理 论 视 角 下 宅 基 地 使 用 权 确 权 政 策 的 议 程 设 置 研 究 基 于 江 苏 省 4 市 的 调 查 83 push forward the confirmation of homestead use right of rural central

. 1 4 Web PAD

27 :OPC 45 [4] (Automation Interface Standard), (Costom Interface Standard), OPC 2,,, VB Delphi OPC, OPC C++, OPC OPC OPC, [1] 1 OPC 1.1 OPC OPC(OLE f

Microsoft Word - A doc

Microsoft Word - 专论综述1.doc


WTO


<4D F736F F D20312D3120D5D0B9C9CBB5C3F7CAE9A3A8C9EAB1A8B8E5A3A92E646F63>

事故的共性原因: 行为、知识、习惯

1

,,.,, : 1),,,,, 2),,,,, 3),,,,,,,,,, [6].,,, ( ),, [9], : 1), 2),,,,, 3),,, 2.,, [10].,,,,,,,,, [11]. 2.1,, [12],, ;, ; Fig. 1 1 Granular hier

闲 旅 游 现 已 成 为 城 市 居 民 日 常 生 活 的 重 要 部 分 袁 它 的 出 现 标 志 着 现 代 社 会 文 明 的 进 步 遥 据 国 外 学 者 预 测 袁 2015 年 左 右 袁 发 达 国 家 将 陆 续 进 入 野 休 闲 时 代 冶 袁 发 展 中 国 家 也 将

~ ~ ~

PowerPoint 演示文稿

附3

Microsoft Word - A _ doc

Transcription:

中 国 科 技 资 源 导 刊 ISSN 1674-1544 2013 年 11 月 第 45 卷 第 6 期 95-99, 107 CHINA SCIENCE & TECHNOLOGY RESOURCES REVIEW ISSN 1674-1544 Vol.45 No.6 95-99, 107 Nov. 2013 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 1 来 天 平 等 王 春 霞 (1. 北 京 大 学 计 算 中 心, 北 京 100871;2. 北 京 万 方 数 据 股 份 有 限 公 司, 北 京 100038) 2 摘 要 : 在 大 数 据 的 背 景 下, 结 合 对 高 校 信 息 化 中 服 务 发 展 的 需 求, 提 出 建 立 智 能 高 校 信 息 化 管 理 服 务 系 统 的 思 路 依 据 大 数 据 的 基 本 思 想, 首 先 提 出 高 校 大 数 据 的 概 念 并 分 析 其 基 本 特 征 对 智 能 高 校 信 息 化 服 务 具 体 体 现 方 式 进 行 研 究, 详 细 阐 述 建 设 智 能 高 校 信 息 化 管 理 服 务 系 统 的 原 则 和 构 架 设 计 的 逻 辑 框 架, 进 一 步 探 讨 在 实 践 中 ETL 数 据 仓 库 建 模 等 关 键 技 术, 以 实 例 说 明 智 能 信 息 化 管 理 中 的 数 据 应 用 服 务 和 决 策 支 持, 为 全 面 建 立 智 能 化 的 高 校 信 息 化 管 理 服 务 系 统 提 供 探 索 和 实 践 基 础 关 键 词 : 大 数 据 ; 智 能 服 务 ; 高 校 信 息 化 ; 数 据 挖 掘 ; 决 策 支 持 中 图 分 类 号 :TP393 文 献 标 识 码 :A DOI:10.3772/j.issn.1674-1544.2013.06.017 Building Intelligence University Information Management Service System Based on Big Data Lai Tianping 1, Wang Chunxia 2 (1. Computer Center, Peking University, Beijing 100871; 2. Wanfang Data CO., LTD., Beijing 100038) Abstract: In large data background and the demand of information of colleges and universities, this paper proposed the establishment of university information management system of intelligent service idea. Based on the basic idea of big data, put forward the concept of the big data in university and analyze their basic features. After Studying the intelligence services of the college information specific implementations, Elaborate building it s system architecture design principles and the logical framework; Explore ETL, data warehouse modeling and other key technologies. With examples, how to build intelligent information management and decision support data application services. For the full establishment of the University of intelligent information management service system provides exploration and practical basis. Keywords: big data, intelligence service, university informatization, data mining, decision support 1 引 言 大 数 据 作 为 一 个 较 新 的 概 念, 还 没 有 特 别 明 确 的 定 义 比 较 通 用 的 表 述 是 指 所 涉 及 的 资 料 量 规 模 巨 大 到 无 法 通 过 目 前 主 流 软 件 工 具 在 合 理 时 间 内 撷 取 管 理 处 理 并 整 理 成 有 助 于 实 现 企 业 经 营 决 策 更 积 极 目 的 的 资 讯 [1] 英 国 维 克 多 迈 尔 - 舍 恩 伯 格 所 著 大 数 据 时 代 [2] 中 的 描 述 则 更 为 实 用 书 中 对 大 数 据 的 总 体 情 况 进 行 了 详 细 描 述, 很 难 用 几 句 话 高 度 概 括 总 结 大 数 据 的 几 个 鲜 明 特 征 如 下 第 一, 它 不 是 随 机 样 本 而 是 全 体 数 据 这 是 与 样 本 调 查 模 式 的 数 据 分 析 的 显 著 区 别 随 机 样 本 是 希 望 通 过 尽 可 能 少 的 样 本 获 得 尽 可 能 多 的 信 息 但 其 受 限 于 样 本 选 择 的 算 法, 往 往 会 有 遗 漏 大 数 据 不 是 样 本, 而 是 全 部 数 据 第 二, 全 数 据 模 式 在 这 一 点 中 强 调 大 数 据 的 大 不 是 指 绝 对 数 值 上 的 大, 而 是 所 有 数 据 ( 如 果 高 第 一 作 者 简 介 : 来 天 平 (1977- ), 男, 北 京 大 学 计 算 中 心 工 程 师, 主 要 研 究 方 向 : 高 校 信 息 化 计 算 机 应 用 技 术 收 稿 日 期 :2013 年 11 月 14 日 95

中 国 科 技 资 源 导 刊 第 45 卷 第 6 期 2013 年 11 月 校 学 生 招 生 20 年, 那 么 拥 有 20 年 学 生 数 据 的 所 有 就 可 以 称 之 为 大 数 据 ) 第 三, 强 调 了 不 是 因 果 关 系 而 是 相 关 关 系, 这 种 关 系 导 致 大 数 据 的 最 终 关 键 点 是 预 测 大 数 据 的 发 展 对 高 校 信 息 化 产 生 了 巨 大 影 响 北 京 大 学 自 20 世 纪 90 年 代 开 始 进 行 高 校 信 息 化 系 统 建 设, 覆 盖 学 生 人 事 资 产 等 多 方 面 业 务 随 着 社 交 网 络 在 生 活 学 习 中 的 渗 入, 学 生 老 师 中 高 层 管 理 者 对 于 信 息 化 系 统 服 务 的 需 求 不 再 局 限 于 填 报 信 息 统 计 数 据 等 基 本 功 能, 对 于 直 接 面 对 消 费 者 的 服 务 产 生 了 更 高 的 期 望 智 能 化 的 高 校 信 息 化 管 理 服 务 系 统 一 方 面, 高 校 具 备 了 大 量 的 历 史 数 据 ; 另 一 方 面, 基 于 大 数 据 的 数 据 分 析 使 得 智 能 服 务 的 实 现 成 为 可 能 这 种 大 数 据 不 妨 称 之 为 高 校 大 数 据 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 系 统 是 大 数 据 在 高 校 信 息 化 中 的 进 一 步 发 展, 必 将 对 涉 及 决 策 支 持 智 能 自 助 个 性 化 服 务 预 警 服 务 及 预 测 等 领 域 的 业 务 产 生 巨 大 的 推 动 作 用 2 高 校 大 数 据 与 智 能 服 务 虽 然 高 校 数 据 量 绝 对 值 并 不 大, 但 同 样 是 大 数 据 这 里 以 北 京 大 学 为 例, 该 校 从 20 世 纪 90 年 代 开 始 高 校 信 息 化 建 设, 经 过 了 萌 芽 期 基 础 建 设 期 和 成 熟 期 三 大 阶 段, 将 业 务 全 局 规 划 为 学 生 人 事 财 务 办 公 科 研 等 主 线 [3] 表 1 是 摘 录 学 生 主 要 相 关 的 数 据 统 计 ( 仅 结 构 化 数 据 ) (1) 高 校 信 息 化 的 时 间 跨 度 大 约 有 20 年, 每 个 学 校 每 年 招 生 数 量 比 较 固 定, 所 以 对 于 某 一 个 高 校 而 言, 其 数 据 量 是 比 较 有 限 的 但 从 大 数 据 含 义 出 发, 如 果 这 些 数 据 对 于 此 高 校 而 言 就 是 全 部 的 数 据 了, 那 么 这 些 数 据 即 使 数 据 量 不 大, 也 可 以 称 为 大 数 据, 其 特 点 是 : 时 间 跨 度 不 一 由 于 信 息 系 统 建 设 周 期 不 同, 像 北 京 大 学 这 样 的 高 校, 其 有 效 的 数 据 库 存 储 数 据 时 间 从 最 初 的 1991 年 到 2010 年 都 存 在 样 本 分 布 (2) 数 据 项 目 噪 点 多 分 析 成 绩 数 据, 不 同 时 期, 同 一 个 字 段 所 代 表 的 含 义 并 不 一 致 虽 然 有 统 一 的 代 码 标 准, 但 标 准 ( 比 如 专 业 ) 也 在 周 期 性 变 更 这 种 情 况 的 存 在 给 数 据 的 梳 理 带 来 了 极 大 的 困 难 (3) 待 结 构 化 的 数 据 多 一 方 面, 类 似 就 业 数 据, 业 务 部 门 其 实 拥 有 多 年 的 就 业 信 息, 但 都 没 有 数 据 化 对 于 数 据 分 析 而 言, 需 要 将 纸 质 文 档 统 一 规 划 整 理 为 结 构 化 的 数 据 库 数 据 另 一 方 面, 非 结 构 化 的 数 据 文 件 影 音 日 志 等 信 息 对 于 数 据 预 测 同 样 具 有 重 要 的 作 用 (4) 数 据 分 散, 信 息 关 联 性 弱 信 息 化 建 设 初 期 并 没 有 考 虑 到 统 一 的 数 据 分 析, 其 目 标 主 要 是 为 业 务 服 务, 每 个 业 务 系 统 相 对 比 较 独 立, 没 有 形 成 按 照 某 种 线 索 形 成 的 数 据 集 即 使 建 立 了 部 分 的 主 题 数 据 库, 但 其 目 的 大 多 局 限 于 数 据 共 享, 与 大 数 据 的 可 分 析 性 差 距 比 较 大 总 之, 高 校 的 大 数 据 固 有 的 一 些 特 点 为 大 数 据 分 析 带 来 了 巨 大 的 挑 战 高 校 信 息 化 开 始 建 设 时 期 主 要 是 满 足 业 务 单 位 管 理 需 要, 后 逐 渐 发 展 演 变 为 学 生 教 师 的 科 研 学 习 服 务 信 息 化 系 统 建 立 从 根 本 上 没 有 脱 离 实 际 管 理 业 务 本 身, 结 果 是 围 绕 管 理 业 务 实 现 了 数 字 化 的 教 学 管 理 直 接 面 对 信 息 化 系 统 消 费 者 ( 学 生 教 师 管 理 者 ) 的 主 动 服 务 少 之 又 少 [4] 智 能 服 务 是 指 能 够 自 动 辨 识 用 户 的 显 性 和 隐 性 需 求, 并 且 主 动 高 效 安 全 绿 色 地 满 足 其 需 求 的 服 务 智 能 服 务 是 信 息 化 后 一 个 主 流 的 发 展 方 向 高 校 智 能 服 务 主 要 体 现 在 以 下 几 个 方 面 (1) 智 能 化 自 助 应 答 学 生 如 果 要 办 理 学 籍 异 动, 可 以 在 学 校 网 站 中 查 询 学 籍 异 动, 可 以 看 到 有 关 学 籍 异 动 办 理 的 流 程 说 明 办 理 注 意 事 项 办 理 的 具 体 地 点 等 信 息 同 时, 根 据 不 同 的 办 理 流 程, 可 以 逐 步 细 化 办 理 操 作 (2) 个 性 化 服 务 推 荐 对 于 学 生 教 师 科 研 工 作 者 等 不 同 类 别 的 用 户, 在 校 内 信 息 门 户 提 供 服 务 推 荐 不 再 是 拘 泥 于 菜 单 的 机 械 摆 放, 而 是 有 针 表 1 北 京 大 学 学 生 数 据 统 计 类 别 成 绩 成 绩 课 程 课 程 选 课 选 课 就 业 就 业 数 量 ( 万 条 ) 8.7 5.9 94.9 280.2 5.1 7.2 60.5 80.1 1.2 6.9 数 据 项 目 106 101 52 38 45 45 80 90 52 63 起 始 时 间 1994 1991 1996 1993 1998 1994 2007 2007 2010 2010 96

实 践 探 讨 来 天 平 等 : 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 对 性 地 提 供 服 务 推 荐 比 如, 在 选 课 期 间, 选 课 是 推 荐 服 务 ; 在 出 成 绩 时, 成 绩 查 询 作 为 推 荐 服 务 (3) 个 性 化 学 习 指 导 新 生 刚 入 校 时 候, 对 于 选 什 么 样 的 课 程 是 比 较 迷 茫 的 通 过 智 能 服 务, 系 统 可 以 自 动 判 断 学 生 是 新 生, 在 学 生 进 行 选 课 操 作 时, 依 据 大 数 据 的 预 测 结 果, 自 动 为 学 生 推 荐 其 专 业 可 以 修 订 的 课 程 信 息 教 师 信 息 及 成 绩 分 布 等 (4) 预 测 式 服 务 教 师 开 课 往 往 对 于 拟 定 的 选 课 学 生 数 量 没 有 准 确 估 计 而 不 得 不 在 后 期 调 整 教 室 系 统 在 教 师 申 请 教 室 时 可 以 提 供 预 测 数 量, 尽 可 能 避 免 类 似 情 况 发 生 (5) 预 警 服 务 通 过 学 生 的 消 费 记 录 上 课 记 录 成 绩 数 据 上 网 记 录 等 信 息, 查 询 或 者 定 位 到 在 心 理 方 面 存 在 问 题 的 学 生, 及 时 进 行 心 理 辅 导, 防 止 事 态 进 一 步 恶 性 发 展 (6) 决 策 支 持 为 学 校 领 导 提 供 决 策 所 需 的 动 态 多 维 数 据 信 息 和 背 景 资 料, 除 了 满 足 日 常 简 单 的 查 询 统 计 和 维 护 全 局 统 筹 规 划 管 理 外, 为 高 校 决 策 者 提 供 有 关 教 育 形 势 的 瞬 时 变 化 发 展 趋 势, 提 取 隐 含 在 其 中 的 事 先 未 知 的 潜 在 的 深 层 次 的 有 价 值 的 信 息 例 如 科 研 成 果 及 论 文 统 计 分 析 招 生 情 况 综 合 分 析 比 较 教 学 科 研 专 项 经 费 计 划 及 完 成 情 况 教 师 构 成 及 年 度 分 析 比 较 等 大 数 据 分 析 为 高 校 智 能 服 务 提 供 了 技 术 基 础 智 能 服 务 中 的 主 动 服 务 预 测 式 服 务 等 都 需 要 历 史 数 据 或 者 综 合 全 数 据 分 析, 尤 其 是 决 策 支 持, 可 以 说, 如 果 没 有 大 数 据 支 持 就 无 法 实 现 真 正 的 智 能 高 校 服 务 3 大 数 据 智 能 服 务 系 统 构 建 3.1 建 设 原 则 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统, 不 是 要 推 翻 现 有 的 系 统 建 设 模 式, 而 是 将 大 数 据 思 想 融 入 到 建 设 的 方 方 面 面 (1) 基 于 原 有 的 总 体 规 划 建 立 智 能 信 息 化 管 理 服 务 系 统 子 规 划 依 据 大 数 据 的 背 景 和 已 建 成 信 息 化 系 统, 充 分 了 解 目 前 学 生 教 师 业 务 单 位 的 需 求, 结 合 目 前 IT 发 展 的 状 况, 充 分 考 虑 大 数 据 挖 掘 的 需 求, 有 针 对 性 地 建 立 关 于 智 能 信 息 化 管 理 服 务 系 统 的 子 规 划 规 划 要 管 理 人 员 与 技 术 人 员 共 同 参 与 一 方 面 大 数 据 的 挖 掘 与 IT 技 术 结 合 非 常 紧 密, 另 一 方 面, 数 据 挖 掘 的 最 终 目 标 预 测 需 求 需 要 管 理 人 员 提 出 这 样 保 障 了 规 划 和 IT 技 术 发 展 的 统 一 (2) 分 步 骤 分 层 次 实 施 项 目 智 能 信 息 化 系 统 依 靠 的 IT 技 术 对 于 硬 件 环 境 ( 网 络 和 服 务 器 ) 要 求 较 高, 充 分 考 虑 人 力 与 财 力, 有 步 骤 地 实 施 短 期 目 标 和 长 期 目 标 (3) 数 据 条 件 成 熟 的 先 进 行 实 施 学 生 是 高 校 的 主 体, 其 信 息 一 般 比 较 全 面, 作 为 大 数 据 挖 掘 的 条 件 比 较 成 熟, 可 以 先 进 行 实 施 (4) 建 设 示 范 工 程 基 于 大 数 据 的 智 能 信 息 化 系 统 作 为 新 生 事 物, 必 定 要 经 过 一 定 的 摸 索 阶 段, 为 避 免 走 弯 路, 可 以 先 拟 定 几 个 典 型 应 用 的 试 范 工 程 从 实 践 中 掌 握 建 设 的 思 路 和 方 法, 总 结 经 验 (5) 处 理 数 据 为 基 础 高 校 数 据 具 有 数 据 噪 点 多 存 在 非 结 构 化 数 据 数 据 结 构 不 一 致 与 来 源 分 散 等 特 性, 要 实 现 科 学 的 信 息 挖 掘 与 分 析, 必 须 先 对 数 据 进 行 处 理 3.2 平 台 逻 辑 框 架 以 学 生 信 息 举 例, 图 1 为 智 能 系 统 的 数 据 逻 辑 框 架 (1) 原 系 统 信 息 原 系 统 信 息 指 信 息 的 最 初 来 源 学 生 信 息 的 原 系 统 包 括 招 生 学 籍 教 学 培 养 成 绩 就 业 等 资 源 北 京 大 学 从 2007 年 开 始, 统 一 规 划 建 立 学 生 综 合 信 息 管 理 系 统, 依 据 学 生 从 入 校 到 离 校 的 全 流 程, 梳 理 老 系 统 业 务, 建 立 全 信 息 管 理 系 统 系 统 目 前 还 在 建 设 中 新 老 系 统 的 并 存 导 致 资 源 存 在 建 设 周 期 不 同, 数 据 库 数 据 结 构 可 能 存 在 较 大 的 差 异, 数 据 异 构 性 和 不 一 致 性 比 较 严 重 等 问 题 (2) 数 据 抽 取 (ETL) ETL 负 责 将 分 散 异 构 数 据 库 中 的 数 据 抽 取 到 临 时 中 间 层 后 进 行 清 洗 转 换 集 成, 最 后 加 载 到 数 据 仓 库 或 者 数 据 集 市 ETL 是 实 施 数 据 仓 库 的 核 心 和 灵 魂 其 工 作 占 数 据 仓 库 工 作 量 的 60%~80% [5] (3) 数 据 仓 库 根 据 业 务 需 求, 将 学 生 总 体 数 据 划 分 为 4 部 分 1 学 生 信 息 库 : 主 要 是 学 生 的 基 本 信 息, 如 学 号 姓 名 院 系 专 业 等 2 教 学 资 源 库 : 主 要 是 课 程 信 息, 如 课 程 名 课 程 任 课 教 师 学 生 选 课 学 生 培 养 方 案 个 人 培 养 计 划 教 室 资 源 等 3 学 习 成 果 库 : 主 要 包 括 学 生 成 绩 发 表 文 章 科 研 成 果 等 信 息 4 学 习 经 历 库 : 主 要 包 括 学 生 的 异 动 社 团 资 源 社 会 活 动 学 习 经 历 工 作 经 历 等 信 息 97

中 国 科 技 资 源 导 刊 第 45 卷 第 6 期 2013 年 11 月 数 据 应 用 数 据 服 务 决 策 支 持 数 据 调 用 个 性 服 务 推 荐 智 能 自 助 应 答 API WebService 数 据 门 户 BI 报 表 学 生 信 息 数 据 服 务 决 策 支 持 招 生 信 息 学 籍 信 息 教 学 信 息 培 养 信 息 成 绩 信 息 就 业 信 息 ETL 学 生 信 息 库 学 习 成 果 资 源 库 数 据 仓 库 教 学 资 源 信 息 库 关 联 学 习 经 历 资 源 库 图 1 智 能 系 统 学 生 业 务 逻 辑 框 架 3.3 ETL 北 京 大 学 学 生 库 建 设 中,ETL 主 要 包 括 数 据 的 初 始 化 和 数 据 刷 洗 数 据 的 初 始 化 关 注 建 立 维 表 与 事 实 表, 并 且 存 储 相 应 的 数 据 在 数 据 仓 库 建 模 小 节 中 将 详 细 介 绍 数 据 刷 新 关 注 当 源 数 据 发 生 变 化 后, 如 何 在 数 据 仓 库 中 建 立 某 种 机 制 保 持 数 据 的 一 致 性 在 数 据 源 的 前 端 建 立 SSA 层 ( 复 制 层 ) [5] : 在 源 数 据 基 上 插 入 时 间 戳, 形 成 具 有 历 史 信 息 的 实 时 数 据 在 SSA 层 上 的 表 中 建 立 insert delete update 触 发 器 每 当 源 数 据 发 生 变 化 时,SSA 的 数 据 进 行 相 应 的 变 化 变 化 数 据 写 入 临 时 表 同 时 在 数 据 库 层 面 定 义 作 业 和 存 储 过 程, 规 定 每 种 数 据 的 刷 新 频 率 和 变 化 情 况, 按 照 时 间 顺 序 产 生 任 务 调 度, 调 用 相 应 的 存 储 过 程 完 成 数 据 的 变 更 和 抽 取 存 储 过 程 中 可 以 定 义 较 复 杂 的 业 务 逻 辑 和 数 据 规 范 如 果 存 储 过 程 无 法 满 足 实 际 业 务 需 求, 可 以 在 业 务 层 定 义 WebService, 利 用 业 务 逻 辑 实 现 更 为 复 杂 的 业 务 数 据 变 更 触 发 器 模 式 对 于 高 校 的 大 数 据 抽 取 具 有 性 能 高 规 则 简 单 实 现 方 便 等 特 点 随 着 数 据 仓 库 的 复 杂 程 度 升 级 和 数 据 量 的 海 量 化, 可 以 采 用 DataX [6] 技 术 DataX 是 在 异 构 的 数 据 库 / 文 件 系 统 之 间 高 速 交 换 数 据 的 工 具, 实 现 在 任 意 的 数 据 处 理 系 统 (RDBMS/Hdfs/Local file system) 之 间 交 换 数 据 3.4 数 据 仓 库 建 模 经 过 多 年 实 践, 高 校 中 采 用 Kimball [7] 提 倡 的 维 度 建 模 法 通 过 对 各 个 维 度 大 量 的 预 处 理, 极 大 提 高 数 据 仓 库 的 处 理 能 力 对 于 另 外 一 种 范 式 建 模 法 而 言, 维 度 建 模 更 加 贴 近 实 际 业 务 模 型, 直 观 地 反 映 业 务 数 据 (1) 确 定 业 务 主 题 结 合 学 生 的 信 息, 将 学 生 信 息 划 分 为 一 个 维 度 主 题 和 4 个 业 务 主 题 : 学 生 基 本 信 息 教 学 资 源 学 习 成 果 学 习 经 历 维 度 主 题 包 括 时 间 地 理 校 标 教 标 等 学 生 基 本 信 息 关 注 个 人 属 性 信 息, 如 学 号 姓 名 院 系 专 业 等 ; 教 学 资 源 是 课 程 执 行 计 划 选 课 培 养 计 划 等 ; 学 习 成 果 关 注 成 绩 论 文 科 研 实 践 等 ; 学 习 经 历 包 括 社 团 活 动 组 织 关 系 学 习 经 历 工 作 经 历 (2) 确 定 分 析 粒 度 记 录 每 个 学 生 的 明 细 情 况 在 大 数 据 时 代 背 景 下, 详 细 的 明 细 记 录 对 于 将 来 的 分 析 具 有 很 强 的 参 考 依 据 比 如 选 课 信 息, 不 仅 记 录 了 每 次 选 课 的 明 细, 对 于 选 课 的 IP 地 址, 选 课 退 课 记 录 等 信 息 都 涵 盖 在 内 (3) 设 计 维 度 统 计 和 分 析 数 据 的 角 度, 与 统 计 分 析 的 参 数 对 应 特 别 对 于 特 别 属 性, 要 独 立 提 出 作 为 一 个 维 度 98

实 践 探 讨 来 天 平 等 : 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 (4) 建 立 事 实 表 为 了 跟 踪 具 有 生 命 周 期 的 活 动 数 据 的 变 化 过 程 以 保 留 历 史 信 息, 设 计 事 实 表 时 使 用 缓 慢 变 化 维 的 方 法 以 捕 获 变 化 数 据 [8] 4 智 能 服 务 案 例 4.1 数 据 应 用 与 服 务 (1) 学 业 预 警 学 业 预 警, 是 指 通 过 对 学 生 在 校 期 间 的 学 习 生 活 数 据 进 行 分 析, 提 前 发 现 学 生 潜 在 的 学 业 问 题, 告 之 本 人 和 相 关 的 管 理 人 员, 帮 助 学 生 顺 利 完 成 学 业 例 如 个 人 培 养 计 划 预 警 个 人 培 养 计 划 是 学 生 根 据 学 校 制 定 的 学 科 培 养 方 案 在 每 学 期 拟 定 的 学 习 计 划 个 人 培 养 计 划 包 括 课 程 学 习 计 划 和 学 位 论 文 计 划, 是 导 师 指 导 学 习 开 展 研 究 工 作 的 依 据, 也 是 院 对 进 行 毕 业 资 格 审 核 及 授 予 学 位 的 依 据 预 警 系 统 的 主 要 功 能 是 核 查 个 人 培 养 计 划 是 否 满 足 相 应 培 养 方 案 的 要 求, 对 于 不 合 格 的 个 人 培 养 计 划 适 时 给 予 提 醒 学 科 培 养 方 案 要 求 见 表 2 个 人 培 养 计 划 学 分 汇 总 ( 表 3) 预 警 根 据 业 务 部 门 进 行 规 定 可 以 包 括 多 个 级 别 比 如 一 级 预 警 定 义 为 : 新 生 在 第 一 学 期 第 二 学 期 选 课 之 后 ( 选 课 期 间 可 制 订 或 修 改 个 人 培 养 计 划 ), 个 人 培 养 计 划 不 符 合 相 应 培 养 方 案 的 要 求 (2) 个 性 化 服 务 推 荐 个 性 化 服 务 推 荐, 是 将 个 人 数 据 整 理 分 析, 预 测 式 主 动 性 地 向 用 户 提 供 服 务 推 荐 在 选 课 系 统 中, 为 新 生 选 课 进 行 课 程 推 荐 新 生 入 学 后, 一 般 对 将 要 上 什 么 课 程 比 较 迷 茫 对 近 10 年 选 课 数 据, 根 据 同 一 院 系 同 一 专 业 成 绩 合 格 率 等 维 度 进 行 分 析 整 理, 列 出 课 程 选 课 人 数 成 绩 状 况 等 信 息, 排 序 ( 例 如 前 10 名 ) 后, 推 荐 新 生 选 课 4.2 决 策 支 持 以 公 派 出 国 业 务 举 例 通 过 院 系 开 设 的 全 英 文 课 程 的 学 生 统 计, 可 以 发 现 公 派 出 国 的 学 生 占 全 部 选 课 学 生 的 比 例 情 况 实 际 上, 数 据 表 明, 全 英 文 课 程 的 开 设, 使 学 生 在 校 内 即 可 了 解 到 学 术 领 域 的 最 新 国 际 前 沿 动 态, 开 拓 了 学 生 的 国 际 视 野, 使 得 学 生 有 可 能 与 国 际 同 行 进 行 交 流 和 学 习, 有 力 地 促 进 了 学 生 的 学 术 研 究 水 平 的 提 高 和 国 际 竞 争 力 的 提 升, 可 以 为 学 校 管 理 层 在 课 程 建 设 方 面 提 供 决 策 依 据 5 结 语 目 前, 参 与 高 校 智 能 服 务 的 大 数 据 在 绝 对 数 量 值 和 计 算 量 都 不 是 很 高, 为 了 应 对 将 来 可 能 产 生 的 海 量 数 据 和 高 负 荷 计 算, 需 要 部 署 实 施 MapReduce [9] 和 Hadoop [10] MapReduce 将 传 统 的 查 询 分 解 及 数 据 分 析 进 行 分 布 式 处 理, 将 处 理 任 务 分 配 到 不 同 的 处 理 节 点 本 质 上,MapReduce 是 一 套 软 件 框 架, 包 括 Map ( 映 射 ) 和 Reduce( 化 简 ), 对 海 量 数 据 进 行 分 割 任 务 分 解 与 结 果 汇 总 后 完 成 海 量 数 据 的 并 行 处 理 Hadoop 是 由 Apache 基 金 会 开 发 的 一 个 分 布 式 系 统 基 础 架 构, 利 用 集 群 的 高 速 运 算 和 存 储 Hadoop 实 现 了 分 布 式 文 件 系 统 (Hadoop Distributed File System), 简 称 HDFS HDFS 具 有 高 容 错 性 的 特 点, 特 别 适 合 部 署 在 低 廉 的 硬 件 上, 比 较 适 合 高 校 中 轻 量 级 的 高 速 运 算 建 立 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统 对 于 高 校 信 息 化 建 设 是 一 个 机 遇 也 是 一 种 挑 战 文 中 提 出 的 建 设 思 路 方 法 与 设 计 还 不 成 熟, 实 践 案 例 覆 盖 范 围 较 小, 需 要 在 实 践 中 检 验 和 完 善, 特 别 对 于 高 运 算 量 下 如 何 利 用 mapreduce 和 hadoop 工 具 ( 下 转 第 107 页 ) 表 2 培 养 方 案 要 求 学 号 姓 名 方 案 ID 方 案 名 称 学 位 课 学 位 课 考 试 必 修 课 选 修 课 限 选 课 开 题 报 告 要 求 综 合 考 试 要 求 表 3 个 人 培 养 计 划 拟 定 情 况 学 号 姓 名 学 位 课 学 位 课 考 试 必 修 课 选 修 课 限 选 课 开 题 报 告 计 划 综 合 考 试 计 划 个 人 培 养 计 划 是 否 符 合 培 养 方 案 要 求 是 / 否 99

实 践 探 讨 林 垚 : 交 通 科 技 信 息 资 源 共 享 平 台 服 务 标 准 的 设 计 展, 还 是 相 对 滞 后, 原 因 在 于 缺 少 定 量 评 判 标 准 此 外, 由 于 缺 乏 定 量 成 效 的 公 开 规 定, 各 子 平 台 不 主 动 展 示, 阻 碍 对 其 效 果 的 监 督 与 评 判, 对 于 促 进 效 用 提 高 也 是 不 利 影 响 (6) 未 满 足 使 用 者 的 告 知 需 求 如 表 6, 共 享 平 台 未 满 足 用 户 的 两 类 告 知 需 求 其 一, 有 关 服 务 内 容 方 式 流 程 及 用 户 注 册 浏 览 器 版 本 等 指 南 须 知, 在 子 平 台 中 尤 为 明 显 ; 其 二, 含 有 人 工 环 节 的 服 务 答 复, 例 如 问 题 咨 询 代 查 代 检 等 审 核 回 复, 尤 其 是 未 通 过 审 核 的 理 由 两 种 不 满 足 与 缺 乏 约 束 相 关, 对 于 前 者, 未 将 其 作 为 服 务 内 容 提 出 公 开 要 求 ; 对 于 后 者, 缺 少 将 其 写 入 服 务 职 责 规 范 服 务 人 员 5 规 范 服 务 的 对 策 (1) 提 取 标 准 设 计 的 大 方 向 前 述 中 存 在 的 问 题 围 绕 服 务 内 容 及 要 求 提 供 方 式 流 程 人 员 效 用 设 施 6 个 方 面, 基 于 此, 标 准 设 计 也 应 涵 盖 这 些 基 本 内 容, 它 们 是 信 息 服 务 标 准 应 约 束 的 方 向 (2) 转 化 问 题 为 对 标 准 设 计 的 要 求 针 对 各 方 向 下 问 题, 逐 一 从 使 用 者 角 度 考 虑 希 望 获 取 的 服 务 状 态, 提 出 满 足 状 态 的 必 要 条 件, 此 条 件 即 为 对 标 准 设 计 的 要 求 在 这 一 过 程 中, 以 部 级 平 台 服 务 现 状 用 户 需 求 作 为 设 计 要 求 的 具 体 化 基 础, 并 借 鉴 国 内 外 相 关 标 准 的 优 势 之 处, 补 充 问 题 中 未 提 及 内 容 需 要 说 明 的 是, 转 化 结 果 应 不 可 再 分, 在 其 上 能 直 接 开 展 标 准 编 制 运 用 对 策 确 定 在 标 准 设 计 中 需 规 范 的 全 部 内 容 如 表 7 所 示 参 考 文 献 [1] 交 通 科 技 信 息 资 源 共 享 平 台 [DB/OL].[2013-09-10]. http://www.transst.cn. [2] 浙 江 子 平 台 [DB/OL].[2013-09-01].http://jtkj.zjt.gov. cn. [3] 江 苏 子 平 台 [DB/OL].[2013-09-01].http://kjgx.jscd.gov. cn. [4] 吉 林 子 平 台 [DB/OL].[2013-09-01].http://www.jljtkjpt.com. [5] 福 建 子 平 台 [DB/OL].[2013-09-01].http://218.85.65. 29/website. [6] 安 徽 子 平 台 [DB/OL].[2013-09-01].http://www.ahtsi. gov.cn/web/default.aspx. [7] 中 交 集 团 子 平 台 [DB/OL].[2013-09-01].http://219. 141.246.33/InnerLZRMIP/MIPFRAME/zjindex.aspx. ( 上 接 第 99 页 ) 还 在 探 索 之 中 改 变 信 息 化 建 设 模 式, 高 度 重 视 基 础 数 据 的 收 集 与 整 理, 为 大 数 据 分 析 奠 定 基 础, 是 建 设 智 能 化 高 校 系 统 的 基 础 工 作 参 考 文 献 [1] 张 意 轩, 于 洋. 大 数 据 时 代 的 大 媒 体 [N]. 人 民 日 报, 2013-01-17(14). [2] 维 克 多, 迈 尔 - 舍 恩 伯 格, 肯 尼 思, 等. 大 数 据 时 代 [M]. 杭 州 : 浙 江 人 民 出 版 社,2012. [3] 来 天 平, 种 连 荣, 王 倩 宜, 等. 高 校 信 息 化 横 向 建 设 模 式 的 探 索 与 实 践 [J]. 武 汉 大 学 学 报 : 理 学 版,2012(Z1): 136-139. [4] 智 能 服 务 服 务 中 国 [EB/OL].[2013-09-11].http://www. ccwresearch.com.cn/white_book_detail.htm?id=16. [5] 王 亦 然. 数 据 仓 库 技 术 基 于 业 务 报 表 数 据 的 应 用 研 究 [D]. 北 京 : 中 国 地 质 大 学 ( 北 京 ),2010. [6] Bazhen Datax[EB/OL]. [2013-09-11]. http://code.taobao.org/p/datax/wiki. [7] Kimball R, Ross M. The Data Warehouse Toolkit: The Complete Guide to Dimensional Modeling[M]. New York: John Wiley and Sons, 2002. [8] 高 亮. 高 校 数 据 仓 库 建 设 研 究 [J]. 武 汉 大 学 学 报 : 理 学 版,2012,58(Z1):179-184. [9] Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simpleied Data Processing on Large Clusters[J]. Communications of the Acm, 2008,51(1):107-111. [10] Scobinz. Hadoop[EB/OL]. [2013-09-11]. http://baike. baidu.com/view/908354.htm. 107