1 产品概述当今社会已经步入大数据时代, 数据挖掘已经成为各应用领域的重要技术, 高校数据挖掘课程的开设也应运而生, 数据挖掘课程综合了多门学科知识, 该课程既包括各种理论知识, 又离不开相关的实践技术, 整个教学过程是培养和提高学生的创新能力及综合解决问题的能力以往的教学过程理论性强, 枯燥乏

Size: px

Start display at page:

Download "1 产品概述当今社会已经步入大数据时代, 数据挖掘已经成为各应用领域的重要技术, 高校数据挖掘课程的开设也应运而生, 数据挖掘课程综合了多门学科知识, 该课程既包括各种理论知识, 又离不开相关的实践技术, 整个教学过程是培养和提高学生的创新能力及综合解决问题的能力以往的教学过程理论性强, 枯燥乏"

持受杭
5 years ago
Views:

2 1 产品概述当今社会已经步入大数据时代, 数据挖掘已经成为各应用领域的重要技术, 高校数据挖掘课程的开设也应运而生, 数据挖掘课程综合了多门学科知识, 该课程既包括各种理论知识, 又离不开相关的实践技术, 整个教学过程是培养和提高学生的创新能力及综合解决问题的能力以往的教学过程理论性强, 枯燥乏味, 学生学习热情普遍不高, 不利于学生专业能力的培养顶尖数据挖掘建模平台 (TipDM-TB) 是由广州泰迪智能科技有限公司自主研发, 面向高校数据挖掘课程教学的数据挖掘建模工具平台使用 JAVA 语言开发, 采用 B/S 结构, 用户不需要下载客户端, 可通过浏览器进行访问用户可在没有编程基础的情况下, 通过拖拽的方式进行操作, 将数据输入输出数据预处理挖掘建模模型评估等环节通过流程化的方式进行连接, 已达到数据分析挖掘的目的平台以实际挖掘案例为切入点, 对老师而言, 老师在使用平台进行教学时不仅可以讲授数据挖掘基本流程主要挖掘算法的基本原理, 还可以使用平台的示例模板讲解一个算法的应用场景或者是一个完整案例的挖掘步骤, 并查看各步骤源代码 ; 老师还可以上传自定义算法, 与平台算法进行对比对学生而言, 平台大大降低了学习数据挖掘的门槛, 让学生对数据挖掘有了更感性的认识, 激发学生的学习兴趣 2 产品构成产品主要由数据管理模块算法组件模块 1 模型管理模块案例示例模块可视化操作模块任务调度模块接口拓展模块构成, 如图 1 所示 1 算法组件管理模块内容不断更新中

3 图 1 产品构成

4 2 3 产品功能及特点以下内容是针对各产品模块功能及特点进行简要描述 3.1 平台支持多种数据接入方式, 并支持数据分享功能数据管理模块主要提供平台接入数据的不同方式数据的常用操作 ( 预览删除分享同步搜索 ) 用户可根据数据大小选择来源于文件或者来源于数据库如图 2 所示图 2 数据来源于数据库数据上传成功后, 老师可以使用数据分享功能, 将课程涉及到的数据分享给学生, 学生可在共享数据源选项卡查看老师共享给自己的数据, 并使用该数据进行分析挖掘, 此做法不但可对数据的使用权限进行控制, 而且更方便快捷如图 3 图 4 所示 2 平台详细操作见顶尖数据挖掘建模平台 TipDM-TB 操作说明书

5 图 3 数据分享功能图 4 数据源共享 3.2 平台提供丰富的数据挖掘算法, 并支持自定义算法 3 算法组件模块主要包括系统算法组件和个人算法组件两大部分其中系统算法组件除输入源输出源外还包括 : 统计分析预处理聚类分析分类回归时序模型文本挖掘智能推荐九大部分系统算法组件清单如图 5 所示系统算法组件支持查看源码, 老师也可以使用由 R Python 编写的算法源码用于教学如图 6 所示 3 更多算法正在不断推出中

6 序号算法菜单 ( 一级菜单 ) 算法名称 ( 二级菜单 ) 序号图 5 系统算法组件清单算法菜单 ( 一级菜单 ) 算法名称 ( 二级菜单 ) 1 卡方检验 44 贝叶斯信念网络 2 全表统计 45 朴素贝叶斯网络 3 因子分析 46 ID3 决策树 4 单因素方差分析 47 CART 分类树 5 多因素方差分析 48 分类 C4.5 决策树 6 主成分分析 49 BP 神经网络统计分析 7 相关分析 50 Rbf 神经网络 8 正态总体单样本均值检验 51 K- 最近邻分类 9 正态总体单样本方差检验 52 SVM 支持向量机 10 正态性检验 53 线性回归 11 方差齐性检验 54 非线性回归 12 正态总体双样本均值检验 55 逻辑回归 13 缺失值处理 56 逐步回归 14 异常值处理 57 保序回归 15 特征选择 58 cart 回归树 16 正交化处理 59 回归分析 C4.5 回归树 17 表合并 60 Rpart 18 表连接 61 有序回归 19 平稳性检验 62 岭回归 20 纯随机性检验 63 偏最小二乘回归 21 ARIMA 模型定阶 64 偏最小二乘路径模型 22 标准化处理 65 广义线性回归 23 去除重复 66 时间序列分解法 24 离散化 67 GM(1,1) 25 数据分组 68 指数平滑预处理时序模式 26 聚类数寻优 69 ARCH 模型 27 分组聚合 70 GRACH 模型 28 排序 71 ARIMA 模型 29 拆分 72 时序模式关联规则关联规则 30 频数统计 73 Apriori 关联规则 31 构造 0-1 矩阵 74 文本挖掘词分析 32 修改类型 75 主题分析 33 值替换 76 智能推荐协同过滤 34 修改列名 77 分类模型评估 35 新增序列 78 模型对比回归模型评估 36 字符串拼接 79 时序模型评估 37 字符串拆分 38 二元化 39 k-means 算法 40 EM 最大期望算法 41 聚类分析 DBSCAN 密度算法 42 Kmedoids 聚类 43 系统聚类

3 平台支持算法模型部署及分享功能模型管理模块主要针对分类算法而言, 对训练集使用某分类算法得出的模型,

7 图 6 查看算法源码个人算法组件支持由 R 语言 Python 编写的自定义算法老师可根据实际课程内容编写自定义算法用于教学个人算法组件界面如图 7 所示图 7 个人算法组件 3.3 平台支持算法模型部署及分享功能模型管理模块主要针对分类算法而言, 对训练集使用某分类算法得出的模型, 里面将包括模型的输入输出算法参数的信息可将该模型部署到一批新的数据上用于验证或者预测模型除了支持导入导出 PMML 文件外, 还提供分享功能如图 8 所示

8 图 8 模型界面 3.4 平台可与泰迪教学沙盘数据挖掘系列图书进行结合用于教学 4 案例示例模块提供与教学沙盘 5 图书案例相对应的模板, 老师可直接利用建立好的模板进行教学, 介绍数据挖掘的总体流程及分析思路, 将一个个复杂的挖掘流程分解为数据探索数据预处理指标构造挖掘建模模型评估各个小部分, 便于学生理解图 9 首页示例模板 3.5 平台支持拖拽式操作, 简单易用可视化操作模块是基于 D3.js 为基础的可视化拖拽式流程设计器, 使平台的操作更为简单, 不需要使用者有很强的编程能力平台将数据挖掘涉及到的各步骤 ( 输入数据探索及 4 5 更多示例模板清单见顶尖数据挖掘教学案例库 TipDM-C10 详情见顶尖数据挖掘教学沙盘 TipDM-SP 产品说明书

9 预处理建模输出 ) 封装为一个个组件, 通过流程化的方式将各部分组件连接起来, 达到数据挖掘的目的如图 10 所示 3.6 平台支持定时任务调度图 10 工程界面任务调度模块可对某一数据源或工程设置定时任务如图 11 所示图 11 定时任务设置 3.7 所有算法提供 API 接口接口拓展模块提供所有算法 API(JAR 包 ) 和 WebService 接口, 方便老师进行算法优化研究 ; 平台开放灵活的系统对接能力, 能帮助老师带领学生承接并完成社会项目开发接口如图 12 所示

10 图 12 API 6 4 教学应用示例示例 : 使用 K-means 聚类分析对航空客户价值进行分析教学目的 (1) 让学生了解数据挖掘的总体流程 (2) 掌握不同数据预处理的算法 (3) 掌握挖掘建模算法的选择及使用案例背景 : 国内某航空公司面临着旅客流失竞争力下降和航空资源未充分利用等经营危机通过建立合理的客户价值评估模型, 对客户进行分群, 分析比较不同客户群的客户价值, 并制定相应的营销策略部分数据如图 13 所示 6 案例详见 R 语言数据分析与挖掘实战

11 MEMBER_NO FFP_DATE FIRST_FLIGHGENDEFFP_TIWORK_CITWORK_PROVINWORKAGE LOAD_TIME FLIGHTBP_SUM /03/ /04/28 男 6 US /03/ /06/ /05/16 男 6 乌鲁木齐新疆 CN /03/ /12/ /02/05 男 5 北京 CN /03/ /12/ /10/19 男 4 S.P.S CORTES HN /03/ /08/ /08/25 男 6 乌鲁木齐新疆 CN /03/ /09/ /06/01 男 5 北京北京 CN /03/ /12/ /12/27 男 4 ARCADIA CA US /03/ /10/ /10/21 男 4 广州广东 CN /03/ /04/ /06/02 女 6 广州广东 CN /03/ /01/ /04/24 男 6. 天津 CN /03/ /12/ /04/17 女 5 长春市吉林省 CN /03/ /08/ /08/20 男 6 沈阳辽宁 CN /03/ /08/ /04/18 男 5 深圳广东 CN /03/ /03/ /07/28 男 4 Simi Valley US /03/ /03/ /04/01 男 5 北京北京 CN /03/ /02/ /08/22 男 6 昆明云南 CN /03/ /12/ /05/06 男 4 CN /03/ /08/ /08/15 男 5 NUMAZU CN /03/ /08/ /08/09 男 5 南阳县河南 CN /03/ /11/ /09/17 女 5 温州浙江 CN /03/ /04/ /04/18 男 5 广州广东 CN /03/ /06/ /06/30 男 6. 北京 CN /03/ /03/ /07/10 男 6 CN /03/ /10/ /09/04 男 6 武汉湖北 CN /03/ /10/ /10/19 男 5 上海上海 CN /03/ /08/ /04/18 男 6 贵阳贵州 CN /03/ /08/ /11/08 男 4 ARCADIA CA US /03/ 使用 TipDM-TB 进行操作, 步骤如下图 13 航空数据信息表第一步, 拖入输入源节点, 选取事先配置好的数据如图 14 所示图 14 输入源第二步, 使用全表统计, 对数据的质量进行初步探索, 查看数据中是否有缺失值如图 15 所示

12 图 15 全表统计全表统计结果如图 16 所示从结果可以看出票价 (sum_yr_1 sum_yr_2) 存在缺失值, 因此需要对缺失值进行处理图 16 全表统计结果第三步, 拖入空值处理组件, 由于数据缺失情况只占数据的小部分, 因此可对直接对删除缺失值如图 17 所示

13 图 17 空值处理通过对数据观察发现原始数据中存在票价 (sum_yr_1 sum_yr_2) 最小值为 0 折扣率 (avg_discounts) 最小值为 0 总飞行公里数(seg_skm) 大于 0 的记录根据业务背景判断, 可能是客户乘坐 0 折机票或者积分兑换造成因此第四步, 丢弃票价为 0 平均折扣率不为 0 总飞行公里数大于 0 的记录在平台中拖入记录选择组件如图 18 所示图 18 记录选择本案例将客户关系长度 L 消费时间间隔 R 消费频率 F 飞行里程 M 和折扣系数的平均值 C 五个指标作为航空公司识别客户价值指标, 记为 LRFMC 模型由于原始数据中并没有直接给出 LRFMC 五个指标, 需要通过原始数据提取这五个指标第五步, 使用平台拖入衍生变量组件, 计算客户关系长度指标 L, 如图 19 所示

14 图 19 衍生变量图 20 衍生变量结果从图 20 可看出数据的不是在一个量纲上, 因此需要对数据进行标准化第六步, 在平台中拖入数据标准化组件, 如图 21 图 22 所示

15 图 21 数据标准化图 22 标准化结果第七步, 使用修改列名组件对不同指标的名称重命名, 如图 24 所示

16 图 23 修改列名图 24 修改列名结果第八步, 数据预处理完成后, 可使用 Kmeans 算法进行聚类分析, 如图 25 图 27 图 28 图 28 所示

17 图 25 Kmeans 算法图 26 Kmeans 算法结果

18 图 27 Kmeans 算法报告图 28 Kmeans 算法结果数据从结果可得出不同价值的客户群体, 最后可将结果导出到数据库中第八步, 使用平台拖入输出源组件, 如图 29 所示图 29 输出源 5 产品硬件标准配置 5.1 web 服务器序号设备名称参考品牌及型号单位数量

19 1 服务器硬件 DELL 服务器 (R730 2*E5-2620V4/4*8G/1T SAS 7.2K 3.5 寸 /H730/ 双电台 R/Python 服务器序号设备名称参考品牌及型号单位数量 DELL 服务器 ( R920 1( 如使用人 1 服务器硬件 4*E7-4809V2/4*16G/1T SAS 7.2K 3.5 寸台数多, 应增 /H730/ 双电 495W/DVDRW/) 加服务器数 6 合作客户广西民族师范学院广东工业大学珠江水产研究所华南师范大学广东中医药大学武汉理工大学韩山师范学院

大连软~1

大连软~1 大连软件职业学院高等职业教育质量年度报告 ( ) 二〇一六年一月 ( 二学 2...4 大连软件职业学院高等职业教育质量报告 (2015)...4 目录一学院基本情况二办学基本信...8...6...7 息 ( 一 ) 明确办学思路, 科学谋划发展战略 ( 二 )