白皮书

Size: px

Start display at page:

Download "白皮书"

孥曾郎
5 years ago
Views:

1 WonderDM 豌豆数据挖掘平台技术白皮书北京亿信华辰软件有限责任公司 2017 年 11 月

2 目录技术白皮书 1. 前言关于本白皮书数据挖掘技术概述商业智能简介数据挖掘应用 WonderDM 的特性产品架构数据源数据准备阶段数据探索数据预处理数据挖掘建立模型模型训练评估部署应用门户应用门户服务良好的兼容性二次开发接口产品特色功能开发管理门户向导式零编程, 全界面可视化挖掘算法丰富可扩展分类分析回归分析聚类分析关联分析时间序列预测强大的关系网络分析 R 语言支持丰富的数据源接口关系数据库数据源文本数据源 Excel 数据源自定义数据源数据概览自助式图形化数据探索

3 3.9 灵活多样的数据预处理数据抽样数据归一化数据标准化数据离散化数值替换类型转换新增字段主成分提取数据集过滤数据预处理任务调度直观的建模过程科学的模型评估方法多模型管理可视化部署模型应用数据挖掘计划任务自助式门户用户及权限管理可视化运营监控软件技术特点系统设计原则先进性可维护性可靠性易用性安全性扩展性遵循跨行业数据挖掘标准流程 (CRISP-DM) 支持各种数据挖掘类型支持关系网络分析可视化的数据探索技术数据预处理技术建模结果的可视化技术最优模型智能识别技术多模型管理技术自助式模型部署技术自动生成预测结果表技术软硬件环境

4 5.1 服务器配置推荐列表 R 服务器客户端配置客户端客户端浏览器

5 1. 前言 1.1 关于本白皮书本白皮书对应产品版本为 :WonderDM V1.1 最后修订日期 :2017 年 11 月本白皮书将在阐述数据挖掘技术的基础上, 详细介绍 WonderDM 在功能技术等方面的特点和优势 1.2 数据挖掘技术概述商业智能简介商业智能系统 (BI,Business Intelligence) 是对数据的搜集管理和分析的系统, 目的是使企业各级决策者获得知识并提高洞察力, 做出对企业更有利的决策商业智能的概念最早在 1996 年提出当时将商业智能定义为一类由数据仓库 ( 或数据集市 ) 查询报表数据分析数据挖掘数据备份和恢复等部分组成的以帮助企业决策为目的技术及其应用目前, 商业智能通常被理解为将企业中现有的数据转化为知识, 帮助企业做出明智的业务经营决策的工具, 既可以是操作层的, 也可以是战术层和战略层的决策为了将数据转化为知识, 需要利用数据仓库联机分析处理 (OLAP) 工具和数据挖掘等技术因此, 从技术层面上讲, 商业智能不是什么新技术, 它只是数据仓库 OLAP 和数据挖掘等技术的综合运用数据挖掘应用从技术角度来看, 数据挖掘是从大量的不完全的有噪声的模糊的随机的实际应用数据中, 提取隐含在其中的人们事先不知道的但又是潜在有用的信息和 1

6 知识的过程从商业角度来看, 数据挖掘是一种新的商业信息处理技术, 其主要特点是对商业数据库中的大量业务数据进行抽取转换分析和其他模型化处理, 从中提取辅助商业决策的关键性数据她是按企业既定业务目标, 对大量的企业数据进行探索和分析, 揭示隐藏的未知的或验证已知的规律性, 并进一步将其模型化的先进有效的方法数据挖掘重点是对业务发展进行预测分析及挖掘利用, 帮助用户提高数据挖掘应用能力, 寻找数据后面的各种趋势与关系, 充分挖掘数据黄金为决策者提供有价值的数据支持 1.3 WonderDM 的特性 WonderDM 作为一款零门槛全程可视化的数据挖掘工具, 具有数据预处理图形化数据探索可视化建模模型应用等功能, 可以实现客户流失分析风险分析信用评价关联推荐预测社会网络分析等各类数据深入分析应用具有如下特性 : 向导式零编程, 全界面可视化配置支持丰富的数据源图形化数据探索, 帮助理解数据和构建挖掘模型灵活的数据预处理方式, 通过拖拉方式便可完成数据预处理丰富的挖掘算法, 如决策树回归 K 均值关联规则神经网络时间序列预测关系网络分析等, 并支持 R 语言扩展直观的建模过程, 辅以多样的可视化模型结果展示, 轻松完成模型构建科学直观的模型评估方法 (ROC 曲线交差验证混淆矩阵多模型评估 ) 可视化部署模型应用, 实时挖掘潜在的数据价值 2. 产品架构 WonderDM 产品是基于 CRISP-DM SIG 专家组提出的 CRISP-DM(CRoss-Industry 2

7 Standard Process for Data Mining, 跨行业数据挖掘标准流程 ) 开发的, 下图是 WonderDM 产品的架构图, 整个系统分为数据源数据探索与数据预处理数据挖掘与门户应用四大功能结构组成 : 图表 1 产品架构 2.1 数据源 WonderDM 支持多种类型的数据源 : 关系型数据源文本数据源 Excel 数据源基于 Hadoop 的大数据数据源以及公司系列产品的其他产品数据源 2.2 数据准备阶段全面的理解数据, 是开展数据挖掘工作的重要环节, 主要包括数据探索与数据预处理工作数据探索为了帮助用户更好得理解数据,WonderDM 提供了丰富多样得数据探索功能 : 数据集数据概览每个指标字段的数理统计以及自助式图形化探索功能 3

8 2.2.2 数据预处理数据准备工作有可能被实施多次, 而且其实施顺序并不是预先规定好的这一阶段的任务主要包括 : 制表记录数据变量的选择和转换, 以及为适应建模工具而进行的数据清理等等 WonderDM 提供了以下数据预处理功能 : 数据抽样数据标准化数据归一化值替换数据离散化字段类型转换添加字段降维过滤通过系统提供的以上数据预处理功能, 轻松帮你完成数据挖掘中的数据准备工作 2.3 数据挖掘数据挖掘层提供的功能涵盖了 CRISP-DM 方法论中建立模型模型评估以及部署应用 ( 发布 ) 环节建立模型各种各样的建模方法将被加以选择和使用, 其参数将被校准为最为理想的值比较典型的是, 对于同一个数据挖掘的问题类型, 可以有多种方法选择使用因此, WonderDM 提供了涵盖分类回归聚类关联规则以及关系网络六大类十几个小类核心数据挖掘算法, 通过多种算法的应用, 得到解决你数据挖掘问题的最合适的模型 WonderDM 提供的数据挖掘算法主要有 : 决策树神经网络朴素贝叶斯逻辑回归线性回归回归树 K 均值 EM Apriori FP-Growth Hot-Winter 4

9 2.3.2 模型训练评估从数据分析的角度考虑, 在这一阶段中, 您已经建立了一个或多个高质量的模型但在进行最终的模型部署之前, 更加彻底的评估模型, 回顾在构建模型过程中所执行的每一个步骤, 是非常重要的, 这样可以确保这些模型达到企业的目标 WonderDM 提供了以下模型评估方法 : ROC 曲线交叉验证混淆矩阵多模型评估对比通过提供的模型评估方法, 对您训练的一个或者多个模型进行全面的评估, 确保发布的模型能够达到预期目标部署应用模型的创建并不是项目的最终目的尽管建模是为了增加更多有关于数据的信息, 但这些信息仍然需要以一种用户能够使用的方式被组织和呈现 WonderDM 在模型应用中提供了灵活多样的组件化模型应用设计器, 用户可以根据业务应用的需求, 通过简单的拖拽生成单模型应用多个模型应用的可视化结果 2.4 门户应用门户服务 WonderDM 通过门户应用管理功能为数据挖掘建模人员模型应用人员以及业务人员等不同系统使用者提供服务良好的兼容性 WonderDM 的客户端只需要一个浏览器即可, 不需要安装其他额外的软件或者工具包, 可以给用户在浏览器上带来非常丰富的操作体验 5

10 支持 IE9 及以上 FireFox3 chorme 等浏览器及 windows Linux 等操作系统二次开发接口 WonderDM 提供了丰富的第三方开发接口用于实现项目实施过程中的各种集成需求 : 单点登录接口数据挖掘模型 API 调用接口模型应用结果调用接口 3. 产品特色功能我们认为数据挖掘项目实施的核心工作就是给用户提供简单易用的软件产品和功能, 使用户能够从大量的数据中寻找发现解决问题的规律方法, 并帮助用户解决遇到的问题结合 CRISP-DM 流程, 这些功能可以简单的划分为以下几类 : (1) 数据集创建, 系统提供灵活方便的操作界面, 用户根据向导式的操作可快速完成数据准备阶段 JDBC 数据集文本数据集 excel 数据集等多种类型数据集的创建字段属性编辑维护等操作 (2) 数据探索, 为了便于用户更加直观全面的了解数据的情况, 系统提供了可视化的数据探索功能, 通过该功能你可以进行数据集全部数据的预览了解数据集中所有指标字段的数理统计信息, 包括 : 指标的数值分布唯一值最大值最小值平均值标准差等同时, 为让用户更加自主的进行数据探索,WonderDM 还提供了自助式的图形化数据探索功能用户通过对探索的数据集指标进行拖拽式操作, 便可生成丰富多样的数据统计图, 这些统计图中包括 : 柱状图线状图气泡图散点图平行坐标图直方图箱线图以及排列图等 (3) 数据预处理, 在数据挖掘过程中, 为了解决所挖掘的数据存在不完整有噪声不一致的问题, 系统提供了数据预处理功能, 以帮助用户解决挖掘的数据集中 6

11 存在各种各样的问题, 更好的构建数据模型, 实现预期数据挖掘目标系统数据预处理功能包括 : 数据抽样数据归一化数据标准化离散化值替换类型转换添加字段主成分提取 (PCA) 过滤等数据预处理功能 (4) 建模与评估,WonderDM 提供了全程可视化界面配置操作, 图形化建模结果查阅直观明了的单模型多模型评估对比发布等功能, 让您的数据挖掘建模过程更加轻松模型结果更加易懂评估结果科学直观, 有效的辅助你完成数据挖掘任务 (5) 模型应用,WonderDM 供了灵活多样的组件化模型应用设计器, 通过该设计器可以自主的设计模型应用分析展示内容, 可根据用户选中的模型生成相应的统计图表 ; 系统支持单个数据挖掘模型多个数据挖掘模型多布局的应用结果设计 WonderDM 很好地实现了用户在数据挖掘中的需求, 并且操作简洁 3.1 开发管理门户 WonderDM 提供了统一的 WEB 开发管理界面并融入了元数据管理功能, 通过界面中上的按钮切换, 开发和管理人员可以管理和使用平台上所有的功能模块, 包括数据挖掘平台用户权限管理门户管理系统管理运营监控等各项系统功能 3.2 向导式零编程, 全界面可视化 WonderDM 产品以玩起来的数据挖掘平台为宗旨, 提供这样一个数据挖掘平台, 无论你是业务专家数据分析师, 还是实施顾问, 让您更加快速简单的开展数据挖掘工作 7

12 图表 2 全程可视化 3.3 挖掘算法丰富可扩展挖掘算法式数据挖掘产品的核心和灵魂,WonderDM 提供了涵盖分类回归聚类关联规则以及关系网络六大类十几个小类核心数据挖掘算法, 同时支持数据挖掘算法的扩展, 通过挖掘算法找到解决数据挖掘问题的最合适数据挖掘模型图表 3 丰富的挖掘算法分类分析分类分析 : 根据样本数据形成的类知识并对源数据进行分类, 进而也可以预测未 8

13 来数据的归类通常适用于离散型变量预测如 : 银行信贷部门可以根据一个顾客信用信息数据库, 将功课的信用等级记录为一般或良好, 然后根据挖掘得出信用良好的顾客信息特征, 应用这些特征描述, 可以有效发现优质客户 WonderDM 提供了决策树 K 近邻朴素贝叶斯神经网络以及分类回归预测等算法分类分析算法图表 4 分类分析应用回归分析研究目标变量和影响它的相关变量间的依赖关系. 如研究影响某地空气质量的主要影响因素等, 并根据模型预测通常适用于连续型变量预测 WonderDM 提供了线性回归和逻辑回归两种基本的回归分析算法 9

14 图表 5 回归分析应用聚类分析在预先不知道欲划分类的情况下, 根据信息相似度原则进行信息集聚的一种方法属于无监督学习目的是使得属于同一类别的个体之间的差别尽可能的小, 而不同类别上的个体见的差别尽可能的大广泛应用于商业生物地理网络服务等多种领域如客户细分 : 从客户基本库中发现不同的客户群, 并能用不同的购买模式来刻画不同的客户群的特征图表 6 聚类分析应用关联分析关联模式挖掘旨在从大量的数据当中发现特征之间或数据之间的相互依赖关系 10

15 这些关联并不总是事先知道, 而是通过数据库中数据的关联分析获得的, 其对商业决策具有重要价值因而关联分析广泛用于市场营销事务分析等应用领域我们熟知的关联分析应用, 如 : 购物篮分析图表 7 购物篮分析时间序列预测通过历史数据直接产生连续的对未来数据的预测值如 : 根据某地区综合医院的历史入院人数, 预测未来一段时间内该地区综合医院的入院人数 11

16 图表 8 时间序列预测 3.4 强大的关系网络分析从复杂的事物中, 直观揭示事物之间的关联和时空相关的模式及规律, 如社会网络分析空间关系网络分析 ( 空间地理流向分析 ) 等如 : 研究企业与企业相关自然人之间的关系, 企业客户关系分析图表 9 企业股权关系分析 3.5 R 语言数据挖掘是应用统计学机器学习和模式识别等学科的知识, 从数据中发现有用的有效的未知的并且可以理解的信息的一项技术数据挖掘的一项重要特征是数据的维度随着计算机技术和信息系统的广泛应用, 需要探索的数据呈指数增长这给传统的数据挖掘带来了调整 : 必须考虑计算的效率内存资源的限制数据库接口等 R 是一种广泛用于数据分析和统计计算的强大语言, 通过 R 语言可以快速简单的实现数据挖掘算法利用 R 高度灵活的数据库接口, 可以对大型问题进行数据挖掘 12

17 WonderDM 集成了 R 语言, 提供了强大的功能供数据分析专家人员开展高级数据挖掘应用图表 10R 语言 3.6 支持丰富的数据源接口无论是关系型数据源文本数据源大数据数据源还是亿信产品系列其他产品的数据源,WonderDM 全方位支持您的各类业务数据源开展数据挖掘工作关系数据库源 :Oracle MySql 文本数据源 :TXT CSV DB 文件 Excel 数据源大数据库数据源 :PetaBase 关系数据库数据源支持 oracle mysql SQL server 等多种关系性数据库表作为数据挖掘的数据源使用 ; 同时, 支持用户在添加数据源的时候选择添加一个数据库表或者多张数据库表作为数据挖掘对象使用 ; 创建数据集时用户可以选择数据集的创建方式 : 引用数据集或者创建数据集 ; 13

18 图表 11 创建数据集文本数据源支持 TXT CSV 等格式文本数据作为数据挖掘数据集使用图表 12 创建文本数据集 Excel 数据源支持 *.xls 和 *.xlsx 等格式的 excel 表格数据作为数据挖掘数据集使用 14

19 图表 13 创建 excel 数据集自定义数据源同时,WonderDM 支持用户自定义数据集, 作为数据挖掘的训练应用数据集使用通过自定义数据集功能, 你可以实现将原始业务数据通过数据预处理后的数据抽取到自定义的数据集中来使用 3.7 数据概览 WonderDM 提供直观醒目的数据概览功能, 你可以直观的了解将要进行数据挖掘数据集各个字段唯一值最大值最小值平均值标准差缺失值等统计信息数据集记录数 15

20 图表 14 数据概览 3.8 自助式图形化数据探索 WonderDM 提供了图形化数据探索功能, 让你在数据挖掘准备阶段更加全面自主的了解数据情况系统内置了包括 : 柱状图线状图气泡图散点图平行坐标图直方图箱线图以及排列图在内的丰富的统计图探索组件 ; 用户辅以拖拽式操作, 便可通过多类型的统计图直观的了解数据图表 15 自助式图形化探索 16

3.9 灵活多样的数据预处理 WonderDM 提供了灵活多样的数据预处理功能, 她可以帮助你可以完成数据准备阶段对数据集的预处理工作, 这些工作包括 : 数据清理数据集成数据变换和数据归约, 以确保你的数据挖掘工作能够达到预期目标图表 16 数据预处理 WonderDM 数据预处理功能内置的数据预处理组件包括 : 数据抽样数据归一化数据标准化离散化值替换

21 3.9 灵活多样的数据预处理 WonderDM 提供了灵活多样的数据预处理功能, 她可以帮助你可以完成数据准备阶段对数据集的预处理工作, 这些工作包括 : 数据清理数据集成数据变换和数据归约, 以确保你的数据挖掘工作能够达到预期目标图表 16 数据预处理 WonderDM 数据预处理功能内置的数据预处理组件包括 : 数据抽样数据归一化数据标准化离散化值替换类型转换添加字段主成分提取 (PCA) 过滤等您可以通过系统提供的可视化配置界面简单直观的定义数据预处理流程并可根据需要自由拖动调整数据预处理组件的执行顺序除此之外, 数据预处理功能还支持对数据处理前后数据集数据的查看支持灵活的添加数据预处理计划任务数据抽样当源数据集数据量较大时, 可以对源数据进行抽样处理支持随机抽样分层抽样固定行数抽样 17

原始数据的线性变换, 处理后新增字段数据会映射到 [0-1] 之间图表 18 数据归一化 3.9.

22 图表 17 数据抽样数据归一化支持将源数据集字段, 进行归一化处理依据数据集字段的最大值和最小值, 对原始数据的线性变换, 处理后新增字段数据会映射到 [0-1] 之间图表 18 数据归一化数据标准化将源数据集字段, 进行归一化处理依据原始数据的均值 (mean) 和标准差 (standard deviation) 进行数据的标准化经过处理的数据符合标准正态分布 18

图表 19 数据标准化 3.9.4 数据离散化离散化是将一组连续的数据的值放入存储桶的过程, 以便得到可能状态的离散数目.

数值列和字符串列都可以进行离散化 WonderDM 支持将源数据集字段, 进行离散化处理能将源数据字段按数据范围分成 n 份,

23 图表 19 数据标准化数据离散化离散化是将一组连续的数据的值放入存储桶的过程, 以便得到可能状态的离散数目. 存储桶本身是作为有序且离散的值处理的. 数值列和字符串列都可以进行离散化 WonderDM 支持将源数据集字段, 进行离散化处理能将源数据字段按数据范围分成 n 份, 使连续的数据离散化如取值为 0~100 的字段分成 4 桶, 那么该字段的取值就只有 4 个, 即 [0,25), [25,50) [50,75) [75,100] 图表 20 数据离散化数值替换在数据挖掘中用到的一些数据分析指标, 往往在业务系统所提供的业务数据会存 19

在值缺失的情况, 为了保证数据挖掘模型的准确性, 我们需要对缺失的这部分值进行填充 WonderDM 支持将源数据集字段中的某些值替换成特定值 ( 如平均值中位数等 ) 图表 21 数值替换 3.9.

24 在值缺失的情况, 为了保证数据挖掘模型的准确性, 我们需要对缺失的这部分值进行填充 WonderDM 支持将源数据集字段中的某些值替换成特定值 ( 如平均值中位数等 ) 图表 21 数值替换类型转换在数据准备过程中, 基于提供的原始数据有时候可能某些指标的数据类型不满足数据挖掘的需求, 需要对数据变量的类型进行转换 WonderDM 支持将源字段类型进行转换, 如字符型转换成浮点型图表 22 类型转换 20

3.9.7 新增字段在对数据进行预处理的时候, 对于一些业务数据其也有的字段信息不能完全满足数据挖掘建模的需求, 会去定义新增的字段列来满足数据挖掘的需要 WonderDM 提供新增字段列功能, 支持表达式定义新增字段和函数定义图表 23 新增字段 3.9.8 主成分提取在数据挖掘中,

25 3.9.7 新增字段在对数据进行预处理的时候, 对于一些业务数据其也有的字段信息不能完全满足数据挖掘建模的需求, 会去定义新增的字段列来满足数据挖掘的需要 WonderDM 提供新增字段列功能, 支持表达式定义新增字段和函数定义图表 23 新增字段主成分提取在数据挖掘中, 通常遇到的数据是有各种噪声的, 如拿到一个汽车的样本, 里面既有以千米 / 每小时度量的最大速度特征, 也有英里 / 小时的最大速度特征, 显然这两个特征有一个多余这个是时候我们需要通过数据降维的功能来消除数据维度的不一致性, 满足数据挖掘的需要 WonderDM 提供主成分提取方法进行降维处理 21

26 图表 24 主成分提取数据集过滤支持定义过滤条件对数据集进行过滤, 形成新的数据集使用图表 25 数据集过滤数据预处理任务调度 WonderDM 的数据预处理功能支持配置计划任务, 可以定时执行数据预处理 22

27 图表 26 数据预处理计划任务 3.10 直观的建模过程 WonderDM 提供了直观全程可视化的建模过程, 从训练数据集选择分析指标字段设置挖掘算法参数配置模型训练模型评估对比到模型发布都可以零编程可视化的配置操作, 简单便捷的完成图表 27 直观的挖掘过程 23

28 3.11 科学的模型评估方法为了保证数据挖掘模型评估的更加彻底, 确保部署的模型达到预期目标豌豆 DM 提供了科学的模型评估方法, 并且根据评估结果智能的推荐最佳模型模型评估方法主要有 : ROC 曲线交叉验证混淆矩阵多模型评估对比图表 28 模型评估结果 3.12 多模型管理 WonderDM 提供了模型库管理功能, 方便对同一个数据挖掘项目下面发布的多个个数据模型进行集中管理你可以完成以下工作 : 选择一个已发布的数据模型进行部署应用 ; 对已发布的数据模型进行基本信息查询 API 接口调用信息查询 ; 通过 API 接口调用已发布的数据模型供第三方业务系统使用 ; 对已发布的模型进行重新训练 ; 24

29 将已发布的模型导出为标准格式的数据模型 ; 可视化部署模型应用模型的创建并不是项目的最终目的尽管建模是为了增加更多有关于数据的信息, 但这些信息仍然需要以一种用户能够使用的方式被组织和呈现 WonderDM 在模型应用中提供了灵活多样的组件化模型应用设计器, 用户可以根据业务应用的需求, 通过简单的拖拽生成单模型应用多个模型应用的可视化结果图表 29 可视化模型应用设计 3.14 数据挖掘计划任务 WonderDM 同时提供了数据挖掘调度计划任务, 可以方便的调度数据挖掘部署的模型, 并将生成的应用数据集数据存储到指定的数据库表中, 提供给第三方业务系统使用 25

30 图表 30 数据挖掘计划任务 3.15 自助式门户门户是 WonderDM 展示的最后一公里, 是实现面向不同用户提供个性化差异化数据挖掘服务的重要手段, 为用户关心的内容提供快速访问的通道, 节省时间和提供新知识 WonderDM 内含便捷的门户定义工具, 用户只需通过简单的拖拉控件到定义门户区域, 就能自己定义个性化的门户门户编辑页面 26

31 门户模板 3.16 用户及权限管理 WonderDM 内置了登录用户和权限管理模块权限设置模板提供了对机构及用户的添加删除管理等功能, 提供了对用户权限的设置功能, 从系统登录数据级次主题集及主题表分析表创建及查看编辑等多个角度多个层面的权限管理, 保证了企业级数据的安全性权限设置采用可视化的操作界面, 只需要在要分配的权限前打勾不需要编写任何 SQL 语句, 即使非 IT 人士, 也能轻松地对用户进行权限设置图表 31 权限管理界面 27

系统独创自动数据分级限定技术, 很好地解决了数据仓库集中部署, 分级应用的问题例如, 部署在省中心的系统, 可为各级用户提供数据分析及报表查询服务, 并能自动锁定每一级用户只能访问本级的数据其它产品都是通过过滤条件实现的, 从而增加了业务人员或开发人员制作报表的工作量 3.

32 系统独创自动数据分级限定技术, 很好地解决了数据仓库集中部署, 分级应用的问题例如, 部署在省中心的系统, 可为各级用户提供数据分析及报表查询服务, 并能自动锁定每一级用户只能访问本级的数据其它产品都是通过过滤条件实现的, 从而增加了业务人员或开发人员制作报表的工作量 3.17 可视化运营监控 WonderDM 提供了可视化的运营监控平台, 方便系统运维人员对系统概括资源的使用情况用户活跃度等情况进行一体化监控分析图表 32 系统运营监控 4. 软件技术特点 4.1 系统设计原则 WonderDM 是基于 B/S 架构的软件平台, 研发过程中严格遵循数据挖掘 (DM) 商业智能 (BI) 的理论和技术架构, 运用了先进的软件开发技术,WonderDM 的设计遵循下列原则 : 先进性遵循跨行业数据挖掘标准流程 (CRISP-DM) 28

33 遵循数据挖掘 (DM) 和网络分析 (NA) 理论支持各种挖掘模型的可视化和网络数据的可视化支持丰富的数理统计分析功能遵循 J2EE XML 等多种业界主流的先进的技术标准采用多层应用体系架构, 将各种应用作为被共享的服务的集合使用国际化编码 UTF 可维护性提供集成化的系统管理模块, 通过图形化界面管理配置所有系统对象项目, 数据, 模型等各个模块都可方便的备份和恢复纯 web 化, 报表分析展示无需任何插件, 客户端零安装, 大大方便系统升级维护所有系统对象和元数据全部持久保存在数据库中, 服务器迁移十分方便可靠性合理的 JAVA 内存回收机制, 用户操作结束后, 系统不允许仍然占有该连接的内存有完善的错误诊断和恢复机制, 不会出现因用户误操作而导致系统崩溃所有系统对象和元数据全部持久保存在数据库中, 不会因应用服务器崩溃或病毒入侵等损坏系统易用性系统安装配置简单, 基于 B/S 结构, 客户端零安装简单便捷的数据挖掘平台, 满足业务人员自助式数据挖掘需要简单直观的数据挖掘过程, 可视化配置操作零编程完成数据挖掘任务广泛采用 AJAX 技术, 为用户提供了十分友好的交互式 WEB 操作界面 29

34 4.1.5 安全性自动限制每级用户只能访问本级和下级数据管理员可详细配置每个用户的操作权限和可访问对象采用严格的技术手段, 杜绝非法用户绕过安全认证直接调阅数据和模型记录详细的操作日志以备审查所有密码均使用安全的加密算法加密保存防暴力攻击防 SQL 注入攻击, 跨站脚本攻击等支持 SSL 通信协议扩展性所有功能都是根据可扩展可通用的原则来设计的, 可以适应未来未知的需求变化算法都是模块化的载入系统的, 未来可扩展更多强大的算法提供模型调用接口 Web Services 服务, 满足第三方开发需要 4.2 遵循跨行业数据挖掘标准流程 (CRISP-DM) CRISP-DM(cross-industry standard process for data mining) 为一个数据挖掘项目提供了一个完整的过程描述, 自从 1999 年发布以来, 超过 60% 的数据挖掘系统采用这一标准流程, WonderDM 也采用了这个标准 30

35 图表 33 跨行业数据挖掘标准流程如图,CRISP-DM 将数据挖掘项目的生命周期分为 6 个阶段. 其中的箭头表示这些阶段间最重要和最频繁使用的依赖关系阶段之间并不一定要严格遵守顺序, 实际上, 大多数项目都会根据需要在这些阶段之间来回移动按照 CRISP-DM 来实施数据挖掘项目, 能够让用户专注于业务问题,WonderDM 在设计时就遵循了这个流程, 因此如果用户了解 CRISP-DM, 就能很快熟练使用 WonderDM 4.3 支持各种数据挖掘类型数据挖掘是指用人工智能机器学习统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程 WonderDM 支持的数据挖掘类型有 : 1) 分类, 根据样本数据中标记的类别对原数据进行分类总结, 进而也可以预测未来数据的归类, 即进行离散型变量预测 2) 回归, 确定两种或两种以上变量间相互依赖关系的一种统计分析方法, 即进行连续型变量预测 3) 聚类, 在预先不知道欲划分类的情况下, 根据数据相似度原则进行数据归类的方法 4) 关联规则, 在一个数据集中找出项与项之间的关系, 也被称为购物篮分析 31

36 可以作为商品推荐或产品植入等营销活动 5) 时间序列, 通过已有的时间序列数据进行类推, 以预测下一段时间的趋势在 WonderDM 中, 不仅支持了这些挖掘类型, 而且每种类型支持多种算法, 如 : 决策树神经网络朴素贝叶斯逻辑回归线性回归回归树 K 均值 EM Apriori FP-Growth Holt-Winter 使得用户可以训练出最合适的模型 4.4 支持关系网络分析除了支持各种传统数据挖掘类型外,WonderDM 还支持关系网络分析关系网络分析的理论基础是图论 (Graph Theory), 关系网络分析就是指通过图论研究个体间的关系那什么是图 (graph) 一个图由三部分组成: 节点集边集以及表示节点和边的关联关系的关联函数 ( 一条边的端点称之为与这条边关联 ) 在关系网络分析中, 用节点表示个体, 用边表示关系, 这样就能将关系网络用图表示出来, 从而将关系网络的问题转换成图论问题关系网络中的个体不仅是指个人, 还可指一个群体公司或其他集体性的组织个体个体间的关系有很多, 各种行为或者个体的身份属性都能产生大量关系, 如 : 交易能产生买卖谈话评价等多种关系, 作为子女和父母的亲属关系, 作为员工公司的公司的雇佣关系和其他员工的同事或者上下级关系等等可以说现实中存在着大量复杂的关系网络, 分析这些关系网络可以获取大量有用信息, 例如发现特定网络中的特定团体, 发现网络中的领袖个体, 发现网络中的关键路径等 WonderDM 不仅可以将网络可视化的展现出来, 通过调整节点颜色大小, 边的颜色线型等, 让用户更为直观查看网络, 还根据图论算法, 可以计算出各种网络的属性, 解决网络分析的各种问题, 如 : 1) k- 邻居计算, 与同一条边关联的两个节点称为相邻的, 某个节点的 k- 邻居是指到这个节点的最短路长为 k( 图中的一条路是指连接节点和边的序列, 并且节点和边都不重复, 一条路的长度是指含有边的条数 ) 的节点集,WonderDM 的 k- 邻居计算输出的到某个顶点最短路长为 k 的节点以及这些路包含的节点 32

37 所构成的子图 2) 连通图计算, 连通图是指这个图中任意两个节点都能找到一条路相连, WonderDM 的连通图计算输出的是包含某个节点的连通子图 3) k- 核心图 (k-core) 计算,k-core 是指一个图的子图, 并且这个子图中的任意一个节点的度都大于等于 k( 节点的度是指与这个节点关联的边的条数 ) 通过计算一个图的 k-core, 可以帮助我们从复杂的关系网络中提取高度相关的子结构例如, 在采购欺诈模型中, 可以帮助我们分析买家卖家之间行为异常的团伙或者找出在整个交易网络中处在核心位置的供应商或采购商 4) 模块计算, 利用 Modularity( 模块度 ) 指标, 评估网络社区划分的质量, 并输出网络的 Modularity 值最优时, 各个节点所属模块与聚类算法类似, 模块计算将相似的节点标记为同一类 5) PageRank 值计算,PageRank 起源于网页的搜索排序, 是度量节点重要性的指标, 一个节点的 PageRank 值考虑了所有与之有路相连的节点的权重通话 PageRank 值, 找出网络中的领袖节点 6) 中介中心性计算, 一个节点的中介中心性是指经过这个节点的所有最短路的的条数, 它度量了节点作为媒介的能力中介中心性高的节点相当于交通网络中的交通枢纽, 一旦节点出现问题, 网络的连通性会受很大影响通过计算这些网络属性, 可以帮助用户发现网络中更为深层的知识 4.5 可视化的数据探索技术数据理解是数据挖掘过程中必不可少的阶段, 是训练出合适模型的基础 WonderDM 支持各种统计图表, 能够从各个角度展现数据的特征, 如 : 1) 柱状图, 查看连续型字段在离散型字段不同取值条件下的计数均值标准差等信息 2) 线状图, 查看连续型字段在其他字段取值时的变化趋势 3) 散点图, 查看两个连续型字段的相关性, 是否具有线性关系 33

38 4) 气泡图, 在查看两个连续型字段的相关性的同时, 观察是否在第三个连续字段的维度下的变化趋势 5) 平行坐标图, 用一条折线表示一条数据, 可以查看高维数据数据 6) 直方图, 查看连续型字段取值的分布情况 7) 箱线图, 查看连续型字段的四分位异常值等信息 8) 排列图 ( 帕累托图 ), 查看字段中重要的取值通过这些统计图, 查看数据的特征, 能帮助用户理解数据, 从而训练出更好的模型 4.6 数据预处理技术原始数据往往存在很多问题, 如 : 缺失值重复含噪声维度高等, 如果直接使用有问题的原始数据训练模型, 会导致生成的模型不够准确, 预测能力达不到期望 WonderDM 提供了大量算法来处理原始数据的问题 : 1) 抽样, 支持简单随机抽样固定行抽样以及分层抽样, 在保证数据的代表性的情况下, 减轻模型训练的计算压力 2) 归一化, 将不同度量方式的指标放在同一个度量体系中进行比较 3) 标准化, 消除量纲影响和变量自身变异大小和数值大小的影响 4) 离散化, 将连续型数据切分为若干段 5) 缺失值填充, 支持分位数均值自定义等多种方式填充 6) 主成分提取 (PCA), 将有相关性的多个字段转换成没有相关性的多个字段, 利用 PCA 可以将数据降维 7) 数据类型转换 8) 数据集添加列 9) WonderDM 还提供了预处理过程编辑功能, 能够拖拽编辑各个算法的执行顺序 34

39 4.7 建模结果的可视化技术对于得到的模型, 具体的数学公式太过复杂, 用户在理解模型时十分困难 WonderDM 利用可视化技术, 将复杂抽象的模型, 直观的展现出来, 如 : 1) 树形结构图, 展示决策树的规则集和分类概率 2) 概率分布图, 展示朴素贝叶斯分类时每个字段的分布 3) 神经网络图, 展示神经网络的隐藏层和节点权重 4) 时间序列图, 展示时间序列的拟合程度和预测值 5) 关系网络图 6) 通过这些可视化的建模结果, 能帮助用户更容易地理解掌握模型, 从而把模型应用到各种业务场景中 4.8 最优模型智能识别技术得到一个实用的模型, 往往要经过多次训练和调整参数, 并对模型进行评估, 对比评估结果科学的模型评估涉及大量的专业指标, 没有经过专业学习很难看懂这增加了数据挖掘项目的难度 WonderDM 提供了最优模型的智能识别功能, 通过算法自动对比分类正确率均方根误差 Kappa 统计量提升率 roc 面积等专业的模型评估指标, 并综合考虑这些指标的影响因子, 从而识别出最优模型这样, 用户没有专业的知识储备, 也能使用 WonderDM 训练出最适用的模型 4.9 多模型管理技术针对不同的数据和场景, 会生成很多模型, 但是模型有一定的时效性, 当数据和场景发生变化时, 模型也要同步变化, 需要有效的管理 WonderDM 的多模型管理技术支持 : 1) 模型的一键发布和删除 2) 模型的快速更新入口 35

40 3) 模型 PMML 格式导出, 4) 提供模型服务接口, 5) 使得用户可以有效的管理和应用模型 4.10 自助式模型部署技术 WonderDM 在模型应用中提供了灵活多样的组件化模型应用设计器, 用户可以根据业务应用的需求, 通过简单的拖拽生成单模型应用多个模型应用的可视化结果自助式模型部署技术的这些特点能够帮助用户高效的适应各种商业场景, 创造商业价值这些技术主要包括 : 1) 可视化编辑界面 2) 各种工具和模型的组件化 3) 拖拽式操作 4.11 自动生成预测结果表技术当用户需要批量预测并保存预测结果时,WonderDM 提供了自动生成预测结果表技术此技术采用了计划任务的调度执行, 用户配置完成后,WonderDM 可以定时的输出预测结果到数据库表, 并且自动加入到数据集管理, 方便用户随时调用预测结果 5. 软硬件环境 5.1 服务器配置推荐列表配置项目 WEB 服务器 ( 一台 ) 数据库服务器 ( 一台 ) 硬件配置软件基础环境配置 (64 位 ) CPU: Intel Xeon E3 或更高内存 :32G 操作系统 : Windows Redhat 及以上 CentOS6.9 及以上 AIX6 及以上 Solaris11 及以上 CPU: Intel Xeon E5 *2 或更高内存 :128G 操作系统 :Linux/Windows 数据库 :oracle10g 11c 12c Mysql5.5 及以上 36

41 JAVA 运行环境 :SUN JDK 1.7 中间件 : Tomcat6 及以上 Tas2.6 WebLogic12c 5.1 R 服务器 R 服务器安装包仅支持在 Linux CentOS6.9 和 Linux CentOS7.4 环境上部署注 :R 服务器建议独立部署, 保证能与豌豆 DM 服务器数据库服务器通讯即可配置项目 WEB 服务器 ( 一台 ) 硬件配置软件基础环境配置 (64 位 ) CPU: Intel Xeon E7 * 4 或更高内存 :128G 操作系统 : Redhat 及以上 CentOS6.9 及以上 5.2 客户端配置客户端所属项说明 CPU 内存网络 Intel Core i3 以上不小于 8G 10MB/s 客户端浏览器操作系统浏览器 Win7 Win 8 Win 10 IE11 IE10 IE9 IE EDGE Chrome59 以上版本 Firefox55 以上版本 37

ChinaBI企业会员服务- BI企业

ChinaBI企业会员服务- BI企业商业智能 (BI) 开源工具 Pentaho BisDemo 介绍及操作说明联系人 : 杜号权苏州百咨信息技术有限公司电话 : 0512-62861389 手机 :18616571230 QQ:37971343 E-mail:du.haoquan@bizintelsolutions.com 权限控制管理 : 权限控制管理包括 : 浏览权限和数据权限 ( 权限部分两个角色 :ceo,usa; 两个用户