IBM SPSS Modeler 14.2 建模节点

IBM SPSS Modeler 14.2 建 模 节 点

注 意 : 使 用 本 信 息 以 及 其 支 持 的 产 品 之 前, 请 阅 读 注 意 事 项 第 页 码 下 的 常 规 信 息 本 文 件 包 含 SPSS Inc,IBM Company 的 专 利 信 息 本 文 件 依 照 许 可 证 协 议 提 供 并 受 版 权 法 保 护 本 出 版 物 中 包 含 的 任 何 信 息 不 包 括 任 何 产 品 保 证, 同 时 本 手 册 中 提 供 的 任 何 声 明 不 应 被 解 释 为 保 证 当 您 发 送 信 息 给 IBM 或 SPSS 时, 您 将 授 予 非 独 占 权 利 给 IBM 和 SPSS, 允 许 它 以 其 认 为 合 适 的 任 何 方 式 使 用 或 分 发 这 些 信 息 而 不 承 担 任 何 责 任 Copyright IBM Corporation 1994, 2011..

前 言 IBM SPSS Modeler 是 IBM Corp. 企 业 级 数 据 挖 掘 工 作 平 台 SPSS Modeler 通 过 深 入 的 数 据 分 析 帮 助 组 织 改 进 与 客 户 和 市 民 的 关 系 组 织 通 过 借 助 源 自 SPSS Modeler 的 洞 察 力 可 以 留 住 优 质 客 户, 识 别 交 叉 销 售 机 遇, 吸 引 新 客 户, 检 测 欺 诈, 降 低 风 险, 促 进 政 府 服 务 交 付 SPSS Modeler 的 可 视 化 界 面 让 用 户 可 以 应 用 他 们 自 己 的 业 务 专 长, 这 将 生 成 更 强 有 力 的 预 测 模 型, 缩 减 实 现 解 决 方 案 所 需 的 时 间 SPSS Modeler 提 供 了 多 种 建 模 技 术, 例 如 预 测 分 类 细 分 和 关 联 检 测 算 法 模 型 创 建 成 功 后, 通 过 IBM SPSS Modeler Solution Publisher, 在 广 泛 的 企 业 内 交 付 给 决 策 者, 或 通 过 数 据 库 交 付 关 于 IBM Business Analytics IBM Business Analytics 软 件 为 决 策 者 提 供 可 信 赖 的 完 整 一 致 和 准 确 信 息, 以 帮 助 其 提 升 业 务 绩 效 这 一 涵 盖 商 务 智 能 预 测 分 析 财 务 绩 效 与 战 略 管 理 以 及 分 析 应 用 程 序 的 全 面 组 合 可 提 供 有 关 当 前 业 务 表 现 的 清 晰 立 即 和 切 实 可 行 的 深 入 见 解, 并 能 够 有 效 预 测 未 来 结 果 其 中 整 合 了 丰 富 的 行 业 解 决 方 案 经 过 验 证 的 做 法 与 专 业 服 务, 以 帮 助 各 种 规 模 的 组 织 提 升 生 产 效 率 自 动 化 决 策 并 取 得 卓 越 成 果 作 为 该 软 件 组 合 的 一 部 分,IBM SPSS Predictive Analytics 软 件 能 够 帮 助 各 类 组 织 有 效 地 预 测 未 来 事 件, 并 针 对 所 得 到 的 深 入 见 解 提 前 采 取 行 动, 以 取 得 更 优 秀 的 业 务 成 果 全 球 企 业 政 府 和 学 院 客 户 依 赖 IBM SPSS 技 术 作 为 吸 引 留 住 和 增 加 客 户 数 量 的 竞 争 优 势, 并 降 低 欺 诈 和 转 移 风 险 通 过 将 IBM SPSS 软 件 融 入 其 日 常 运 营 中, 这 些 组 织 将 成 为 预 测 型 企 业, 即 能 够 指 引 并 自 动 化 决 策, 以 实 现 业 务 目 标 和 取 得 可 衡 量 的 竞 争 优 势 有 关 详 细 信 息, 或 联 系 我 们 的 代 表, 请 访 问 http://www.ibm.com/spss 技 术 支 持 我 们 提 供 有 技 术 支 持 服 务 以 维 护 客 户 客 户 可 就 IBM Corp. 产 品 使 用 或 某 一 受 支 持 硬 件 环 境 的 安 装 帮 助 寻 求 技 术 支 持 要 获 得 技 术 支 持, 请 访 问 IBM Corp. 网 站 http://www.ibm.com/support 在 请 求 帮 助 时, 请 做 好 准 备, 以 便 识 别 您 自 己 您 的 组 织 以 及 您 的 支 持 协 议 Copyright IBM Corporation 1994, 2011. iii

内 容 1 关 于 IBM SPSS Modeler 1 IBM SPSS Modeler Server....................... 1 IBM SPSS Modeler 选 项....................... 1 IBM SPSS Text Analytics....................... 2 IBM SPSS Modeler 文 档....................... 2 应 用 程 序 示 例.......................... 3 Demos 文 件 夹.......................... 4 2 建 模 简 介 5 构 建 流............................. 6 浏 览 模 型............................ 12 评 估 模 型............................ 16 对 记 录 评 分........................... 19 摘 要.............................. 19 3 建 模 概 述 21 建 模 节 点 概 述.......................... 21 构 建 分 割 模 型.......................... 26 分 割 和 分 区.......................... 28 支 持 拆 分 模 型 的 建 模 节 点..................... 29 受 分 割 影 响 的 特 征....................... 29 建 模 节 点 字 段 选 项......................... 30 使 用 频 率 和 权 重 字 段...................... 33 建 模 节 点 分 析 选 项......................... 34 倾 向 得 分........................... 36 模 型 块............................. 38 模 型 链 接........................... 38 替 换 模 型........................... 40 模 型 选 项 板.......................... 41 浏 览 模 型 块.......................... 43 模 型 块 概 要 / 信 息........................ 44 预 测 变 量 重 要 性........................ 45 整 体 模 型........................... 48 分 割 模 型 的 模 型 块....................... 55 使 用 流 中 的 模 型 块....................... 57 iv

重 新 生 成 建 模 节 点....................... 58 导 入 和 导 出 PMML 模 型...................... 59 非 精 练 模 型.......................... 62 4 筛 选 模 型 64 筛 选 字 段 和 记 录......................... 64 特 征 选 择 节 点.......................... 64 特 征 选 择 模 型 设 置....................... 65 特 征 选 择 选 项......................... 66 特 征 选 择 模 型 块......................... 67 特 征 选 择 模 型 结 果....................... 68 按 照 重 要 性 选 择 字 段...................... 69 从 特 征 选 择 模 型 中 生 成 过 滤 器................... 69 异 常 检 测 节 点.......................... 70 异 常 检 测 模 型 选 项....................... 72 异 常 检 测 专 家 选 项....................... 73 异 常 检 测 模 型 块......................... 74 异 常 检 测 模 型 详 细 信 息..................... 75 异 常 检 测 模 型 概 要....................... 76 异 常 检 测 模 型 设 置....................... 77 5 自 动 建 模 节 点 79 自 动 建 模 节 点 算 法 设 置....................... 80 自 动 建 模 节 点 停 止 规 则....................... 81 自 动 分 类 器 节 点......................... 81 自 动 分 类 器 节 点 模 型 选 项..................... 83 自 动 分 类 器 节 点 专 家 选 项..................... 84 误 分 类 损 失.......................... 87 自 动 分 类 器 节 点 丢 弃 选 项..................... 87 自 动 分 类 器 节 点 设 置 选 项..................... 88 自 动 数 值 节 点.......................... 90 自 动 数 值 节 点 模 型 选 项..................... 91 自 动 数 值 节 点 专 家 选 项..................... 92 自 动 数 值 节 点 设 置 选 项..................... 94 自 动 聚 类 节 点.......................... 95 自 动 聚 类 节 点 模 型 选 项..................... 96 v

自 动 聚 类 节 点 专 家 选 项..................... 98 自 动 聚 类 节 点 丢 弃 选 项..................... 99 自 动 模 型 块.......................... 100 生 成 节 点 和 模 型....................... 102 生 成 评 估 图 表........................ 103 评 估 图 形.......................... 104 6 决 策 树 105 决 策 树 模 型.......................... 105 交 互 树 构 建 器......................... 107 生 成 和 修 剪 树........................ 108 定 义 自 定 义 分 割....................... 110 分 割 的 详 细 信 息 和 代 用 项.................... 111 自 定 义 树 状 视 图....................... 113 Gains............................ 114 风 险........................... 121 保 存 树 模 型 和 结 果...................... 122 生 成 过 滤 节 点 和 选 择 节 点.................... 126 从 决 策 树 中 生 成 规 则 集.................... 126 直 接 构 建 树 模 型........................ 127 决 策 树 节 点.......................... 128 C&R 树 节 点......................... 130 CHAID 节 点......................... 130 QUEST 节 点......................... 131 决 策 树 节 点 字 段 选 项..................... 131 决 策 树 节 点 构 建 选 项..................... 133 决 策 树 节 点 模 型 选 项..................... 144 C5.0 节 点........................... 146 C5.0 节 点 模 型 选 项...................... 148 决 策 树 模 型 块......................... 150 单 个 树 模 型 块........................ 151 用 于 推 进 bagging 和 超 大 型 数 据 集 的 模 型 块............ 160 规 则 集 模 型 块......................... 161 规 则 集 模 型 选 项 卡...................... 162 从 AnswerTree 3.0 中 导 入 工 程................... 164 vi

7 贝 叶 斯 网 络 模 型 165 贝 叶 斯 网 络 节 点........................ 165 贝 叶 斯 网 络 节 点 模 型 选 项.................... 167 贝 叶 斯 网 络 节 点 专 家 选 项.................... 169 贝 叶 斯 网 络 模 型 块........................ 171 贝 叶 斯 网 络 模 型 设 置..................... 172 贝 叶 斯 网 络 模 型 摘 要..................... 173 8 神 经 网 络 174 神 经 网 络 模 型......................... 174 对 遗 存 流 使 用 神 经 网 络...................... 175 目 标............................. 176 基 本............................. 177 停 止 规 则........................... 178 整 体............................. 179 高 级............................. 180 模 型 选 项........................... 181 模 型 摘 要........................... 182 预 测 变 量 重 要 性........................ 183 按 已 观 测 进 行 预 测........................ 184 分 类............................. 184 网 络............................. 186 设 置............................. 187 9 决 策 表 188 决 策 列 表 模 型 选 项........................ 192 决 策 列 表 节 点 专 家 选 项...................... 194 决 策 列 表 模 型 块........................ 195 决 策 列 表 模 型 块 设 置..................... 196 Decision List Viewer....................... 197 工 作 模 型 窗 格........................ 197 替 代 选 项 卡....................... 199 快 照 选 项 卡....................... 201 使 用 Decision List Viewer................... 203 vii

10 统 计 模 型 220 线 性 节 点........................... 220 线 性 模 型.......................... 221 目 标........................... 223 基 本........................... 224 模 型 选 择.......................... 225 整 体........................... 227 高 级........................... 228 模 型 选 项.......................... 228 模 型 摘 要.......................... 229 自 动 数 据 准 备........................ 230 预 测 变 量 重 要 性....................... 231 按 已 观 测 进 行 预 测...................... 232 残 差........................... 233 离 群 值.......................... 234 效 应........................... 235 系 数........................... 236 估 计 平 均 值......................... 237 模 型 构 建 摘 要........................ 238 设 置........................... 239 逻 辑 节 点........................... 239 Logistic 节 点 模 型 选 项.................... 240 将 项 添 加 到 Logistic 回 归 模 型................. 244 Logistic 节 点 专 家 选 项.................... 245 Logistic 回 归 收 敛 选 项.................... 246 Logistic 回 归 高 级 输 出.................... 247 Logistic 回 归 步 进 选 项.................... 249 Logistic 模 型 块........................ 250 Logistic 模 型 块 详 细 信 息................... 250 Logistic 模 型 块 概 要..................... 252 Logistic 模 型 块 设 置..................... 253 Logistic 模 型 块 高 级 输 出................... 254 主 成 份 分 析 / 因 子 节 点...................... 255 主 成 分 分 析 / 因 子 节 点 模 型 选 项................. 256 主 成 份 分 析 (PCA)/ 因 子 节 点 专 家 选 项.............. 257 主 成 分 分 析 (PCA)/ 因 子 节 点 旋 转 选 项.............. 258 主 成 分 分 析 (PCA)/ 因 子 模 型 块.................. 259 主 成 分 分 析 / 因 子 模 型 块 方 程 式................. 259 主 成 分 分 析 / 因 子 模 型 块 概 要.................. 260 主 成 分 分 析 / 因 子 模 型 块 高 级 输 出................. 262 判 别 式 节 点.......................... 263 判 别 式 节 点 模 型 选 项..................... 263 viii

判 别 式 节 点 专 家 选 项..................... 264 判 别 式 节 点 输 出 选 项..................... 265 判 别 式 节 点 步 进 选 项..................... 267 判 别 式 模 型 块......................... 267 判 别 式 模 型 块 高 级 输 出.................... 268 判 别 式 模 型 块 设 置...................... 269 判 别 式 模 型 块 汇 总...................... 269 GenLin 节 点.......................... 270 GenLin 节 点 字 段 选 项..................... 271 GenLin 节 点 模 型 选 项..................... 272 GenLin 节 点 专 家 选 项..................... 273 广 义 线 性 模 型 迭 代...................... 276 广 义 线 性 模 型 高 级 输 出.................... 278 GenLin 模 型 块......................... 279 GenLin 模 型 块 高 级 输 出.................... 280 GenLin 模 型 块 设 置...................... 280 GenLin 模 型 块 汇 总...................... 281 Cox 节 点........................... 282 Cox 节 点 字 段 选 项...................... 283 Cox 节 点 模 型 选 项...................... 284 Cox 节 点 专 家 选 项...................... 286 Cox 节 点 设 置 选 项...................... 289 Cox 模 型 块.......................... 289 Cox 回 归 输 出 设 置...................... 290 Cox 回 归 高 级 输 出...................... 290 11 聚 类 模 型 292 Kohonen 节 点......................... 293 Kohonen 节 点 模 型 选 项..................... 294 Kohonen 节 点 专 家 选 项..................... 296 Kohonen 模 型 块......................... 297 Kohonen 模 型 汇 总...................... 297 K-Means 节 点......................... 298 K-Means 节 点 模 型 选 项..................... 299 K-Means 节 点 专 家 选 项..................... 300 K-Means 模 型 块......................... 301 K-Means 模 型 汇 总...................... 301 两 步 聚 类 节 点......................... 302 两 步 聚 类 节 点 模 型 选 项.................... 303 ix

两 步 聚 类 模 型 块........................ 304 两 步 模 型 汇 总........................ 304 聚 类 浏 览 器.......................... 305 聚 类 浏 览 器 - 模 型 选 项 卡................... 306 浏 览 聚 类 浏 览 器....................... 314 从 聚 类 模 型 生 成 图 形..................... 316 12 关 联 规 则 319 表 格 格 式 数 据 与 事 务 处 理 格 式 数 据.................. 320 Apriori 节 点......................... 321 Apriori 节 点 模 型 选 项..................... 322 Apriori 节 点 专 家 选 项..................... 323 CARMA 节 点.......................... 324 CARMA 节 点 字 段 选 项..................... 325 CARMA 节 点 模 型 选 项..................... 327 CARMA 节 点 专 家 选 项..................... 327 关 联 规 则 模 型 块........................ 328 关 联 规 则 模 型 块 详 细 信 息.................... 329 关 联 规 则 模 型 块 设 置..................... 335 关 联 规 则 模 型 块 概 要..................... 337 从 关 联 模 型 块 生 成 规 则 集.................... 338 生 成 已 过 滤 的 模 型...................... 339 关 联 规 则 评 分........................ 340 部 署 关 联 模 型........................ 341 序 列 节 点........................... 343 序 列 节 点 字 段 选 项...................... 344 序 列 节 点 模 型 选 项...................... 346 序 列 节 点 专 家 选 项...................... 347 序 列 模 型 块.......................... 348 序 列 模 型 块 详 细 信 息..................... 350 序 列 模 型 块 设 置....................... 352 序 列 模 型 块 概 要....................... 352 从 序 列 模 型 块 生 成 规 则 超 节 点.................. 353 x

13 时 间 序 列 模 型 355 为 什 么 要 进 行 预 测?....................... 355 时 间 序 列 数 据......................... 355 时 间 序 列 的 特 征....................... 355 自 相 关 函 数 和 部 分 自 相 关 函 数.................. 360 序 列 变 换.......................... 360 预 测 变 量 序 列......................... 361 时 间 序 列 建 模 节 点........................ 361 要 求........................... 362 时 间 序 列 模 型 选 项...................... 364 时 间 序 列 Expert Modeler 标 准................. 366 时 间 序 列 指 数 平 滑 标 准.................... 368 时 间 序 列 ARIMA 标 准..................... 369 传 输 函 数.......................... 371 处 理 离 群 值......................... 372 生 成 时 间 序 列 模 型........................ 373 生 成 多 个 模 型........................ 373 使 用 时 间 序 列 模 型 进 行 预 测................... 373 重 新 估 计 和 预 测....................... 374 时 间 序 列 模 型 块........................ 374 时 间 序 列 模 型 参 数...................... 377 时 间 序 列 模 型 残 差...................... 378 时 间 序 列 模 型 汇 总...................... 379 时 间 序 列 模 型 设 置...................... 380 14 自 学 响 应 节 点 模 型 381 SLRM 节 点........................... 381 SLRM 节 点 字 段 选 项...................... 382 SLRM 节 点 模 型 选 项...................... 383 SLRM 节 点 设 置 选 项...................... 384 SLRM 模 型 块.......................... 385 SLRM 模 型 设 置........................ 387 15 Support Vector Machine 模 型 389 关 于 SVM............................ 389 SVM 如 何 运 行......................... 389 xi

调 整 SVM 模 型......................... 390 SVM 节 点........................... 391 SVM 节 点 模 型 选 项...................... 392 SVM 节 点 专 家 选 项...................... 392 SVM 模 型 块.......................... 394 SVM 模 型 设 置........................ 395 16 最 近 相 邻 元 素 模 型 396 KNN 节 点........................... 396 KNN 节 点 目 标 选 项...................... 397 KNN 节 点 设 置........................ 398 KNN 模 型 块.......................... 405 模 型 视 图.......................... 405 KNN 模 型 设 置........................ 412 附 录 A 注 意 事 项 414 索 引 417 xii

关 于 IBM SPSS Modeler 章 1 IBM SPSS Modeler 是 一 组 数 据 挖 掘 工 具, 通 过 这 些 工 具 可 以 采 用 商 业 技 术 快 速 建 立 预 测 性 模 型, 并 将 其 应 用 于 商 业 活 动, 从 而 改 进 决 策 过 程 SPSS Modeler 参 照 行 业 标 准 CRISP-DM 模 型 设 计 而 成, 可 支 持 从 数 据 到 更 优 商 业 成 果 的 整 个 数 据 挖 掘 过 程 SPSS Modeler 提 供 了 各 种 借 助 机 器 学 习 人 工 智 能 和 统 计 学 的 建 模 方 法 通 过 建 模 选 项 板 中 的 方 法, 您 可 以 根 据 数 据 生 成 新 的 信 息 以 及 开 发 预 测 模 型 每 种 方 法 各 有 所 长, 同 时 适 用 于 解 决 特 定 类 型 的 问 题 SPSS Modeler 可 以 作 为 独 立 产 品 购 买, 或 与 SPSS Modeler Server 一 起 使 用 同 时 提 供 了 大 量 其 他 选 项, 以 下 各 节 将 对 这 些 选 项 进 行 概 述 有 关 详 细 信 息, 请 参 阅 http://www.ibm.com/software/analytics/spss/products/modeler/ IBM SPSS Modeler Server SPSS Modeler 使 用 客 户 端 / 服 务 器 体 系 结 构 将 资 源 集 约 型 操 作 的 请 求 分 发 给 功 能 强 大 的 服 务 器 软 件, 因 而 使 大 数 据 集 的 传 输 速 度 大 大 加 快 除 了 此 处 所 列 的 产 品 和 更 新, 也 可 能 还 有 其 他 可 用 的 产 品 和 更 新 有 关 详 细 信 息, 请 参 阅 http://www.ibm.com/software/analytics/spss/products/modeler/ SPSS Modeler SPSS Modeler 是 具 有 完 整 功 能 的 产 品, 它 安 装 并 运 行 于 用 户 的 台 式 计 算 机 上 它 既 可 以 在 本 机 模 式 下 独 立 运 行, 也 可 以 与 IBM SPSS Modeler Server 一 起 联 机 使 用, 从 而 提 高 了 对 大 数 据 集 的 处 理 速 度 SPSS Modeler Server. SPSS Modeler Server 与 一 个 或 多 个 IBM SPSS Modeler 安 装 程 序 一 起 在 分 布 式 分 析 模 式 下 不 间 断 运 行, 这 种 运 行 方 式 大 大 提 高 了 对 大 数 据 集 的 处 理 速 度, 因 为 在 服 务 器 上 可 以 完 成 内 存 集 约 型 操 作, 且 无 需 将 数 据 下 载 至 客 户 端 计 算 机 SPSS Modeler Server 还 提 供 对 SQL 优 化 和 数 据 库 内 建 模 功 能 的 支 持, 从 而 在 性 能 和 自 动 化 方 面 带 来 更 多 优 势 要 运 行 分 析, 必 须 至 少 安 装 有 一 个 SPSS Modeler IBM SPSS Modeler 选 项 还 可 以 单 独 购 买 以 下 组 件 和 功 能 并 获 得 使 用 许 可, 以 用 于 SPSS Modeler 请 注 意, 还 可 能 提 供 其 他 产 品 或 更 新 有 关 详 细 信 息, 请 参 阅 http://www.ibm.com/software/analytics/spss/products/modeler/ SPSS Modeler Server 访 问 权 限, 可 针 对 大 型 数 据 集 提 供 更 高 的 可 扩 展 性 和 性 能, 并 提 供 对 SQL 优 化 以 及 数 据 库 内 建 模 功 能 的 支 持 Copyright IBM Corporation 1994, 2011. 1

2 章 1 SPSS Modeler Solution Publisher, 用 于 在 SPSS Modeler 环 境 外 执 行 实 时 或 自 动 评 分 有 关 详 细 信 息, 请 参 阅 第 2 章 中 的 IBM SPSS Modeler Solution Publisher 中 的 IBM SPSS Modeler 14.2 解 决 方 案 发 布 者 允 许 部 署 到 IBM SPSS Collaboration and Deployment Services 或 精 简 客 户 端 应 用 程 序 IBM SPSS Modeler Advantage 的 适 配 器 有 关 详 细 信 息, 请 参 阅 第 9 章 中 的 存 储 和 部 署 IBM SPSS Collaboration and Deployment Services Repository 对 象 中 的 IBM SPSS Modeler 14.2 用 户 指 南 IBM SPSS Text Analytics IBM SPSS Text Analytics 是 一 个 SPSS Modeler 完 全 集 成 内 插 式 插 件, 它 采 用 了 先 进 语 言 技 术 和 Natural Language Processing (NLP), 以 快 速 处 理 大 量 无 结 构 文 本 数 据, 抽 取 和 组 织 关 键 概 念, 以 及 将 这 些 概 念 分 为 各 种 类 别 抽 取 的 概 念 和 类 别 可 以 和 现 有 结 构 化 数 据 中 进 行 组 合 ( 例 如 人 口 统 计 学 ), 并 且 可 用 于 借 助 IBM SPSS Modeler 的 一 整 套 数 据 挖 掘 工 具 来 进 行 建 模, 以 此 实 现 更 好 更 集 中 的 决 策 文 本 挖 掘 节 点 提 供 了 概 念 类 型 建 模 以 及 交 互 式 工 作 平 台, 通 过 此 平 台, 可 以 完 成 文 本 链 接 和 聚 类 的 高 级 探 索, 创 建 自 己 的 类 别 和 改 进 语 言 资 源 模 板 支 持 多 种 导 入 格 式, 其 中 包 括 博 客 和 其 他 基 于 Web 的 资 源 还 包 括 定 制 模 板 库 和 指 定 域 的 词 典, 例 如 CRM 和 神 经 网 络 注 : 访 问 此 组 件 需 要 单 独 许 可 证 有 关 详 细 信 息, 请 参 阅 http://www.ibm.com/software/analytics/spss/products/modeler/ IBM SPSS Modeler 文 档 可 以 从 SPSS Modeler 的 帮 助 菜 单 中 获 取 在 线 帮 助 格 式 的 完 整 文 档 此 文 档 包 括 SPSS Modeler SPSS Modeler Server 和 SPSS Modeler Solution Publisher 的 文 档 以 及 应 用 程 序 指 南 和 其 他 支 持 材 料 每 个 产 品 的 完 整 文 档 (PDF 格 式 ) 也 位 于 每 个 产 品 DVD 的 \Documentation 文 件 夹 下 IBM SPSS Modeler 用 户 指 南 使 用 SPSS Modeler 的 一 般 使 用 介 绍, 包 括 如 何 构 建 数 据 流 处 理 缺 失 值 生 成 CLEM 表 达 式 处 理 项 目 和 报 告 以 及 将 用 于 部 署 的 流 打 包 为 IBM SPSS Collaboration and Deployment Services 预 测 应 用 程 序 或 IBM SPSS Modeler Advantage IBM SPSS Modeler 源 处 理 和 输 出 节 点 介 绍 用 于 以 不 同 的 格 式 读 取 处 理 和 输 出 数 据 的 所 有 节 点 实 际 上 这 表 示 所 有 节 点 而 非 建 模 节 点 IBM SPSS Modeler 建 模 节 点 有 关 用 于 创 建 数 据 挖 掘 模 型 的 所 有 节 点 的 描 述 IBM SPSS Modeler 可 提 供 各 种 借 助 机 器 学 习 人 工 智 能 和 统 计 学 的 建 模 方 法 有 关 详 细 信 息, 请 参 阅 第 21 页 码 第 3 章 中 的 建 模 节 点 概 述 IBM SPSS Modeler 算 法 指 南 介 绍 SPSS Modeler 中 所 用 建 模 方 法 的 数 学 基 础 IBM SPSS Modeler 应 用 程 序 指 南 本 指 南 中 的 示 例 旨 在 为 具 体 的 建 模 方 法 和 技 术 提 供 具 有 针 对 性 的 简 介 还 可 以 在 帮 助 菜 单 中 查 阅 本 指 南 的 在 线 版 本 有 关 详 细 信 息, 请 参 阅 应 用 程 序 示 例 中 的 IBM SPSS Modeler 14.2 用 户 指 南

3 关 于 IBM SPSS Modeler IBM SPSS Modeler 脚 本 编 写 与 自 动 化 通 过 编 写 脚 本 实 现 系 统 自 动 化 的 相 关 信 息, 包 括 用 于 操 作 节 点 和 流 的 属 性 信 息 IBM SPSS Modeler 部 署 指 南 有 关 在 IBM SPSS Collaboration and Deployment Services Deployment Manager 中 以 处 理 作 业 的 步 骤 形 式 运 行 SPSS Modeler 流 和 方 案 的 信 息 IBM SPSS Modeler CLEF 开 发 人 员 指 南 CLEF 提 供 了 将 第 三 方 程 序 ( 例 如, 数 据 处 理 例 程 或 建 模 算 法 ) 作 为 节 点 集 成 到 SPSS Modeler 的 功 能 IBM SPSS Modeler 数 据 库 内 数 据 挖 掘 指 南 有 关 如 何 利 用 数 据 库 的 功 能 通 过 第 三 方 算 法 来 改 进 性 能 并 增 强 分 析 功 能 的 信 息 IBM SPSS Modeler Server 和 性 能 指 南 有 关 如 何 配 置 和 管 理 IBM SPSS Modeler Server 的 信 息 IBM SPSS Modeler Administration Console 用 户 指 南 有 关 安 装 和 使 用 控 制 台 用 户 界 面 以 监 视 和 配 置 SPSS Modeler Server 的 信 息 控 制 台 实 现 为 Deployment Manager 应 用 程 序 的 插 件 IBM SPSS Modeler Solution Publisher 指 南 SPSS Modeler Solution Publisher 是 一 个 附 加 式 组 件, 通 过 它 组 织 可 发 布 在 标 准 SPSS Modeler 环 境 之 外 使 用 的 流 IBM SPSS Modeler CRISP-DM 指 南 借 助 CRISP-DM 方 法 进 行 SPSS Modeler 数 据 挖 掘 的 分 步 指 南 应 用 程 序 示 例 SPSS Modeler 中 的 数 据 挖 掘 工 具 可 以 帮 助 解 决 很 多 业 务 和 组 织 问 题, 应 用 程 序 示 例 将 提 供 有 关 特 定 建 模 方 法 和 技 术 的 简 要 的 针 对 性 说 明 此 处 使 用 的 数 据 集 比 某 些 数 据 挖 掘 器 管 理 的 大 量 数 据 存 储 要 小 得 多, 但 涉 及 的 概 念 和 方 法 应 可 扩 展 到 实 际 的 应 用 程 序 可 以 通 过 在 SPSS Modeler 中 的 帮 助 菜 单 中 单 击 应 用 程 序 示 例 来 访 问 示 例 数 据 文 件 和 样 本 流 安 装 在 产 品 安 装 目 录 下 的 Demos 文 件 夹 中 有 关 详 细 信 息, 请 参 阅 Demos 文 件 夹 中 的 IBM SPSS Modeler 14.2 用 户 指 南 数 据 库 建 模 示 例 请 参 阅 IBM SPSS Modeler 数 据 库 内 挖 掘 指 南 中 的 示 例 编 写 示 例 脚 本 请 参 阅 IBM SPSS Modeler 脚 本 编 写 和 自 动 化 指 南 中 的 示 例

4 章 1 Demos 文 件 夹 与 应 用 程 序 示 例 一 起 使 用 的 数 据 文 件 和 样 本 流 安 装 在 产 品 安 装 目 录 下 的 Demos 文 件 夹 中 可 从 Windows 的 开 始 菜 单 中 IBM SPSS Modeler 14.2 程 序 组 访 问 该 文 件 夹, 也 可 以 在 文 件 打 开 对 话 框 中 最 近 目 录 的 列 表 中 单 击 Demos 图 片 1-1 在 最 近 使 用 的 目 录 列 表 中 选 择 Demos 文 件 夹

建 模 简 介 章 2 模 型 是 一 组 规 则 公 式 或 方 程 式, 可 以 用 它 们 根 据 一 组 输 入 或 变 量 来 预 测 输 出 例 如, 一 家 财 务 机 构 可 根 据 对 过 往 申 请 人 的 已 知 信 息, 使 用 模 型 预 测 贷 款 申 请 人 可 能 存 在 优 良 还 是 不 良 风 险 能 够 预 测 结 果 是 预 测 性 分 析 的 中 心 目 标, 并 且 了 解 建 模 过 程 是 使 用 IBM SPSS Modeler 的 关 键 图 片 2-1 简 单 的 决 策 树 模 型 本 示 例 使 用 决 策 树 模 型, 该 模 型 使 用 一 系 列 决 策 规 则 对 记 录 进 行 分 类 ( 并 预 测 响 应 ), 例 如 : 如 果 收 入 = 中 等 并 且 卡 <5 则 -> 优 良 本 示 例 使 用 CHAID( 卡 方 自 动 交 互 效 应 检 测 ) 模 型 时, 旨 在 进 行 常 规 的 介 绍, 大 部 分 概 念 会 广 泛 应 用 于 SPSS Modeler 中 的 其 他 建 模 类 型 无 论 要 了 解 哪 种 模 型, 均 需 要 首 先 了 解 进 入 该 模 型 的 数 据 此 示 例 中 的 数 据 包 含 有 关 银 行 客 户 的 信 息 其 中 使 用 了 下 列 字 段 : 字 段 名 描 述 Credit_rating 信 用 评 价 :0= 不 良,1= 优 良,9= 丢 失 值 年 龄 Age in years 收 入 收 入 水 平 :1= 低,2= 中,3= 高 Copyright IBM Corporation 1994, 2011. 5

6 章 2 字 段 名 描 述 Credit_cards 持 有 的 信 用 卡 数 量 :1= 少 于 五 张, 2= 五 张 或 更 多 教 育 教 育 程 度 :1= 高 中,2= 大 学 Car_loans 贷 款 的 汽 车 数 量 :1= 没 有 或 一 辆, 2= 超 过 两 辆 银 行 可 维 护 一 个 包 含 银 行 贷 款 客 户 历 史 信 息, 包 括 这 些 客 户 是 正 在 还 贷 ( 信 用 评 价 = 优 良 ) 还 是 在 拖 欠 贷 款 ( 信 用 评 价 = 不 良 ) 的 数 据 库 银 行 希 望 使 用 现 有 的 数 据 建 立 一 个 模 型, 允 许 他 们 预 测 未 来 贷 款 申 请 人 拖 欠 贷 款 的 可 能 性 使 用 决 策 树 模 型, 您 可 分 析 两 组 客 户 的 特 征, 并 预 测 拖 欠 贷 款 的 可 能 性 本 示 例 使 用 了 名 为 modelingintro.str 的 流, 该 流 位 于 streams 子 文 件 夹 下 的 Demos 文 件 夹 中 数 据 文 件 是 tree_credit.sav 有 关 详 细 信 息, 请 参 阅 第 1 章 中 的 Demos 文 件 夹 中 的 IBM SPSS Modeler 14.2 用 户 指 南 我 们 来 看 一 下 流 E 从 主 菜 单 中 选 择 下 列 选 项 : 文 件 > 打 开 流 E 单 击 打 开 对 话 框 的 工 具 栏 上 的 金 色 模 型 块 图 标, 然 后 选 择 Demos 文 件 夹 E 双 击 streams 文 件 夹 E 双 击 名 为 modelingintro.str 的 文 件 构 建 流 图 片 2-2 建 模 流 要 构 建 流 以 创 建 模 型, 至 少 需 要 三 个 元 素 :

7 建 模 简 介 一 个 从 某 些 外 部 源 读 取 数 据 的 源 节 点, 在 本 示 例 中 为 IBM SPSS Statistics 数 据 文 件 一 个 指 定 字 段 属 性 的 源 节 点 或 类 型 节 点, 字 段 属 性 包 括 测 量 级 别 ( 字 段 包 含 的 数 据 类 型 ) 以 及 每 个 字 段 在 建 模 过 程 中 的 角 色 是 目 标 还 是 输 入 等 一 个 在 运 行 流 时 生 成 模 型 块 的 建 模 节 点 在 本 例 中, 我 们 使 用 CHAID 建 模 节 点 CHAID, 或 卡 方 自 动 交 互 效 应 检 测, 是 一 种 通 过 使 用 称 作 卡 方 统 计 量 的 特 定 统 计 类 型 识 别 决 策 树 中 的 最 优 分 割 来 构 建 决 策 树 的 分 类 方 法 如 果 在 源 节 点 中 指 定 了 测 量 级 别, 则 可 以 去 掉 单 独 的 类 型 节 点 从 功 能 上 来 说, 结 果 是 一 样 的 该 流 中 还 包 含 表 节 点 和 分 析 节 点, 创 建 模 型 块 并 将 其 添 加 到 流 中 后, 将 使 用 这 两 个 节 点 查 看 评 分 结 果 Statistics 文 件 源 节 点 从 tree_credit.sav 数 据 文 件 读 取 SPSS Statistics 格 式 数 据, 该 文 件 安 装 在 Demos 文 件 夹 中 ( 名 为 $CLEO_DEMOS 的 特 殊 变 量 用 于 引 用 位 于 当 前 IBM SPSS Modeler 安 装 下 的 该 文 件 这 样, 无 论 当 前 的 安 装 文 件 夹 或 版 本 是 什 么, 均 可 以 确 保 路 径 有 效 ) 图 片 2-3 使 用 Statistics 文 件 源 节 点 读 取 数 据 类 型 节 点 指 定 每 个 字 段 的 测 量 级 别 测 量 级 别 是 一 种 指 示 字 段 中 数 据 类 型 的 类 别 我 们 的 源 数 据 文 件 使 用 三 种 不 同 的 测 量 级 别

8 章 2 连 续 字 段 ( 例 如 年 龄 字 段 ) 包 含 连 续 的 数 字 值, 而 名 义 字 段 ( 例 如 信 用 评 价 字 段 ) 有 两 个 或 多 个 不 同 值, 例 如 不 良 优 良 或 无 信 用 历 史 有 序 字 段 ( 例 如 收 入 水 平 字 段 ) 用 于 描 述 具 有 顺 序 固 定 的 不 同 值 的 数 据, 在 本 例 中 为 低 中 和 高 图 片 2-4 用 类 型 节 点 设 置 目 标 和 输 入 字 段 对 于 每 个 字 段, 类 型 节 点 还 指 定 角 色, 以 指 示 每 个 字 段 在 建 模 中 扮 演 的 部 分 将 字 段 信 用 评 价 的 角 色 设 置 为 目 标, 此 字 段 指 示 指 定 的 客 户 是 否 拖 欠 贷 款 这 是 目 标, 或 者 是 要 预 测 其 值 的 字 段 对 于 其 他 字 段, 将 角 色 设 置 为 输 入 输 入 字 段 有 时 也 称 为 预 测 变 量, 或 建 模 算 法 用 其 值 来 预 测 目 标 字 段 值 的 字 段 CHAID 建 模 节 点 生 成 模 型 在 建 模 节 点 的 字 段 选 项 卡 中, 已 选 中 使 用 预 定 义 角 色, 这 意 味 着 将 按 在 类 型 节 点 中 的 指 定 使 用 目 标 和 输 入 我 们 可 以 在 此 处 更 改 字 段 角 色, 但 本 例 中 我 们 不 做 任 何 更 改 使 用 这 些 角 色

9 建 模 简 介 E 单 击 构 建 选 项 选 项 卡 图 片 2-5 CHAID 建 模 节 点 字 段 选 项 卡 此 处 包 含 的 选 项 可 以 用 于 指 定 要 构 建 的 模 型 类 型 由 于 我 们 想 要 一 个 全 新 的 模 型, 因 此 使 用 默 认 选 项 构 建 新 模 型 我 们 还 要 求 它 为 单 个 标 准 决 策 树 模 型, 并 且 不 包 含 任 何 增 强, 因 此 保 留 默 认 目 标 选 项 构 建 单 个 树

10 章 2 我 们 可 以 选 择 启 动 允 许 对 模 型 进 行 微 调 的 交 互 建 模 会 话, 本 示 例 只 使 用 默 认 设 置 生 成 模 型 来 生 成 模 型 图 片 2-6 CHAID 建 模 节 点 构 建 选 项 选 项 卡 对 于 此 示 例, 我 们 希 望 保 持 树 的 结 构 简 单, 因 此 通 过 增 加 用 于 父 节 点 和 子 节 点 的 最 小 个 案 数 限 制 树 的 增 长 E 在 构 建 选 项 选 项 卡 上, 从 左 侧 的 导 航 器 窗 格 选 择 停 止 规 则 E 选 择 使 用 绝 对 值 选 项 E 将 父 分 支 中 的 最 小 记 录 数 设 置 为 400

11 建 模 简 介 E 将 子 分 支 中 的 最 小 记 录 数 设 置 为 200 图 片 2-7 为 构 建 决 策 树 设 置 停 止 标 准 在 本 例 中, 我 们 可 以 使 用 所 有 其 他 默 认 选 项, 因 此 单 击 运 行 以 创 建 模 型 ( 另 外, 也 可 以 右 键 单 击 该 节 点, 然 后 从 上 下 文 菜 单 中 选 择 运 行, 或 选 择 节 点, 并 从 工 具 菜 单 中 选 择 运 行 )

12 章 2 浏 览 模 型 执 行 完 成 后, 模 型 块 将 添 加 到 应 用 程 序 窗 口 右 上 角 的 模 型 选 项 板 中, 它 还 会 置 于 流 工 作 区 中, 并 带 有 指 向 创 建 它 的 建 模 节 点 的 链 接 要 查 看 模 型 的 详 细 信 息, 右 键 单 击 模 型 块 并 选 择 浏 览 ( 在 模 型 选 项 板 上 ) 或 编 辑 ( 在 工 作 区 上 ) 图 片 2-8 模 型 选 项 板 对 于 CHAID 模 型 块, 模 型 选 项 卡 以 规 则 集 的 形 式 显 示 详 细 信 息, 规 则 集 实 际 上 是 可 根 据 不 同 输 入 字 段 的 值 将 各 个 记 录 分 配 给 子 节 点 的 一 组 规 则 图 片 2-9 CHAID 模 型 块 规 则 集 对 于 每 个 决 策 树 终 端 节 点 意 味 着 那 些 树 节 点 没 有 进 一 步 拆 分 返 回 优 良 或 不 良 的 预 测 值 对 于 落 在 该 节 点 内 的 记 录, 所 有 个 案 中 的 预 测 均 由 模 式 或 最 常 见 的 响 应 决 定

13 建 模 简 介 在 规 则 集 的 右 侧, 模 型 选 项 卡 显 示 预 测 变 量 重 要 性 图 表, 该 图 表 显 示 评 估 模 型 时 每 个 预 测 变 量 的 相 对 重 要 性 通 过 这 一 点, 我 们 看 到 收 入 水 平 在 此 个 案 中 最 显 著, 而 其 他 唯 一 显 著 的 因 子 是 信 用 卡 数 量 图 片 2-10 预 测 变 量 重 要 性 图 表

14 章 2 模 型 块 中 的 查 看 器 选 项 卡 以 树 的 形 式 显 示 相 同 的 模 型, 每 个 决 策 点 上 都 有 一 个 节 点 可 使 用 工 具 栏 上 的 缩 放 控 件 放 大 特 定 节 点, 或 缩 小 节 点 以 查 看 更 完 整 的 树 图 片 2-11 模 型 块 中 的 查 看 器 选 项 卡, 已 选 择 缩 小 查 看 树 的 上 部 分, 第 一 个 节 点 ( 节 点 0) 为 我 们 提 供 数 据 集 中 所 有 记 录 的 摘 要 数 据 集 中 超 过 40% 的 个 案 分 类 为 不 良 风 险 这 是 相 当 高 的 比 例, 因 此 让 我 们 看 看 树 是 否 能 为 我 们 提 供 哪 些 因 子 负 责 的 任 何 线 索 我 们 可 以 看 到 第 一 个 分 割 是 根 据 收 入 水 平 收 入 水 平 位 于 低 类 别 的 记 录 被 指 定 到 节 点 2, 并 且 看 到 此 类 别 包 含 贷 款 拖 欠 人 的 最 高 百 分 比 不 足 为 奇 我 们 可 以 很 明 显 地 了 解, 此 类 别 中 的 客 户 具 有 高 风 险 但 是, 此 类 别 中 的 16% 客 户 实 际 上 没 有 拖 欠, 因 此 预 测 并 非 始 终 准 确 没 有 模 型 能 够 预 测 每 一 个 响 应, 但 好 的 模 型 能 够 根 据 可 用 数 据 预 测 对 每 一 个 记 录 作 出 的 最 常 见 的 响 应

15 建 模 简 介 同 样, 如 果 我 们 查 看 高 收 入 客 户 ( 节 点 1), 我 们 看 到 绝 大 部 分 (89%) 是 优 良 风 险 但 是 在 这 些 客 户 中 10 位 中 有 超 过 1 位 也 会 拖 欠 我 们 能 精 炼 自 己 的 贷 款 标 准 以 便 将 此 处 的 风 险 最 小 化 吗? 注 意 模 型 如 何 根 据 持 有 的 信 用 卡 数 量, 将 这 些 客 户 分 成 两 个 子 类 别 ( 节 点 4 和 节 点 5) 对 于 高 收 入 客 户, 如 果 我 们 只 向 那 些 信 用 卡 少 于 5 张 的 客 户 贷 款, 则 可 以 将 我 们 的 成 功 率 从 89% 提 高 到 97% 甚 至 更 满 意 的 结 果 图 片 2-12 高 收 入 客 户 的 树 状 视 图 但 中 等 收 入 类 别 ( 节 点 3) 中 的 那 些 客 户 是 什 么 情 况? 他 们 更 加 均 匀 地 划 分 为 优 良 和 不 良 评 价 子 类 别 ( 此 情 况 中 是 节 点 6 和 7) 仍 然 能 帮 助 我 们 这 次, 只 向 那 些 信 用 卡 少 于 5 张 的 中 等 收 入 客 户 贷 款, 可 将 优 良 评 价 的 百 分 比 从 58% 提 高 到 85%, 这 是 显 著 的 改 进 图 片 2-13 中 等 收 入 客 户 的 树 状 视 图

16 章 2 因 此, 我 们 了 解 到 输 入 此 模 型 的 每 项 记 录 都 将 被 分 配 到 一 个 特 定 节 点, 并 且 根 据 该 节 点 最 常 见 的 响 应 分 配 优 良 或 不 良 的 预 测 值 为 各 个 记 录 分 配 预 测 值 的 这 一 过 程 称 为 评 分 通 过 对 用 于 评 估 该 模 型 的 相 同 记 录 进 行 评 分, 可 以 评 估 该 模 型 执 行 训 练 数 据 ( 我 们 知 道 结 果 的 数 据 ) 的 准 确 度 让 我 们 看 看 如 何 做 到 这 一 点 评 估 模 型 我 们 浏 览 了 模 型 以 了 解 评 分 方 式 但 是, 如 果 要 评 估 模 型 的 准 确 度, 则 需 要 对 一 些 记 录 进 行 评 分, 并 将 模 型 预 测 的 响 应 与 实 际 结 果 进 行 比 较 接 下 来 对 用 于 评 估 该 模 型 的 相 同 记 录 进 行 评 分, 以 将 观 察 到 的 响 应 与 预 测 响 应 进 行 比 较 图 片 2-14 将 模 型 块 附 加 到 输 出 节 点 用 于 模 型 评 估 E 要 查 看 分 数 或 预 测 值, 请 将 表 节 点 添 加 到 模 型 块, 然 后 双 击 表 节 点, 并 单 击 运 行 表 在 名 为 $R-Credit rating 的 字 段 中 显 示 预 测 分 数, 该 字 段 由 模 型 创 建 我 们 可 以 将 这 些 值 与 包 含 实 际 响 应 的 原 始 信 用 评 价 字 段 进 行 比 较

17 建 模 简 介 按 照 惯 例, 在 评 分 过 程 中 生 成 的 字 段 的 名 称 基 于 目 标 字 段, 但 是 要 加 上 标 准 前 缀, 例 如 $R- 表 示 预 测 值,$RC- 表 示 置 信 度 值 不 同 的 模 型 类 型 使 用 不 同 的 前 缀 集 置 信 度 值 是 模 型 自 己 的 评 估, 尺 度 从 0.0 到 1.0, 表 示 每 个 预 测 值 的 精 确 程 度 图 片 2-15 表 格 显 示 生 成 的 分 数 和 置 信 度 值 与 预 期 的 一 样, 预 测 值 与 大 多 数 ( 并 非 全 部 ) 记 录 的 实 际 响 应 相 匹 配 原 因 是 每 个 CHAID 终 端 节 点 均 有 混 合 响 应 预 期 值 与 最 常 见 的 响 应 相 匹 配, 但 对 于 该 节 点 中 的 其 他 响 应, 该 预 期 值 是 错 误 的 ( 记 住,16% 的 少 部 分 低 收 入 客 户 没 有 拖 欠 ) 若 要 避 免 出 现 此 情 况, 应 继 续 将 树 分 割 为 更 小 的 分 支, 直 到 每 个 节 点 都 是 不 含 混 合 响 应 的 100% 纯 节 点 为 止 即 全 部 为 优 良 或 不 良 但 是, 这 样 的 模 型 可 能 会 非 常 复 杂, 并 且 不 易 推 广 到 其 他 数 据 集 要 查 看 具 体 有 多 少 预 测 值 正 确, 我 们 可 通 读 表 格, 并 计 算 预 测 字 段 $R-Credit rating 的 值 匹 配 信 用 评 价 的 值 的 记 录 数 量 幸 运 的 是, 这 里 有 更 简 单 的 方 式 我 们 可 使 用 分 析 节 点, 它 自 动 进 行 此 项 操 作 E 将 模 型 块 连 接 到 分 析 节 点

18 章 2 E 双 击 分 析 节 点, 然 后 单 击 运 行 图 片 2-16 添 加 分 析 节 点 分 析 表 明,2464 个 记 录 中 有 1899 个 记 录 ( 超 过 77%) 的 模 型 预 测 值 与 实 际 响 应 相 匹 配 图 片 2-17 观 察 到 的 响 应 与 预 测 的 响 应 的 比 较 分 析 结 果 此 结 果 受 到 评 分 的 记 录 和 用 于 评 估 模 型 的 记 录 相 同 的 事 实 的 限 制 在 真 实 情 况 中, 可 使 用 分 区 节 点 将 数 据 分 割 为 培 训 和 评 估 的 单 独 示 例

19 建 模 简 介 通 过 使 用 一 个 样 本 分 区 生 成 模 型 并 使 用 另 一 个 样 本 对 模 型 进 行 检 验, 您 会 得 到 该 模 型 推 广 到 其 他 数 据 集 的 情 况 通 常 分 析 节 点, 可 以 针 对 已 知 道 其 实 际 结 果 的 记 录 来 检 验 模 型 下 一 阶 段 介 绍 如 何 使 用 模 型 对 我 们 不 知 道 结 果 的 记 录 进 行 评 分 例 如, 这 可 能 包 括 当 前 不 是 银 行 客 户 的 人 员, 但 他 们 是 促 销 邮 寄 的 潜 在 目 标 对 记 录 评 分 之 前, 我 们 对 用 于 评 估 模 型 的 相 同 记 录 进 行 了 评 分, 以 评 价 模 型 准 确 程 度 现 在, 我 们 要 查 看 如 何 对 和 用 于 创 建 模 型 不 同 的 记 录 集 进 行 评 分 这 是 使 用 目 标 字 段 进 行 建 模 的 目 标 : 研 究 已 知 道 其 结 果 的 记 录, 以 标 识 您 可 以 从 中 预 测 未 知 结 果 的 模 式 图 片 2-18 附 加 用 于 评 分 的 新 数 据 可 以 更 新 Statistics 文 件 源 节 点, 使 它 指 向 其 他 数 据 文 件, 也 可 以 添 加 一 个 新 的 源 节 点, 从 它 读 取 要 评 分 的 数 据 无 论 采 用 哪 种 方 式, 新 数 据 集 包 含 的 输 入 字 段 必 须 与 模 型 ( 年 龄 收 入 水 平 教 育 等 ) 所 使 用 的 相 同, 但 不 包 含 目 标 字 段 信 用 评 价 另 外, 也 可 以 将 模 型 块 添 加 到 包 含 预 期 的 输 入 字 段 的 任 何 流 中 无 论 是 读 取 文 件 还 是 数 据 库, 只 要 字 段 名 和 类 型 与 模 型 使 用 的 相 匹 配, 源 类 型 都 无 关 紧 要 也 可 以 将 模 型 块 保 存 为 单 独 的 文 件 将 模 型 导 出 为 PMML 格 式 以 用 于 其 他 支 持 此 格 式 的 应 用 程 序, 或 将 模 型 存 储 到 IBM SPSS Collaboration and Deployment Services 存 储 库 中, 这 样 可 以 在 企 业 范 围 对 模 型 进 行 部 署 评 分 和 管 理 无 论 使 用 何 种 基 础 结 构, 模 型 自 身 都 按 相 同 的 方 式 工 作 摘 要 本 示 例 演 示 创 建 评 估 模 型 以 及 对 模 型 评 分 的 基 本 步 骤

20 章 2 建 模 节 点 通 过 研 究 已 知 道 其 结 果 的 记 录 来 评 估 模 型, 并 创 建 模 型 块 这 有 时 称 为 训 练 模 型 可 将 模 型 块 添 加 到 包 含 预 期 字 段 的 任 何 流 中, 以 对 记 录 进 行 评 分 通 过 对 已 知 道 其 结 果 的 记 录 ( 如 现 有 客 户 ) 进 行 评 分, 可 以 评 估 模 型 的 运 行 情 况 如 果 您 对 模 型 的 运 行 情 况 感 到 满 意, 则 可 以 对 新 数 据 ( 如 准 客 户 ) 进 行 评 分, 以 预 测 他 们 的 响 应 用 于 训 练 或 评 估 模 型 的 数 据 可 以 称 为 分 析 数 据 或 历 史 数 据 ; 评 分 数 据 也 可 以 称 为 操 作 数 据

建 模 概 述 章 3 建 模 节 点 概 述 IBM SPSS Modeler 提 供 了 各 种 借 助 机 器 学 习 人 工 智 能 和 统 计 学 的 建 模 方 法 通 过 建 模 选 项 板 中 的 方 法, 您 可 以 根 据 数 据 生 成 新 的 信 息 以 及 开 发 预 测 模 型 每 种 方 法 各 有 所 长, 同 时 适 用 于 解 决 特 定 类 型 的 问 题 SPSS Modeler 应 用 程 序 指 南 为 上 述 多 种 方 法 提 供 了 示 例 以 及 建 模 过 程 的 一 般 介 绍 本 指 南 既 作 为 联 机 教 程 提 供, 还 有 PDF 格 式 有 关 详 细 信 息, 请 参 阅 第 1 章 中 的 应 用 程 序 示 例 中 的 IBM SPSS Modeler 14.2 用 户 指 南 建 模 方 法 划 分 为 三 种 类 别 : Classification 关 联 细 分 分 类 模 型 分 类 模 型 使 用 一 个 或 多 个 输 入 字 段 的 值 来 预 测 一 个 或 多 个 输 出 ( 或 目 标 ) 字 段 的 值 这 些 技 术 的 部 分 示 例 为 : 决 策 树 (C&R 树 QUEST CHAID 和 C5.0 算 法 ) 回 归 ( 线 性 logistic 广 义 线 性 和 Cox 回 归 算 法 ) 神 经 网 络 Support Vector Machine (SVM) 和 贝 叶 斯 网 络 分 类 模 型 可 帮 助 组 织 预 测 已 知 的 结 果, 例 如 顾 客 是 否 购 买 流 失 或 某 交 易 是 否 符 合 某 种 已 知 的 犯 罪 模 式 其 建 模 方 法 包 括 机 器 学 习 规 则 归 纳 子 组 标 识 统 计 方 法 和 多 模 型 生 成 分 类 节 点 自 动 分 类 器 节 点 用 于 创 建 和 对 比 二 元 结 果 ( 是 或 否, 流 失 或 不 流 失 等 ) 的 若 干 不 同 模 型, 使 用 户 可 以 选 择 给 定 分 析 的 最 佳 处 理 方 法 由 于 支 持 多 种 建 模 算 法, 因 此 可 以 对 用 户 希 望 使 用 的 方 法 每 种 方 法 的 特 定 选 项 以 及 对 比 结 果 的 标 准 进 行 选 择 节 点 根 据 指 定 的 选 项 生 成 一 组 模 型 并 根 据 用 户 指 定 的 标 准 排 列 最 佳 候 选 项 的 顺 序 有 关 详 细 信 息, 请 参 阅 第 81 页 码 第 5 章 中 的 自 动 分 类 器 节 点 自 动 数 值 节 点 使 用 多 种 不 同 方 法 估 计 和 对 比 模 型 的 连 续 数 字 范 围 结 果 此 节 点 和 自 动 分 类 器 节 点 的 工 作 方 式 相 同, 因 此 可 以 选 择 要 使 用 和 要 在 单 个 建 模 传 递 中 使 用 多 个 选 项 组 合 进 行 测 试 的 算 法 受 支 持 的 算 法 包 括 神 经 网 络 C&R 树 CHAID 线 性 回 归 广 义 线 性 回 归 以 及 Support Vector Machine (SVM) 可 基 于 相 关 度 相 对 错 误 或 已 用 变 量 数 对 模 型 进 行 对 比 有 关 详 细 信 息, 请 参 阅 第 90 页 码 第 5 章 中 的 自 动 数 值 节 点 Copyright IBM Corporation 1994, 2011. 21

22 章 3 分 类 和 回 归 (C&R) 树 节 点 生 成 可 用 于 预 测 或 分 类 未 来 观 测 值 的 决 策 树 该 方 法 通 过 在 每 个 步 骤 最 大 限 度 降 低 不 纯 洁 度, 使 用 递 归 分 区 来 将 训 练 记 录 分 割 为 组 如 果 节 点 中 100% 的 观 测 值 都 属 于 目 标 字 段 的 一 个 特 定 类 别, 则 树 中 的 该 节 点 将 被 认 定 为 纯 洁 目 标 和 输 入 字 段 可 以 是 数 字 范 围 或 分 类 ( 名 义 有 序 或 标 志 ); 所 有 分 割 均 为 二 元 分 割 ( 即 仅 分 割 为 两 个 子 组 ) 有 关 详 细 信 息, 请 参 阅 第 130 页 码 第 6 章 中 的 C&R 树 节 点 QUEST 节 点 可 提 供 用 于 构 建 决 策 树 的 二 元 分 类 法, 此 方 法 的 设 计 目 的 是 减 少 大 型 C&R 树 分 析 所 需 的 处 理 时 间, 同 时 也 减 少 在 分 类 树 方 法 中 发 现 的 趋 势 以 便 支 持 允 许 有 多 个 分 割 的 输 入 输 入 字 段 可 以 是 数 字 范 围 ( 连 续 ), 但 目 标 字 段 必 须 是 分 类 所 有 分 割 都 是 二 元 的 有 关 详 细 信 息, 请 参 阅 第 131 页 码 第 6 章 中 的 QUEST 节 点 CHAID 使 用 卡 方 统 计 量 来 生 成 决 策 树, 以 确 定 最 佳 的 分 割 CHAID 与 C&R 树 和 QUEST 节 点 不 同, 它 可 以 生 成 非 二 元 树, 这 意 味 着 有 些 分 割 将 有 多 于 两 个 的 分 支 目 标 和 输 入 字 段 可 以 是 数 字 范 围 ( 连 续 ) 或 分 类 Exhaustive CHAID 是 CHAID 的 修 正 版, 它 对 所 有 分 割 进 行 更 彻 底 的 检 查, 但 计 算 时 间 比 较 长 有 关 详 细 信 息, 请 参 阅 第 130 页 码 第 6 章 中 的 CHAID 节 点 C5.0 节 点 构 建 决 策 树 或 规 则 集 该 模 型 的 工 作 原 理 是 根 据 在 每 个 级 别 提 供 最 大 信 息 收 获 的 字 段 分 割 样 本 目 标 字 段 必 须 为 分 类 字 段 允 许 进 行 多 次 多 于 两 个 子 组 的 分 割 有 关 详 细 信 息, 请 参 阅 第 146 页 码 第 6 章 中 的 C5.0 节 点 决 策 列 表 节 点 可 标 识 子 组 或 段, 显 示 与 总 体 相 关 的 给 定 二 元 结 果 的 似 然 度 的 高 低 例 如, 您 或 许 在 寻 找 那 些 最 不 可 能 流 失 的 客 户 或 最 有 可 能 对 某 个 商 业 活 动 作 出 积 极 响 应 的 客 户 通 过 定 制 段 和 并 排 预 览 备 选 模 型 来 比 较 结 果, 您 可 以 将 自 己 的 业 务 知 识 体 现 在 模 型 中 决 策 列 表 模 型 由 一 组 规 则 构 成, 其 中 每 个 规 则 具 备 一 个 条 件 和 一 个 结 果 规 则 依 顺 序 应 用, 相 匹 配 的 第 一 个 规 则 将 决 定 结 果 有 关 详 细 信 息, 请 参 阅 第 188 页 码 第 9 章 中 的 决 策 表 线 性 回 归 模 型 根 据 目 标 与 一 个 或 多 个 预 测 变 量 间 的 线 性 关 系 来 预 测 连 续 目 标 有 关 详 细 信 息, 请 参 阅 第 221 页 码 第 10 章 中 的 线 性 模 型 线 性 回 归 是 一 种 通 过 拟 合 直 线 或 平 面 以 实 现 汇 总 数 据 和 预 测 的 普 通 统 计 方 法, 它 可 使 预 测 值 和 实 际 输 出 值 之 间 的 差 异 最 小 化 因 子 / 主 成 分 分 析 节 点 提 供 了 用 于 降 低 数 据 复 杂 程 度 的 强 大 数 据 缩 减 技 术 主 成 份 分 析 (PCA) 可 找 出 输 入 字 段 的 线 性 组 合, 该 组 合 最 好 地 捕 获 了 整 个 字 段 集 合 中 的 方 差, 且 组 合 中 的 各 个 成 分 相 互 正 交 ( 相 互 垂 直 ) 因 子 分 析 则 尝 试 识 别 底 层 因 素, 这 些 因 素 说 明 了 观 测 的 字 段 集 合 内 的 相 关 性 模 式 这 两 种 方 式 的 目 标 都 是 找 到 有 效 概 括 原 始 字 段 集 中 的 信 息 的 一 小 部 分 导 出 字 段 有 关 详 细 信 息, 请 参 阅 第 255 页 码 第 10 章 中 的 主 成 份 分 析 / 因 子 节 点 特 征 选 择 节 点 会 根 据 某 组 条 件 ( 例 如 缺 失 值 百 分 比 ) 筛 选 可 删 除 的 输 入 字 段 ; 对 于 保 留 的 输 入, 将 相 对 于 指 定 目 标 对 其 重 要 性 进 行 排 序 例 如, 假 如 某 个 给 定 数 据 集 有 上 千 个 潜 在 输 入, 那 么 哪 些 输 入 最 有 可 能 用 于 对 患 者 结 果 进 行 建 模 呢? 有 关 详 细 信 息, 请 参 阅 第 64 页 码 第 4 章 中 的 特 征 选 择 节 点

23 建 模 概 述 判 别 式 分 析 所 做 的 假 设 比 logistic 回 归 的 假 设 更 严 格, 但 在 符 合 这 些 假 设 时, 判 别 式 分 析 可 以 作 为 logistic 回 归 分 析 的 有 用 替 代 项 或 补 充 有 关 详 细 信 息, 请 参 阅 第 263 页 码 第 10 章 中 的 判 别 式 节 点 Logistic 回 归 是 一 种 统 计 方 法, 它 可 根 据 输 入 字 段 的 值 对 记 录 进 行 分 类 它 类 似 于 线 性 回 归, 但 采 用 的 是 类 别 目 标 字 段 而 非 数 字 范 围 有 关 详 细 信 息, 请 参 阅 第 239 页 码 第 10 章 中 的 逻 辑 节 点 广 义 线 性 模 型 对 一 般 线 性 模 型 进 行 了 扩 展, 这 样 因 变 量 通 过 指 定 的 关 联 函 数 与 因 子 和 协 变 量 线 性 相 关 另 外, 该 模 型 允 许 因 变 量 呈 非 正 态 分 布 它 包 括 统 计 模 型 大 部 分 的 功 能, 其 中 包 括 线 性 回 归 logistic 回 归 用 于 计 数 数 据 的 对 数 线 性 模 型 以 及 区 间 删 失 生 存 模 型 有 关 详 细 信 息, 请 参 阅 第 270 页 码 第 10 章 中 的 GenLin 节 点 使 用 Cox 回 归 节 点, 您 可 以 在 已 有 的 检 查 记 录 中 建 立 时 间 事 件 的 生 存 模 型 该 模 型 会 生 成 一 个 生 存 函 数, 该 函 数 可 预 测 在 给 定 时 间 (t) 内 对 于 所 给 定 的 输 入 变 量 值 相 关 事 件 的 发 生 概 率 有 关 详 细 信 息, 请 参 阅 第 282 页 码 第 10 章 中 的 Cox 节 点 使 用 Support Vector Machine (SVM) 节 点, 可 以 将 数 据 分 为 两 组, 而 无 需 过 度 拟 合 SVM 可 以 与 大 量 数 据 集 配 合 使 用, 如 那 些 含 有 大 量 输 入 字 段 的 数 据 集 有 关 详 细 信 息, 请 参 阅 第 391 页 码 第 15 章 中 的 SVM 节 点 通 过 贝 叶 斯 网 络 节 点, 你 可 以 利 用 对 真 实 世 界 认 知 的 判 断 力 并 结 合 所 观 察 和 记 录 的 证 据 来 构 建 概 率 模 型 该 节 点 重 点 应 用 了 树 扩 展 简 单 贝 叶 斯 (TAN) 和 马 尔 可 夫 毯 网 络, 这 些 算 法 主 要 用 于 分 类 问 题 有 关 详 细 信 息, 请 参 阅 第 165 页 码 第 7 章 中 的 贝 叶 斯 网 络 节 点 自 学 响 应 模 型 (SLRM) 节 点 可 用 于 构 建 一 个 包 含 单 个 新 观 测 值 或 少 量 新 观 测 值 的 模 型, 通 过 此 模 型, 无 需 使 用 全 部 数 据 对 模 型 进 行 重 新 训 练 即 可 对 模 型 进 行 重 新 评 估 有 关 详 细 信 息, 请 参 阅 第 381 页 码 第 14 章 中 的 SLRM 节 点 时 间 序 列 节 点 估 计 时 间 序 列 数 据 的 指 数 平 滑 模 型 单 变 量 自 回 归 整 合 移 动 平 均 (ARIMA) 模 型 和 多 变 量 ARIMA( 即 变 换 函 数 ) 模 型, 并 生 成 未 来 性 能 的 预 测 数 据 在 时 间 序 列 节 点 之 前 必 须 有 时 间 区 间 节 点 有 关 详 细 信 息, 请 参 阅 第 361 页 码 第 13 章 中 的 时 间 序 列 建 模 节 点 The k- 最 近 相 邻 元 素 (KNN) 节 点 将 新 的 个 案 关 联 到 预 测 变 量 空 间 中 与 其 最 邻 近 的 k 个 对 象 的 类 别 或 值 ( 其 中 k 为 整 数 ) 类 似 个 案 相 互 靠 近, 而 不 同 个 案 相 互 远 离 有 关 详 细 信 息, 请 参 阅 第 396 页 码 第 16 章 中 的 KNN 节 点 关 联 模 型 关 联 模 型 查 找 您 数 据 中 的 模 式, 其 中 一 个 或 多 个 实 体 ( 如 事 件 购 买 或 属 性 ) 与 一 个 或 多 个 其 他 实 体 相 关 联 这 些 模 型 构 建 定 义 这 些 关 系 的 规 则 集 数 据 中 的 字 段 可 以 作 为 输 入 和 目 标 您 可 以 手 动 查 找 这 些 关 联, 但 关 联 规 则 算 法 可 以 更 快 速 地 完 成, 并 能 探 索 更

24 章 3 多 复 杂 的 模 式 Apriori 和 Carma 模 型 是 使 用 此 类 算 法 的 示 例 另 一 种 类 型 的 关 联 模 型 是 序 列 检 测 模 型, 后 者 可 以 在 按 时 间 建 立 结 构 的 数 据 中 查 找 顺 序 模 式 关 联 模 型 在 预 测 多 个 结 果 时 非 常 有 用, 例 如, 购 买 了 产 品 X 的 顾 客 也 购 买 了 产 品 Y 和 Z 关 联 模 型 可 以 将 特 定 结 论 ( 如 购 买 某 些 产 品 的 决 策 ) 与 一 组 条 件 关 联 起 来 关 联 规 则 算 法 相 对 于 更 标 准 的 决 策 树 算 法 (C5.0 和 C&RT) 的 优 势 在 于, 它 可 以 找 到 任 何 属 性 间 存 在 的 关 联 决 策 树 算 法 只 使 用 单 一 结 论 来 构 建 规 则, 而 关 联 算 法 则 试 图 找 到 更 多 规 则, 且 每 个 规 则 具 有 不 同 的 结 论 关 联 节 点 Apriori 节 点 从 数 据 抽 取 一 组 规 则, 即 抽 取 信 息 内 容 最 多 的 规 则 Apriori 节 点 提 供 五 种 选 择 规 则 的 方 法 并 使 用 复 杂 的 索 引 模 式 来 高 效 地 处 理 大 数 据 集 对 于 较 大 的 问 题,Apriori 训 练 的 速 度 通 常 较 快 ; 它 对 可 保 留 的 规 则 数 量 没 有 任 何 限 制, 而 且 可 处 理 最 多 带 有 32 个 前 提 条 件 的 规 则 Apriori 要 求 输 入 和 输 出 字 段 均 为 分 类 型 字 段, 但 因 为 它 专 为 处 理 此 类 型 数 据 而 进 行 优 化, 因 而 处 理 速 度 快 得 多 有 关 详 细 信 息, 请 参 阅 第 321 页 码 第 12 章 中 的 Apriori 节 点 CARMA 模 型 在 不 要 求 用 户 指 定 输 入 或 目 标 字 段 的 情 况 下 从 数 据 抽 取 一 组 规 则 与 Apriori 不 同 的 是 :CARMA 节 点 提 供 构 建 规 则 设 置 支 持 ( 前 项 和 后 项 支 持 ), 而 不 仅 仅 是 前 项 支 持 这 就 意 味 着 生 成 的 规 则 可 以 用 于 更 多 应 用 程 序, 例 如 用 于 找 到 后 项 为 想 在 节 日 期 间 促 销 的 商 品 的 产 品 或 服 务 ( 前 项 ) 的 列 表 有 关 详 细 信 息, 请 参 阅 第 324 页 码 第 12 章 中 的 CARMA 节 点 序 列 节 点 可 发 现 连 续 数 据 或 与 时 间 有 关 的 数 据 中 的 关 联 规 则 序 列 是 一 系 列 可 能 会 以 可 预 测 顺 序 发 生 的 项 目 集 合 例 如, 一 个 购 买 了 剃 刀 和 须 后 水 的 顾 客 可 能 在 下 次 购 物 时 购 买 剃 须 膏 序 列 节 点 基 于 CARMA 关 联 规 则 算 法, 该 算 法 使 用 有 效 的 两 步 法 来 发 现 序 列 有 关 详 细 信 息, 请 参 阅 第 343 页 码 第 12 章 中 的 序 列 节 点 细 分 模 型 细 分 模 型 将 数 据 划 分 为 具 有 类 似 输 入 字 段 模 式 的 记 录 段 或 聚 类 细 分 模 型 只 对 输 入 字 段 感 兴 趣, 没 有 输 出 或 目 标 字 段 的 概 念 细 分 模 型 的 示 例 为 Kohonen 网 络 K-Means 聚 类 两 步 聚 类 和 异 常 检 测 等 在 不 知 道 特 定 结 果 的 情 况 下 ( 例 如, 需 要 识 别 新 犯 罪 模 式 或 在 客 户 群 中 识 别 利 益 群 体 时 ), 细 分 模 型 ( 也 称 为 聚 类 模 型 ) 非 常 有 用 聚 类 模 型 主 要 用 来 确 定 相 似 记 录 的 组 并 根 据 它 们 所 属 的 组 来 为 记 录 添 加 标 签 此 方 法 的 优 点 在 于, 不 用 提 前 了 解 这 些 组 及 其 特 征 就 可 以 使 用, 它 使 聚 类 模 型 ( 其 中 没 有 需 要 模 型 预 测 的 预 定 义 输 出 或 目 标 字 段 ) 区 别 于 其 他 的 建 模 技 术 对 于 这 些 模 型 来 说, 没 有 正 确 或 错 误 的 结 果 之 分 模 型 的 值 由 模 型 捕 获 数 据 中 感 兴 趣 的 分 组 并 提 供 这 些 分 组 的 有 用 说 明 信 息 的 能 力 来 确 定 聚 类 模 型 通 常 用 于 创 建 在 后 续 分 析 中 用 作 输 入 的 聚 类 或 段 ( 例 如, 将 潜 在 用 户 分 成 几 个 相 似 的 子 组 )

25 建 模 概 述 细 分 节 点 自 动 聚 类 节 点 估 算 和 比 较 识 别 具 有 类 似 特 征 记 录 组 的 聚 类 模 型 节 点 工 作 方 式 与 其 他 自 动 建 模 节 点 相 同, 使 您 在 一 次 建 模 运 行 中 即 可 试 验 多 个 选 项 组 合 模 型 可 使 用 基 本 测 量 进 行 比 较, 以 尝 试 过 滤 聚 类 模 型 的 有 效 性 以 及 对 其 进 行 排 序, 并 提 供 一 个 基 于 特 定 字 段 的 重 要 性 的 测 量 有 关 详 细 信 息, 请 参 阅 第 95 页 码 第 5 章 中 的 自 动 聚 类 节 点 K-Means 节 点 将 数 据 集 聚 类 到 不 同 分 组 ( 或 聚 类 ) 此 方 法 将 定 义 固 定 的 聚 类 数 量, 将 记 录 迭 代 分 配 给 聚 类, 以 及 调 整 聚 类 中 心, 直 到 进 一 步 优 化 无 法 再 改 进 模 型 k-means 节 点 作 为 一 种 非 监 督 学 习 机 制, 它 并 不 试 图 预 测 结 果, 而 是 揭 示 隐 含 在 输 入 字 段 集 中 的 模 式 有 关 详 细 信 息, 请 参 阅 第 298 页 码 第 11 章 中 的 K-Means 节 点 Kohonen 节 点 会 生 成 一 种 神 经 网 络, 此 神 经 网 络 可 用 于 将 数 据 集 聚 类 到 各 个 差 异 组 此 网 络 训 练 完 成 后, 相 似 的 记 录 应 在 输 出 映 射 中 紧 密 地 聚 集, 差 异 大 的 记 录 则 应 彼 此 远 离 您 可 以 通 过 查 看 模 型 块 中 每 个 单 元 所 捕 获 观 测 值 的 数 量 来 找 出 规 模 较 大 的 单 元 这 将 让 您 对 聚 类 的 相 应 数 量 有 所 估 计 有 关 详 细 信 息, 请 参 阅 第 293 页 码 第 11 章 中 的 Kohonen 节 点 TwoStep 节 点 使 用 两 步 聚 类 方 法 第 一 步 完 成 简 单 数 据 处 理, 以 便 将 原 始 输 入 数 据 压 缩 为 可 管 理 的 子 聚 类 集 合 第 二 步 使 用 层 级 聚 类 方 法 将 子 聚 类 一 步 一 步 合 并 为 更 大 的 聚 类 TwoStep 具 有 一 个 优 点, 就 是 能 够 为 训 练 数 据 自 动 估 计 最 佳 聚 类 数 它 可 以 高 效 处 理 混 合 的 字 段 类 型 和 大 型 的 数 据 集 有 关 详 细 信 息, 请 参 阅 第 302 页 码 第 11 章 中 的 两 步 聚 类 节 点 异 常 检 测 节 点 确 定 不 符 合 正 常 数 据 格 式 的 异 常 观 测 值 ( 离 群 值 ) 即 使 离 群 值 不 匹 配 任 何 已 知 格 式 或 用 户 不 清 楚 自 己 的 查 找 对 象, 也 可 以 使 用 此 节 点 来 确 定 离 群 值 有 关 详 细 信 息, 请 参 阅 第 70 页 码 第 4 章 中 的 异 常 检 测 节 点 数 据 库 内 数 据 挖 掘 模 型 SPSS Modeler 支 持 对 数 据 库 提 供 商 的 数 据 挖 掘 工 具 和 建 模 工 具 进 行 整 合, 其 中 包 括 Oracle Data Miner IBM DB2 InfoSphere Warehouse 和 Microsoft Analysis Services 您 可 以 使 用 SPSS Modeler 应 用 程 序 在 数 据 库 中 构 建 评 分 和 存 储 模 型 有 关 详 细 信 息, 请 参 阅 产 品 DVD 上 的 SPSS Modeler 数 据 库 内 数 据 挖 掘 指 南 IBM SPSS Statistics 模 型 如 果 您 在 计 算 机 上 拥 有 IBM SPSS Statistics 安 装 和 许 可 的 一 个 副 本, 您 可 以 从 SPSS Modeler 访 问 和 运 行 某 些 SPSS Statistics 例 程 以 构 建 模 型 和 给 模 型 评 分 有 关 详 细 信 息, 请 参 阅 第 8 章 中 的 IBM SPSS Statistics 节 点 - 概 述 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点

26 章 3 其 他 信 息 此 外 还 有 一 些 有 关 建 模 算 法 的 详 细 文 档 有 关 详 细 信 息, 请 参 阅 产 品 DVD 上 的 SPSS Modeler 算 法 指 南 构 建 分 割 模 型 分 割 模 型 能 够 使 用 一 个 流 为 标 志 名 义 或 连 续 输 入 字 段 的 每 个 可 能 值 构 建 单 独 的 模 型, 可 从 一 个 模 型 块 访 问 全 部 得 出 模 型 输 入 字 段 的 可 能 值 可 能 对 模 型 具 有 非 常 不 同 的 影 响 使 用 分 割 建 模, 您 可 以 容 易 地 在 流 的 一 次 执 行 中 为 每 个 可 能 的 字 段 值 构 建 最 佳 拟 合 模 型 请 注 意, 交 互 建 模 会 话 不 能 使 用 分 割 您 通 过 互 动 建 模 单 独 指 定 每 个 模 型, 而 使 用 分 割 会 自 动 构 建 多 个 模 型, 所 以 使 用 分 割 没 有 优 势 分 割 建 模 会 指 定 某 个 输 入 字 段 为 分 割 字 段 在 类 型 规 范 中 设 置 分 割 的 字 段 角 色 完 成 此 操 作 : 图 片 3-1 指 定 输 入 字 段 为 分 割 字 段 您 仅 可 将 测 量 级 别 为 标 志 名 义 有 序 或 连 续 的 字 段 指 定 为 分 割 字 段 您 可 以 将 多 个 输 入 字 段 分 配 为 分 割 字 段 但 是 这 种 情 况 下, 所 创 建 模 型 数 量 可 能 大 增 给 所 选 分 割 字 段 值 的 每 个 可 能 组 合 构 建 一 个 模 型 例 如, 如 果 三 个 输 入 字 段 指 定 为 分 割 字 段, 每 个 字 段 具 有 三 个 可 能 值, 则 结 果 会 创 建 27 个 不 同 模 型 即 使 您 指 定 一 个 或 多 个 字 段 为 分 割 字 段 后, 您 仍 可 通 过 建 模 节 点 对 话 框 上 的 复 选 框 设 置 选 择 创 建 多 个 分 割 模 型 还 是 一 个 模 型 :

27 建 模 概 述 图 片 3-2 选 择 构 建 分 割 模 型 如 果 定 义 了 分 割 字 段 但 未 选 择 复 选 框, 则 只 生 成 一 个 模 型 同 样, 如 果 选 择 了 复 选 框 但 未 定 义 分 割 字 段, 则 分 割 被 忽 略, 生 成 一 个 模 型 当 您 执 行 流 时, 在 后 台 为 分 割 字 段 的 每 个 可 能 值 构 建 单 独 的 模 型, 但 只 有 一 个 模 型 块 置 于 模 型 选 项 板 和 流 工 作 区 中 以 下 分 割 符 号 表 示 分 割 模 型 块 : 图 片 3-3 流 中 的 分 割 模 型 块 当 您 浏 览 分 割 模 型 块 时, 您 会 看 到 一 个 已 经 创 建 的 所 有 单 独 模 型 的 列 表 :

28 章 3 图 片 3-4 拆 分 模 型 浏 览 器 您 可 以 通 过 在 浏 览 器 中 双 击 块 从 列 表 中 查 看 单 个 模 型 这 样 打 开 单 个 模 型 的 标 准 浏 览 器 窗 口 当 块 位 于 工 作 区 中 时, 双 击 缩 略 图 打 开 标 准 大 小 的 图 形 有 关 详 细 信 息, 请 参 阅 第 55 页 码 拆 分 模 型 浏 览 器 一 旦 将 模 型 创 建 为 分 割 模 型 之 后, 就 不 能 删 除 其 分 割 处 理, 也 不 能 从 分 割 建 模 节 点 或 模 型 块 下 游 撤 销 分 割 示 例 一 家 全 国 销 售 商 希 望 按 照 其 全 国 每 一 家 店 铺 的 产 品 类 别 估 算 销 售 情 况 则 其 通 过 使 用 分 割 建 模, 将 其 输 入 数 据 的 店 铺 字 段 指 定 为 分 割 字 段, 这 样 能 在 一 次 操 作 中 为 每 个 店 铺 的 每 个 分 类 构 建 单 独 的 模 型 其 然 后 可 以 使 用 所 得 信 息 比 只 使 用 一 个 模 型 更 加 准 确 地 控 制 库 存 水 平 分 割 和 分 区 分 割 与 分 区 共 有 某 些 特 征, 但 其 使 用 方 式 截 然 不 同 分 区 将 数 据 集 随 机 分 成 两 部 分 或 三 部 分 : 训 练 测 试 和 ( 可 选 ) 验 证, 并 用 于 测 试 单 个 模 型 的 性 能 分 割 将 数 据 集 分 成 与 分 割 字 段 可 能 值 一 样 多 的 部 分, 并 用 于 构 建 多 个 模 型 分 区 和 分 割 工 作 方 式 彼 此 完 全 不 同 您 可 以 在 建 模 节 点 中 选 择 一 个 两 个 或 一 个 也 不 选

29 建 模 概 述 支 持 拆 分 模 型 的 建 模 节 点 大 量 建 模 节 点 可 创 建 分 割 模 型 例 外 的 情 况 是 自 动 聚 类 时 间 序 列 主 成 分 分 析 / 因 子 特 征 选 择 SLRM 关 联 模 型 (Apriori Carma 和 序 列 ) 聚 类 模 型 (K-Means Kohonen 两 步 和 异 常 ) Statistics 模 型 以 及 用 于 数 据 库 内 建 模 的 节 点 支 持 拆 分 建 模 的 建 模 节 点 是 : C&R 树 贝 叶 斯 网 络 QUEST GenLin CHAID KNN C5.0 Cox 神 经 网 络 自 动 分 类 器 决 策 表 自 动 数 值 回 归 Logistic 判 别 SVM 受 分 割 影 响 的 特 征 使 用 拆 分 模 型 以 各 种 方 式 影 响 大 量 IBM SPSS Modeler 特 征 此 部 分 指 导 在 流 中 使 用 拆 分 模 型 连 同 其 他 节 点

30 章 3 记 录 选 项 节 点 当 在 包 含 样 本 节 点 的 流 中 使 用 拆 分 模 型, 按 拆 分 字 段 分 层 记 录, 以 实 现 记 录 的 平 均 抽 样 当 您 选 择 复 杂 作 为 样 本 方 法 时, 此 选 项 可 用 有 关 详 细 信 息, 请 参 阅 第 3 章 中 的 聚 类 和 分 层 设 置 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 如 果 流 包 含 平 衡 节 点, 注 意 平 衡 适 用 于 输 入 记 录 的 整 体 集 合, 而 非 拆 分 内 的 记 录 子 集 当 通 过 汇 总 节 点 分 类 汇 总 记 录 时, 如 果 您 想 计 算 每 个 拆 分 的 汇 总, 请 将 拆 分 字 段 设 置 为 关 键 字 段 有 关 详 细 信 息, 请 参 阅 第 3 章 中 的 汇 总 节 点 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 字 段 选 项 节 点 类 型 节 点 是 指 定 将 那 个 或 哪 些 字 段 用 作 拆 分 字 段 的 地 方 有 关 详 细 信 息, 请 参 阅 第 4 章 中 的 类 型 节 点 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 注 意, 尽 管 整 体 节 点 用 于 结 合 两 个 或 多 个 模 型 块, 但 是 不 能 用 于 颠 倒 拆 分 操 作, 因 为 拆 分 模 型 包 含 在 单 个 模 型 块 内 建 模 节 点 拆 分 模 型 不 支 持 预 测 变 量 重 要 性 ( 估 算 模 型 时 预 测 变 量 输 入 字 段 的 相 对 重 要 性 ) 计 算 构 建 拆 分 模 型 时 会 忽 略 预 测 变 量 重 要 性 设 置 KNN( 最 近 相 邻 元 素 ) 节 点 只 有 在 设 置 预 测 目 标 字 段 时, 才 能 支 持 拆 分 模 型 其 他 设 置 ( 只 标 识 最 近 相 邻 元 素 ) 不 创 建 模 型 如 果 选 择 选 项 自 动 选 择 k, 每 个 拆 分 模 型 可 能 有 不 同 数 量 的 最 近 相 邻 元 素 因 此, 整 体 模 型 生 成 的 列 数 等 于 所 有 拆 分 模 型 找 到 的 最 近 相 邻 元 素 的 最 大 数 对 于 那 些 最 近 邻 元 素 数 小 于 此 最 大 值 的 拆 分 模 型, 将 有 填 充 $null 值 的 相 应 列 数 有 关 详 细 信 息, 请 参 阅 第 396 页 码 第 16 章 中 的 KNN 节 点 数 据 库 建 模 节 点 数 据 库 内 建 模 节 点 不 支 持 拆 分 模 型 模 型 块 不 可 能 从 拆 分 模 型 块 导 出 到 PMML, 因 为 块 包 含 多 个 模 型, 而 PMML 不 支 持 这 种 包 装 但 是 可 能 导 出 到 文 本 或 HTML 建 模 节 点 字 段 选 项 所 有 建 模 节 点 均 有 一 个 字 段 选 项 卡, 在 此 选 项 卡 中 指 定 的 字 段 将 用 于 构 建 模 型

31 建 模 概 述 图 片 3-5 C5.0 建 模 节 点 字 段 选 项 卡 在 构 建 模 型 之 前, 需 要 指 定 要 将 哪 些 字 段 用 作 目 标 和 输 入 某 些 特 殊 情 况 下, 所 有 建 模 节 点 将 采 用 上 游 的 类 型 节 点 的 字 段 信 息 如 果 正 在 使 用 类 型 节 点 选 择 输 入 和 目 标 字 段, 则 不 必 在 此 选 项 卡 上 做 任 何 更 改 ( 特 殊 情 况 包 括 序 列 节 点 和 文 本 抽 取 节 点, 这 两 个 节 点 需 要 在 建 模 节 点 中 指 定 字 段 设 置 ) 使 用 类 型 节 点 设 置 该 选 项 通 知 节 点 使 用 来 自 上 游 类 型 节 点 的 字 段 信 息 这 是 默 认 值 使 用 自 定 义 设 置 该 选 项 通 知 节 点 使 用 在 此 处 指 定 的 字 段 信 息, 而 不 是 在 任 何 上 游 类 型 节 点 中 给 出 的 字 段 信 息 选 中 此 选 项 后, 请 根 据 需 要 指 定 下 面 的 字 段 注 意 : 未 显 示 所 有 节 点 的 所 有 字 段 使 用 交 易 格 式 ( 仅 Apriori CARMA MS 关 联 规 则 ISWAssociation 和 Oracle Apriori 节 点 ) 如 果 源 数 据 为 交 易 格 式, 则 选 中 此 复 选 框 此 格 式 的 记 录 具 有 两 个 字 段, 一 个 为 ID 字 段, 一 个 为 内 容 字 段 每 条 记 录 代 表 单 个 交 易 或 单 个 项, 关 联 项 通 过 相 同 的 ID 得 以 链 接 如 果 数 据 为 表 格 格 式, 则 取 消 选 中 此 复 选 框, 表 格 格 式 中 项 目 由 独 立 标 志 代 表, 其 中 每 个 标 志 字 段 代 表 某 个 特 定 项 是 否 存 在, 且 每 个 记 录 代 表 关 联 项 的 完 整 集 合 有 关 详 细 信 息, 请 参 阅 第 320 页 码 第 12 章 中 的 表 格 格 式 数 据 与 事 务 处 理 格 式 数 据

32 章 3 ID 对 于 事 务 处 理 格 式 的 数 据, 请 从 列 表 中 选 择 ID 字 段 数 字 字 段 或 符 号 字 段 可 用 作 ID 字 段 此 字 段 的 每 个 唯 一 值 都 应 该 表 明 一 个 特 定 的 分 析 单 元 例 如, 在 市 场 购 物 篮 的 应 用 中, 每 个 ID 可 能 表 示 一 个 客 户 对 于 Web 日 志 分 析 应 用, 每 个 ID 可 能 代 表 一 个 计 算 机 ( 以 IP 地 址 表 示 ) 或 一 个 用 户 ( 以 登 录 数 据 表 示 ) ID 是 连 续 的 ( 仅 Apriori 和 CARMA 节 点 ) 如 果 您 的 数 据 进 行 了 预 先 排 序, 以 便 所 有 ID 相 同 的 记 录 在 数 据 流 中 分 组 在 一 起, 那 么 选 择 此 选 项 可 以 加 快 处 理 速 度 如 果 您 的 数 据 未 经 预 先 排 序 ( 或 者 您 不 确 定 ), 请 将 此 选 项 保 持 未 选 中 状 态, 则 该 节 点 将 自 动 对 数 据 进 行 排 序 注 意 : 如 果 您 的 数 据 未 经 排 序 而 您 选 择 了 此 选 项, 则 可 能 会 在 模 型 中 得 到 无 效 结 果 内 容 指 定 模 型 的 内 容 字 段 这 些 字 段 包 含 与 关 联 建 模 有 关 的 项 目 您 可 以 指 定 多 个 标 志 字 段 ( 如 果 数 据 为 表 格 格 式 ) 或 者 一 个 名 义 字 段 ( 如 果 数 据 为 事 务 格 式 ) 目 标 对 于 需 要 一 个 或 多 个 目 标 字 段 的 模 型, 请 选 择 目 标 字 段 或 字 段 此 操 作 与 在 类 型 节 点 中 将 字 段 的 角 色 设 置 为 目 标 类 似 评 估 ( 仅 适 合 自 动 聚 类 模 型 ) 不 为 聚 类 模 型 指 定 目 标, 但 可 选 择 一 个 评 估 字 段 以 确 定 其 重 要 性 等 级 此 外, 还 可 评 估 聚 类 区 分 此 字 段 值 的 程 度, 从 而 指 示 是 否 可 使 用 聚 类 来 预 测 此 字 段 输 入 选 择 输 入 字 段 或 字 段 此 操 作 与 在 类 型 节 点 中 将 字 段 的 角 色 设 置 为 输 入 类 似 分 区 该 字 段 允 许 您 使 用 指 定 字 段 将 数 据 分 割 为 几 个 不 同 的 样 本, 分 别 用 于 模 型 构 建 过 程 中 的 训 练 测 试 和 验 证 阶 段 通 过 用 某 个 样 本 生 成 模 型 并 用 另 一 个 样 本 对 模 型 进 行 测 试, 您 可 以 预 判 出 此 模 型 对 类 似 于 当 前 数 据 的 大 型 数 据 集 的 拟 合 优 劣 如 果 已 使 用 类 型 或 分 区 节 点 定 义 了 多 个 分 区 字 段, 则 必 须 在 每 个 用 于 分 区 的 建 模 节 点 的 字 段 选 项 卡 中 选 择 一 个 分 区 字 段 ( 如 果 仅 有 一 个 分 区 字 段, 则 将 在 启 用 分 区 后 自 动 引 入 此 字 段 ) 有 关 详 细 信 息, 请 参 阅 第 4 章 中 的 分 区 节 点 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 同 时 请 注 意, 要 在 分 析 时 应 用 选 定 分 区, 同 样 必 须 启 用 节 点 模 型 选 项 选 项 卡 中 的 分 区 功 能 ( 取 消 此 选 项, 则 可 以 在 不 更 改 字 段 设 置 的 条 件 下 禁 用 分 区 功 能 ) 分 割 对 于 分 割 模 型, 选 择 分 割 字 段 或 字 段 此 操 作 与 在 类 型 节 点 中 将 字 段 的 角 色 设 置 为 分 割 类 似 您 仅 可 将 测 量 级 别 为 标 志 名 义 有 序 或 连 续 的 字 段 指 定 为 分 割 字 段 选 为 分 割 字 段 的 字 段 无 法 用 作 目 标 输 入 分 区 频 率 或 权 重 字 段 有 关 详 细 信 息, 请 参 阅 第 26 页 码 构 建 分 割 模 型 使 用 频 率 字 段 此 选 项 允 许 您 选 择 某 个 字 段 作 为 频 率 权 重 如 果 训 练 数 据 中 的 每 条 记 录 代 表 多 个 单 元 ( 例 如, 您 正 在 使 用 聚 合 的 数 据 ), 则 可 采 用 此 项 字 段 值 应 是 每 个 记 录 代 表 的 单 位 的 数 量 有 关 详 细 信 息, 请 参 阅 第 33 页 码 使 用 频 率 和 权 重 字 段 注 意 : 如 果 您 看 到 错 误 消 息 元 数 据 ( 在 输 入 / 输 出 字 段 上 ) 无 效, 确 保 您 已 经 指 定 了 所 有 必 填 字 段, 如 频 率 字 段 使 用 权 重 字 段 此 选 项 允 许 您 选 择 某 个 字 段 作 为 案 例 权 重 个 案 权 重 将 作 为 对 输 出 字 段 各 个 水 平 上 方 差 的 差 异 的 一 种 考 量 有 关 详 细 信 息, 请 参 阅 第 33 页 码 使 用 频 率 和 权 重 字 段 结 果 对 于 规 则 归 纳 节 点 (Apriori), 请 选 择 在 最 终 规 则 集 中 用 作 结 果 的 字 段 ( 这 对 应 于 类 型 节 点 中 角 色 为 目 标 或 双 向 的 字 段 ) 条 件 对 于 规 则 归 纳 节 点 (Apriori), 请 选 择 在 最 终 规 则 集 中 用 作 条 件 的 字 段 ( 这 对 应 于 类 型 节 点 中 角 色 为 输 入 或 双 向 的 字 段 )

33 建 模 概 述 某 些 模 型 的 字 段 选 项 卡 与 本 节 所 述 字 段 选 项 卡 不 同 有 关 详 细 信 息, 请 参 阅 第 344 页 码 第 12 章 中 的 序 列 节 点 字 段 选 项 有 关 详 细 信 息, 请 参 阅 第 325 页 码 第 12 章 中 的 CARMA 节 点 字 段 选 项 使 用 频 率 和 权 重 字 段 频 率 和 权 重 字 段 用 于 赋 予 某 些 记 录 高 于 其 他 记 录 的 附 加 重 要 性, 例 如, 因 为 您 知 道 一 部 分 人 未 在 训 练 数 据 ( 权 重 ) 中 表 示 出 来, 或 者 因 为 一 个 记 录 代 表 多 个 相 同 观 测 值 ( 频 率 ) 频 率 字 段 的 值 应 为 正 整 数 频 率 权 重 小 于 或 等 于 零 的 记 录 将 排 除 在 分 析 之 外 非 整 数 频 率 权 重 将 四 舍 五 入 为 最 近 的 整 数 安 全 权 重 值 应 为 正 数 但 不 一 定 是 整 数 值 案 例 权 重 小 于 或 等 于 零 的 记 录 将 排 除 在 分 析 之 外 评 分 频 率 和 权 重 字 段 频 率 和 权 重 字 段 用 于 训 练 模 型, 但 不 用 于 评 分, 因 为 每 个 记 录 的 分 数 基 于 该 记 录 的 特 征, 而 与 它 代 表 的 观 测 值 个 数 无 关 例 如, 假 设 您 拥 有 以 下 数 据 : 已 婚 Yes Yes Yes Yes No No No 已 响 应 Yes Yes Yes No Yes No No 基 于 上 表, 可 以 得 出 这 样 的 结 论 : 四 分 之 三 的 已 婚 者 对 促 销 作 出 响 应 ; 而 三 分 之 二 的 未 婚 者 对 此 未 作 出 响 应 因 此, 您 可 以 相 应 地 作 出 如 下 的 新 记 录 : 已 婚 $- 已 响 应 $RP- 已 响 应 Yes Yes 0.75 (3/4) No No 0.67 (2/3) 此 外, 还 可 以 使 用 频 率 字 段 更 加 细 致 地 存 储 训 练 数 据 : 已 婚 已 响 应 Frequency Yes Yes 3 Yes No 1 No Yes 1 No No 2

34 章 3 因 为 此 表 完 全 代 表 同 一 数 据 集, 因 此 可 以 构 建 相 同 的 模 型 并 仅 根 据 婚 姻 状 况 预 测 响 应 率 如 果 评 分 数 据 中 有 十 位 已 婚 者 的 记 录, 则 无 论 这 十 个 人 是 代 表 十 条 独 立 的 记 录, 还 是 频 率 为 10 的 一 个 人, 都 可 预 测 他 们 每 位 的 回 答 均 为 是 虽 然 通 常 情 况 下 权 重 不 是 整 数, 但 可 以 认 为 它 近 似 表 示 记 录 的 重 要 性 这 就 是 对 记 录 进 行 评 分 时 不 使 用 频 率 和 权 重 字 段 的 原 因 评 估 和 比 较 模 型 某 些 模 型 类 型 可 支 持 频 率 字 段, 某 些 可 支 持 权 重 字 段, 还 有 一 些 可 同 时 支 持 这 两 种 字 段 但 在 使 用 这 两 种 字 段 的 所 有 情 况 中, 它 们 仅 用 于 构 建 模 型, 在 使 用 评 估 节 点 或 分 析 节 点 对 模 型 进 行 评 估 时, 或 者 在 使 用 受 自 动 分 类 器 节 点 和 自 动 数 值 节 点 支 持 的 大 部 分 方 法 进 行 模 型 排 序 时, 均 不 考 虑 使 用 这 两 种 字 段 例 如, 在 使 用 评 估 图 表 比 较 模 型 时 将 忽 略 频 率 和 权 重 值 因 此 可 以 在 使 用 频 率 和 权 重 字 段 的 模 型 与 不 使 用 这 两 种 字 段 的 模 型 之 间 进 行 级 别 比 较 但 同 时 意 味 着, 若 要 获 得 准 确 评 估, 必 须 使 用 不 依 赖 频 率 字 段 或 权 重 字 段 且 能 准 确 代 表 总 体 的 数 据 集 在 实 际 应 用 中, 要 执 行 此 操 作, 就 要 确 保 使 用 频 率 字 段 值 或 权 重 字 段 值 始 终 为 空 或 1 的 检 验 样 本 评 估 模 型 ( 这 种 限 制 仅 适 用 于 评 估 模 型 ; 如 果 训 练 样 本 和 检 验 样 本 的 频 率 值 或 权 重 值 始 终 为 1, 则 首 次 不 必 使 用 这 两 种 字 段 ) 如 果 使 用 自 动 分 类 器 基 于 利 润 对 模 型 进 行 排 序, 则 可 考 虑 频 率, 在 这 种 情 况 下 推 荐 使 用 此 方 法 若 有 必 要, 可 以 使 用 分 区 节 点, 将 数 据 分 割 为 训 练 样 本 和 检 验 样 本 有 关 详 细 信 息, 请 参 阅 第 4 章 中 的 分 区 节 点 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 建 模 节 点 分 析 选 项 许 多 建 模 节 点 都 包 括 分 析 选 项 卡, 使 用 该 选 项 卡 可 获 取 预 测 变 量 重 要 性 信 息 以 及 原 始 和 调 整 后 的 倾 向 得 分

35 建 模 概 述 图 片 3-6 建 模 节 点 中 的 分 析 选 项 卡 模 型 评 估 计 算 预 测 变 量 重 要 性 对 于 生 成 相 应 重 要 性 测 量 的 模 型, 可 以 显 示 一 个 图 表 来 说 明 评 估 模 型 中 每 个 预 测 变 量 的 相 对 重 要 性 通 常 您 要 将 建 模 的 主 要 精 力 放 在 最 重 要 的 预 测 变 量 上, 并 考 虑 丢 弃 和 删 除 那 些 最 不 重 要 的 预 测 变 量 请 注 意, 对 于 某 些 模 型, 计 算 预 测 变 量 重 要 性 ( 特 别 对 较 大 数 据 集 进 行 操 作 时 ) 可 能 需 要 花 较 长 时 间, 因 此 默 认 情 况 下, 对 于 某 些 模 型, 预 测 变 量 重 要 性 均 处 于 关 闭 状 态 预 测 变 量 重 要 性 对 于 决 策 列 表 模 型 不 可 用 有 关 详 细 信 息, 请 参 阅 第 45 页 码 预 测 变 量 重 要 性 倾 向 得 分 可 以 在 建 模 节 点 中 和 模 型 块 的 设 置 选 项 卡 上 启 用 倾 向 得 分 该 功 能 仅 在 所 选 目 标 为 标 志 字 段 时 才 可 用 有 关 详 细 信 息, 请 参 阅 第 36 页 码 倾 向 得 分 计 算 原 始 的 倾 向 得 分 原 始 的 倾 向 得 分 仅 从 基 于 训 练 数 据 的 模 型 中 导 出 如 果 模 型 预 测 值 为 真 ( 将 响 应 ), 则 倾 向 与 P 相 同, 其 中 P 为 预 测 的 可 能 性 如 果 模 型 预 测 的 值 为 假, 则 计 算 出 的 倾 向 为 (1 P)

36 章 3 如 果 构 建 模 型 时 选 择 了 此 选 项, 则 默 认 情 况 下 将 在 模 型 块 中 启 用 倾 向 得 分 不 过, 无 论 是 否 在 建 模 节 点 中 选 择 了 原 始 倾 向 得 分, 都 可 以 始 终 在 模 型 块 中 选 择 启 用 原 始 倾 向 得 分 对 模 型 进 行 评 分 时, 原 始 倾 向 得 分 将 被 添 加 到 将 RP 字 母 附 加 到 标 准 前 缀 的 字 段 中 例 如, 如 果 预 测 位 于 名 为 $R-churn 的 字 段 中, 则 倾 向 得 分 字 段 的 名 称 将 是 $RRP-churn 计 算 调 整 后 的 倾 向 得 分 原 始 倾 向 仅 仅 基 于 由 可 能 过 度 拟 合 的 模 型 给 定 的 估 计 上, 这 样 会 导 致 过 于 乐 观 地 评 估 倾 向 调 整 后 的 倾 向 尝 试 通 过 查 看 模 型 在 检 验 或 验 证 分 区 的 性 能 或 通 过 调 整 倾 向 来 弥 补, 以 相 应 地 给 作 出 更 好 的 估 计 此 设 置 要 求 流 中 存 在 有 效 的 分 区 字 段 有 关 详 细 信 息, 请 参 阅 第 4 章 中 的 分 区 节 点 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 与 原 始 置 信 度 分 数 不 同, 调 整 后 的 倾 向 得 分 必 须 在 构 建 模 型 时 计 算 ; 否 则, 对 模 型 块 进 行 评 分 时 该 分 数 将 不 存 在 对 模 型 进 行 评 分 时, 在 将 AP 字 母 附 加 到 标 准 前 缀 的 字 段 中 添 加 调 整 后 的 倾 向 得 分 例 如, 如 果 预 测 位 于 名 为 $R-churn 的 字 段 中, 则 倾 向 得 分 字 段 的 名 称 将 是 $RAP-churn 调 整 后 的 倾 向 得 分 不 适 用 于 logistic 回 归 模 型 在 计 算 调 整 后 的 倾 向 得 分 时, 必 须 尚 未 平 衡 用 于 计 算 的 检 验 或 验 证 分 区 为 避 免 这 一 点, 请 确 保 在 任 何 上 游 平 衡 节 点 中 选 中 仅 平 衡 训 练 数 据 选 项 有 关 详 细 信 息, 请 参 阅 第 3 章 中 的 为 平 衡 节 点 设 置 选 项 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 此 外, 如 果 已 在 上 游 获 取 了 复 杂 样 本, 则 会 导 致 调 整 后 的 倾 向 得 分 无 效 调 整 后 的 倾 向 得 分 不 适 用 于 增 强 型 树 和 规 则 集 模 型 有 关 详 细 信 息, 请 参 阅 第 158 页 码 第 6 章 中 的 增 强 型 C5.0 模 型 基 于 对 于 有 待 计 算 的 调 整 后 的 倾 向 得 分, 流 中 必 须 存 在 一 个 分 区 字 段 可 以 指 定 是 使 用 检 验 分 区 还 是 验 证 分 区 进 行 此 计 算 为 获 取 最 佳 结 果, 检 验 或 验 证 分 区 包 含 的 记 录 数 量 应 至 少 与 用 于 训 练 原 始 模 型 的 分 区 所 包 含 的 记 录 数 相 同 有 关 详 细 信 息, 请 参 阅 第 4 章 中 的 分 区 节 点 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点 倾 向 得 分 对 于 返 回 预 测 为 是 或 否 的 模 型, 您 除 了 可 以 要 求 标 准 预 测 和 置 信 度 值 以 外, 还 可 要 求 倾 向 得 分 倾 向 得 分 指 示 特 定 结 果 或 响 应 的 可 能 性 例 如 : 表 3-1 倾 向 得 分 客 户 要 响 应 的 倾 向 Joe Smith 35% Jane Smith 15% 倾 向 得 分 仅 适 用 于 有 标 志 目 标 的 模 型, 并 且 指 示 为 字 段 定 义 的 值 为 真 的 可 能 性, 如 在 源 节 点 或 类 型 节 点 中 指 定 的 那 样 有 关 详 细 信 息, 请 参 阅 第 4 章 中 的 指 定 标 志 的 值 中 的 IBM SPSS Modeler 14.2 源 过 程 和 输 出 节 点