1000-9825/2003/14(07)1238 2003 Journal of Software 软 件 学 报 Vol.14, No.7 基 于 神 经 网 络 的 多 示 例 回 归 算 法 + 张 敏 灵, 周 志 华 ( 南 京 大 学 计 算 机 软 件 新 技 术 国 家 重 点 实 验 室, 江 苏 南 京 210093) A Multi-Instance Regression Algorithm Based on Neural Network ZHANG Min-Ling, ZHOU Zhi-Hua + (National Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093, China) + Corresponding author: Phn: 86-25-3593163, Fax: 86-25-3300710, E-mail: zhouzh@nju.edu.cn http://cs.nju.edu.cn/people/zhouzh/ Received 2002-09-29; Accepted 2003-03-04 Zhang ML, Zhou ZH. A multi-instance regression algorithm based on neural network. Journal of Software, 2003,14(7):1238~1242. http://www.jos.org.cn/1000-9825/14/1238.htm Abstract: Through employing a new error function capturing the nature of multi-instance learning, a neural network based multi-instance regression algorithm is presented in this paper. Experiments on benchmark data sets show that this algorithm deals well with the multi-instance regression problems. Key words: multi-instance learning; multi-instance regression; machine learning; neural network; neural network ensemble 摘 要 : 通 过 重 新 定 义 全 局 误 差 函 数, 提 出 了 一 种 基 于 神 经 网 络 的 多 示 例 回 归 算 法, 并 在 基 准 数 据 集 上 对 该 算 法 进 行 了 测 试, 取 得 了 较 好 的 效 果. 关 键 词 : 多 示 例 学 习 ; 多 示 例 回 归 ; 机 器 学 习 ; 神 经 网 络 ; 神 经 网 络 集 成 中 图 法 分 类 号 : TP183 文 献 标 识 码 : A 20 世 纪 90 年 代 以 来, 根 据 从 导 师 或 环 境 获 取 的 例 子 进 行 学 习 的 示 例 学 习 被 认 为 是 最 有 希 望 的 一 种 机 器 学 习 途 径 [1]. 目 前, 对 示 例 学 习 的 研 究 大 致 可 分 为 3 种 学 习 框 架 (learning framework) [2], 即 监 督 学 习 非 监 督 学 习 和 强 化 学 习.1997 年,Dietterich 等 人 通 过 在 药 物 活 性 预 测 (drug activity prediction) 问 题 方 面 的 研 究 工 作, 提 出 了 多 示 例 学 习 (multi-instance learning) 的 概 念. 在 多 示 例 学 习 中, 每 个 训 练 包 (bag) 由 多 个 示 例 组 成, 示 例 没 有 概 念 标 记, 但 包 有 一 个 概 念 标 记. 若 包 中 至 少 有 一 个 示 例 是 正 例, 则 该 包 被 标 记 为 正 (positive); 若 包 中 所 有 示 例 都 是 反 例, 则 该 包 被 标 记 为 反 (negative). 学 习 系 统 通 过 对 多 个 包 所 组 成 的 训 练 集 进 行 学 习, 以 尽 可 能 正 确 地 预 测 训 练 集 之 外 的 包 的 概 念 标 记. 由 于 多 示 例 学 习 具 有 广 阔 的 应 用 前 景 和 独 特 的 性 质, 属 于 以 往 机 器 学 习 研 究 的 一 个 盲 区, 因 此 在 国 际 机 器 学 习 界 引 起 了 极 大 的 重 视, 被 认 为 是 与 监 督 学 习 非 监 督 学 习 和 强 化 学 习 并 列 的 第 4 种 示 例 学 Supported by the National Natural Science Foundation of China under Grant No.60105004 ( 国 家 自 然 科 学 基 金 ); the Natural Science Foundation of Jiangsu Province of China under Grant No.BK2001406 ( 江 苏 省 自 然 科 学 基 金 ) 第 一 作 者 简 介 : 张 敏 灵 (1979-), 男, 浙 江 杭 州 人, 硕 士 生, 主 要 研 究 领 域 为 数 据 挖 掘, 机 器 学 习.
张 敏 灵 等 : 基 于 神 经 网 络 的 多 示 例 回 归 算 法 1239 习 框 架 [2]. Dietterich 等 人 在 提 出 多 示 例 学 习 的 概 念 时 指 出, 探 明 决 策 树 神 经 网 络 以 及 其 他 一 些 常 用 的 机 器 学 习 方 法 是 否 可 以 通 过 修 改 以 用 于 多 示 例 学 习, 并 在 可 行 的 情 况 下 设 计 出 这 些 方 法 的 多 示 例 版 本, 是 一 个 非 常 值 得 研 [4~7] 究 的 课 题 ; 另 一 方 面, 一 些 研 究 者 指 出, 在 许 多 情 况 下 采 用 输 出 为 实 值 的 多 示 例 回 归 算 法 将 更 有 助 于 实 际 问 题 的 解 决, 例 如 在 药 物 活 性 预 测 问 题 中, 如 果 能 得 到 实 值 表 示 的 输 出, 就 可 以 表 征 出 分 子 绑 定 的 强 弱, 这 对 药 物 设 计 会 有 更 大 的 帮 助. 针 对 上 述 两 方 面 的 问 题, 本 文 提 出 了 一 种 基 于 神 经 网 络 的 多 示 例 回 归 算 法 BP-MIR(BP [8] for multi-instance regression). 该 算 法 通 过 采 用 特 殊 的 误 差 函 数 对 BP 神 经 网 络 进 行 了 扩 展, 在 基 准 数 据 集 上 的 实 验 表 明,BP-MIR 能 够 有 效 地 解 决 多 示 例 回 归 问 题. 本 文 首 先 介 绍 多 示 例 学 习 的 研 究 现 状, 然 后 给 出 BP-MIR 算 法 的 详 细 描 述 及 其 在 基 准 数 据 集 上 的 实 验 结 果, 最 后 对 进 一 步 的 研 究 方 向 进 行 讨 论. 1 研 究 现 状 20 世 纪 90 年 代 中 期,Dietterich 等 人 对 药 物 活 性 预 测 问 题 进 行 了 研 究. 其 目 的 是 让 学 习 系 统 通 过 对 已 知 适 于 或 不 适 于 制 药 的 分 子 进 行 分 析, 以 尽 可 能 正 确 地 预 测 某 种 新 的 分 子 是 否 适 合 制 造 这 种 药 物. 该 问 题 的 困 难 之 处 在 于, 每 一 个 分 子 都 有 很 多 种 可 能 的 低 能 形 状, 只 要 该 分 子 的 某 一 种 低 能 形 状 与 期 望 的 绑 定 区 域 (binding site) 紧 密 耦 合, 该 分 子 就 适 于 制 药, 而 生 物 化 学 家 目 前 只 知 道 哪 些 分 子 适 于 制 药, 并 不 知 道 具 体 的 哪 一 种 形 状 起 到 了 决 定 性 作 用. 为 了 解 决 上 述 问 题,Dietterich 等 人 将 每 一 个 分 子 作 为 一 个 包, 而 将 分 子 的 每 一 种 低 能 形 状 作 为 包 中 的 一 个 示 例, 由 此 提 出 了 多 示 例 学 习. 在 此 基 础 上, 他 们 将 分 子 的 低 能 形 状 通 过 属 性 - 值 对 的 形 式 表 示 出 来, 提 出 了 3 种 APR(axis-parallel rectangles) 学 习 算 法, 这 些 算 法 都 是 通 过 对 属 性 值 进 行 合 取, 在 属 性 空 间 中 寻 找 合 适 的 轴 平 行 矩 形.Dietterich 等 人 发 现,iterated-discrim APR 算 法 在 药 物 活 性 预 测 问 题 上 取 得 了 最 好 的 效 果, 而 直 接 将 C4.5 决 策 树 BP 神 经 网 络 等 常 用 的 监 督 学 习 算 法 用 于 解 决 多 示 例 学 习 问 题 效 果 很 不 理 想. 由 此 可 见, 如 果 不 考 虑 多 示 例 学 习 本 身 的 特 点, 将 难 以 很 好 地 完 成 此 类 学 习 任 务. 作 为 一 种 新 的 学 习 框 架, 多 示 例 学 习 受 到 了 理 论 机 器 学 习 界 的 极 大 关 注.Long 和 Tan [9] 首 先 对 APR 在 多 示 例 学 习 框 架 下 的 PAC 可 学 习 性 (PAC learnability) 进 行 了 研 究. 他 们 证 明, 如 果 包 中 的 示 例 是 独 立 的, 且 符 合 积 分 布 (product distribution), 那 么 APR 在 多 示 例 学 习 框 架 下 是 PAC 可 学 习 的. 在 此 基 础 上, 他 们 提 出 了 一 种 具 有 很 高 [10] 的 多 项 式 时 间 复 杂 度 的 理 论 算 法. 此 后,Auer 等 人 通 过 分 析 多 示 例 学 习 框 架 下 APR 的 可 学 习 性 与 DNF 公 式 (DNF formulas) 可 学 习 性 之 间 的 关 系, 证 明 了 如 果 包 中 示 例 不 是 独 立 的, 则 在 多 示 例 学 习 框 架 下 对 APR 进 行 学 习 是 一 个 NP 完 全 问 题. 与 此 同 时, 他 们 提 出 了 一 种 改 进 的 理 论 算 法, 其 学 习 复 杂 度 比 Long 和 Tan 的 算 法 低 得 多, 且 不 再 要 求 包 中 示 例 符 合 积 分 布.Auer [11] 还 进 一 步 地 将 该 理 论 算 法 转 变 为 一 种 可 以 用 于 解 决 实 际 问 题 的 应 用 算 法 MULTINST, 通 过 在 麝 香 分 子 数 据 集 上 的 实 验 显 示 出 该 算 法 在 药 物 活 性 预 测 问 题 上 的 可 用 性.1998 年,Blum 和 Kalai [12] 指 出 多 示 例 学 习 框 架 下 的 PAC 学 习 可 以 转 化 为 单 边 或 双 边 随 机 分 类 噪 音 下 的 PAC 学 习, [10] 他 们 还 借 助 于 统 计 查 询 模 型 (statistical query model), 得 到 了 一 个 略 优 于 Auer 等 人 的 结 果 的 理 论 算 法. 在 多 示 例 学 习 的 应 用 研 究 方 面, 最 具 影 响 力 的 是 1998 年 由 Maron 和 Lozano-Pérez [13] 提 出 的 多 样 性 密 度 (diverse density) 方 法. 对 于 属 性 空 间 中 的 某 一 点, 如 果 该 点 附 近 出 现 的 正 包 数 越 多, 而 反 包 示 例 出 现 得 越 远, 则 该 点 的 多 样 性 密 度 越 大. 他 们 使 用 梯 度 法 来 寻 找 多 样 性 密 度 的 最 大 点. 目 前, 多 样 性 密 度 方 法 已 经 分 别 应 用 到 股 票 选 择 [13] 从 序 列 图 像 中 学 习 人 的 简 单 描 述 [13] [14] 自 然 场 景 分 类 等 领 域. 除 了 多 样 性 密 度 方 法 以 外, 还 有 许 多 针 对 多 示 例 学 习 的 应 用 算 法.2000 年,Wang 和 Zucker [15] 通 过 结 合 惰 性 学 习 (lazy learning) 和 Hausdorff 距 离, 成 功 地 对 k- 近 邻 (k-nearest neighbor) 方 法 进 行 了 扩 展, 提 出 了 Bayesian-kNN 和 Citation-kNN 两 种 方 法 用 以 处 理 多 示 例 学 习 问 题. 同 年,Ruffo [16] 给 出 了 C4.5 决 策 树 的 多 示 例 版 本 Relic, 并 将 其 成 功 地 应 用 于 数 据 挖 掘 领 域.2001 年,Chevaleyre 和 Zucker [17] 对 决 策 树 算 法 ID3 以 及 规 则 学 习 算 法 RIPPER 进 行 了 扩 展, 得 到 了 多 示 例 决 策 树 算 法 ID3-MI 以 及 多 示 例 规 则 学 习 算 法 RIPPER-MI. 此 外, 我 们 将 神 经 网 络 引 入 了 多 示 例 分 类 问 题, 提 出 了 一 种 多 示 例 神 经 网 络 分 类 算 法 BP-MIP [18]. 在 早 期 的 多 示 例 学 习 研 究 中, 研 究 者 们 关 注 的 主 要 是 输 出 为 离 散 值 的 多 示 例 分 类 问 题, 但 在 药 物 活 性 预 测
1240 Journal of Software 软 件 学 报 2003,14(7) 等 许 多 应 用 领 域, 如 果 能 采 用 实 值 表 示 的 输 出, 则 更 有 助 于 问 题 的 解 决. 最 近, 一 些 研 究 者 开 始 关 注 输 出 为 实 值 的 多 示 例 回 归 问 题.Ray 和 Page [4] 首 先 提 出 了 一 种 基 于 EM(expectation maximization) 方 法 的 多 示 例 回 归 算 法, [5] 并 且 证 明 寻 找 多 示 例 回 归 问 题 的 精 确 解 是 一 个 NP 完 全 问 题.Dooly 等 人 的 研 究 结 果 肯 定 了 上 述 结 论, 他 们 还 进 一 步 指 出 了 多 示 例 回 归 问 题 与 DNF 公 式 具 有 相 同 的 学 习 难 度.Zhang 和 Goldman [6] 将 EM 方 法 和 多 样 性 密 度 方 法 相 结 合, 给 出 了 名 为 EM-DD 的 通 用 多 示 例 回 归 算 法. 此 外,Amar 等 人 对 knn 算 法 Citation-kNN 算 法 和 多 样 性 密 度 方 法 进 行 了 扩 展, 使 其 可 用 于 解 决 多 示 例 回 归 问 题, 并 且 还 给 出 了 一 种 生 成 具 有 一 定 实 际 物 理 含 义 的 基 准 数 据 集 的 方 法. 2 BP-MIR 假 设 训 练 集 共 由 N 个 训 练 包 {B 1,B 2,,B N } 组 成, 其 中, 每 个 训 练 包 B i 对 应 的 实 值 标 记 为 L i, 并 含 有 M i 个 示 例 {B i1,b i2,,b imi }. 此 外, 包 中 的 每 个 示 例 均 为 一 个 p 维 的 属 性 值 向 量 ( 记 包 B i 中 的 第 j 个 示 例 为 [B ij1,b ij2,,b ijp ] T,T 代 表 向 量 转 置 ). 在 多 示 例 学 习 问 题 中, 学 习 算 法 已 知 包 的 实 值 标 记, 但 却 无 法 获 得 包 中 示 例 的 实 值 标 记. 因 此, 我 们 利 用 训 练 包 的 实 值 标 记, 在 包 的 层 次 上 定 义 神 经 网 络 的 全 局 误 差 函 数 如 下 : 其 中 E i 为 包 B i 对 应 的 输 出 误 差. E = N E i i = 1, (1) 研 究 结 果 表 明, 包 的 实 值 输 出 是 由 包 中 示 例 的 最 大 实 值 输 出 所 决 定 的. 因 此, 为 了 模 拟 上 述 规 律, 本 文 将 包 B i 的 输 出 误 差 定 义 为 其 中 o ij 为 示 例 B ij 对 应 的 网 络 输 出. 1 E max ( ) i = oij Li, 2 1 j M i 采 用 上 述 误 差 函 数 并 结 合 基 本 的 BP 算 法 [8], 本 文 提 出 了 一 种 基 于 神 经 网 络 的 多 示 例 回 归 算 法 BP-MIR(BP for multi-instance regression), 其 伪 码 如 图 1 所 示. BP-MIR(Epochs, Threshold) Initialize neural network Net; for (epoch=1; epoch<=epochs; epoch++) GlobalErr=0; //Set the initial value of global error to be zero for (i=1; i<=n; i++) Compute the output error E i of bag B i according to Eq.(2); GlobalErr=GlobalErr+E i ; The weights in Net are modified according to E i and the weight-updated rule of BP algorithm [8] ; If (GlobalErr<=Threshold) return Net; return Net; Fig.1 Pseudo code of BP-MIR algorithm 图 1 BP-MIR 算 法 的 伪 码 表 示 图 1 中 的 参 数 Epochs 和 Threshold 分 别 为 最 大 的 训 练 轮 数 以 及 全 局 误 差 E 的 阈 值. 神 经 网 络 Net 的 输 入 神 经 元 数 等 于 示 例 的 维 数 p, 并 含 有 一 层 隐 层 神 经 元 以 及 一 个 输 出 神 经 元,Net 中 所 有 神 经 元 的 激 活 函 数 均 采 用 Sigmoid 函 数 : 2 1 f ( x) =. x 1+ e (3) (2)
张 敏 灵 等 : 基 于 神 经 网 络 的 多 示 例 回 归 算 法 1241 3 实 验 结 果 及 比 较 2001 年,Amar 等 人 根 据 计 算 分 子 之 间 绑 定 耦 合 度 (binding affinity) 的 经 验 公 式, 给 出 了 一 种 生 成 具 有 一 定 实 际 物 理 含 义 的 基 准 数 据 集 的 方 法. 该 方 法 在 生 成 数 据 集 时, 可 以 灵 活 地 控 制 包 中 示 例 的 个 数, 示 例 的 维 数 ( 属 性 数 目 ), 相 关 属 性 的 数 目 与 相 关 系 数 ( 权 值 ) 等 参 数. 所 有 的 数 据 集 均 采 用 LJ-r.f.s 的 命 名 规 则, 其 中 r 代 表 相 关 属 性 的 数 目,f 代 表 示 例 的 维 数,s 代 表 属 性 相 关 系 数 的 设 置, 如 果 s=1, 则 表 示 存 在 0 和 1 两 种 相 关 系 数. 本 文 使 用 BP-MIR 算 法 在 LJ-160.166.1-S, LJ-160.166.1, LJ-80.166.1-S 和 LJ-80.166.1 这 4 份 数 据 集 上 进 行 了 实 验, 对 于 每 份 数 据 集 均 采 用 leave-one-out 的 验 证 方 法. 其 中, 神 经 网 络 的 输 入 神 经 元 个 数 等 于 示 例 的 属 性 数 目 (166), 隐 层 神 经 元 数 为 80, 输 出 层 为 单 个 神 经 元, 学 习 率 为 0.05, 训 练 轮 数 为 1000. 本 文 还 将 BP-MIR 与 Diverse Density 以 及 Citation-kNN 算 法 进 行 了 比 较, 对 于 Diverse Density 算 法, 其 初 始 权 值 均 为 0.1, 而 Citation-kNN 的 结 果 并 未 利 用 属 性 的 权 值 信 息, 具 体 结 果 见 表 1. 其 中,loss 代 表 算 法 的 均 方 误 差 ( 包 的 实 值 标 记 均 位 于 [0,1] 区 间 内 ). 此 外, 将 输 出 大 于 0.5 的 包 作 为 正 包 ( 概 念 标 记 为 1), 输 出 小 于 0.5 的 包 作 为 反 包 ( 概 念 标 记 为 0), 本 文 还 给 出 了 算 法 的 分 类 误 差 %err. Table 1 Comparison of BP-MIR with Diverse Density and Citation-kNN 表 1 BP-MIR 与 Diverse Density 以 及 Citation-kNN 算 法 的 比 较 Data set BP-MIR Diverse Density Citation-kNN %err Loss %err Loss %err Loss LJ-160.166.1-S 18.5 0.073 1 0.0 0.005 2 0.0 0.002 2 LJ-160.166.1 16.3 0.039 8 23.9 0.085 2 4.3 0.001 4 LJ-80.166.1-S 18.5 0.075 2 53.3 0.116 0.0 0.002 5 LJ-80.166.1 18.5 0.048 7 N/A N/A 8.6 0.010 9 由 表 1 可 以 看 出,BP-MIR 能 够 有 效 地 处 理 多 示 例 回 归 问 题, 其 结 果 优 于 Diverse Density 方 法, 但 不 如 Citation-kNN 方 法. 值 得 注 意 的 是,Amar 等 人 指 出,Diverse Density 与 Citation-kNN 两 种 方 法 对 于 示 例 中 所 含 相 关 属 性 的 数 目 相 当 敏 感. 例 如, 对 于 数 据 集 LJ-160.166.1 与 数 据 集 LJ-80.166.1 而 言, 当 示 例 中 的 相 关 属 性 数 目 由 160 降 为 80 的 时 候,Citation-kNN 的 均 方 误 差 由 0.0014 增 至 0.0109, 增 幅 近 800%, 而 BP-MIR 的 增 幅 仅 为 22.4%. [19] 此 外, 本 文 还 初 步 地 将 神 经 网 络 集 成 引 入 多 示 例 回 归 问 题 的 解 决. 对 于 数 据 集 LJ-80.166.1, 本 文 采 用 Bagging [20] 方 法 生 成 了 4 份 个 体 网 络, 并 与 表 1 中 已 有 的 1 份 个 体 网 络 构 成 了 一 个 含 有 5 份 个 体 网 络 的 神 经 网 络 集 成. 结 果 表 明, 该 数 据 集 的 均 方 误 差 ( 采 用 简 单 平 均 的 方 式 集 成 ) 由 0.0487 降 至 0.0455, 而 分 类 误 差 ( 采 用 相 对 多 数 投 票 的 方 式 集 成 ) 则 由 18.48% 降 至 11.96%. 4 结 束 语 本 文 通 过 采 用 特 殊 的 误 差 函 数, 给 出 了 一 种 基 于 神 经 网 络 的 多 示 例 回 归 算 法, 并 将 神 经 网 络 集 成 初 步 地 引 入 了 多 示 例 学 习 领 域. 在 基 准 数 据 集 上 的 实 验 结 果 表 明, 该 方 法 取 得 了 较 好 的 效 果. 进 一 步 的 工 作 主 要 包 括 如 何 调 整 神 经 网 络 拓 扑 结 构 以 及 算 法 的 参 数 配 置, 使 其 具 有 更 好 的 泛 化 能 力. 此 外, 如 果 能 够 采 用 合 适 的 属 性 选 择 机 制, 那 么 就 能 标 定 示 例 中 各 个 属 性 在 学 习 过 程 中 的 重 要 程 度, 这 对 于 提 高 算 法 的 性 能 将 有 更 大 的 帮 助. References: [1] Mitchell TM. Machine Learning. New York: McGraw-Hill, 1997. [2] Maron O. Learning from ambiguity [Ph.D. Thesis]. Department of Electrical Engineering and Computer Science, MIT, 1998. Dietterich TG, Lathrop RH, Lozano-Pérez T. Solving the multiple instance problem with axis-parallel rectangles. Artificial Intelligence, 1997,89(1-2):31~71. [4] Ray S, Page D. Multiple instance regression. In: Brodley CE, Danyluk AP, eds. Proceedings of the 18th International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 2001. 425~432.
1242 Journal of Software 软 件 学 报 2003,14(7) [5] Dooly DR, Goldman SA, Kwek SS. Real-Valued multiple-instance learning with queries. In: Abe N, Khardon R, Zeugmann T, eds. Proceedings of the 12th International Conference on Algorithmic Learning Theory. Berlin: Springer-Verlag, 2001. 167~180. [6] Zhang Q, Goldman SA. EM-DD: An improved multiple-instance learning technique. In: Dietterich TG, Becker S, Ghahramani Z, eds. Advances in Neural Information Processing Systems 14. Cambridge: MIT Press, 2002. 1073~1080. Amar RA, Dooly DR, Goldman SA, Zhang Q. Multiple-Instance learning of real-valued data. In: Brodley CE, Danyluk AP, eds. Proceedings of the 18th International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 2001. 3~10. http://www.cs.wustl.edu/~sg/multi-inst-data. [8] Rumelhart DE, Hinton GE, Williams RJ. Learning representations by back-propagating errors. Nature, 1986,323(9):533~536. [9] Long PM, Tan L. PAC learning axis-aligned rectangles with respect to product distribution from multiple-instance examples. Machine Learning, 1998,30(1):7~21. [10] Auer P, Long PM, Srinivasan A. Approximating hyper-rectangles: Learning and pseudo-random sets. Journal of Computer and System Sciences, 1998,57(3):376~388. [11] Auer P. On learning from multi-instance examples: empirical evaluation of a theoretical approach. In: Fisher DH, ed. Proceedings of the 14th International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 1997. 21~29. [12] Blum A, Kalai A. A note on learning from multiple-instance examples. Machine Learning, 1998,30(1):23~29. [13] Maron O, Lozano-Pérez T. A framework for multiple-instance learning. In: Jordan MI, Kearns MJ, Solla SA, eds. Advances in Neural Information Processing Systems 10. Cambridge: MIT Press, 1998. 570~576. [14] Maron O, Ratan AL. Multiple-Instance learning for natural scene classification. In: Koller D, Fratkina R, eds. Proceedings of the 15th International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 1998. 341~349. [15] Wang J, Zucker J-D. Solving the multiple-instance problem: A lazy learning approach. In: Langley P, ed. Proceedings of the 17th International Conference on Machine Learning. San Francisco: Morgan Kaufmann Publishers, 2000. 1119~1125. [16] Ruffo G. Learning single and multiple instance decision trees for computer security applications [Ph.D. Thesis]. Torino: Department of Computer Science, University of Turin, 2000. [17] Chevaleyre Y, Zucker J-D. Solving multiple-instance and multiple-part learning problems with decision trees and decision rules. Application to the mutagenesis problem. In: Stroulia E, Matwin S, eds. Proceedings of the 14th Biennial Conference of the Canadian Society for Computational Studies of Intelligence. Berlin: Springer-Verlag, 2001. 204~214. [18] Zhou ZH, Zhang ML. Neural networks for multi-instance learning. In: Shi ZZ, He Q, eds. Proceedings of the International Conference on Intelligent Information Technology. Beijing: People s Post and Telecommunications Publishing House, 2002. 455~459. [19] Zhou ZH, Chen SF. Neural network ensemble. Chinese Journal of Computers, 2002,25(1):1~8 (in Chinese with English abstract). [20] Breiman L. Bagging predictors. Machine Learning, 1996,24(2):123~140. 附 中 文 参 考 文 献 : [19] 周 志 华, 陈 世 福. 神 经 网 络 集 成. 计 算 机 学 报,2002,25(1):1~8.