Transcription

1

2

3 卷 首 语 专 家 视 角 赵 粮 面 向 安 全 的 大 数 据 分 析 方 法 和 思 路 王 卫 东 3 简 析 Web 扫 描 网 络 数 据 特 征 周 大 刘 亚 11 浅 谈 信 息 安 全 早 期 预 警 理 论 模 型 聊 聊 ZeroAccess botnet 的 P2P 机 制 肖 岩 军 刘 亚 行 业 热 点 商 业 银 行 信 息 科 技 风 险 管 理 状 况 行 业 对 比 分 析 Android 四 大 组 件 安 全 关 于 强 化 系 统 运 维 安 全 管 理 的 技 术 探 讨 基 于 VMware 环 境 下 恶 意 代 码 自 动 分 析 平 台 的 搭 建 前 沿 技 术 php.net 被 植 入 恶 意 代 码 分 析 齐 芳 王 东 亚 张 盼 张 旭 殷 水 军 张 云 海 MS Word 二 进 制 文 件 漏 洞 浅 析 李 志 昕 57 PDF 0day CVE 分 析 刘 业 欣 曲 富 平 64 工 业 控 制 系 统 的 安 全 研 究 与 实 践 综 合 信 息 李 鸿 培 忽 朝 俭 王 晓 鹏

4 刊 首 语 2014, 在 路 上 定 向 攻 击 可 以 来 自 内 部 或 外 部, 但 是 只 要 某 个 系 统 应 用 或 账 号 被 侵 入, 所 有 后 续 的 行 为 看 起 来 都 是 来 自 内 部 的, 就 像 被 入 侵 的 目 标 自 身 发 起 的 一 样 因 为 每 个 定 向 攻 击 都 有 不 同, 我 们 不 能 再 仅 仅 依 赖 预 先 定 义 的 攻 击 手 法 或 关 联 规 则 来 检 测 定 向 攻 击, 还 需 要 在 发 现 正 常 行 为 模 式 的 改 变 上 做 得 更 好, 这 些 行 为 改 变 很 有 可 能 是 一 次 攻 击 或 入 侵 的 早 期 信 号 -Gartner 2012 攻 防 对 抗 不 断 升 级, 双 方 的 武 器 库 都 进 行 了 大 规 模 的 增 强 例 如 ZeroAccess 僵 尸 网 络 采 用 大 规 模 的 分 布 式 P2P 技 术, 单 个 僵 尸 网 络 规 模 可 达 千 万, 僵 尸 程 序 的 各 个 组 件 可 以 分 别 独 立 升 级,BotMaster 随 意 挑 选 若 干 僵 尸 节 点 发 出 升 级 和 攻 击 指 令, 僵 尸 网 络 自 动 完 成 全 网 分 发, 而 BotMaster 却 不 会 暴 露 自 己 而 防 守 一 方 的 手 段 和 运 作 效 率 同 样 令 人 印 象 深 刻 php.net 被 植 入 恶 意 代 码 2013 年 10 月 23 日 被 发 现,24 日 Virustotal 上 已 有 几 种 恶 意 软 件 查 杀 程 序 可 以 检 测,25 日 已 有 半 数 左 右 的 程 序 可 以 查 杀, 一 周 之 内 主 要 的 杀 毒 程 序 都 完 成 更 新 攻 击 方 的 时 间 窗 口 被 大 幅 挤 压, 攻 击 成 本 相 应 明 显 上 升 感 兴 趣 的 读 者 可 以 在 本 期 的 文 章 中 找 到 上 面 两 个 例 子 的 详 细 信 息 战 场 上 决 定 攻 防 成 败 的 因 素 中, 智 能 (Intelligence) 无 疑 是 第 一 个 关 键 因 素 智 能 也 可 以 称 为 情 报, 是 所 有 相 关 的 攻 防 知 识 和 上 下 文 的 集 合, 例 如 最 新 的 和 历 史 的 漏 洞 漏 洞 利 用 和 威 胁 样 本 信 息 网 络 主 体 的 历 史 行 为 和 基 于 此 的 信 誉 信 息 在 安 全 智 能 的 运 作 过 程 中, 威 胁 感 知 和 数 据 分 析 能 力 紧 密 相 关 在 智 能 之 外, 自 动 化 (Automation) 能 力 在 很 大 程 度 上 决 定 了 攻 防 的 成 本 和 效 率 自 动 化 是 指 采 用 机 机 接 口 脚 本 或 其 它 工 具 来 自 动 化 完 成 安 全 设 备 和 各 种 能 力 的 部 署 流 量 调 度 推 理 判 断 决 策 策 略 调 整 等 这 种 能 力 不 仅 仅 是 人 工 和 时 间 的 节 省, 还 意 味 着 大 量 的 安 全 中 间 数 据 的 产 生, 将 会 直 接 使 后 续 的 数 据 分 析 和 闭 环 提 高 过 程 而 一 般 来 说, 人 工 过 程 比 较 难 做 到 这 一 点 自 动 化 能 力 对 安 全 用 户 和 安 全 提 供 商 同 等 重 要 虽 然 业 界 围 绕 安 全 自 动 化 的 努 力 在 过 去 进 展 缓 慢, 但 令 人 兴 奋 的 是, 蓬 勃 发 展 的 软 件 定 义 网 络 (SDN) 的 思 想 给 安 全 自 动 化 带 来 了 崭 新 的 机 会 2014, 在 路 上 2

5 专 家 视 角 面 向 安 全 的 大 数 据 分 析 方 法 和 思 路 安 全 咨 询 部 王 卫 东 关 键 字 : 大 数 据 安 全 异 常 检 测 机 器 学 习 摘 要 : 本 文 首 先 从 原 理 的 层 面 对 适 用 于 异 常 检 测 的 大 数 据 分 析 算 法 做 了 简 单 介 绍, 然 后 描 述 了 针 对 告 警 和 行 为 两 大 类 数 据 的 分 析 思 路, 并 举 例 说 明 如 何 利 用 前 述 的 分 析 算 法 和 分 析 思 路 获 得 期 望 的 分 析 结 果 1. 大 数 据 分 析 概 述 1.1 大 数 据 的 基 本 特 征 年 来 由 于 理 论 方 面 的 ( 方 法 和 算 法 ) 和 工 程 方 面 ( 计 算 能 近 力 ) 的 条 件 逐 渐 成 熟, 大 数 据 分 析 成 为 IT 领 域 的 一 个 热 门 话 题 对 于 什 么 是 大 数 据, 有 多 种 不 尽 相 同 的 描 述 但 是 大 数 据 所 具 备 的 几 个 特 性, 是 为 业 界 所 公 认 的 即 所 谓 的 若 干 个 V(Volume, Variety, Value, Velocity, Veracity), 中 文 的 含 义 分 别 对 应 的 是 数 量 巨 大 种 类 繁 多 ( 结 构 迥 异 ) 价 值 蕴 藏 流 转 迅 速 真 实 可 靠 除 此 以 外, 跨 度 绵 长 也 是 大 数 据 的 一 个 重 要 特 征, 也 就 是 数 据 应 该 覆 盖 较 大 跨 度 的 时 间 范 围 大 数 据 的 这 几 个 特 征 也 可 以 作 为 我 们 采 集 大 数 据 的 时 候 需 要 依 据 的 原 则 1.2 大 数 据 的 应 用 场 景 传 统 的 大 数 据 分 析 主 要 用 于 科 研 领 域 的 知 识 发 现 和 模 式 识 别, 如 基 因 组 序 列 地 质 气 象 数 据 高 能 物 理 实 验 数 据 等 各 种 科 研 数 据 的 分 析 以 及 手 写 字 迹 和 语 音 影 像 识 别 等 等 近 年 来 的 大 数 据 分 析 主 要 集 中 在 商 业 决 策 领 域 里 的 用 户 行 为 模 式 分 析 生 产 设 备 ( 发 电 机 组 运 输 车 辆 等 ) 运 行 数 据 分 析 产 品 服 务 的 价 格 信 息 分 析 等 大 数 据 分 析 方 法 在 异 常 检 测 领 域 也 有 着 广 阔 的 应 用 前 景, 例 如 对 地 震 海 啸 火 灾 罪 案 发 生 地 点 等 突 发 事 件 的 预 警, 再 例 如 对 金 融 交 易 欺 诈 ( 洗 钱 证 券 内 幕 交 易 等 ) 社 会 福 利 欺 诈 财 务 报 销 欺 诈 等 欺 诈 行 为 的 检 测 此 外, 大 数 据 分 析 还 可 以 在 内 部 威 胁 行 为 发 现 僵 尸 检 测 攻 击 入 侵 检 测 脆 弱 性 分 析 等 信 息 安 全 方 面 发 挥 作 用, 但 是 这 方 面 的 应 用 还 不 是 很 多 本 文 将 重 点 阐 述 大 数 据 分 析 发 现 异 常 行 为 或 攻 击 事 件 的 方 法 与 思 路, 这 些 异 常 行 为 或 攻 击 事 件 通 常 是 传 统 分 析 方 法 无 法 发 现 的 1.3 对 异 常 行 为 或 攻 击 事 件 及 其 检 测 效 果 的 界 定 为 了 明 确 分 析 目 标 且 不 产 生 歧 义, 有 必 要 对 异 常 行 为 或 攻 击 事 3

6 专 家 视 角 件 ( 以 下 简 称 异 常 ) 的 范 围 做 出 明 确 的 界 定, 这 里 用 枚 举 的 方 式 尽 可 能 多 地 罗 列 出 常 见 的 异 常 : 异 常 的 域 名 解 析 请 求 网 络 扫 描 频 繁 登 录 失 败 身 份 冒 用 超 量 数 据 传 输 非 授 权 访 问 非 法 外 联 行 为 交 易 欺 诈 行 为 Web 攻 击 行 为 DDoS 攻 击 对 异 常 的 描 述 一 般 应 该 至 少 包 括 6 个 元 素, 即 时 间 地 点 主 体 客 体 操 作 ( 动 作 ) 方 式 检 测 结 果 若 能 覆 盖 全 部 6 个 元 素, 这 样 的 检 测 效 果 是 最 理 想 的 但 某 些 检 测 指 标 或 方 法 得 到 的 异 常 描 述 不 能 全 部 覆 盖 这 6 个 元 素, 也 可 以 作 为 有 效 的 检 测 结 果 例 如, 对 DDoS 攻 击 的 检 测, 有 时 候 无 法 获 得 攻 击 源 的 IP 地 址 或 者 检 测 到 的 IP 地 址 是 伪 造 的, 但 是 只 要 能 确 定 某 个 目 标 IP 地 址 受 到 攻 击, 仍 然 可 以 作 为 有 效 的 检 测 2. 适 用 于 异 常 检 测 的 大 数 据 分 析 算 法 大 数 据 分 析 领 域 里 所 涉 及 的 统 计 学 习 算 法 有 很 多, 不 同 的 算 法 也 有 各 自 适 用 的 场 景 本 节 内 容 只 选 择 笔 者 认 为 适 用 于 检 测 异 常 的 算 法 做 原 理 介 绍 用 于 检 测 异 常 的 数 据 通 常 都 是 低 维 数 据, 那 些 用 于 降 维 和 处 理 高 维 数 据 的 算 法 应 该 不 适 用 检 测 结 果 通 常 只 有 正 常 异 常 未 知 三 类, 即 只 期 待 将 数 据 对 象 分 成 三 类, 适 合 用 于 结 果 为 多 个 分 类 的 算 法, 也 可 能 不 适 用 2.1 经 典 统 计 方 法 对 特 定 网 络 数 据 的 统 计 指 标 ( 如 无 序 度 置 信 区 间 方 差 标 准 差 极 值 中 位 值 平 均 值 ) 等 进 行 统 计, 当 这 些 指 标 发 生 异 常 变 化 的 时 候, 可 以 确 认 异 常 的 存 在 但 这 类 检 测 的 结 果 多 数 情 况 下 是 非 特 异 性 的 例 如 总 流 量 和 源 IP 地 址 离 散 度 突 然 发 生 变 化 的 时 候, 明 显 提 示 有 DDoS 攻 击 存 在, 但 不 能 提 示 具 体 是 哪 种 攻 击 和 攻 击 的 来 源 等 2.2 聚 类 / 离 群 分 析 算 法 聚 类 分 析 过 程 是 按 照 数 据 对 象 的 属 性 将 它 们 分 成 若 干 个 类 别, 同 一 类 内 部 的 对 象 尽 可 能 相 似, 不 同 类 的 差 异 尽 可 能 大 聚 类 是 一 个 自 动 的 过 程, 不 用 事 先 指 定 分 类 标 准 或 给 出 学 习 样 本 可 以 把 聚 类 简 单 的 概 括 为 聚 物 成 类 类 内 相 似 类 间 互 异 无 须 指 导 离 群 实 际 上 是 聚 类 的 反 义, 离 群 侧 重 观 察 没 有 被 聚 类 的 数 据 对 象 通 常 利 用 对 象 属 性 的 距 离 或 空 间 密 度 来 衡 量 它 们 的 相 似 程 度 聚 类 算 法 有 很 多 种, 根 据 基 本 原 理 还 可 以 分 成 基 于 密 度 基 于 网 格 基 于 分 区 基 于 分 层 基 于 模 型 等 几 大 类 常 见 的 聚 类 算 法 有 : 基 于 密 度 的 算 法 ( 如 DBSCAN), 其 基 本 思 想 是 : 在 给 定 半 径 E 的 区 域 内, 数 据 点 的 个 数 大 于 给 定 最 小 值 MinPts, 则 区 域 内 点 属 于 同 一 个 聚 类 基 于 网 格 的 算 法 ( 如 CLIQUE), 其 基 本 思 想 是 : 将 数 据 空 间 的 每 一 维 度 平 均 地 分 割 成 等 长 的 区 间 段, 则 数 据 空 间 就 被 分 割 成 若 干 个 不 相 交 的 网 格 单 元 由 于 同 一 网 格 单 元 中 的 点 属 于 同 一 类 的 可 能 性 比 较 大, 这 样 落 入 同 一 单 元 中 的 点 就 可 以 当 作 同 一 个 对 象 来 进 行 处 理 聚 类 分 析 大 都 以 网 格 单 元 为 对 象 进 行 4

7 专 家 视 角 2.3 相 似 性 分 析 算 法 相 似 性 分 析 是 判 断 若 干 个 数 据 对 象 是 否 具 有 相 近 取 值 或 相 近 的 变 化 趋 势 有 人 把 相 似 性 算 法 也 当 作 聚 类 算 法 的 一 种, 虽 然 相 似 性 算 法 可 以 作 为 聚 类 分 析 的 工 具, 但 是 由 于 相 似 性 分 析 更 侧 重 在 分 析 对 象 个 体 之 间 相 似 关 系, 而 聚 类 更 侧 重 在 大 量 对 象 的 类 别 划 分, 并 提 取 类 别 的 共 同 的 属 性 特 征, 所 以 这 里 把 相 似 性 分 析 单 列 为 一 种 方 法 相 似 性 分 析 通 常 把 每 个 数 据 对 象 看 作 多 维 空 间 中 的 一 个 点, 对 象 之 间 的 相 似 性 可 以 用 相 似 性 系 数 或 某 种 距 离 来 表 示 相 似 系 数 接 近 1 或 距 离 较 近 的 对 象 性 质 较 相 似, 相 似 系 数 接 近 0 或 距 离 较 远 的 对 象 则 差 异 较 大 不 同 的 数 据 类 型, 适 用 不 同 的 相 似 系 数 计 算 公 式 常 用 的 相 似 系 数 或 距 离 计 算 公 式 有 : 公 式 (1-2) 是 相 似 系 数 计 算 公 式 公 式 (1-3) 是 Jaccard 相 似 系 数 计 算 公 式 通 常 杰 卡 德 相 似 系 数 处 理 的 都 是 非 对 称 二 元 变 量 即 假 设 A 和 B 是 两 个 n 维 向 量, 而 且 所 有 维 度 的 取 值 都 是 0 或 1 非 对 称 的 意 思 是 指 状 态 的 两 个 输 出 不 是 同 等 重 要 的, 例 如, 疾 病 检 查 的 阳 性 和 阴 性 结 果 其 中 : M11 表 示 A 与 B 的 对 应 维 度 都 是 1 的 维 度 的 个 数 M10 表 示 A 与 B 的 对 应 维 度 分 别 是 1 和 0 的 维 度 的 个 数 (1-1) M01 表 示 对 应 维 度 分 别 是 0 和 1 的 维 度 的 个 数 M00 表 示 A 与 B 的 对 应 维 度 都 是 0 的 维 度 的 个 数 习 惯 上 将 较 重 要 的 输 出 结 果 也 通 常 是 (1-2) 出 现 几 率 较 小 的 结 果 编 码 为 1 ( 例 如 HIV 阳 性 ), 而 将 另 一 种 结 果 编 码 为 0 在 某 些 领 域, 认 为 正 匹 配 (M11) 比 负 匹 配 (M00) 更 有 意 义, (1-3) 负 匹 配 的 数 量 M00 认 为 是 不 重 要 的, 可 以 在 计 算 时 忽 略 下 面 我 们 用 一 个 简 单 的 实 例 来 说 明 相 似 公 式 (1-1) 是 变 量 Xi 和 Xj 的 空 间 距 离 计 算 公 式 性 分 析 的 过 程 假 设 有 5 个 面 试 官 对 10 个 5

8 专 家 视 角 应 聘 者 评 分, 评 分 情 况 如 表 1 将 这 组 数 值 分 别 代 入 公 式 (1-1) 和 (1-2), 可 以 得 到 相 似 系 数 矩 阵 ( 表 2) 和 空 间 距 离 矩 阵 ( 表 3) 从 这 两 个 矩 应 聘 者 面 试 官 面 试 官 面 试 官 面 试 官 面 试 官 表 1 考 官 评 分 表 面 试 官 1 面 试 官 2 面 试 官 3 面 试 官 4 面 试 官 5 面 试 官 面 试 官 面 试 官 面 试 官 面 试 官 表 2 相 似 系 数 矩 阵 阵 中 可 以 看 出, 面 试 官 5 与 其 他 面 试 官 的 评 价 结 论 明 显 不 同 2.4 关 联 分 析 算 法 关 联 分 析 的 目 标 是 从 数 据 中 找 到 关 联 规 则 所 谓 关 联 规 则 是 形 如 X Y 的 蕴 涵 式, 表 示 通 过 X 可 以 推 导 得 到 Y, 其 中 X 和 Y 分 别 称 为 关 联 规 则 的 前 提 和 结 果 在 满 足 最 小 支 持 度 和 最 小 置 信 度 的 条 件 下, 才 能 认 为 通 过 X 可 以 推 导 得 到 Y 成 立 在 理 解 算 法 之 前, 首 先 需 要 了 解 几 个 基 本 概 念 : 支 持 度 : 指 的 是 事 件 X 和 事 件 Y 同 时 发 生 的 概 率, 即 Support=P(XY) 置 信 度 : 指 的 是 在 发 生 事 件 X 的 基 础 上 发 生 事 件 Y 的 概 率, Confidence = P(Y X) = P(XY)/P(X) 项 集 : I={I1, I2,, Im} 是 项 的 集 合 交 易 数 据 库 : D={t1, t2,, tn} 交 易 : 交 易 t 由 多 个 项 组 成,t 是 I 的 非 空 子 集 TID: 每 一 个 交 易 都 与 一 个 惟 一 的 标 识 符 对 应 频 繁 项 集 : 满 足 最 小 支 持 度 阈 值 的 项 集 面 试 官 1 面 试 官 2 面 试 官 3 面 试 官 4 面 试 官 5 面 试 官 面 试 官 面 试 官 面 试 官 面 试 官 表 3 空 间 距 离 矩 阵 图 1 关 联 分 析 的 几 个 基 本 概 念 6

9 专 家 视 角 还 存 在 其 它 可 能 的 关 联 规 则, 例 如 网 球 拍 + 网 球 运 动 鞋 现 实 中 的 关 联 分 析 可 以 从 两 个 方 向 展 开, 一 个 是 根 据 已 有 知 识 猜 测 存 在 某 个 关 联 规 则 ( 网 球 拍 网 球 的 例 子 就 是 这 种 情 况 ), 然 后 计 算 其 支 持 度 和 置 信 度, 如 果 两 者 都 大 于 最 小 阈 值, 则 可 认 定 关 联 规 则 存 在 另 一 个 方 向 是 遍 历 项 集, 寻 找 满 足 最 小 支 持 度 和 置 信 度 阈 值 的 关 联 项 集 规 则 Apriori 算 法 属 于 后 一 种 分 析 过 程 受 篇 幅 的 限 制, 同 时 为 了 不 偏 离 本 文 的 主 题, 这 里 就 不 具 体 给 出 Apriori 算 法 的 计 算 过 程 了 2.5 分 类 算 法 分 类 就 是 将 每 一 个 数 据 对 象 划 分 到 一 个 已 知 的 类 别 中 数 学 上 的 表 达 就 是 确 定 一 个 映 射 规 则 Y=f(X), 使 得 任 意 数 据 对 象 Xi 有 且 图 2 关 联 分 析 算 法 举 例 为 了 更 好 地 理 解 上 面 的 概 念, 图 1 给 出 了 更 形 象 的 描 述 圆 角 矩 形 表 示 全 部 项 的 集 合 I, 椭 圆 中 蓝 圆 点 表 示 X 事 件, 菱 形 中 绿 三 角 表 示 Y 事 件 这 里 用 一 个 简 单 的 实 例 来 说 关 联 分 析 算 法 的 原 理 如 图 2, 假 设 有 6 条 交 易 记 录 的 交 易 记 录 库, 涉 及 了 网 球 拍 网 球 运 动 鞋 羽 毛 球 4 种 商 品 首 先, 根 据 经 验 猜 测 可 能 存 在 关 联 规 则 网 球 拍 网 球 观 察 发 现, 交 易 1,2,3,4,6 包 含 网 球 拍, 计 数 为 5, 其 中 交 易 1,2,6 同 时 包 含 网 球 拍 和 网 球 并 根 据 支 持 度 和 置 信 度 定 义 计 算 : 支 持 度 =3/6=0.5, 置 信 度 =3/5=0.6 若 最 小 支 持 度 α= 0.5, 最 小 置 信 度 β= 0.6, 则 网 球 拍 网 球 为 强 规 则 注 意, 在 这 个 实 例 中, 仅 有 一 个 Yi, 使 得 Yi=f(Xi) 成 立 其 中 f 称 为 分 类 器 分 类 的 过 程 就 是 通 过 对 已 知 类 别 训 练 数 据 集 的 分 析, 从 中 发 现 分 类 规 则, 以 此 对 待 分 类 数 据 对 象 的 类 别 归 属 做 出 ( 预 测 ) 判 断 分 类 算 法 的 具 体 实 现 有 很 多 种, 常 见 的 有 线 性 判 别 分 析 (LDA,Linear Discriminant Analysis) 朴 素 贝 叶 斯 (NB,Naive Bayesian) 神 经 网 络 (NN, Neural Network) 支 持 向 量 机 (SVM, Support Vector Machine) 决 策 树 (Decision Tree) 基 于 关 联 规 则 的 分 类 等 分 类 算 法 是 有 监 督 的 学 习 算 法, 也 就 是 从 给 定 的 训 练 数 据 集 中 学 习 出 一 个 函 数, 当 新 的 数 据 到 来 时, 根 据 这 个 函 数 预 测 结 果 训 练 数 据 集 是 已 经 做 过 分 类 标 记 的 样 本 数 据 3. 面 向 安 全 的 大 数 据 分 析 思 路 7

10 专 家 视 角 分 析 思 路 是 大 数 据 分 析 的 重 要 环 节 成 功 因 素 之 一 分 析 思 路 应 该 包 括 拟 分 析 的 数 据 对 象 是 什 么 拟 采 用 的 过 程 步 骤 是 什 么 期 待 得 到 的 分 析 结 果 是 什 么 等 3.1 可 分 析 数 据 用 于 检 测 异 常 的 数 据 大 体 上 可 以 分 为 三 类, 即 行 为 日 志 ( 网 络 日 志 主 机 日 志 业 务 交 易 ) 传 感 器 日 志 ( 防 火 墙 IPS 等 安 全 设 备 告 警 日 志 以 及 错 误 日 志 ) 环 境 相 关 数 据 含 异 常 并 不 确 定, 需 要 进 行 深 入 的 挖 掘, 筛 选 出 其 中 的 异 常 因 此 分 析 过 程 可 以 分 为 : 告 警 驱 动 ( 基 于 线 索 ) 和 行 为 驱 动 ( 基 于 算 法 ) 两 种 告 警 驱 动 ( 基 于 线 索 ) 的 过 程 如 图 3, 异 常 检 测 与 凶 案 侦 破 很 相 似, 在 本 质 上 都 是 寻 找 真 相 的 过 程 凶 案 发 生 后, 通 常 警 察 首 先 要 在 命 案 现 场 寻 找 痕 迹 证 据, 然 后 再 梳 理 被 害 人 的 社 会 关 系 以 及 近 期 有 过 联 系 交 往 的 人, 确 认 这 些 人 中 是 否 有 人 存 在 疑 点 仿 照 这 样 一 个 过 程, 首 先 可 以 将 告 警 ( 蜜 网 IPS 防 火 墙 等 设 备 上 的 告 警 ) 和 错 误 信 息 ( 邮 件 发 送 失 败 登 录 失 败 Web 访 问 错 误 DNS 解 析 错 误 等 ) 当 作 线 索, 从 中 提 取 涉 事 主 体 的 信 息 (IP 地 址 或 域 名 ), 再 从 行 为 日 志 中 找 到 涉 事 主 体 的 通 讯 对 端 (IP 地 址 或 域 名 ), 并 ( 资 产 信 息 ) 直 接 用 来 分 析 的 数 据 只 有 前 两 类, 而 环 境 相 关 数 据 主 要 用 于 参 考 和 提 示, 如 判 断 访 问 的 合 法 性 增 加 结 果 的 可 读 性 等 信 息 安 全 领 域 里 分 析 的 数 据 主 要 是 网 络 日 志 和 主 机 日 志 如 果 分 析 目 标 是 发 现 业 务 层 次 方 面 的 欺 诈 行 为, 如 洗 钱 证 券 内 幕 交 易 操 作 等, 则 需 要 分 析 交 易 日 志 在 反 业 务 欺 诈 方 面 已 经 有 不 少 的 成 功 案 例 3.2 分 析 的 过 程 行 为 日 志 和 传 感 器 日 志 是 可 供 分 析 的 两 大 类 数 据, 它 们 具 有 完 全 不 同 的 性 质 传 感 器 日 志 是 对 安 全 规 则 策 略 的 冲 突 所 触 发 的, 其 内 容 本 身 已 经 提 示 存 在 异 常, 因 此 可 以 作 为 分 析 的 线 索 加 以 利 用 行 为 日 志 中 是 否 包 图 3 凶 案 侦 查 与 基 于 线 索 的 异 常 检 测 进 一 步 分 析 这 些 通 讯 对 端 的 属 性 ( 数 量 分 布 的 连 续 性 公 有 私 有 注 册 时 间 等 等 ) 以 及 它 们 直 接 通 讯 过 程 的 情 况 ( 流 量 大 小 及 时 间 分 布 协 议 类 型 及 分 布 周 期 性 相 似 性 等 ) 行 为 驱 动 ( 基 于 算 法 ) 的 过 程 2013 年 4 月, 美 国 波 士 顿 马 拉 松 接 近 终 点 的 比 赛 现 场 发 生 恐 怖 袭 击 爆 炸 调 查 人 员 通 过 查 看 现 场 视 频 监 控 资 料, 发 现 有 两 个 观 众 的 装 束 举 止 明 显 与 周 围 观 众 不 同, 从 而 最 终 锁 定 8

11 专 家 视 角 了 犯 罪 嫌 疑 人 在 海 量 的 行 为 日 志 中 检 测 异 常, 无 异 于 在 熙 熙 攘 攘 的 人 群 中 查 找 发 动 恐 怖 袭 击 的 嫌 犯 显 然 无 法 指 望 这 个 过 程 靠 人 工 来 完 成 如 果 能 开 发 出 一 个 简 单 易 用 的 综 合 各 种 聚 类 分 类 相 似 性 分 析 关 联 分 析 等 算 法 的 分 析 引 擎, 就 可 以 将 海 量 的 行 为 日 志 输 入 到 分 析 引 擎, 按 照 我 们 指 定 的 算 法 和 参 数 自 动 完 成 分 析 工 作, 然 后 再 对 分 图 4 域 名 请 求 行 为 描 述 矩 阵 析 结 果 辅 以 人 工 的 判 断 3.3 基 于 各 种 期 待 结 果 的 分 析 场 景 内 网 僵 尸 主 机 的 检 测 大 多 数 僵 尸 程 序 初 次 感 染 内 部 主 机 之 后, 首 先 要 发 起 一 系 列 域 名 解 析 请 求, 用 以 和 外 部 的 C&C 服 务 器 联 系 这 些 域 名 的 很 多 属 性 ( 长 度 子 域 层 数 TTL 相 似 性 等 等 ) 与 正 常 域 名 有 明 显 的 差 异 这 些 异 常 可 以 被 很 多 分 析 方 法 所 发 现, 例 如 : 设 计 恰 当 的 统 计 指 标 并 做 出 相 应 的 统 计, 还 可 以 主 机 IP 地 址 为 主 体, 将 它 们 的 域 名 请 求 行 为 转 换 成 行 为 描 述 矩 阵, 如 图 4, 左 侧 的 矩 阵 中 的 数 字 表 示 某 个 IP 地 址 请 求 解 析 某 个 域 名 的 次 数, 右 侧 矩 阵 表 示 某 个 IP 地 址 是 否 请 求 解 图 5 域 名 请 求 行 为 的 相 似 性 分 析 结 果 析 了 某 个 域 名 利 用 相 似 性 分 析 可 以 得 到 主 机 域 名 请 求 行 为 的 相 似 性 分 析 结 果 ( 如 图 5), 从 而 有 可 能 发 现 域 名 请 求 行 为 异 常 的 主 机 实 际 上 也 可 以 域 名 为 主 体, 将 它 们 被 IP 地 址 请 求 解 析 的 行 为 转 换 成 描 述 矩 阵, 做 相 同 的 分 析, 只 不 过 这 种 分 析 的 结 果 是 找 到 属 于 C&C 服 务 器 的 域 名 DDoS 攻 击 检 测 通 常 DDoS 攻 击 流 量 都 是 由 僵 尸 程 序 产 生 的, 假 设 这 些 攻 击 流 量 的 特 征 与 正 常 访 问 存 在 一 定 差 异, 如 果 把 每 个 会 话 的 属 性 ( 协 议 类 型 协 议 指 纹 特 征 字 节 数 持 续 时 间 等 等 ) 作 为 一 个 多 维 数 据 对 象, 那 些 攻 击 流 量 的 会 话 的 各 个 属 性 理 论 上 应 该 非 常 一 致 理 想 情 况 下 可 9

12 专 家 视 角 以 通 过 聚 类 分 析 将 这 些 攻 击 流 量 聚 到 一 类 如 果 已 知 一 些 攻 击 流 量 的 特 征, 可 以 考 虑 生 成 一 组 学 习 样 本 数 据, 交 给 分 类 算 法 进 行 学 习, 从 而 得 到 分 类 器, 利 用 分 类 器 对 新 的 流 量 数 据 进 行 分 析 但 是 这 种 方 法 具 有 较 大 的 局 限, 首 先 获 得 含 有 攻 击 特 征 的 样 本 数 据 具 有 一 定 困 难, 其 次 将 这 些 数 据 生 成 学 习 样 本 需 要 很 大 的 开 销, 所 以 这 种 方 法 只 能 发 现 已 知 特 征 的 异 常 内 网 主 机 异 常 行 为 发 现 内 部 主 机 异 常 行 为 包 括 很 多 情 况, 包 括 主 机 本 地 的 行 为 ( 创 建 后 进 行 相 似 性 分 析 或 关 联 分 析 对 行 为 链 的 相 似 性 分 析 与 前 述 域 名 解 析 请 求 相 似 分 析 非 常 类 似, 不 再 赘 述 在 做 关 联 分 析 时, 一 个 行 为 链 可 以 看 作 一 个 关 联 分 析 中 的 一 个 交 易 记 录 其 中 的 各 个 行 为 可 以 看 作 项 集 中 的 项 关 联 分 析 的 结 果 可 能 是 一 个 ( 组 ) 行 为 A 与 一 个 ( 组 )B 存 在 强 关 联 关 系 若 A 为 已 知 的 异 常, 则 B 很 可 能 是 异 常 4. 结 束 语 成 功 的 大 数 据 分 析 依 赖 于 三 个 主 要 因 素, 即 数 据 思 路 和 算 法 由 于 大 数 据 的 自 身 特 性, 无 论 是 数 据 采 集 还 是 存 储, 都 是 一 项 极 具 挑 战 性 的 工 作 分 析 思 路 主 导 着 整 个 分 析 工 作 的 过 程, 只 有 清 晰 可 行 的 思 路, 才 会 最 终 引 导 大 数 据 分 析 工 作 获 得 成 功 尽 管 近 几 年 大 数 据 分 析 所 依 赖 的 机 器 学 习 算 法 在 理 论 上 取 得 很 多 突 破 和 可 实 际 应 用 的 成 果, 在 具 体 的 分 析 过 程 中 还 需 要 很 多 试 验 来 筛 选 更 加 适 用 的 算 法 和 相 应 的 参 数 总 的 来 说, 将 大 数 据 分 析 的 方 法 应 用 于 信 息 安 全 领 域 里 的 异 常 检 测 还 需 要 有 很 多 扎 实 的 实 验 工 作 要 做 本 文 只 是 从 理 论 模 型 和 方 法 框 架 方 面 做 了 一 些 初 步 的 阐 述, 这 些 构 想 是 否 符 合 实 图 6 行 为 链 的 构 建 账 号 创 建 文 件 修 改 注 册 表 内 存 属 性 变 化 进 程 变 化 等 等 ) 和 网 络 访 问 行 为 ( 域 名 解 析 请 求 HTTP 访 问 请 求 ARP 广 播 等 等 ) 在 对 主 机 行 为 分 析 之 前, 必 须 先 将 描 述 各 种 行 为 的 异 构 日 志 转 换 成 适 合 分 析 比 较 的 行 为 链 如 图 6 所 示, 左 侧 彩 色 横 条 代 表 各 种 不 同 类 型 的 日 志, 可 以 按 照 IP 地 址 或 账 号 ID 为 索 引, 生 成 行 为 链, 然 际, 还 需 要 在 实 际 的 分 布 式 计 算 平 台 ( 如 Hadoop) 上 开 发 相 应 的 算 法 程 序 来 做 大 量 的 验 证 性 的 工 作 加 以 证 明 除 了 分 析 算 法 以 外, 可 视 化 也 是 一 种 非 常 重 要 且 有 效 的 分 析 手 段 可 视 化 既 可 以 作 为 分 析 工 具, 直 接 以 图 形 方 式 呈 现 数 据 之 间 的 关 系, 提 高 数 据 可 读 性, 又 可 以 作 为 分 析 结 果 的 呈 现 工 具, 使 分 析 结 果 更 加 直 观 受 篇 幅 的 限 制, 本 文 没 有 对 可 视 化 呈 现 给 出 描 述, 希 望 后 续 有 机 会 做 出 补 充 10

13 专 家 视 角 简 析 Web 扫 描 网 络 数 据 特 征 核 心 技 术 部 周 大 刘 亚 关 键 字 : Web 扫 描 安 全 攻 防 网 络 数 据 漏 洞 摘 要 : 及 时 识 别 网 络 中 传 输 的 数 据 流 承 载 着 什 么 样 的 数 据 对 安 全 防 守 方 至 关 重 要, 在 Web 安 全 中 尤 其 如 此, 快 速 理 解 这 些 数 据 含 义 和 统 计 行 为 特 征 能 帮 助 防 守 方 及 时 发 现 进 行 中 的 攻 击, 从 而 极 大 地 提 升 产 品 防 护 能 力 本 文 将 从 介 绍 Web 扫 描 的 工 作 原 理 以 及 关 键 过 程 出 发, 实 际 分 析 某 Web 扫 描 器 在 扫 描 过 程 中 产 生 的 数 据, 最 后 试 着 归 纳 Web 扫 描 器 在 工 作 中 所 产 生 的 流 量 数 据 特 征 1. 前 言 下 基 于 Web 的 应 用 越 来 越 多, 其 承 当 载 的 价 值 更 是 成 倍 增 加, 吸 引 着 越 来 越 多 的 安 全 研 究 人 员 聚 焦 Web 安 全 攻 防 双 方 从 来 都 是 作 为 一 对 矛 盾 体 而 存 在 的, 深 入 理 解 攻 击 的 原 理 与 过 程 有 助 于 更 好 地 进 行 防 御 从 攻 击 的 角 度 看, 主 要 遵 循 信 息 收 集 漏 洞 利 用 战 果 再 扩 大 这 样 一 个 基 本 过 程, 而 Web 扫 描 往 往 是 信 息 收 集 中 不 可 缺 少 的 一 个 手 段 本 文 从 网 络 数 据 流 的 角 度 来 分 析 Web 扫 描 行 为, 分 析 其 数 据 特 征 2.Web 扫 描 工 作 原 理 与 关 键 步 骤 Web 扫 描 的 核 心 功 能 是 远 程 探 测 目 标 站 点 所 有 URL 存 在 的 Web 漏 洞, 网 页 爬 行 以 及 漏 洞 扫 描 是 它 的 两 个 主 要 组 成 部 分, 二 者 在 调 度 中 心 的 调 度 下 协 同 工 作 其 主 要 工 作 原 理 如 图 1 图 1 Web 扫 描 工 作 原 理 调 度 中 心 : 调 度 中 心 是 一 个 综 合 模 块, 包 含 开 启 扫 描 扫 描 参 数 解 析 初 始 化 爬 行 模 块 扫 描 模 块 以 及 其 他 相 关 模 块 扫 描 开 始 后, 先 启 动 调 度 中 心 模 块 完 成 初 始 化 工 作, 为 整 个 Web 扫 描 的 顺 利 进 行 做 准 备 ; 在 完 成 初 始 化 工 作 后, 启 动 爬 行 模 块 以 及 扫 描 模 块, 并 且 根 据 各 自 队 列 情 况 来 决 定 是 否 新 建 线 程 来 进 行 扫 描 或 爬 行 ; 在 扫 描 结 束 后 处 理 系 统 的 收 尾 工 作 调 度 中 心 的 主 要 功 能 是 协 调 各 个 组 件 的 正 常 运 行, 是 整 个 Web 扫 描 的 枢 纽 部 分 爬 行 模 块 : 爬 行 模 块 的 主 要 功 能 是 遍 历 目 标 站 点 上 的 页 面, 收 集 所 有 链 接 以 及 对 应 的 输 入 参 数 此 模 块 配 合 爬 虫 队 列 以 及 根 据 策 略 来 对 发 现 的 URL 进 行 消 重 处 理, 将 新 发 现 的 URL 放 入 其 内 部 的 待 爬 行 队 列 中, 而 将 已 经 爬 行 过 的 URL 提 交 给 待 扫 队 列 供 扫 描 分 析 用 爬 行 模 块 主 要 使 用 页 面 载 入 生 成 DOM 树 的 方 法 来 分 析 此 页 面 中 存 在 的 11

14 专 家 视 角 URL, 同 时 结 合 正 则 表 达 式 来 提 取 URL, 对 Flash 文 件 等 则 使 用 对 应 的 解 析 技 术 来 获 得 新 的 URL 而 对 无 法 使 用 页 面 遍 历 方 式 获 得 的 URL 则 需 要 使 用 猜 测 的 方 法 来 获 得 对 于 Web 扫 描 来 说, 爬 虫 功 能 是 很 重 要 的 一 个 功 能, 直 接 决 定 了 Web 扫 描 的 检 测 范 围 有 多 大 扫 描 模 块 : 漏 洞 的 最 终 发 现 由 扫 描 模 块 来 完 成, 扫 描 模 块 包 含 了 大 量 具 有 漏 洞 探 测 功 能 的 组 件, 它 们 根 据 漏 洞 的 成 因 特 性 甚 至 漏 洞 间 的 关 联 性 来 检 测 目 标 URL 上 是 否 存 在 Web 漏 洞 各 扫 描 组 件 间 互 相 依 赖, 协 同 收 集 目 标 站 点 上 的 相 关 信 息, 并 据 此 不 断 地 调 整 扫 描 组 件 的 工 作 状 态, 来 快 速 推 进 扫 描 的 进 行 爬 虫 队 列 : 爬 行 模 块 在 遍 历 目 标 站 点 的 URL 过 程 中, 会 不 断 地 读 取 分 析 URL 页 面 来 发 现 新 的 URL, 这 样 在 爬 行 中 需 要 记 录 已 经 爬 过 的 URL 列 表, 以 供 判 断 后 面 某 URL 是 否 需 要 继 续 爬 行 用, 新 发 现 的 URL 需 要 放 到 待 爬 行 队 列 中 这 样 爬 行 模 块 的 工 作 对 象 需 要 已 爬 URL 列 表 以 及 待 爬 URL 队 列, 在 这 里 统 称 为 爬 行 队 列 待 扫 队 列 : 所 有 被 爬 行 队 列 发 现 的 URL 都 会 进 入 此 队 列, 调 度 中 心 从 中 取 出 URL 供 扫 描 模 块 使 用 此 队 列 是 连 接 爬 行 模 块 和 扫 描 模 块 的 一 个 重 要 数 据 结 构, 主 要 遵 循 队 列 的 一 般 用 法, 如 先 进 先 出 策 略, 使 用 上 相 对 简 单 Web 扫 描 是 一 个 模 拟 浏 览 器 对 目 标 站 点 进 行 全 面 访 问 的 过 程, 同 时 为 了 对 抗 防 护 设 备 的 干 扰, 需 要 尽 可 能 模 拟 正 常 访 问 行 为 但 是, 不 管 怎 么 模 拟 伪 装,Web 扫 描 过 程 中 都 可 能 存 在 区 别 于 一 般 网 站 访 问 的 行 为, 以 此 为 出 发 点, 下 面 对 整 个 扫 描 中 的 一 些 关 键 过 程 做 如 下 介 绍 : 网 站 基 本 信 息 收 集 : 在 开 始 扫 描 时,Web 扫 描 程 序 需 要 判 断 目 标 网 站 是 否 可 达, 收 集 脚 本 类 型 服 务 器 类 型 等, 这 些 信 息 有 助 于 后 续 扫 描 优 化 特 殊 404 页 面 识 别 : 对 不 存 在 的 页 面,RFC 标 准 是 返 回 HTTP 的 404 响 应 码, 但 某 些 网 站 会 对 此 情 况 做 一 些 定 制 处 理, 比 如 仍 然 返 回 正 常 的 200 响 应 码, 这 就 无 法 根 据 目 标 是 否 返 回 200 响 应 码 来 判 断 所 请 求 的 页 面 是 否 存 在 为 了 让 Web 扫 描 能 正 常 进 行, 往 往 需 要 引 入 非 标 准 404 页 面 识 别 的 功 能 可 能 的 一 种 做 法 是 通 过 请 求 一 些 确 定 不 存 在 的 页 面, 分 析 其 返 回 页 面, 抽 取 出 特 征, 在 后 面 的 扫 描 中 对 获 得 的 响 应 也 应 用 同 样 的 算 法 抽 取 特 征 进 行 比 对, 如 果 相 同 就 认 为 本 次 请 求 的 资 源 不 存 在 对 一 个 功 能 完 备 的 Web 扫 描 器 来 说, 特 殊 404 页 面 的 识 别 是 必 不 可 少 的 猜 测 : 一 般 情 况 下, 网 站 上 都 会 有 一 些 链 接 是 孤 立 的, 无 法 通 过 爬 虫 遍 历 的 方 式 来 访 问, 在 这 个 时 候 就 需 要 借 助 猜 测 功 能 一 般 猜 测 的 范 围 包 括 源 码 备 份 文 件 数 据 备 份 文 件 管 理 后 台 甚 至 cvs/ svn 相 关 的 配 置 文 件 等 下 面 实 际 搭 建 环 境 来 分 析 这 些 环 节 在 网 络 数 据 中 的 一 些 表 现 以 及 特 征 3. 实 例 分 析 1. 环 境 搭 建 在 本 文 中 分 析 的 网 络 数 据 主 要 是 HTTP 层 的, 一 般 的 Web 扫 描 器 不 会 考 虑 自 己 实 现 底 层 协 议, 这 里 就 不 考 虑 底 层 协 议 的 数 据 特 点 ; 同 时 在 Web 扫 描 领 域, 需 要 支 持 HTTPS 协 议, 通 过 直 接 抓 包 12

15 专 家 视 角 方 式 难 以 满 足 此 部 分 需 求 在 综 合 评 估 后 发 现 使 用 HTTP 代 理 可 满 足 我 们 的 需 求 由 于 需 要 分 析 数 据 内 容, 需 要 增 强 普 通 的 HTTP 代 理 服 务 器, 使 其 具 有 记 录 数 据 包 的 功 能 这 样, 测 试 环 境 的 网 络 拓 扑 结 构 如 图 2 所 示. Web 扫 描 器 选 用 常 见 的 某 Web 扫 描 器 作 为 研 究 对 象, 其 在 实 现 和 使 用 上 都 具 有 一 定 的 代 表 性 HTTP 代 理 程 序 则 根 据 研 究 需 要 做 了 如 下 增 强 : 程 序 Discuz x2 作 为 应 用 3) 测 试 站 点 : 某 Web 扫 描 器 自 身 提 供 的 测 试 站 点, 包 含 了 大 部 分 常 见 Web 漏 洞 下 面 针 对 这 三 种 情 况 一 一 介 绍 2. 数 据 分 析 在 对 目 标 站 点 扫 描 完 成 后, 对 HTTP 代 理 保 存 的 数 据 进 行 分 析, 我 们 看 到 在 请 求 数 据 中 存 在 以 下 特 点 : 1. HTTP 头 存 在 固 定 信 息, 大 部 分 请 求 包 都 会 比 平 常 的 浏 览 器 图 2 测 试 环 境 网 络 拓 扑 结 构 1) 当 使 用 CONNECT 请 求 时, 需 要 将 其 中 的 HTTPS 请 求 数 据 请 求 增 加 3 个 字 段 ( 文 中 所 有 出 现 ******* 为 模 糊 处 理 ) 还 原 出 来, 然 后 向 目 标 网 站 发 起 实 际 的 HTTPS 请 求, 在 接 收 到 目 标 网 站 的 响 应 后 再 将 数 据 发 送 给 Web 扫 描 器 2) 对 所 有 通 过 的 HTTP 请 求 响 应 会 话, 都 记 录 开 始 时 间 结 束 时 间, 并 记 录 请 求 包 和 响 应 包 中 的 完 整 数 据 3) HTTP 代 理 通 过 线 程 来 处 理 HTTP 会 话, 一 个 会 话 用 单 独 的 一 个 线 程 来 处 理, 确 保 不 会 出 现 Web 扫 描 器 向 HTTP 代 理 发 出 请 求 而 得 不 到 响 应 的 情 况 在 本 文 中, 目 标 站 点 主 要 选 择 了 三 个 类 型 : 1) 空 站 点 : 自 搭 建 但 无 任 何 页 面 的 站 点 空 站 点 包 括 基 于 Linux+Apache 和 Windows+IIS 的 两 种 类 型 空 站 点 由 于 不 存 在 页 面,Web 扫 描 器 在 进 行 扫 描 时 发 出 的 扫 描 数 据 包 会 比 较 少, 是 分 析 Web 扫 描 器 行 为 的 较 好 目 标 2) 常 规 网 站 : 自 己 搭 建 的 站 点, 采 用 国 内 比 较 流 行 的 论 坛 建 站 可 看 出 每 个 字 段 里 都 包 含 扫 描 器 的 相 关 信 息, 这 类 信 息 主 要 用 于 标 识 是 由 什 么 Web 扫 描 器 发 出 的 数 据 包 另 外, 有 些 Web 扫 描 器 发 出 的 请 求 头 中 User-Agent 字 段 也 能 看 到 扫 描 器 的 特 定 信 息, 同 时 它 们 也 支 持 对 此 字 段 的 修 改, 所 以 在 大 部 分 情 况 下, 收 集 分 析 HTTP 头 里 包 含 的 信 息 对 理 解 数 据 包 来 源 具 有 较 大 帮 助 2. 向 目 标 站 点 请 求 不 存 在 的 文 件, 针 对 空 站 点 的 扫 描 尤 其 明 显 在 扫 描 空 站 点 时, 只 存 在 一 个 根 页 面, 实 际 不 可 能 发 现 其 他 页 面, 但 在 针 对 此 目 标 进 行 扫 描 时, 却 发 出 了 大 量 的 URL 请 求 通 过 分 析 这 些 URL 路 径, 可 归 为 如 下 几 类 : 1) 肯 定 不 存 在 页 面 的 探 测 在 开 始 扫 描 时, 会 向 目 标 发 出 请 求 /*******-test-for-some- 13

16 专 家 视 角 inexistent-file, 这 个 请 求 用 来 分 析 页 面 不 存 在 时 的 特 征, 判 断 目 标 站 点 是 否 使 用 了 特 殊 404 页 面 如 果 发 现 目 标 开 启 了 特 殊 404 页 面, 后 面 扫 描 时 就 需 要 据 此 特 征 进 行 比 较 分 析 2) 不 存 在 扩 展 名 的 猜 测 在 一 个 Web 应 用 建 成 后, 正 常 浏 览 时 所 使 用 的 扩 展 名 只 是 有 限 的 几 个, 而 Web 扫 描 为 了 能 探 测 出 更 多 的 隐 藏 资 源, 会 发 出 大 量 的 实 际 不 存 在 的 扩 展 名 请 求 来 下 面 是 实 验 中 对 各 目 标 站 点 进 行 扫 描 后 得 到 的 统 计 数 据, 如 表 1 所 示 可 以 看 出, 在 针 对 两 类 空 站 点 的 扫 描 中, 请 求 中 出 现 了 常 见 动 态 解 析 脚 本 扩 展 名.php.jsp.asp.aspx, 它 们 按 一 定 比 例 出 现, 并 且 后 三 种 的 请 求 次 数 基 本 相 等 ; 而 在 常 规 网 站 以 及 测 试 站 点 中, 其 主 要 动 态 解 析 脚 本 扩 展 名 则 明 显 高 于 其 他 几 个 这 是 因 为 扫 描 器 在 针 对 空 站 点 的 扫 描 中 无 法 获 得 目 标 站 点 实 际 使 用 的 主 要 扩 展 名, 就 只 能 对 所 有 可 能 出 现 的 常 见 扩 展 名 进 行 猜 测 ; 而 对 常 规 站 点 扫 描 由 于 能 正 常 爬 取 到 页 面, 可 识 别 出 目 标 站 点 主 要 使 用 的 动 态 解 析 脚 本 所 使 用 的 扩 展 名, 在 扫 描 过 程 中 也 会 对 此 进 行 优 表 1 扩 展 名 分 布 ( 统 计 分 析 出 现 次 数 最 多 的 前 10 个 扩 展 名 ) 空 站 (windows) 空 站 点 (linux) 常 规 网 站 (php) 测 试 站 点 (asp) 扩 展 名 次 数 扩 展 名 次 数 扩 展 名 次 数 扩 展 名 次 数 无 831 无 787.php 7366 无 873.php 135.php 101 无 192.asp 804.ini 72.jsp 45.css 24.php 132.aspx 47.aspx 42.yml 15.ini 72.jsp 45.asp 40.js 8.jsp 51.asp 43.ini 39.xml 6.aspx 46.sql 20.sql 20.html 5.sql 20.txt 20.txt 20.jsp 4.txt 20.log 19.mdb 17 vulnweb 4.log 18.yml 19.log 17.cfm 4.yml 18 化, 直 接 表 现 为 其 他 扩 展 名 所 占 比 例 小 很 多 3) 特 定 目 录 / 页 面 的 猜 测 猜 测 部 分 主 要 是 对 管 理 后 台 入 口 的 猜 测,Web 扫 描 器 内 部 通 常 会 维 护 一 组 常 见 后 台 管 理 入 口 列 表 在 针 对 空 站 点 (linux) 的 扫 描 中,URL 中 包 含 admin 的 数 量 有 78 条, 有 7 条 是 针 对 login 的 URL 猜 测 这 些 猜 测 基 本 包 含 了 常 见 的 路 径 组 合 以 及 简 单 变 形 4) 备 份 文 件 备 份 文 件 主 要 是 指 目 标 站 点 上 存 在 对 关 键 源 码 文 件 的 备 份, 使 用 的 扩 展 名 会 被 服 务 器 当 作 二 进 制 文 件 下 载, 使 得 敏 感 信 息 泄 露 在 针 对 空 站 点 (linux) 的 扫 描 中, 仅 出 现.bak 的 请 求 就 有 7 处 3. 向 目 标 站 点 发 出 了 不 常 见 的 请 求 方 法 对 扫 描 过 程 中 使 用 的 请 求 方 法 做 汇 总 后, 发 现 除 了 常 见 的 GET 和 POST 外, 还 出 现 了 OPTIONS TRACE TRACK 等 方 法, 甚 至 可 能 出 现 自 定 义 的 请 求 方 法, 如 表 2 所 示 14

17 专 家 视 角 表 2 扫 描 过 程 中 使 用 的 请 求 方 法 空 站 点 (windows) 空 站 点 (linux) 常 规 网 站 (php) 测 试 站 点 (asp) 方 法 次 数 方 法 次 数 方 法 次 数 方 法 次 数 GET 1587 GET 1394 POST GET 5557 POST 12 POST 11 GET 7338 POST 1369 PUT 4 OPTIONS 2 TRACE 1 OPTIONS 3 PROPFIND 4 TRACE 1 TRACK 1 TRAE 1 OPTIONS 3 TRACK 1 ACUNETIX 1 TRACK 1 DEBUG 2 OPTIONS 1 DEBUG 1 TRACE 1 TRACK 1 自 定 义 方 法 1 从 表 2 中 还 可 看 出, 常 规 网 站 以 及 测 试 站 点 的 扫 描 中, 都 出 现 了 大 量 的 POST 请 求 实 际 上, 这 些 站 点 并 未 使 用 ajax 技 术 来 向 站 点 提 交 数 据, 在 人 工 浏 览 这 些 网 站 时, 不 会 出 现 这 样 大 量 的 POST 请 求 4. 并 发 连 接 的 特 点 Web 扫 描 为 了 提 高 扫 描 效 率, 往 往 会 采 用 多 线 程 或 多 进 程 来 进 行, 这 点 从 扫 描 参 数 设 置 可 看 出 来, 也 可 在 扫 描 过 程 中 通 过 执 行 netstat -na 来 验 证 在 网 络 数 据 上 则 表 现 为 多 个 HTTP 连 接 的 数 据 包 在 时 间 上 是 交 错 出 现 的 5. 当 某 页 面 具 有 多 个 参 数 时, 会 出 现 对 同 一 个 页 面 多 次 变 换 参 数 进 行 请 求 的 行 为, 在 请 求 数 据 中 可 看 到 包 含 SQL 注 入 XSS 等 Web 攻 击 串 特 征 在 对 常 规 网 站 的 扫 描 中, 对 Web 扫 描 中 常 用 的 一 些 关 键 字 统 计 如 表 3 所 示 6. 响 应 码 分 布 的 特 点 由 于 Web 扫 描 中 包 括 目 录 或 文 件 猜 测 以 及 会 发 送 一 些 特 殊 的 请 求, 使 得 响 应 码 与 正 常 网 络 浏 览 差 异 较 大, 如 表 4 所 示 根 据 HTTP 协 议 标 准 RFC 2616 中 对 响 应 码 的 定 义, 响 应 码 由 三 个 数 字 组 成, 第 一 位 定 义 了 错 误 的 类 型, 后 面 两 位 是 标 识 错 误 类 型 下 的 具 体 错 误 2xx 是 响 应 成 功 的 标 志 ;3xx 是 重 定 向 相 关 的 响 应 类 型 ;4xx 是 请 求 错 误, 包 括 请 求 端 语 法 错 误 或 者 无 法 完 成 的 请 求 ; 5xx 是 服 务 端 错 误 对 于 空 站 点 来 说, 出 现 200 的 情 况 很 小, 大 部 分 都 是 不 存 在 的 404 以 及 其 他 的 响 应 码 ; 在 常 规 网 站 测 试 网 站 中, 4 或 5 开 头 的 响 应 码 所 占 比 例 很 高 在 正 常 访 问 中,2xx 的 响 应 码 占 大 部 分 情 况,4xx 或 5xx 的 响 应 码 在 所 有 请 求 中 所 占 比 例 不 可 能 很 高 大 量 的 URL 猜 测 是 导 致 4xx 出 现 比 率 增 加 的 主 要 原 因,5xx 则 是 由 于 Web 扫 描 器 对 参 数 做 变 形 攻 击, 使 得 目 标 服 务 器 报 错 导 致 当 然, 除 了 上 述 特 点 外, 还 存 在 一 些 特 性, 比 如 在 扫 描 期 间, 存 在 并 发 访 问 请 求 高, 造 成 目 标 服 务 器 在 此 时 段 内 负 载 增 高 的 情 况 等 4. 特 征 汇 总 从 上 一 节 的 实 例 分 析 来 看,Web 扫 描 过 程 中 的 关 键 步 骤 在 网 络 数 据 中 都 有 所 体 现, 明 显 区 分 于 正 常 的 浏 览 器 访 问 请 求 具 体 说 来 可 归 纳 为 如 下 几 点 : 1) 访 问 请 求 数 据 在 扫 描 时 间 段 内 比 较 密 集 15

18 专 家 视 角 表 3 Web 扫 描 中 常 用 的 关 键 字 关 键 字 出 现 次 数 说 明 select 169 sql 注 入 检 测 使 用 prompt 79 XSS 检 测 alert 528 XSS 检 测 文 件 包 含 任 意 文 件 查 看 等 穿 越 指 定 目 录 类 型 的 漏 洞 表 4 响 应 码 分 布 特 点 空 站 点 (windows) 空 站 点 (linux) 常 规 网 站 (php) 测 试 站 点 (asp) 方 法 次 数 方 法 次 数 方 法 次 数 方 法 次 数 ) 对 一 些 扫 描 器 来 说, 其 发 出 的 HTTP 请 求 头 大 部 分 情 况 下 会 带 有 一 些 明 显 特 征 3)HTTP 请 求 使 用 了 多 种 不 常 见 方 法 4) 属 于 攻 击 行 为 的 关 键 字 在 请 求 包 中 大 量 出 现 5) 错 误 响 应 码 在 扫 描 时 段 内 出 现 的 比 例 明 显 增 加 6) 一 些 在 正 常 访 问 请 求 中 不 常 见 的 扩 展 名 会 大 量 出 现 在 扫 描 时 段 5. 小 结 本 文 介 绍 了 Web 扫 描 的 工 作 原 理 以 及 关 键 过 程, 并 实 地 分 析 了 某 Web 扫 描 器 在 工 作 过 程 中 产 生 的 网 络 数 据, 并 对 其 特 征 做 了 汇 总 从 这 些 特 征 出 发, 我 们 可 比 较 容 易 地 区 分 开 Web 扫 描 与 正 常 浏 览 器 的 访 问 行 为, 这 些 特 征 点 也 是 在 Web 安 全 中 攻 防 双 方 争 战 的 焦 点 所 在 6. 参 考 文 献 1.zaproxy. p/zaproxy/ 2.Vulnerabilit y Sc anning Tools. w w w.owasp.org/ index.php/ Category:Vulnerability_Scanning_Tools 3.nikto. 4.Web Application Firewall. Application_Firewall 5.Hyper text Transfer Protocol HTTP/

19 专 家 视 角 浅 谈 信 息 安 全 早 期 预 警 理 论 模 型 早 期 预 警 系 统 的 整 体 模 型 广 州 分 公 司 肖 岩 军 关 键 字 : 早 期 预 警 CNCI FISMA CAESARS 框 架 态 势 感 知 风 险 量 化 摘 要 : 本 文 描 述 了 一 种 基 于 持 续 监 控 保 障 态 势 感 知 和 安 全 量 化 计 分 技 术 的 早 期 预 警 系 统 的 整 体 模 型, 并 对 模 型 的 态 势 感 知 持 续 监 控 风 险 量 化 计 分 部 分 展 开 叙 述, 提 出 一 种 基 于 对 抗 的 智 能 态 势 感 知 预 警 模 型 基 于 保 障 的 持 续 监 控 模 型 和 基 于 6sigma 的 自 动 化 安 全 量 化 模 型, 并 展 示 了 部 分 研 究 成 果 本 篇 为 系 列 第 一 篇 一 引 言 着 网 络 安 全 事 件 损 失 的 逐 渐 扩 大 以 及 各 个 国 家 对 网 络 这 个 不 随 对 称 战 争 的 新 领 域 的 逐 渐 重 视, 发 达 国 家 开 始 建 立 起 国 家 层 面 的 早 期 预 警 系 统, 而 且 开 始 指 导 相 关 的 政 府 单 位 运 营 商 金 融 电 网 等 高 度 依 赖 信 息 化 的 基 础 设 施 提 供 商 建 立 相 关 的 企 业 级 别 的 早 期 预 警 平 台, 统 一 对 运 行 质 量 进 行 监 管, 并 开 始 进 行 一 系 列 的 安 全 演 习 来 检 验 各 个 单 位 的 安 全 防 护 建 设 质 量 2013 年 7 月, 美 国 组 织 摩 根 大 通 美 国 银 行 花 旗 银 行 等 大 约 50 家 金 融 公 司 和 政 府 机 构 参 加 了 名 为 量 子 黎 明 2 的 演 习, 其 中 有 美 国 联 邦 调 查 局 证 券 交 易 委 员 会 财 政 部 和 国 安 局 等 重 要 部 门, 测 试 银 行 如 何 应 对 电 脑 黑 客 攻 击, 为 应 对 新 一 轮 全 球 威 胁 做 好 准 备 传 统 的 风 险 管 理 基 于 风 险 评 估, 基 于 风 险 评 估 的 结 果 展 开 安 全 控 制 点 建 设 安 全 脆 弱 点 修 补, 并 持 续 监 控 残 余 风 险 但 在 实 际 中, 人 工 风 险 评 估 成 本 的 高 昂 使 得 风 险 评 估 频 率 和 有 效 性 大 打 折 扣, 而 安 全 控 制 手 段 的 有 效 性 却 没 有 在 风 险 评 估 中 得 到 有 效 体 现 如 风 险 评 估 中 很 少 对 入 侵 检 测 防 火 墙 等 设 备 展 开 有 效 性 评 估, 导 致 部 分 虽 然 通 过 评 估, 但 是 仍 然 被 人 入 侵 篡 改 最 重 要 的 是, 安 全 是 一 个 动 态 的 过 程, 仅 仅 通 过 静 态 的 评 估 是 无 法 体 现 安 全 状 态 的 近 年 来, 由 于 安 全 控 制 手 段 的 成 熟, 安 全 工 作 逐 渐 从 事 后 的 评 估 和 响 应 走 向 预 防 为 主, 逐 渐 从 人 工 评 估 文 档 工 作, 转 向 关 注 在 自 动 化 安 全 运 维 保 障 风 险 持 续 监 控 保 障 态 势 感 知 和 安 全 量 化 计 分 技 术 的 企 业 风 险 早 期 预 警 系 统, 越 来 越 关 注 风 险 的 可 视 化 能 力, 安 全 也 越 来 越 走 向 落 地 随 之 而 来 的 带 了 新 的 研 究 课 题, 如 风 险 可 视 化 技 术 态 势 感 知 技 术 早 期 预 警 技 术 风 险 持 续 监 控 技 术 等 领 域, 安 全 也 从 早 期 希 望 能 够 一 招 打 天 下 的 人 海 战 术 模 式, 开 始 向 精 细 化 模 块 化 系 统 化 规 范 化 自 动 化 平 台 模 式 开 展, 越 来 越 重 视 安 全 的 预 警 和 保 障 本 文 简 述 了 发 达 国 家 的 信 息 安 全 早 期 预 警 系 统 的 相 关 建 设 和 规 范, 并 根 据 实 践 提 出 了 一 个 能 够 落 地 的 信 息 安 全 早 期 预 警 模 型 二 发 达 国 家 的 信 息 安 全 早 期 预 警 相 关 建 设 17

20 专 家 视 角 2.1 网 络 安 全 预 警 保 障 能 力 的 重 要 性 发 达 国 家 中, 美 国 在 早 期 预 警 方 面 建 设 较 早, 在 2004 年 启 动 了 爱 因 斯 坦 计 划 2009 年 5 月 29 日, 美 国 总 统 奥 巴 马 发 布 网 络 空 间 政 策 审 查 _ 保 证 一 个 可 信 与 有 弹 性 的 信 息 和 通 信 基 础 设 施 报 告, 其 中 强 调 美 国 21 世 纪 的 经 济 繁 荣 将 依 赖 于 网 络 安 全, 非 常 明 显, 网 络 威 胁 是 我 们 面 临 的 最 严 重 的 国 家 经 济 和 国 家 安 全 挑 战 之 一 在 这 个 报 告 中 更 强 调 网 络 空 间 的 战 略 预 警 能 力, 联 邦 政 府 应 提 高 自 身 向 总 统 提 供 网 络 入 侵 或 攻 击 的 战 略 预 警 的 能 力, 而 且 定 下 了 相 关 行 动 建 议 中 期 行 动 建 议 :(⒌) 确 定 最 高 效 最 有 效 的 机 制 以 便 获 得 战 略 性 警 报 保 持 态 势 感 知 能 力 和 事 故 响 应 能 力 无 独 有 偶,2008 年 11 月, 法 国 政 府 发 布 国 防 与 国 家 安 全 白 皮 书, 其 中 明 确 提 到 : 开 发 早 期 预 警 系 统, 建 立 一 个 检 测 中 心 以 发 现 网 络 攻 击, 负 责 常 设 的 关 键 网 络 监 视 并 且 实 现 正 当 的 防 卫 机 制 通 过 发 展 防 御 和 攻 击 性 的 网 络 战 能 力 提 升 信 息 技 术 的 优 势 2.2 美 国 的 相 关 早 期 预 警 建 设 全 面 的 国 家 网 络 安 全 行 动 CNCI 战 略 和 FISMA 法 案 2008 年 1 月, 时 任 美 国 总 统 的 布 什 发 布 了 一 项 重 大 信 息 安 全 政 策, 称 为 第 54 号 国 家 安 全 总 统 令 ( NSPD54)/ 第 23 号 国 土 安 全 总 统 令 ( HSPD23), 其 核 心 是 对 重 大 信 息 安 全 行 动 做 出 的 总 体 部 署 即 全 面 的 国 家 网 络 安 全 行 动 (CNCI), 被 美 国 一 些 媒 体 称 为 信 息 安 全 的 曼 哈 顿 计 划 奥 巴 马 政 府 上 台 后, 该 计 划 正 式 部 署 并 进 入 全 面 实 施 该 计 划 对 之 前 信 息 安 全 战 略 做 了 总 结, 并 对 出 了 一 些 新 的 战 略 计 划 实 际 上, 美 国 为 了 落 地 信 息 安 全 战 略, 早 在 2002 年 就 颁 布 了 联 邦 信 息 安 全 管 理 法 (FISMA), 确 立 了 美 国 联 邦 信 息 系 统 安 全 的 总 体 制 度 框 架, 明 确 了 管 理 责 任 FISMA 把 责 任 分 配 到 各 个 机 构, 以 确 保 联 邦 政 府 的 数 据 安 全 该 法 案 要 求 程 序 员 和 每 个 机 构 的 负 责 人 对 信 息 安 全 计 划 执 行 年 度 评 审, 目 的 是 为 了 以 一 种 低 开 销 及 时 和 有 效 的 方 式 来 把 风 险 控 制 在 可 接 受 的 范 围 之 内 另 外 对 于 监 控 政 府 网 络 等, 提 供 了 法 律 依 据 2010 年, 美 国 发 布 了 FISMA 2.0, 梳 理 了 从 2002 年 到 2010 年 FISMA 的 实 施 经 验, 更 新 了 工 作 重 点, 新 的 重 点 要 求 各 机 构 的 信 息 安 全 方 案 中 必 须 包 含 信 息 系 统 的 持 续 监 控 工 作 重 心 转 移 到 实 时 监 控 并 且 在 总 体 设 计 中 整 合 网 络 安 全, 而 不 是 停 留 在 事 后 的 追 悔 新 的 指 引 改 变 关 注 点, 从 部 门 以 及 机 构 开 发 静 态 基 于 文 件 的 合 规 报 告 到 持 续 的 实 时 监 控 联 邦 网 络 同 时 正 在 建 立 以 实 时 监 控 为 基 础 的 基 于 风 险 的 绩 效 评 价, 并 且 这 个 评 价 将 最 终 被 纳 入 上 级 官 员 绩 效 考 核 这 个 变 化 意 味 着 机 构 将 能 够 迅 速 地 发 现 脆 弱 性 并 且 主 动 地 防 范 攻 击 针 对 网 络 攻 击 的 早 期 预 警 防 护 架 构 : 爱 因 斯 坦 和 可 信 互 联 网 连 接 (TIC) 计 划 美 国 为 了 应 对 网 络 攻 击, 在 2004 年 启 动 了 爱 因 斯 坦 计 划, 目 标 是 在 政 府 网 络 出 口 部 署 入 侵 检 测 netflow 检 测 入 侵 防 护 系 统 来 提 供 攻 击 的 早 期 预 警 和 攻 击 防 护 随 后 2007 年, 提 出 可 信 互 联 网 连 接 (TIC) 计 划, 目 标 是 将 联 邦 政 府 8000 个 网 络 出 口 归 并 为 50 个 左 右 出 口 整 合 后, 便 于 进 行 安 全 设 备 统 一 部 署, 监 控 和 防 护 也 能 做 到 一 18

21 专 家 视 角 体 化 随 着 进 展 的 深 入, 目 前 美 国 已 经 把 这 个 项 目 做 到 基 层, 基 层 的 办 事 处 也 可 以 通 过 运 营 商 提 供 NBIP-VPN, 连 接 到 相 关 网 络 中, 统 一 上 互 联 网 信 息 安 全 持 续 监 控 (ISCM) 定 义 为 对 信 息 安 全 脆 弱 性 和 威 胁 保 持 持 续 的 评 估, 来 支 撑 组 织 的 风 险 管 理 决 策 实 际 上, 其 背 后 有 一 系 列 的 标 准 支 撑 包 括 SP A 等, 基 于 美 国 NIST 的 国 家 漏 洞 数 据 库 (NVD) 和 安 全 配 置 清 单 为 了 配 合 持 续 监 控 战 略,NIST 推 出 了 SP 规 范, 其 中 的 安 全 模 型 就 是 美 国 国 土 安 全 部 推 出 的 CAESARS 凯 撒 ( 连 续 资 产 评 估 态 势 感 知 和 风 险 计 分 ) 框 架, 凯 撒 框 架 提 出 了 安 全 状 态 监 测 和 风 险 评 分 的 基 础 上 安 全 目 标 状 态 的 参 考 架 构, 结 合 了 三 大 联 邦 机 构 的 工 作, 即 国 务 院 的 安 全 风 险 评 分 系 统 财 政 部 和 国 税 局 的 安 全 性 遵 从 状 况 监 测 和 报 告 (SCPMaR) 系 统 和 司 法 部 使 用 的 BigFix 系 统 和 网 络 安 全 评 估 和 管 理 (CSAM) 工 具, 以 及 相 关 的 基 于 资 产 配 置 漏 洞 和 补 丁 的 发 现 和 针 对 保 障 的 持 续 监 控 计 划 和 强 身 份 验 证 持 续 监 测 计 划 2010 年 的 联 邦 信 息 安 全 管 理 法 (Federal Information Security Management Act), 又 称 FISMA 2.0, 要 求 各 机 构 的 信 息 安 全 方 案 中 必 须 包 含 信 息 系 统 的 持 续 监 测 美 国 行 政 管 理 和 预 算 局 (OMB) 已 经 规 定 了 最 后 的 期 限, 各 机 构 的 首 席 信 息 官 必 须 在 2012 财 年 结 束 之 前 实 施 可 持 续 监 测 网 络 安 全 的 软 件 要 求 各 机 构 持 续 监 测 其 整 个 IT 环 境, 修 复 有 漏 洞 且 不 合 规 的 项 目, 并 根 据 联 邦 数 据 调 用 要 求 出 具 报 告 通 过 持 续 监 测 计 划, 美 国 联 邦 政 府 从 以 前 可 能 手 动 审 核 的 联 邦 信 息 系 统 法 规 遵 从 性, 到 接 近 实 时 的 自 动 化 进 程, 可 动 态 管 理 企 业 的 风 险 联 邦 政 府 为 这 个 项 目, 从 2013 年 起,5 年 内 拨 款 60 亿 美 元, 用 于 采 购 相 关 技 术 工 具 和 服 务 管 理 的 相 关 安 全 态 势 监 控 工 具, 给 出 了 一 个 可 以 落 地 的 参 考 架 构 而 在 SP 给 出 了 一 套 结 合 ITIL 和 6 Sigma DMAIC 过 程 的 风 险 计 分 架 构 以 强 化 安 全 落 地,CAESARS 凯 撒 框 架 则 给 出 了 能 力 模 型 和 架 构 模 型 用 以 指 导 相 关 单 位 建 设 强 认 证 (PIV) 计 划 只 有 密 码 是 不 能 提 供 强 大 的 安 全 性 的 美 国 希 望 所 有 用 户 能 够 使 用 双 因 素 身 份 验 证 登 录 到 联 邦 的 所 有 计 算 机, 不 管 是 登 录 系 统 首 页 或 者 坐 在 他 们 在 办 公 室 的 登 录 个 人 电 脑 强 身 份 验 证 是 指 联 邦 员 工 可 以 使 用 符 合 12 号 总 统 令 要 求 的 身 份 验 证 (PIV) 卡 和 密 码, 以 确 保 只 有 授 权 的 员 工 可 以 对 联 邦 信 息 系 统 的 访 问 目 前 美 国 国 防 部 (DoD) 超 过 370 万 用 户 使 用 的 PIV 通 用 访 问 卡 登 录 到 DoD 网 络 所 需 的 92% 业 务 系 统, 在 美 国 联 邦 各 个 政 府 一 路 领 先 此 外,DoD 19

22 专 家 视 角 扩 大 的 数 字 签 名 和 加 密 使 用 到 多 个 业 务 软 件 应 用 程 序, 用 户 可 以 安 图 1 早 期 预 警 系 统 整 体 架 构 模 型 全 地 签 名 2010 年 起, 美 国 对 PIV 所 覆 盖 的 业 务 系 统 进 行 考 核, 目 标 是 2013 年 达 到 95% 的 覆 盖 度 三 早 期 预 警 系 统 整 体 模 型 3.1 概 述 实 际 上 设 计 早 期 预 警 架 构 还 是 需 要 从 传 统 的 风 险 = 资 产 + 威 胁 + 脆 弱 性 的 架 构 来 考 虑 资 产 管 理 是 传 统 的 运 维 管 理 的 范 畴 威 胁 管 理 重 点 考 虑 的 是 态 势 感 知, 是 安 全 事 件 发 生 的 感 知 能 力 和 呈 现 能 力, 通 过 态 势 感 知 来 进 行 智 能 安 全 决 策, 进 行 攻 击 的 早 期 预 警 脆 弱 性 管 理 重 点 是 风 险 评 估 发 现 的 漏 洞 和 残 余 风 险 的 持 续 监 控, 而 近 年 来, 更 强 调 自 动 化 的 评 估 和 呈 现, 通 过 已 知 脆 弱 性 来 预 警 相 关 的 攻 击, 如 美 国 国 家 航 空 航 天 局 NASA 就 通 过 已 知 的 RSA 被 入 侵, 根 证 书 被 窃 取, 可 能 影 响 到 NASA,NASA 重 点 对 RSA 系 统 进 行 监 控, 避 免 了 一 起 针 对 其 的 APT 攻 击 行 为 风 险 管 理 就 需 要 结 合 资 产 管 理 威 胁 管 理 和 脆 弱 性 管 理 的 结 构 进 行 统 一 风 险 呈 现 3.2 整 体 架 构 模 型 整 体 架 构 设 计 上, 还 是 借 鉴 CAESARS 凯 撒 框 架 的 4 层 模 型, 即 传 感 器 子 系 统 资 料 库 /A 存 储 库 子 系 统 分 析 / 风 险 评 分 子 系 统 和 展 示 和 报 告 子 系 统 功 能 模 块 上, 设 计 了 持 续 监 控 态 势 感 知 安 全 运 维 和 知 识 标 准 库 以 及 风 险 计 分, 如 图 1 所 示 各 模 块 的 重 点 如 下 : 态 势 感 知 模 块 英 语 中 信 息 和 情 报 是 相 同 单 词, 因 此 国 内 外 关 注 态 势 感 知 更 关 注 情 报 的 部 分, 关 注 企 业 关 注 的 威 胁 管 理 范 畴, 增 强 企 业 态 势 感 知 能 力, 完 善 企 业 的 早 期 预 警 其 中 重 点 围 绕 威 胁 开 展, 典 型 的 威 胁 包 括 网 络 入 侵 检 测 DDoS 攻 击 检 测 僵 木 蠕 检 测 和 APT 检 测 按 照 业 界 的 通 用 规 范, 这 部 分 是 提 供 给 统 一 的 接 口, 把 检 测 和 防 护 设 备 ( 如 IPS WAF 防 火 墙 防 病 毒 ) 的 日 志 进 行 统 一 收 集, 进 而 感 知 到 威 胁 的 来 临 这 部 分 实 际 上 已 经 成 为 难 点 大 数 据 时 代, 海 量 且 多 样 化 的 数 据 海 量 的 设 备 千 兆 字 节 的 传 输 速 度 数 据 包 有 效 载 荷 加 密 ( 如 IPv6) 虚 拟 化 服 务 和 云 计 算 的 应 用, 伴 随 的 网 络 攻 击 加 剧 和 攻 击 战 术 的 衍 变, 海 量 的 威 胁 态 势 可 能 淹 没 我 们 现 有 的 风 险 管 理 能 力 因 此, 在 大 数 据 时 代, 实 现 态 势 感 知, 必 须 要 从 新 角 度 来 观 察 数 据, 用 新 方 法 来 分 析 数 据, 实 现 人 工 智 能 的 决 策 知 识 系 统 图, 实 20

23 专 家 视 角 现 决 策 检 测 和 分 析 一 体 化, 实 现 从 信 息 向 情 报 的 转 化, 从 而 有 效 为 预 警 服 务 持 续 监 控 模 块 持 续 监 控 模 块 关 注 的 重 点 是 企 业 内 部 保 障, 包 含 资 产 脆 弱 性 和 安 全 配 置, 因 为 这 些 内 因 往 往 会 被 外 因 威 胁 利 用 传 统 风 险 评 估 的 结 果 残 余 风 险 也 往 往 是 这 部 分, 因 此, 近 年 来 越 来 越 重 视, 而 且 因 为 人 工 风 险 评 估 的 高 成 本 和 随 意 性, 近 年 来 越 来 越 重 视 自 动 化 的 过 程 因 为 自 动 化 才 能 实 现 风 险 的 周 期 监 控, 美 国 为 此 建 立 了 NVD 国 家 漏 洞 库 CVSS 通 用 风 险 评 估 SCAP 等 项 目, 支 持 自 动 化 和 质 量 考 核 而 在 国 内, 也 建 立 了 国 家 漏 洞 库, 但 是 其 他 的 方 面, 和 美 国 在 标 准 方 面 还 是 存 在 较 大 差 距 在 这 个 模 块 里, 重 心 是 扫 描 器 和 配 置 核 查, 通 过 扫 描 器 和 配 置 核 查 进 行 资 产 管 理 和 资 产 发 现 这 方 面, 实 际 上 绿 盟 科 技 有 了 较 好 的 解 决 方 案, 并 在 运 营 商 大 范 围 部 署, 比 较 成 熟 运 维 保 障 模 块 很 多 企 业 已 经 建 有 ITIL 平 台 : 一 方 面, 安 全 事 件 必 须 要 实 现 闭 环 才 能 有 作 用 ; 另 一 方 面, 所 有 安 全 产 品 的 有 效 性 需 要 有 效 的 管 理 才 有 作 用, 试 想 一 下, 一 个 半 年 没 有 升 级 规 则 库 的 IPS 很 难 有 真 正 的 防 护 效 果 因 此, 所 有 安 全 模 块 需 要 有 专 门 的 运 维 保 障 模 块 来 保 障 安 全 防 护 系 统 的 功 能 有 效 性 另 外 就 是 事 件 管 理 事 故 管 理 需 要 发 送 到 其 他 模 块 中 来 实 现 处 置 的 有 效 性 知 识 标 准 模 块 在 国 外, 知 识 标 准 模 块 比 较 受 重 视, 因 为 企 业 需 要 积 累 知 识, 最 佳 实 践 需 要 定 期 收 集 另 外, 一 些 安 全 态 势 需 要 定 期 跟 踪 如 strut2 漏 洞 发 布, 企 业 知 识 库 应 该 进 行 响 应 和 跟 踪, 通 过 和 配 置 核 查 等 模 块, 确 认 企 业 资 产 是 否 采 用 strut2 框 架, 从 而 进 行 有 效 预 警 另 外, 美 国 是 通 过 这 个 模 块 同 步 最 新 的 SCAP 等 知 识, 按 照 美 国 政 府 的 计 划, 他 们 会 把 行 业 的 基 线 也 通 过 这 个 模 块 进 行 下 发, 便 于 进 行 标 杆 管 理, 各 个 单 位 也 便 于 发 现 和 优 秀 单 位 之 间 的 安 全 管 理 差 距 风 险 量 化 计 分 模 块 为 了 实 现 安 全 由 评 估 向 运 维 保 障 转 变, 需 要 对 所 有 的 控 制 措 施 进 行 安 全 量 化, 从 而 有 效 地 发 现 企 业 风 险 管 理 工 作 的 弱 点, 而 且 能 够 提 供 不 同 的 视 图 给 不 同 的 用 户, 如 管 理 层 和 执 行 层 需 要 关 注 重 点 不 同 美 国 近 期 出 台 一 系 列 标 准, 甚 至 提 供 了 云 服 务, 用 来 统 一 风 险 计 算 公 式, 便 于 横 向 评 比 另 外, 通 过 奖 励 优 秀 典 型 来 强 化 风 险 量 化 工 作 在 风 险 量 化 上,NIST 专 门 推 出 了 SP 来 制 定 相 关 的 风 险 计 分, 实 际 上, 其 思 路 还 是 通 过 安 全 运 维 强 化 安 全 可 控, 其 采 用 了 近 年 来 ITIL 中 引 入 的 6 sigma DMAIC 过 程 来 设 定 目 标, 并 不 断 优 化 目 标, 目 标 是 风 险 的 可 控 程 度 达 到 6 sigma 水 平 关 于 这 些 部 分, 我 后 期 也 会 专 门 筹 文 介 绍 一 些 研 究 成 果 和 实 践 经 验 企 业 数 据 总 线 ESB 近 年 来, 越 来 越 多 的 企 业 建 立 了 企 业 ESB, 作 为 收 集 存 储 企 业 数 据 良 好 模 式 对 企 业 而 言, 信 息 安 全 是 为 企 业 信 息 化 服 务, 而 信 息 化 又 服 务 于 业 务 增 长, 只 有 将 安 全 与 业 务 数 据 相 结 合 才 能 为 企 业 带 来 价 值, 这 一 层 看 似 间 接 却 极 为 必 要 的 关 系 在 大 数 据 时 代 被 无 限 21

24 专 家 视 角 放 大 Gartner 报 告 指 出, 最 终 安 全 大 数 据 将 演 化 为 IT 商 业 智 能 发 展 趋 势 的 一 部 分, 即 结 合 信 息 安 全 情 报 和 IT 业 务 数 据, 以 提 供 更 高 水 平 的 业 务 情 报 而 企 业 ESB 使 得 安 全 大 数 据 成 为 可 能 通 过 在 ESB 上 开 发 不 同 的 模 块 式 app, 提 供 各 种 不 同 的 安 全 智 能 成 为 未 来 的 主 流 3.3 折 射 成 安 全 管 理 架 构 预 警 监 控 平 台 需 要 发 挥 作 用, 必 须 要 有 完 善 的 安 全 管 理 体 系, 3.4 成 熟 度 模 型 成 熟 度 模 型 上, 我 们 直 接 引 用 了 CAESARS 凯 撒 框 架 的 成 熟 度 模 型, 如 图 3 所 示, 可 以 看 出 这 个 模 型 核 心 还 是 安 全 模 块 形 成 的 自 动 化 可 视 化 和 管 理 化 能 力 这 个 模 型 的 核 心 是 先 保 障 再 防 护, 可 以 看 到 前 三 级 全 部 是 针 对 脆 弱 性 的 监 控, 后 续 加 入 了 其 他 安 全 手 段, 如 威 胁 的 入 侵 检 测 等, 其 中 原 因 可 能 因 为 威 胁 部 分 在 美 国 TIC 计 划 里, 而 对 于 各 个 企 业, 重 点 在 于 持 续 监 控 风 险 因 此, 在 态 势 感 知 和 持 续 健 康 中, 包 含 很 多 管 理 模 块, 实 际 上, 这 些 管 理 模 块 的 成 熟 程 度 就 是 整 个 安 全 管 理 的 成 熟 度 这 些 模 块 如 图 2 ( 注 : 安 全 管 理 能 力 也 是 来 源 SP ) 图 3 CAESARS 凯 撒 框 架 的 成 熟 度 模 型 第 0 级 : 手 动 评 估 安 全 评 估 缺 乏 自 动 化 的 解 决 方 案 第 1 级 : 自 动 扫 描 分 布 式 使 用 的 自 动 化 扫 描 工 具 ( 可 以 集 中 或 从 每 个 系 统 分 别 获 得 ) 为 每 个 独 立 系 统 生 成 的 报 告 第 2 级 : 标 准 化 的 测 量 图 2 安 全 管 理 架 构 为 每 个 独 立 系 统 生 成 的 报 告 22

25 专 家 视 角 允 许 使 用 标 准 化 的 内 容 ( 例 如 USG CB/ FDCC CVE CCE) 第 3 级 : 连 续 监 测 为 每 个 独 立 系 统 生 成 的 报 告 自 动 扫 描 工 具 集 中 化 联 合 控 制 多 样 化 的 安 全 测 量 聚 合 成 风 险 评 分 ( 需 要 标 准 的 测 量 系 统 指 标 和 计 算 方 法 ) 比 较 风 险 评 分 可 以 提 供 给 不 同 企 业 做 标 杆 ( 例 如 通 过 仪 表 盘 ) 主 动 积 极 的 修 复 和 跟 踪 的 风 险 评 分 的 分 布 第 4 级 : 自 适 应 性 连 续 监 测 即 插 即 用 的 CM( 持 续 监 控 ) 组 件 ( 例 如 使 用 标 准 接 口 ) 规 范 结 果 格 式 集 中 开 展 策 略 设 置, 自 动 查 询 整 个 企 业 在 不 同 的 设 备 的 状 况 第 5 级 : 持 续 管 理 风 险 补 偿 功 能 添 加 ( 缓 解 和 补 救 两 者 都 有, 如 发 现 脆 弱 性, 自 动 化 提 示 通 过 防 火 墙 屏 蔽 端 口 或 者 自 动 化 按 照 补 丁 ) 可 以 自 动 化 集 中 开 展 整 个 企 业 不 同 设 备 的 安 全 整 改 工 作 ( 包 含 审 查 和 下 级 单 位 的 变 更 批 准 ) 需 要 采 用 基 于 标 准 的 语 言 描 述 符 合 政 策 并 验 证 过 的 设 备 3.5 早 期 预 警 技 术 模 块 参 考 从 目 前 为 企 业 信 息 中 心 建 立 的 早 期 预 警 系 统 的 经 验 来 看, 以 模 块 提 供 各 个 安 全 能 力 是 重 点, 图 4 是 一 个 比 较 概 要 的 模 型, 其 中 列 图 4 早 期 预 警 系 统 实 现 模 型 举 了 厂 家 的 安 全 产 品, 通 过 这 些 安 全 产 品 形 成 态 势 感 知 和 持 续 监 控 能 力 从 实 践 来 看, 目 前 还 是 入 侵 检 测 作 为 主 导 美 国 的 爱 因 斯 坦 第 一 期 采 用 流 检 测 (netflow 流 检 测,DFI 方 式, 对 于 异 常 流 量 监 测 和 网 络 溯 源 有 非 常 大 意 义 ) 第 二 期 采 用 数 据 包 检 测 ( 采 用 入 侵 检 测 技 术 为 主 体 ) 第 三 期, 重 点 是 蜜 罐 和 SOC 等 产 品, 因 此 这 个 架 构 也 是 比 较 符 合 国 际 潮 流 的 早 期 预 警 系 统 的 特 点 是 采 用 比 较 成 熟 的 系 统, 而 不 是 最 新 的 系 统, 所 以 WAF 等 系 统 不 是 必 配 置, 但 是 网 络 入 侵 检 测 IDS/IPS 是 必 须 要 有 的 入 侵 检 测 提 供 了 丰 富 的 入 侵 告 警 能 力, 可 以 提 供 丰 富 的 23

26 专 家 视 角 安 全 智 能 发 掘 元 数 据 毕 竟 IDS 从 上 个 世 纪 八 十 年 代 发 明 至 今, 无 论 是 理 论 还 是 实 践 都 非 常 成 熟 异 常 流 量 监 控 系 统 就 是 流 检 测 系 统, 对 于 大 型 企 业 数 据 中 心 都 是 很 有 用 的 它 可 以 提 供 丰 富 的 流 量 信 息 和 溯 源 信 息, 最 重 要 的 是 可 以 提 供 DDoS 的 流 量, 对 于 DDoS 研 判 和 响 应 非 常 重 要 蜜 罐 / 沙 盒 产 品, 作 为 检 测 僵 木 蠕 防 护 APT 攻 击 的 必 备 组 件 也 是 越 来 越 受 到 重 视 实 际 上 个 人 更 喜 欢 一 种 模 式, 就 是 通 过 沙 盒 或 者 其 他 手 段 捕 捉 的 样 本 在 蜜 罐 中 观 察, 可 以 看 出 其 真 正 的 攻 击 意 图 话 说 攻 击 伊 朗 的 火 焰 病 毒, 当 时 研 究 者 放 在 蜜 罐 里 养 了 很 长 时 间, 就 是 不 知 道 他 的 攻 击 企 图 是 什 么, 后 来 才 发 现 是 攻 击 核 设 施 的 工 业 控 制 设 备 的 网 络 防 病 毒, 对 于 企 业 来 说, 病 毒 是 很 重 要 的 要 素, 除 去 APT 的 因 素 外, 病 毒 蠕 虫 都 是 危 害 企 业 网 络 的 头 号 杀 手, 因 此, 这 个 模 块 对 于 病 毒 检 测 是 很 有 必 要 的 网 站 监 控 系 统 是 主 动 威 胁 发 现 设 备, 可 以 主 动 发 现 网 站 篡 改 挂 马 非 法 言 论 等 实 践 来 看, 效 果 比 较 好 另 外, 网 站 监 控 设 备 可 以 定 期 地 对 网 站 进 行 Web 应 用 扫 描, 进 行 周 期 的 安 全 评 估 漏 洞 扫 描 系 统 是 通 过 周 期 扫 描 对 系 统 漏 洞 web 漏 洞 开 放 端 口 弱 口 令 进 行 评 估, 另 外, 也 经 常 用 来 进 行 资 产 管 理 配 置 核 查 系 统 通 过 配 置 检 查 增 强 系 统 的 日 志 记 录 口 令 策 略 安 全 增 强 等 功 能, 保 证 系 统 不 容 易 因 为 配 置 错 误 导 致 入 侵 3.6 一 些 研 究 实 践 成 果 虽 然 从 理 论 上, 早 期 预 警 和 我 们 经 常 说 的 SOC 安 全 运 营 中 心 的 概 念 有 很 大 相 似, 但 是 从 国 际 国 内 相 关 的 事 件 来 看,SOC 平 台 因 为 集 成 的 厂 家 产 品 太 多, 往 往 陷 入 不 停 的 支 持 新 设 备 新 告 警, 实 际 还 在 SIEM 层 面, 态 势 感 知 和 持 续 监 控 所 需 的 智 能 决 策 能 力 不 足, 目 前 也 无 法 有 效 地 形 成 安 全 计 分, 也 因 此 近 期 世 界 最 大 的 安 全 厂 商 赛 门 铁 克 宣 布 其 SOC 停 止 更 新, 不 再 接 入 新 设 备, 转 而 专 注 管 理 其 下 的 态 势 感 知 软 硬 件 和 持 续 监 控 软 硬 件 新 组 件 提 供 给 上 层 平 台 而 更 早 的 Cisco 在 2010 年 宣 布 要 终 结 MARS 产 品 因 此, 发 达 国 家 并 没 有 强 制 各 个 单 位 上 SOC, 转 而 走 安 全 组 件 的 方 式 来 提 供 这 个 能 力 美 国 航 空 航 天 局 NASA 近 年 来 宣 布 其 系 统 实 现 了 这 种 能 力, 通 过 其 平 台, 发 现 了 针 对 NASA 的 APT 攻 击, 黑 客 先 突 破 了 RSA, 并 下 载 了 根 证 书, 然 后 开 始 对 NASA 进 行 攻 击, 而 NASA 采 用 开 源 SOC 的 Alienvault OSSIM( 带 有 安 全 智 能 和 行 为 监 控 部 分 功 能 ) 来 进 行 日 志 收 集, 然 后 通 过 SPLUNK 进 行 安 全 智 能 分 析, 其 安 全 小 组 拥 有 全 世 界 最 好 的 研 究 队 伍 地 球 观 测 系 统 (EOS) 安 全 团 队, 也 因 此 在 态 势 感 知 和 安 全 智 能 上 研 究 得 比 较 好 相 关 的 研 究 成 果 我 会 在 下 一 篇 详 细 介 绍 而 从 国 内 来 看, 运 维 厂 家 生 产 的 SOC 厂 家 对 安 全 智 能 研 究 投 入 和 经 验 不 足, 如 中 国 移 动 SOC(ISMP) 开 发 厂 家 都 不 是 安 全 公 司, 而 是 运 维 开 发 公 司 ; 安 全 公 司 开 发 的 SOC 对 运 维 方 面 投 入 和 经 验 不 足 相 对 的 比 较 成 熟 的 结 构 是 组 件 式 的, 通 过 已 有 的 威 胁 平 台 向 企 业 的 SOC/ITIL 平 台 发 送 告 警, 早 期 预 警 平 台 发 现 了 一 个 扫 描 行 为, 输 出 一 个 告 警 给 SOC/ITIL 平 台 的 工 作 流 部 分 进 行 处 理 相 对 的, 24

27 专 家 视 角 究 成 果, 在 此 表 示 感 谢 参 考 文 献 1.CAESARS Framework Extension: An Enterprise Continuous Monitoring Technical Reference Model (Second Draft) 2.Continuous Asset Evaluation, S i t u a t i o n a l A w a r e n e s s, a n d R i s k S c o r i n g R e f e r e n c e A r c h i t e c t u r e R e p o r t ( C A E S A R S ) V e r s i o n 1. 8 September S P I n f o r m a t i o n Security Continuous Monitoring for 图 5 我 们 比 较 推 荐 这 种 架 构, 它 使 得 安 全 公 司 可 以 将 注 意 力 集 中 在 攻 防 对 抗 上 进 行 安 全 智 能 发 掘 运 维 部 分 可 以 由 企 业 现 有 ITIL 或 者 SOC 来 负 责 这 种 组 件 式 的 能 力 比 较 有 效 如 从 实 践 来 看 DDoS 攻 击 系 统 入 侵 僵 木 蠕 (APT) 攻 击 成 为 组 件 是 一 个 比 较 好 的 态 势 感 知 组 件 图 5 展 示 了 一 个 态 势 感 知 模 块 的 系 统 入 侵 攻 击 的 自 动 化 智 能 发 现 结 果 四 结 语 本 文 为 计 划 的 4 篇 文 章 中 的 第 一 篇, 重 点 是 模 型 和 体 系, 后 续 对 于 态 势 感 知 持 续 监 控 和 风 险 量 化 展 开 论 述 再 次 说 明, 本 文 论 点 主 要 是 个 人 的 一 些 研 究 和 项 目 实 践 关 于 美 国 CNCI FISMA 和 CAESARS 凯 撒 框 架 是 在 广 东 省 通 信 管 理 局 林 鹏 副 局 长 指 导 下 的 一 些 研 Federal informantion Systems and Organizations 4. S P A - f i n a l - G u i d e f o r Assessing the Security Controls in Federal Information Systems 5. s p r e v 3 - f i n a l _ R e c o m m e n d e d S e c u r i t y C o n t r o l s for Federal Information Systems and Organizations 25

28 专 家 视 角 聊 聊 ZeroAccess botnet 的 P2P 机 制 核 心 技 术 部 刘 亚 关 键 字 : ZeroAccess botnet P2P C&C 缺 陷 摘 要 :ZeroAccess 的 botmaster 能 建 立 一 个 规 模 几 百 万 节 点 全 世 界 分 布 的 botnet, 在 于 其 采 用 了 基 于 P2P 技 术 的 C&C 机 制 ZeroAccess 的 P2P 技 术 简 单 而 实 用, 却 存 在 一 些 固 有 的 缺 陷, 有 效 地 利 用 这 些 缺 陷 可 以 对 ZeroAccess botnet 进 行 更 好 的 检 测 破 坏 和 清 除 一 引 言 最 近 几 年 流 行 的 botnet 中,ZeroAccess botnet 算 是 比 较 抢 在 眼 的 一 个, 跟 其 他 botnet 相 比,ZeroAccess 有 如 下 特 点 : 等 多 种 1. 规 模 大, 被 感 染 机 器 的 数 量 在 百 万 级 2. 业 务 类 型 丰 富, 包 括 Click Fraud 比 特 币 挖 矿 信 息 窃 取 3. 采 用 了 基 于 P2P 的 C&C 机 制, 具 有 较 高 的 健 壮 性 和 隐 蔽 性, 能 很 好 地 隐 藏 botmaster 4. 吸 金 能 力 强 大, 据 说 仅 比 特 币 挖 矿 和 adclick 功 能, 每 年 就 能 为 botmaster 带 来 270 万 美 金 的 收 入 ZeroAccess bot 常 见 的 传 播 形 式 是 附 件 业 界 先 后 发 现 过 两 个 版 本 的 ZeroAccess bot, 分 别 称 为 v1 和 v2 v1 最 早 发 现 于 2011 年 5 月, 这 个 版 本 的 bot 有 rootkit 功 能, 通 过 rootkit 模 块 来 隐 藏 其 它 的 功 能 模 块, 以 及 与 杀 毒 软 件 进 行 对 抗 v2 版 本 最 早 发 现 于 2012 年 7 月, 跟 v1 相 比, 它 抛 弃 了 rootkit 功 能, 所 有 模 块 均 在 用 户 态 运 行 ; 同 时,C&C 通 信 协 议 也 从 TCP 变 成 UDP 为 主 UDP/TCP 相 结 合 的 结 构 目 前 流 行 的 为 v2 版 本 v1 和 v2 版 的 ZeroAccess 都 采 取 了 基 于 P2P 的 C&C 机 制, v1 的 P2P 网 络 运 行 在 TCP 端 口 上,v2 主 要 运 行 在 UDP 16470/16471/16464/16465 这 几 个 端 口 上 两 个 版 本 的 bot 中 都 有 比 特 币 挖 矿 和 ClickFraud 功 能 实 际 上 ZeroAccess bot 的 功 能 模 块 是 可 扩 展 的, 通 过 其 基 于 P2P 的 C&C 机 制,botmaster 可 以 很 容 易 地 发 布 新 的 功 能 模 块 本 文 以 当 前 活 跃 的 v2 版 ZeroAccess botnet 为 例, 从 技 术 上 对 其 P2P 的 C&C 机 制 做 一 分 析, 并 介 绍 如 何 利 用 其 设 计 上 的 缺 陷 更 好 地 检 测 和 清 除 该 botnet 26

29 专 家 视 角 二 基 于 P2P 的 C&C 机 制 关 于 ZeroAccess botnet 的 规 模 有 多 种 说 法, 各 方 的 数 据 并 不 一 样, 但 数 量 级 却 保 持 一 致, 都 在 百 万 级, 其 中 Sophos 估 计 其 僵 尸 数 量 有 900 多 万, 而 微 软 估 计 每 天 活 跃 的 僵 尸 数 量 大 概 100 多 万, 从 我 们 实 际 观 察 的 情 况 看, 这 些 数 据 并 不 夸 张 尽 管 有 那 么 多 的 僵 尸 网 络, 但 能 达 到 这 种 规 模 的 实 属 罕 见 ZeroAccess 的 规 模 能 如 此 庞 大 跟 其 采 用 了 基 于 P2P 的 C&C 机 制 分 不 开, 所 有 被 感 染 的 主 机 通 过 这 个 P2P 网 络 紧 紧 地 联 系 在 一 起, 网 络 的 健 壮 性 可 扩 展 性 都 比 较 强,botmaster 需 要 升 级 模 块 或 者 发 布 指 令 时, 只 需 要 随 意 挑 选 若 干 节 点 发 送 升 级 内 容 即 可, 它 们 会 自 动 将 其 分 发 给 其 它 的 bot, botmaster 不 用 担 心 暴 露 自 己, 避 免 了 集 中 式 C&C 机 制 所 固 有 的 缺 点 从 实 际 的 观 察 和 样 本 分 析 发 现, ZeroAccess 的 botmaster 主 要 用 这 个 P2P 网 络 来 分 发 文 件 以 实 现 模 块 升 级, 未 见 到 指 令 分 发 功 能 从 技 术 上 看,ZeroAccess botnet 的 P2P 网 络 跟 正 常 的 P2P 网 络 是 类 似 的, 都 运 行 在 TCP/IP 网 络 之 上, 都 为 上 层 提 供 某 种 服 务, 这 里 是 文 件 传 送 ZeroAccess botnet 使 用 了 一 个 自 定 义 的 P2P 通 信 协 议 完 成 上 述 功 能 为 方 便 起 见, 本 文 将 这 个 协 议 称 为 信 息 交 换 协 议, 下 面 就 详 细 谈 谈 这 个 交 换 协 议 2.1 信 息 交 换 协 议 总 的 来 说, 这 是 一 个 ZeroAccess 所 特 有 的 基 于 UDP 的 应 用 层 协 议, 完 成 如 下 两 个 功 能 : 1. 交 换 peer list,peer list 指 其 它 活 跃 bot 的 IP 2. 交 换 模 块 信 息, 包 括 模 块 名 发 布 日 期 和 签 名 功 能 1 解 决 了 怎 么 转 发 的 问 题, 功 能 2 解 决 了 功 能 模 块 管 理 问 题 它 们 都 基 于 如 图 1 所 示 的 请 求 / 响 应 交 互 来 完 成 图 中 getl 对 应 请 求 报 文,retL 对 应 响 应 报 文 两 种 报 文 均 做 了 XOR 加 密 处 理 明 文 的 报 文 以 一 个 如 图 2 所 示 的 报 文 头 开 始, 其 中 crc 为 校 验 码, 用 于 校 验 报 文 ;type 表 示 报 文 类 型, 可 以 是 getl retl 或 者 newl ( 详 见 后 面 介 绍 );type 后 为 一 复 用 字 段, 对 于 图 1 ZeroAccess 信 息 交 换 协 议 的 交 互 过 程 getl 报 文, 该 字 段 指 示 对 方 是 否 对 请 求 者 做 公 网 IP 检 测 ; 对 于 newl, 该 字 段 相 当 于 TTL ; 对 于 retl 则 无 意 义 报 文 头 后 紧 跟 的 是 payload, 有 peer_list 和 module_list 两 种, 如 图 3 和 4 所 示, 分 别 对 应 功 能 1 和 功 能 2 ZeroAccess 在 分 发 bot 样 本 时 会 在 样 本 中 包 含 一 些 当 前 活 跃 bot 的 IP, 这 些 IP 起 到 了 种 子 的 作 用 在 bot 成 功 感 染 某 个 机 器 后, 它 会 立 刻 向 种 子 IP 发 起 getl/retl 交 互, 以 更 新 其 本 地 peer list, 必 要 的 话 还 会 进 行 模 块 升 级 正 常 运 行 后, 这 种 getl/retl 交 互 会 继 续 进 行, 因 为 整 个 P2P 网 络 内 的 节 点 总 是 在 动 态 变 化 : 当 前 活 跃 节 点 可 能 会 因 为 关 机 或 者 被 清 除 而 离 线, 而 新 的 节 点 又 27

30 专 家 视 角 会 不 断 地 加 入 另 外,botmaster 可 能 随 时 会 升 级 模 块,bot 只 有 不 断 地 与 其 它 bot 进 行 通 信 才 能 互 通 有 无, 确 保 本 地 peer list 和 功 能 模 块 都 是 最 新 的 通 过 retl 返 回 的 peer list 会 被 本 地 保 存 每 个 peer list 由 多 个 peer_ip 组 成, 具 体 数 目 由 count 字 段 指 定, 最 大 为 16 每 图 2 信 息 交 换 协 议 报 文 头 格 式 定 义 个 peer_ip 除 了 包 含 一 个 IP 外, 还 有 一 个 时 间 戳 信 息, 对 应 该 IP 被 检 测 到 的 时 间 bot 内 部 会 按 照 时 间 戳 对 peer list 进 行 排 序, 新 发 现 的 节 点 会 被 优 先 轮 询 module_list 则 包 含 了 若 干 模 块 描 述 信 息, 具 体 模 块 数 由 count 字 段 指 定 每 个 模 块 描 述 信 息 (module) 包 含 文 件 编 号 图 3 peer list payload 格 式 定 义 (number) 时 间 戳 (timestamp) 大 小 (size) 和 签 名 (signature) 等 字 段 ZeroAccess 的 模 块 实 际 上 是 Windows DLL 文 件, 以 32 比 特 位 无 符 号 整 数 来 命 名, 而 不 是 通 常 的 字 符 串 命 名, 这 种 方 式 能 保 证 文 件 名 始 终 不 超 过 4 个 字 节 module 中 的 时 间 戳 字 段 标 识 了 模 块 的 新 旧 程 度 如 果 一 个 bot 发 现 自 己 缺 少 对 方 拥 有 的 某 个 模 块, 或 者 对 方 的 模 块 比 自 己 的 新, 那 么 就 会 向 对 方 发 起 TCP 连 接, 图 4 模 块 描 述 payload 格 式 定 义 28

31 专 家 视 角 将 对 应 的 模 块 下 载 回 来 在 通 过 签 名 验 证 后, 该 模 块 将 会 被 bot 执 行 逆 向 样 本 发 现 getl 中 可 以 出 现 module_list, 却 不 会 出 现 peer_list, 而 在 retl 中 这 两 种 payload 都 可 以 出 现 猜 测 这 么 做 可 能 是 为 了 安 全 考 虑, 后 面 会 提 到 只 有 超 级 节 点 才 能 响 应 getl, 这 样 就 确 保 了 只 有 超 级 节 点 才 能 分 发 peer_list 而 对 于 module_list, 因 为 有 签 名 做 保 护, 即 使 请 求 者 分 发 了 错 误 的 模 块, 响 应 者 也 能 通 过 签 名 检 测 出 来 2.2 超 级 节 点 发 现 机 制 ZeroAccess botnet 把 节 点 分 成 了 两 种 类 型 即 公 网 节 点 和 非 公 网 节 点 为 了 更 形 象 地 说 明 它 们 的 区 别, 这 里 套 用 P2P 网 络 中 常 用 的 超 级 节 点 和 普 通 节 点 来 分 别 描 述 它 们 超 级 节 点 的 发 现 同 样 通 过 getl/retl 交 互 来 完 成, 微 妙 之 处 在 于 getl 中 flag 字 段 的 使 用 正 常 发 起 请 求 的 bot, 其 getl 的 flag 标 志 会 被 设 为 0 接 收 方 会 检 查 该 字 段 的 值, 如 果 为 0 并 且 请 求 者 的 IP 不 在 自 己 的 peer list 中, 则 除 了 响 应 一 个 retl 以 外, 图 5 超 级 节 点 发 现 和 推 送 机 制 还 会 反 向 发 起 getl/retl 交 互, 但 此 时 将 getl 的 flag 设 为 1 如 果 对 方 回 复 了 retl, 说 明 其 拥 有 公 网 IP, 那 么 它 就 会 被 当 成 一 个 新 发 现 的 超 级 节 点 bot 会 向 已 知 的 超 级 节 点 推 送 newl 报 文 以 通 知 它 们 新 检 测 到 的 超 级 节 点 newl 中 包 含 了 新 节 点 的 IP 和 发 现 时 间,ttl 字 段 初 始 值 设 为 8 每 一 个 收 到 newl 的 bot, 除 了 保 存 新 节 点 的 IP 外, 还 会 继 续 向 其 它 超 级 节 点 推 送 该 newl, 每 转 推 一 次,ttl 就 会 被 减 1 当 ttl 为 0 时, 这 个 newl 就 会 被 停 止 分 发 就 这 样, 每 一 个 新 的 超 级 节 点 都 会 通 过 这 种 一 传 十, 十 传 百 的 方 式 被 快 速 分 发 出 去, 如 图 5 所 示 通 过 上 面 的 介 绍 不 难 发 现,peer list 的 分 发 和 新 超 级 节 点 的 检 测 其 实 都 是 由 超 级 节 点 实 现 的,retL 中 返 回 的 peer list 其 实 也 都 是 超 级 节 点 的 IP 跟 普 通 节 点 相 比, 超 级 节 点 几 乎 承 担 了 P2P 网 络 全 部 的 建 立 和 维 护 任 务, 称 它 们 为 超 级 并 不 为 过 三 利 用 缺 陷 进 行 检 测 跟 踪 和 渗 透 跟 一 些 常 见 的 P2P 网 络 相 比,ZeroAccess 的 P2P 网 络 比 较 简 单, 没 有 复 杂 的 路 由 机 制, 节 点 间 也 不 进 行 验 证, 只 是 通 过 一 种 类 似 flooding 的 信 息 交 换 方 式 来 确 保 每 个 bot 都 知 29

32 专 家 视 角 道 尽 可 能 多 的 其 它 活 跃 bot 的 IP, 以 及 尽 可 能 早 地 获 知 模 块 升 级 情 况 这 种 交 互 方 式 依 靠 大 量 的 冗 余 交 互 来 确 保 信 息 交 换 的 可 靠 性, 简 单 却 粗 暴, 缺 点 比 较 多, 这 里 介 绍 一 下 如 何 利 用 其 固 有 的 缺 陷 实 现 对 ZeroAccess botnet 更 好 的 检 测 和 清 除 3.1 检 查 特 定 端 口 的 网 络 行 为 来 检 测 bot ZeroAccess 的 P2P 通 信 使 用 了 固 定 的 UDP 端 口, 目 前 检 测 到 4 个 端 口 被 使 用, 分 别 是 16470/16471/16464/16465, 每 个 端 口 对 应 一 个 P2P 网 络 这 些 端 口 在 正 常 的 通 信 中 使 用 并 不 多, 所 以 可 以 看 作 ZeroAccess botnet 的 一 个 网 络 特 征 如 果 网 络 里 面 检 测 到 使 用 这 种 端 口 的 通 信, 那 么 很 可 能 是 存 在 ZeroAccess bot 的 征 兆 ZeroAccess 的 P2P 交 互 采 用 了 类 似 flooding 的 机 制, 通 过 大 量 的 getl/retl 来 确 保 bot 的 peer list 和 功 能 模 块 及 时 得 到 更 新 观 察 发 现,ZeroAccess bot 的 P2P 通 信 间 隔 为 秒 级,bot 一 旦 运 行 后 其 P2P 通 信 就 不 会 停 止, 这 种 网 络 行 为 特 征 比 较 明 显, 结 合 其 通 信 端 口 固 定 的 特 点, 只 需 要 检 查 上 述 4 个 端 口 的 通 信 流 量 即 可 检 测 网 路 中 是 否 存 在 ZeroAccess bot 3.2 通 过 渗 透 发 现 已 有 bot ZeroAccess 的 P2P 网 络 对 新 节 点 的 验 证 机 制 很 弱,bot 接 收 到 请 求 时, 只 要 报 文 解 密 正 确,CRC 校 验 不 出 错, 就 会 做 出 响 应 如 果 对 方 有 公 网 IP, 还 会 被 当 作 新 的 超 级 节 点 利 用 这 种 验 证 上 的 缺 陷, 在 获 得 报 文 格 式 XOR 加 密 密 钥 和 CRC 校 验 算 法 的 情 况 下, 可 以 对 ZeroAccess botnet 进 行 渗 透, 扫 描 和 枚 举 其 超 级 节 点, 获 得 的 数 据 除 了 可 以 用 作 封 堵 和 清 除, 还 可 以 用 来 评 估 僵 尸 网 络 的 规 模 和 活 跃 情 况 如 果 仅 希 望 枚 举 超 级 节 点, 只 需 不 断 地 轮 询 已 知 超 级 节 点 即 可, 可 以 考 虑 结 合 TCP 请 求 来 验 证 对 方 是 否 为 真 实 的 超 级 节 点 若 要 对 普 通 节 点 进 行 统 计, 则 必 须 设 法 注 入 超 级 节 点 才 行, 利 用 2.2 节 介 绍 的 技 术 可 以 做 到 超 级 节 点 的 另 一 个 用 途 是 散 布 构 造 的 peer list, 干 扰 P2P 网 络 的 正 常 运 行 具 体 的 散 布 方 式 既 可 以 通 过 响 应 报 文 retl 进 行, 也 可 以 通 过 主 动 地 往 外 推 送 newl 报 文 来 完 成 ZeroAccess bot 的 设 计 者 可 能 已 经 考 虑 到 对 于 第 一 种 情 况, 将 每 个 超 级 节 点 返 回 给 对 方 的 超 级 节 点 数 量 限 制 为 最 大 16 个, 这 意 味 着 一 次 交 互 最 多 只 能 注 入 16 个 节 点, 这 对 注 入 效 果 有 影 响 如 果 使 用 newl 来 注 入, 限 制 要 小 很 多 3.3 进 行 spoofed IP 攻 击 spoofed IP 攻 击 本 来 是 DDoS 攻 击 中 一 种 常 见 的 技 术, 即 攻 击 者 发 送 大 量 源 IP 为 假 的 报 文 给 受 害 者, 以 达 到 耗 尽 被 攻 击 者 资 源 的 目 的 ZeroAccess 的 P2P 通 信 主 要 基 于 UDP 协 议, 交 互 都 不 超 过 1.5 轮, 双 方 均 无 法 验 证 收 到 报 文 的 源 IP 是 否 正 确, 这 客 观 上 给 spoofed IP 技 术 的 使 用 创 造 了 条 件 对 于 那 些 特 别 活 跃 现 有 手 段 又 无 法 对 其 进 行 有 效 限 制 的 超 级 节 点, 可 以 考 虑 使 用 spoofed IP 技 术 来 向 其 注 入 虚 假 的 超 级 节 点 列 表, 以 达 到 破 坏 其 运 行 的 目 的 具 体 实 施 手 段 是 推 送 newl, 选 定 注 入 对 象 后, 向 其 推 送 30

33 专 家 视 角 源 IP 和 peer IP 均 为 假 的 newl 因 为 ZeroAccess 的 bot 在 接 收 到 newl 报 文 时, 除 了 newl 中 的 IP 会 被 保 存, 如 果 发 送 者 的 IP 也 是 陌 生 的, 那 么 该 IP 也 会 被 保 存, 这 样 一 个 newl 报 文 理 论 上 可 以 同 时 注 入 两 个 IP 通 过 不 停 地 推 送 newl 报 文 即 可 达 到 注 入 的 目 的 四 实 际 跟 踪 情 况 利 用 前 面 介 绍 的 技 术, 我 们 对 运 行 端 口 为 和 的 两 个 P2P 网 络 进 行 了 跟 踪, 在 不 到 一 个 礼 拜 的 时 间 内 发 现 了 3 万 多 个 运 行 在 端 口 上 的 超 级 节 点, 其 中 1 万 多 个 节 点 能 响 应 getl 请 求 统 计 这 些 IP 的 地 理 分 布 发 现 它 们 分 布 于 世 界 各 地, 但 以 美 国 欧 洲 日 本 和 印 度 居 多, 中 国 大 陆 地 区 也 有 少 量 分 布, 这 跟 业 界 的 一 些 分 析 报 告 的 描 述 比 较 一 致 在 跟 踪 运 行 端 口 为 的 P2P 网 络 时 有 一 个 有 趣 的 发 现 : 如 图 6 所 示 有 15 个 根 本 不 存 在 的 IP 在 10 天 内 被 返 回 了 199 万 多 次, 甚 至 不 少 新 捕 获 的 bot 样 本 直 接 将 它 们 作 为 种 子 IP 我 们 判 断 这 些 相 似 但 根 本 不 存 在 的 IP 很 有 可 能 是 安 全 研 究 人 员 图 6 ZeroAccess botnet 内 被 注 入 的 一 些 伪 超 级 节 点 故 意 渗 透 进 去 的 另 一 个 有 趣 的 发 现 是 基 于 spoofed IP 的 newl 在 ZeroAccess botnet 中 其 实 很 常 见, 这 来 源 于 我 们 对 注 入 的 一 个 超 级 节 点 的 报 文 统 计, 发 现 收 到 的 newl 数 量 远 大 于 getl, 但 反 向 联 系 发 送 newl 的 节 点 时 极 少 成 功 这 从 侧 面 印 证 了 通 过 spoofed IP 技 术 进 行 渗 透 是 可 行 的 最 近, 微 软 联 合 FBI EC3(Europol s European Cybercrime Centre) 以 及 一 些 业 界 公 司 对 ZeroAccess botnet 展 开 了 围 剿 行 动, 经 过 几 天 的 对 抗 后 ZeroAccess 的 botmaster 发 布 了 一 个 包 含 WHITE FLAG 消 息 的 更 新 模 块, 宣 布 投 降 这 样, 这 场 对 抗 以 微 软 一 方 获 胜 而 告 终 但 结 合 以 往 的 经 验,botmaster 一 般 总 是 会 设 法 复 活 被 破 坏 的 botnet, 最 常 用 的 手 段 就 是 推 出 升 级 版 本, 通 过 修 复 老 版 本 的 缺 陷 来 提 高 健 壮 性, 所 以 将 来 很 可 能 会 出 现 新 版 本 的 ZeroAccess botnet, 比 如 v3 甚 至 v4 版 本, 它 们 的 功 能 只 会 更 强 大 相 信 围 绕 botnet 的 这 种 矛 和 盾 的 对 抗 在 今 后 相 当 长 的 一 段 时 间 内 会 持 续 上 演, 我 们 拭 目 以 待 31