大 数 据 系 统 安 全 技 术 中 科 曙 光 2014-05
目 录 1 大 数 据 系 统 安 全 概 述 2 大 数 据 系 统 访 问 安 全 3 大 数 据 系 统 内 容 安 全 4 大 数 据 系 统 存 储 安 全 5 大 数 据 系 统 运 维 安 全 6 大 数 据 安 全 技 术 应 用
大 数 据 无 处 不 在
信 息 系 统 架 构 演 变
大 数 据 系 统 安 全 重 要 性 数 据 爆 发 式 增 长, 信 大 数 据 给 信 息 安 全 提 安 全 威 胁 大 大 提 高, 息 成 为 战 略 资 产 出 了 新 的 挑 战 攻 击 者 背 景 更 加 复 杂 大 数 据 市 场 年 增 迅 速, 近 5 年 平 均 增 速 50% 以 上 大 数 据 技 术 影 响 到 国 家 治 理 企 业 决 策 和 人 民 生 活 数 据 泄 密 影 响 重 大 : Saleforce,Google gtalk,csdn, 天 涯 等 相 继 被 曝 用 户 数 据 泄 漏 制 约 大 数 据 业 务 的 融 合 和 应 用 发 展 安 全 威 胁 的 目 标 性 隐 蔽 性 破 坏 性 都 大 大 增 加, 攻 击 者 的 动 机 目 的 方 法 变 得 更 加 复 杂 针 对 云 计 算 和 大 数 据 应 用 的 攻 击 成 为 新 的 攻 击 方 向
大 数 据 系 统 安 全 技 术 体 系 保 证 系 统 管 理 和 运 维 安 全 安 全 策 略 管 理 系 统 安 全 审 计 用 户 和 权 限 管 理 配 置 基 线 检 查 漏 洞 和 补 丁 管 理 运 维 安 全 访 问 安 全 保 证 访 问 控 制 的 安 全 访 问 权 限 认 证 流 量 和 访 问 质 量 控 制 用 户 访 问 行 为 监 控 访 问 敏 感 信 息 告 警 阻 断 和 追 踪 保 证 数 据 内 容 的 安 全 大 数 据 去 隐 私 化 技 术 : 数 据 加 密, 限 制 发 布, 数 据 失 真 多 维 度 审 计 技 术 : 用 户 数 据 对 象 字 段 敏 感 内 容 等 审 计 内 容 安 全 存 储 安 全 保 证 数 据 存 储 的 安 全 存 储 介 质 加 密 访 问 技 术 文 件 加 密 存 储 技 术 分 布 式 存 储 分 片 加 密 和 解 密 技 术 数 据 备 份 和 容 灾
大 数 据 安 全 处 理 平 台 系 统 架 构 业 务 支 撑 层 业 务 A 业 务 B 业 务 C 业 务 D 安 全 运 维 管 理 层 安 全 策 略 管 理 策 略 策 略 管 理 部 署 应 用 接 口 层 数 据 处 理 层 数 据 存 储 层 去 隐 私 化 加 载 模 块 批 量 加 载 服 务 安 全 访 问 认 证 模 块 数 据 访 问 接 口 ( 类 SQL, JDBC 库,ETL 工 具 ) 安 全 大 数 据 处 理 引 擎 策 略 化 数 据 抽 取 大 数 据 多 维 度 审 计 大 数 据 访 问 监 控 Hadoop* 接 口 数 据 库 接 口 全 文 检 索 接 口 HDFS/Hbas e/hive/db 分 析 查 询 服 务 数 据 迁 移 转 换 服 务 安 全 访 问 认 证 模 块 HDFS/Hbas e/hive/db HDFS/Hbas e/hive/db 数 据 定 义 服 务 HDFS/Hbas e/hive/db 审 计 管 理 身 份 认 证 安 全 审 计 事 件 管 理 访 问 安 全 关 联 分 析 弱 口 令 检 查 配 置 基 线 检 查 合 规 检 查 漏 洞 扫 描 版 本 检 测 变 更 管 理 系 统 监 控 状 态 监 控 基 线 监 控 资 源 监 控 版 本 补 丁 管 理 补 丁 分 发 升 级 管 理
大 数 据 系 统 安 全 关 键 技 术 各 类 型 数 据 存 储 和 处 理 技 术 大 数 据 系 统 统 一 策 略 管 理 配 置 基 线 检 查 和 监 控 技 术 大 数 据 并 行 去 隐 私 化 技 术 策 略 化 抽 取 和 集 成 技 术 多 维 度 大 数 据 审 计 技 术 访 问 监 控 和 报 警 技 术 访 问 行 为 追 踪 技 术
目 录 1 大 数 据 系 统 安 全 概 述 2 大 数 据 系 统 访 问 安 全 3 大 数 据 系 统 内 容 安 全 4 大 数 据 系 统 存 储 安 全 5 大 数 据 系 统 运 维 安 全 6 大 数 据 安 全 技 术 应 用
大 数 据 系 统 访 问 安 全 数 据 访 问 权 限 控 制 敏 感 信 息 访 问 控 制 访 问 安 全 数 据 访 问 流 量 控 制 数 据 访 问 传 输 控 制
数 据 访 问 权 限 控 制 分 权 分 域 针 对 不 同 的 数 据 对 象 用 户 角 色 分 配 访 问 权 限 面 向 系 统 管 理 员, 各 类 数 据 分 析 人 员, 审 计 人 员 等 数 据 网 关 聚 合 数 据 访 问, 支 持 内 外 网 分 离, 多 网 络 负 载 均 衡 数 据 访 问 方 式, 清 洗 转 换 加 载 查 询 挖 掘 等 用 户 大 数 据 安 全 访 问 接 口 权 限 控 制 层 数 据 网 关 加 载 查 询 挖 掘 数 据 节 点 数 据 节 点 数 据 节 点 数 据 节 点 数 据 节 点 数 据 节 点
数 据 访 问 流 量 控 制 流 量 控 制 技 术 ( 基 于 DPI 的 协 议 识 别 技 术 ) 基 于 TCP 窗 口 整 形 的 流 控 技 术 基 于 队 列 的 流 控 技 术 基 于 干 扰 的 流 控 技 术 防 止 互 联 网 广 播 风 暴, 或 者 病 毒 / 木 马 造 成 网 络 瘫 痪 A A B B C C 流 量 控 制
数 据 访 问 传 输 控 制 软 件 加 密 传 输 传 输 之 间 进 行 数 据 加 密, 如 :S/MIME 加 密 邮 件 传 输 安 全 网 络 协 议 建 立 安 全 信 息 通 道,SSL, 安 全 套 接 字 层 等 系 统 安 全 认 证 基 于 口 令 的 安 全 认 证 基 于 密 钥 的 安 全 认 证
敏 感 信 息 访 问 控 制 访 问 敏 感 信 息 监 控 和 告 警 访 问 内 容 和 访 问 行 为 的 监 控 访 问 权 限 频 率 敏 感 字 段 敏 感 操 作 异 常 操 作 等 可 进 行 告 警 针 对 异 常 访 问 的 操 作 限 制 防 止 非 法 访 问 和 非 法 操 作 等 告 警 访 问 限 制 访 问 阻 断 访 问 策 略 配 置 监 控 告 警 限 制 阻 断 访 问 追 踪 配 置 访 问 策 略 监 控 访 问 行 为 限 制 访 问 频 率 用 户 访 问 追 溯 策 略 下 发 生 效 访 问 异 常 检 测 阻 断 用 户 访 问 访 问 统 计 分 析
目 录 1 大 数 据 系 统 安 全 概 述 2 大 数 据 系 统 访 问 安 全 3 大 数 据 系 统 内 容 安 全 4 大 数 据 系 统 存 储 安 全 5 大 数 据 系 统 运 维 安 全 6 大 数 据 安 全 技 术 应 用
大 数 据 系 统 内 容 安 全 大 数 据 系 统 包 含 大 量 的 敏 感 信 息, 须 加 强 对 数 据 内 容 的 保 护 大 数 据 内 容 保 护 在 数 据 读 写 时, 对 内 容 进 行 相 应 的 处 理 大 数 据 系 统 提 供 对 内 容 保 护 的 算 法 优 化 即 使 获 得 数 据, 也 不 能 造 成 安 全 威 胁 防 止 内 部 人 员 对 数 据 的 泄 露 组 件 的 部 署 方 式, 读 取 和 写 入 时 进 行 处 理 对 数 据 内 容 进 行 审 计 监 控 告 警 阻 断 和 追 踪 提 供 新 计 算 模 型 下 的 算 法 优 化 技 术
大 数 据 去 隐 私 化 基 于 失 真 的 隐 私 保 护 技 术 随 机 化 : 随 机 扰 动, 随 机 化 应 答 阻 塞 凝 聚 交 换 等 技 术 支 持 度 和 置 信 度 基 于 加 密 的 隐 私 保 护 技 术 安 全 多 方 计 算 :SMC 问 题, 分 布 式 计 算 协 议 分 布 式 匿 名 化 :k-ttp 模 型 分 布 式 关 联 规 则 挖 掘 和 分 布 式 聚 类 基 于 限 制 发 布 的 隐 私 保 护 技 术 两 种 基 本 操 作 : 抑 制 泛 化 K- 匿 名 l-diversity t- 近 邻
大 数 据 多 维 度 审 计 字 段 属 性 和 约 束 访 问 和 操 作 权 限 访 问 记 录 和 监 控 访 问 频 率 统 计 用 户 访 问 轨 迹 用 户 行 为 趋 势 对 象 敏 感 敏 感 访 问 审 计 字 段 内 容 行 为 对 象 属 性 和 约 束 访 问 和 操 作 权 限 访 问 阻 断 和 告 警 敏 感 记 录 访 问 敏 感 信 息 过 滤 敏 感 信 息 统 计
大 数 据 内 容 保 护 优 化 算 法 数 据 分 片 Map 排 序 合 并 窃 密 或 攻 击 split 算 法 实 现 Reduce HDFS 文 件 split 数 据 分 片 Map 算 法 实 现 排 序 合 并 匿 名 化 数 据 split 数 据 分 片 Map 排 序 合 并 Reduce 算 法 实 现
目 录 1 大 数 据 系 统 安 全 概 述 2 大 数 据 系 统 访 问 安 全 3 大 数 据 系 统 内 容 安 全 4 大 数 据 系 统 存 储 安 全 5 大 数 据 系 统 运 维 安 全 6 大 数 据 安 全 技 术 应 用
大 数 据 系 统 存 储 安 全 存 储 认 证 第 三 方 认 证 系 统 对 用 户 和 权 限 进 行 设 置 和 认 证 数 据 加 密 数 据 条 对 象 文 件 等 不 同 粒 度 的 加 密 和 解 密 技 术 存 储 安 全 备 份 容 灾 数 据 导 入 导 出, 备 份 恢 复, 容 灾 方 案 等 副 本 和 分 片 数 据 多 副 本 级 副 本 摆 放 和 访 问 策 略, 数 据 分 片 和 冗 余 存 储
数 据 分 布 式 加 密 分 布 式 加 密 技 术 加 密 层 次 加 密 要 素 文 件 系 统 层 加 密 应 用 软 件 对 数 据 加 密 中 间 件 加 密 加 密 粒 度 密 钥 管 理
数 据 分 布 式 存 储 D0 Node1 Node2 Node3 Node4 Node5 D1 D0 D1 P0 D2 D3 D2 D3 D4 D5 D6 P1 D7 D4 D5 D6 D7 N+M:B,N 代 表 数 据 块 量,M 代 表 容 忍 故 障 的 磁 盘 数 量,B 代 表 容 忍 故 障 节 点 的 数 量 例 如 本 例 8+2:1, 表 示 集 群 可 以 丢 失 2 块 磁 盘 或 1 个 节 点 而 不 至 于 数 据 丢 失 在 这 种 配 置 下, 空 间 利 用 率 可 达 到 80%
数 据 备 份 容 灾 数 据 备 份 数 据 恢 复 数 据 容 灾 数 据 快 照 数 据 导 入 数 据 同 步 完 全 备 份 数 据 迁 移 一 致 性 检 查 增 量 备 份 批 量 导 入 远 程 镜 像 条 件 导 出 索 引 维 护 异 地 容 灾 副 本 和 压 缩 故 障 切 换
存 储 认 证 大 数 据 系 统 依 靠 外 围 可 靠 的 认 证 系 统 使 用 对 称 钥 匙 操 作, 比 SSL 的 公 共 密 钥 快 操 作 简 单, 如 废 除 一 个 用 户 只 需 要 从 KDC 数 据 库 中 删 除 即 可
目 录 1 大 数 据 系 统 安 全 概 述 2 大 数 据 系 统 访 问 安 全 3 大 数 据 系 统 内 容 安 全 4 大 数 据 系 统 存 储 安 全 5 大 数 据 系 统 运 维 安 全 6 大 数 据 安 全 技 术 应 用
大 数 据 系 统 运 维 安 全 系 统 监 控 漏 洞 扫 描 身 份 认 证 运 维 安 全 安 全 审 计 配 置 基 线 补 丁 管 理
身 份 认 证 用 户 名 / 密 码 密 码 提 示 问 题, 验 证 码, 用 户 拥 有 的 东 西 手 机, 邮 箱 USB key, IC 卡, 证 书, 动 态 口 令, 用 户 知 道 用 户 身 份 用 户 的 身 的 信 息 认 证 技 术 体 特 征 动 态 口 令 + 静 态 密 码,USB Key+ 静 态 密 码, 多 因 素 结 合 认 证 指 纹 识 别 掌 纹 识 别 人 脸 识 别 语 音 识 别 虹 膜 识 别
配 置 基 线 快 速 检 索 系 统 安 全 配 置 的 自 动 解 决 方 案 确 保 关 键 的 可 执 行 文 件, 配 置 文 件 的 内 容 权 限 属 性 等 不 被 恶 意 修 改 配 置 基 线 的 完 整 性 / 合 法 性 检 查 变 更 管 理 和 监 控 配 置 完 整 性 检 验 配 置 变 更 管 理 基 线 合 规 性 检 查 配 置 基 线 监 控 可 执 行 文 件 配 置 文 件 基 线 系 统 基 线 构 建 自 身 安 全 脆 弱 性 系 统 配 置 文 件 配 置 基 线 变 更 内 容 权 限 检 查 定 时 检 测 和 告 警
版 本 和 补 丁 管 理 版 本 和 补 丁 检 测 软 件 版 本 软 件 补 丁 子 系 统 软 件 版 本 号 Patch 版 本 号 厂 家 包 版 本 号 分 类 : 接 口 修 正 性 问 题 补 丁 功 能 : 版 本 检 测 补 丁 分 发 升 级
安 全 审 计 安 全 审 计 网 络 安 全 数 据 库 安 业 务 运 维 审 计 全 审 计 安 全 审 计 日 志 审 计
漏 洞 扫 描 漏 洞 分 类 应 用 软 件 漏 洞 :www,ftp,smpt 等 操 作 系 统 漏 洞 :windows 中 RPC,NETBOIS 漏 洞 等 扫 描 方 法 特 征 匹 配 : 基 于 规 则 的 模 式 特 征 匹 配 插 件 技 术 : 调 用 插 件 进 行 检 测, 包 括 错 误 配 置 简 单 口 令 网 络 协 议 漏 洞 等
系 统 监 控 信 息 采 集 CPU 内 存 网 络 操 作 系 统 中 间 件 数 据 库 应 用 业 务 集 中 存 储 数 据 汇 聚 信 息 规 整 分 布 存 储, 批 量 入 库 系 统 监 控 聚 合 分 析 分 类 统 计, 聚 集 计 算, 异 常 检 测 等 运 维 优 化 系 统 告 警 管 理 策 略 调 整, 故 障 告 警 级 别, 告 警 方 式, 处 理, 参 数 优 化 告 警 响 应 机 制
目 录 1 大 数 据 系 统 安 全 概 述 2 大 数 据 系 统 访 问 安 全 3 大 数 据 系 统 内 容 安 全 4 大 数 据 系 统 存 储 安 全 5 大 数 据 系 统 运 维 安 全 6 大 数 据 安 全 技 术 应 用
典 型 应 用 场 景 信 令 经 营 分 析,CDR 系 统 建 设 社 会 关 系 挖 掘 电 信 金 融 交 易 历 史 统 计, 异 常 行 为 检 测 消 费 行 为 分 析, 商 业 决 策 支 持 流 量 分 析 道 路 规 划 交 轨 分 析 车 联 网 交 通 医 疗 区 域 卫 生 医 疗 访 问 安 全 临 床 决 策 支 持 疾 病 模 式 分 析 全 民 健 康 档 案 内 容 安 全 情 报 分 析 网 络 安 全 舆 情 分 析 流 量 统 计 图 像, 音 视 频 分 析 国 防 军 工 理 化 模 拟, 生 命 科 学 电 力 调 度, 能 源 勘 探 气 象 气 候, 地 球 模 拟 存 储 安 全 运 维 安 全 智 慧 城 市 基 础 研 究 互 / 物 联 网 社 会 关 系 推 荐 兴 趣 挖 掘 流 式 数 据 分 析 挖 掘 实 时 统 计 电 子 政 务 智 能 电 网 平 安 城 市 食 品 安 全
公 共 安 全 - 某 大 型 网 络 安 全 监 控 系 统 SN MPP 架 构 结 构 化 大 数 据 平 台 流 量 事 件 曙 光 XData 特 征 事 件 分 布 事 件 采 集 存 储 分 析 采 集 清 洗 入 库 分 析 流 量 统 计, 事 件 分 析, 分 布 统 计 定 位 追 踪 趋 势 分 析 预 警
金 融 行 业 - 银 联 离 线 交 易 数 据 分 析 平 台 结 构 化 和 非 结 构 化 数 据 统 一 共 享 处 理 平 台 生 产 库 生 产 库 曙 光 XData 大 数 据 处 理 平 台 数 据 仓 库 数 据 仓 库 基 于 大 数 据 处 理 的 应 用 及 其 价 值 展 现 传 统 垂 直 建 设 方 式
通 讯 地 址 : 北 京 市 海 淀 区 东 北 旺 西 路 8 号 中 关 村 软 件 园 36 号 邮 政 编 码 :100094 联 系 电 话 :010 56308000 微 博 :http://weibo.com/zksugon EMAIL:MARKET@SUGON.COM 网 站 (web):http://www.sugon.com