Software Engineering and Applications 软 件 工 程 与 应 用, 2013, 2, 131-137 http://dx.doi.org/10.12677/sea.2013.26023 Published Online Deceber 2013 (http://www.hanspub.org/ournal/sea.htl) Design and Ipleentation of a Dataflow Monitoring Syste Based on the Genetic Algorith Thought Ming Zhu, Weiping Yang, Houqin Su Donghua University, Shanghai Eail: zhuing@dhu.edu.cn, dongganyangweiping@126.co, suhq@dhu.edu.cn Received: Nov. 11 th, 2013; revised: Nov. 30 th, 2013; accepted: Dec. 6 th, 2013 Copyright 2013 Ming Zhu et al. This is an open access article distributed under the Creative Coons Attribution License, which perits unrestricted use, distribution, and reproduction in any ediu, provided the original work is properly cited. In accordance of the Creative Coons Attribution License all Copyrights 2013 are reserved for Hans and the owner of the intellectual property Ming Zhu et al. All Copyright 2013 are guarded by law and by Hans as a guardian. Abstract: Traffic onitoring plays an extreely iportant role in network anageent, which can understand the current network running status, udge its perforance and network failures, and also can reflect if it s on the safety tie or not, then help to strengthen the network security. Dataflow onitoring is an effective ethod to know the network running status, perforance, soe troubleshooting and enhance the network security. In this paper, the onitoring syste is designed with data acquisition layer, pre-processing layer, and interaction analysis layer. To upload the local database inforation to the central database efficiently, the syste uses ulti-thread to upload the record in the pre-processing progra of the pre-processing layer and also uses the idea of the genetic algorith to assign alost the sae data records for each service thread to ensure the tie consistency of data collection. The syste achieves functions of real-tie onitoring, statistics analyzing of the flow inforation for office network in one large city, and shows flow data results in report for as a basis for strategy forulation of network anageent and security. Keywords: Metropolitan Area Network; Flow Monitoring; Flow Analysis; Genetic Algorith 一 种 基 于 遗 传 算 法 思 想 的 流 量 监 测 系 统 的 设 计 与 实 现 朱 明, 杨 蔚 萍, 苏 厚 勤 东 华 大 学, 上 海 Eail: zhuing@dhu.edu.cn, dongganyangweiping@126.co, suhq@dhu.edu.cn 收 稿 日 期 :2013 年 11 月 11 日 ; 修 回 日 期 :2013 年 11 月 30 日 ; 录 用 日 期 :2013 年 12 月 6 日 摘 要 : 流 量 监 测 在 网 络 管 理 中 的 承 担 着 极 其 重 要 的 角 色, 既 可 以 了 解 当 前 网 络 的 运 行 状 态, 判 断 其 性 能 和 网 络 故 障, 并 能 够 反 映 安 全 时 间 发 生 与 否, 帮 助 网 络 安 全 的 加 强 本 文 所 设 计 与 实 现 的 流 量 监 测 系 统 采 用 数 据 采 集 层 前 置 处 理 层 交 互 分 析 层 的 三 层 系 统 架 构, 并 且 为 了 高 效 地 上 传 前 置 采 集 数 据 库 信 息 到 基 础 数 据 库 中, 在 前 置 处 理 层 中 的 程 序 中 采 用 了 多 线 程 并 行 上 传, 并 运 用 了 遗 传 算 法 的 思 想 为 每 条 服 务 线 程 分 配 近 乎 相 同 的 数 据 记 录, 从 而 保 证 数 据 上 传 在 时 间 上 的 一 致 性 该 系 统 实 现 了 对 大 型 城 市 办 公 网 络 的 流 量 信 息 的 实 时 监 控 统 计 分 析 功 能, 并 能 以 报 表 形 式 展 示 流 量 数 据 结 果 以 作 为 网 络 管 理 和 网 络 安 全 策 略 制 定 的 依 据 关 键 词 : 城 域 网 ; 流 量 监 测 ; 流 量 分 析 ; 遗 传 算 法 1. 引 言 网 络 流 量 信 息 的 获 取 是 影 响 一 个 网 络 管 理 是 否 行 之 有 效 的 不 可 或 缺 的 途 径, 就 大 型 城 市 的 办 公 网 络 而 言, 更 是 迫 切 需 要 对 其 网 络 进 行 流 量 监 控 以 保 证 工 Open Access 131
作 的 高 效 性 和 数 据 传 输 的 安 全 性 目 前 针 对 国 内 外 各 类 网 络 流 量 的 监 测 系 统 的 研 究 及 应 用 较 为 广 泛 [1-6], 而 专 门 针 对 大 型 城 市 的 办 公 网 络 的 流 量 监 测 系 统 的 设 计 与 实 现 为 数 不 多, 且 由 于 大 型 城 市 的 办 公 网 络 结 构 相 对 复 杂, 流 量 采 集 难 度 较 大, 流 量 信 息 的 储 存 分 析 也 更 为 困 难 ; 市 场 上 网 络 监 测 软 件 尽 管 管 理 功 能 相 对 完 善, 但 价 格 比 较 昂 贵, 而 且 为 充 分 发 挥 功 能 需 要 二 次 开 发 [7] 本 文 正 是 针 对 现 有 网 络 监 测 系 统 存 在 此 类 问 题, 设 计 并 实 现 了 一 种 针 对 某 大 型 城 市 办 公 网 络 的 流 量 监 测 系 统, 通 过 在 网 络 汇 聚 点 设 置 数 据 采 集 点, 进 行 分 布 式 的 流 量 数 据 采 集, 进 而 在 本 地 数 据 库 存 储 该 流 量 信 息, 而 后 通 过 将 各 本 地 数 据 库 中 的 流 量 信 息 上 传 至 中 心 数 据 库, 继 而 统 一 地 进 行 流 量 信 息 分 析, 最 终 提 供 给 用 户 最 为 直 观 报 表, 从 而 实 现 较 为 全 面 的 网 络 流 量 监 测, 在 加 强 监 管 的 同 时 提 高 了 网 络 的 安 全 性 2. 问 题 分 析 本 系 统 的 网 络 结 构 是 以 办 公 外 网 管 理 中 心 为 核 心 枢 纽, 且 该 管 理 中 心 亦 是 连 接 市 办 公 外 网 和 国 家 办 公 外 网 公 共 互 联 网 等 外 联 网 络 的 枢 纽 ; 外 网 结 构 上 使 用 的 是 MPLS/VPN 网 络 作 为 承 载 网 所 有 区 县 二 级 办 公 网 络 委 办 局 直 属 单 位 都 是 接 入 在 MPLS/VPN 承 载 网 上 当 市 办 公 网 用 户 单 位 和 管 理 中 心 外 部 网 络 有 数 据 交 换 时, 经 由 MPLS/VPN 承 载 网 到 达 管 理 中 心, 由 管 理 中 心 进 行 路 由 选 择 ; 当 市 办 公 外 网 用 户 单 位 和 市 办 公 外 网 内 部 用 户 单 位 有 数 据 交 换 时, 直 接 在 MPLS/ VPN 承 载 网 上 完 成 数 据 交 换 这 种 架 构 有 效 缓 解 了 是 管 理 中 心 的 网 络 在 数 据 交 换 带 来 的 压 力 但 同 时 也 带 来 了 问 题, 因 为 是 办 公 外 网 用 户 单 位 之 间 有 数 据 交 换 时, 流 量 不 通 过 外 网 管 理 中 心, 因 此 该 管 理 中 心 不 能 有 效 的 监 控 管 理 市 办 公 外 网 用 户 单 位 之 间 的 数 据 交 换 为 了 使 办 公 外 网 管 理 中 心 监 视 到 接 入 在 承 载 网 上 单 位 之 间 的 数 据 交 换 信 息, 需 要 在 各 个 接 入 点 配 以 数 据 采 集 设 备 ( 需 带 有 数 据 库 以 储 存 流 量 信 息 ) 通 过 程 序 将 IP 数 据 包 中 的 信 息, 存 储 与 本 地 数 据 库 中, 而 后 将 各 个 接 入 点 下 的 数 据 库 内 的 数 据 记 录 上 传 至 管 理 中 心 的 中 心 数 据 库, 并 将 流 量 数 据 进 行 分 析 处 理, 将 分 析 结 果 通 过 交 互 页 面 向 用 户 展 示, 即 符 合 数 据 采 集, 前 置 处 理, 分 析 交 互 的 三 层 结 构 在 实 际 的 承 接 网 上 存 在 几 十 个 接 入 点, 且 在 办 公 网 络 环 境 下, 每 个 数 据 的 数 据 采 集 设 备 ( 采 集 设 备 的 数 据 库 ) 内 都 储 存 着 大 量 的 流 量 信 息 记 录, 问 题 的 难 点 在 于 : 首 先 如 何 高 效 的 将 本 地 数 据 库 中 的 纪 录 上 传 至 中 心 数 据 库 中, 在 实 际 项 目 中 可 以 通 过 开 设 多 条 服 务 线 程 并 行 作 业 来 解 决 ; 其 次, 承 接 上 一 个 解 决 方 法, 接 下 来 难 点 即 需 要 确 定 每 条 服 务 线 程 承 载 多 少 数 据 量 ( 流 量 数 据 记 录 ) 诚 然, 为 了 使 各 服 务 线 程 可 以 在 几 乎 相 同 的 时 间 内 完 成 数 据 上 传 的 任 务, 以 保 证 同 一 周 期 内 数 据 在 采 集 时 间 上 的 一 致 性, 理 应 为 每 条 服 务 线 程 分 配 尽 量 相 同 数 量 的 数 据 条 数 ( 即 记 录 一 定 时 间 内 各 个 数 据 库 的 记 录 条 数, 按 照 数 量 的 多 少, 力 求 平 均 地 分 配 到 各 个 服 务 线 程 中 ) 这 也 是 本 文 需 要 处 理 的 最 大 的 难 点 所 在 3. 数 学 模 型 与 遗 传 算 法 3.1. 数 学 模 型 的 建 立 首 先, 承 接 上 文 的 难 点 描 述 为 本 地 存 放 了 一 定 数 量 的 数 据 记 录, 需 要 通 过 指 定 数 目 的 服 务 线 程 上 传, 并 且 每 条 服 务 线 程 需 要 分 配 尽 量 相 同 的 数 据 库 记 录 条 数 这 是 一 个 典 型 的 集 合 划 分 问 题 (Set Partitioning Proble, SPP) 所 谓 集 合 划 分 问 题, 是 指 将 一 给 定 集 合 划 分 为 指 定 个 数 互 不 相 交 的 子 集, 并 使 每 个 子 集 含 有 的 元 素 大 小 之 和 尽 可 能 一 致 它 的 判 定 问 题 严 格 叙 述 为 : (SPP) 实 例 : 有 穷 集 合 A a1, a2, a3,, an A的 大 小 wa R ; 正 整 数 及 每 一 个 a, 以 Z 问 : 是 否 存 在 一 个 关 于 A 的 划 分 A1, A2,, A, 1, 2,,, 有 使 得 对 1 wa wa? aa aa 1, 2,, n (a i 即 对 应 本 项 目 中 的 某 个 本 地 数 据 库 中 的 数 据 记 录 条 数 ), 将 一 给 定 的 信 息 主 题 集 合 A a a a 划 分 为 个 互 不 相 交 的 子 集 ( 即 分 配 至 个 服 务 线 程 ), 并 使 每 个 子 集 ( 对 应 每 条 服 务 线 程 ) 含 有 的 元 素 大 小 ( 各 个 服 务 线 程 上 承 载 的 数 据 库 记 录 数 目 ) 之 和 尽 可 能 一 致 在 数 学 上, 称 使 各 子 集 中 元 素 大 小 之 和 尽 可 能 一 132 Open Access
致 的 SPP 为 SPP 优 化 问 题 对 于 它, 人 们 通 常 从 两 个 方 面 来 考 虑 其 一 是 使 最 大 的 子 集 最 小 化, 另 一 是 使 最 小 的 子 集 最 大 化 针 对 使 最 大 子 集 最 小 化 的 数 学 模 型 可 进 行 如 下 描 述 约 束 条 件 : in ax S 1 (1) n x 1 1,2,, 1 i i n (2) 指 定 元 素 i 只 能 分 配 到 一 个 子 集, 0,1 x 其 中 S, 表 示 分 划 分 后 的 各 个 子 集 的 元 i a 1 ixi 素 之 和 ( 即 对 应 各 个 服 务 线 程 中 的 数 据 记 录 条 数 的 和 ) a i n 仍 表 示 对 应 本 项 目 中 的 某 个 本 地 数 据 库 中 的 数 据 记 录 条 数 x 表 示 元 素 i 是 否 分 配 到 子 集 i 中, 是 则 取 值 为 1, 否 则 为 0 为 了 进 一 步 简 简 化 模 型 (1), 将 模 型 转 化 为 in s 1 s i (3) 经 证 明 [8], 两 个 数 学 模 型 等 价, 其 中 : S s 1 为 全 部 子 集 的 元 素 之 和 的 平 均 值, 该 式 中 的 目 标 函 数 表 示 各 个 子 集 和 到 平 均 值 的 平 均 距 离 3.2. 数 学 模 型 的 解 决 方 法 遗 传 算 法 解 决 式 (3) 中 的 模 型 的 方 法, 即 是 求 解 1 2 in f x, x,, xn 的 最 优 化 问 题, 而 遗 传 算 法 是 一 种 在 计 算 机 科 学 人 工 智 能 领 域 中 用 于 解 决 最 优 化 的 一 种 搜 索 启 发 式 算 法, 它 可 以 以 用 来 生 成 有 用 的 解 决 方 案 来 优 化 和 搜 索 问 题, 所 以 遗 传 算 法 十 分 适 合 求 解 如 下 类 型 的 最 优 化 问 题 : in f x1, x2,, xn 或 ax f x 1, x 2,, xn, 因 此 该 模 型 可 以 直 接 遗 传 算 法 用 来 解 决 问 题 并 且 为 了 提 高 算 法 的 收 敛 速 度, 本 文 采 用 精 英 保 留 策 略 在 第 一 代 进 化 完 成 后, 其 最 优 秀 的 个 体 被 复 制 到 当 前 最 优 个 体 在 以 后 的 每 代 进 化 完 成, 计 算 出 各 个 体 的 适 应 度, 分 别 找 出 最 优 和 最 差 的 个 体 再 把 最 优 个 体 与 当 前 最 优 个 体 进 行 比 较 如 果 前 者 比 后 者 还 优 秀, 则 用 前 者 覆 盖 后 者, 作 为 新 当 前 最 优 个 体 总 是 把 当 前 最 优 个 体 替 换 该 代 的 最 差 个 体 从 式 (3) 描 述 的 数 学 模 型 可 见, 在 基 因 中 用 1 个 二 进 制 位 来 表 示 一 个 x i 是 最 简 单 直 观 的 但 是, 这 种 普 通 的 表 示 方 法, 无 法 保 证 一 个 元 素 必 须 并 只 能 分 配 到 一 个 子 集, 从 而 会 导 致 产 生 很 多 违 反 模 型 约 束 条 件 的 基 因 因 此 本 文 采 用 基 因 表 示 [8], 如 图 1 所 示 A 中 第 i 个 元 素, 若 分 配 到 第 个 子 集, 则 对 应 的 d 1 基 因 d 1 到 d 组 成 这 样 的 基 因 表 i 示 法, 保 证 了 一 个 元 素 必 须 并 只 能 分 配 到 一 个 子 集, 从 而 不 会 导 致 产 生 任 何 违 反 约 束 条 件 的 基 因 如 图 1 所 示 算 法 思 路 : 1) 在 初 始 种 群 中 计 算 各 个 个 体 的 适 应 度, 在 此 种 群 大 小 定 为 50; 2) 采 取 精 英 保 留 策 略, 将 适 应 度 最 好 的 个 体 保 留 ; 3) 计 算 出 个 体 的 生 存 概 率, 通 过 轮 盘 赌 选 择 算 子 进 行 个 体 选 择 ; 4) 以 固 定 概 率 进 行 杂 交 ; 5) 为 每 个 个 体 的 基 因 片 段 随 机 生 成 随 机 数 [0,1] 之 间, 若 该 随 机 数 小 于 给 出 的 固 定 变 异 率 则 该 基 因 片 断 变 异 ; 6) 第 二 代 个 体 生 成 ; 7) 计 算 第 二 代 个 体 的 适 应 度 ; 8) 继 续 采 取 精 英 保 留 策 略, 挑 选 出 最 好 和 最 差, 若 此 代 的 最 好 比 之 前 的 最 好 更 优, 则 替 换 之 前 的 最 优 解, 否 则, 用 当 前 最 优 解 替 换 最 差 的 个 体 ; 9) 若 满 足 结 束 条 件, 则 停 止, 不 然, 跳 转 第 3) 步, 找 到 所 有 符 合 条 件 的 规 则 4. 监 测 系 统 体 系 框 架 设 计 本 文 设 计 针 对 大 型 城 市 的 办 公 网 的 流 量 监 测 系 统 在 体 系 结 构 上 划 分 为 3 个 层 次, 由 底 至 上 依 次 为 数 据 采 集 层 前 置 处 理 层 交 互 分 析 层, 如 图 2 所 示 数 据 采 集 层 : 用 于 基 础 数 据 的 采 集 和 预 分 析 前 置 处 理 层 ( 分 析 ): 其 基 本 功 能 为 将 采 集 层 收 集 的 数 据 进 行 分 析 统 计, 将 前 置 数 据 库 中 的 数 据 读 出, 并 转 换 成 中 间 基 础 数 据 保 存 到 基 本 数 据 库 中, 并 将 数 据 传 给 界 面 层 交 互 分 析 层 ( 界 面 ): 本 层 采 用 BS 结 构, 用 户 通 过 浏 览 器 来 访 问 WEB 操 作 界 面 该 层 包 含 两 个 功 能 : Open Access 133
A: { a 1, a 2, a 3,,a n } d 1 d2 d3 d Figure 1. Gene expression 图 1. 基 因 表 示 数 据 采 集 层 前 置 处 理 层 交 互 分 析 层 目 前 广 泛 采 用 的 交 换 网 络 中 监 听 所 有 流 量 有 相 当 大 的 困 难, 因 此 需 要 通 过 配 置 交 换 机 来 把 一 个 或 多 个 端 口 (VLAN) 的 数 据 转 发 到 某 一 个 端 口 来 实 现 对 网 络 的 监 听 在 本 系 统 中, 为 了 有 效 监 控 该 网 络 的 用 户, 我 们 在 其 二 级 网 络 的 汇 聚 层 设 备 上, 利 用 SPAN 复 制 上 联 MPLS/VPN 端 口 数 据 到 一 台 新 增 设 的 前 置 采 集 机 ( 流 控 探 针 ) 上, 端 口 的 数 据 中 包 括 端 口 发 送 的 所 有 帧 和 端 口 接 收 的 所 有 帧 骨 干 网 路 由 器 汇 聚 交 换 机 前 置 采 集 服 务 器 ( 流 控 探 针 ) 前 置 采 集 数 据 库 前 置 服 务 器 Internet 基 本 数 据 库 Figure 2. Syste architecture diagra 图 2. 系 统 架 构 图 数 据 分 析 服 务 器 查 询 数 据 库 Web 服 务 器 提 供 与 用 户 之 间 进 行 交 互 的 界 面 和 分 析 统 计 功 能 数 据 处 理 流 程 即 为 首 先 通 过 监 听 数 据 采 集 设 备 的 两 个 以 太 网 端 口, 分 别 捕 捉 监 控 镜 像 端 口 的 进 站 出 站 流 量 和 出 站 的 镜 像 数 据 包 数 据 采 集 设 备 将 捕 获 的 IP 数 据 包 进 行 基 本 梳 理, 获 取 IP 数 据 包 中 的 socket 地 址 ( 源 地 址 源 端 口 目 的 地 址 目 的 端 口 ) 通 讯 协 议 包 的 大 小 并 加 上 时 间 戳, 存 储 在 数 据 采 集 设 备 的 前 置 数 据 库 中 数 据 采 集 设 备 按 照 后 台 监 控 服 务 器 的 指 令 要 求 ( 兼 职 采 集 程 序 ), 将 记 录 的 数 据 通 过 网 络 发 送 给 后 台 监 控 服 务 器 的 基 础 数 据 库 中, 而 后 后 台 服 务 器 上 数 据 分 析 统 计 程 序 的 进 行 各 种 分 析 统 计 业 务, 然 后 将 客 户 需 要 的 结 果 保 存 到 查 询 数 据 库 中, 而 后 Web 程 序 会 从 查 询 数 据 库 中 获 取 数 据, 然 后 以 图 形 或 表 格 的 方 式 呈 现 给 用 户 5. 系 统 实 现 考 虑 到 目 前 外 网 网 络 已 经 建 设 成 型, 并 且 已 经 有 了 很 多 接 入 单 位 和 应 用 选 择 在 不 改 变 现 有 网 络 环 境, 不 影 响 现 有 网 络 的 基 础 上 进 行 系 统 的 实 施 和 部 署 5.1. 数 据 采 集 层 本 层 主 要 负 责 利 用 数 据 采 集 设 备 采 集 流 量 信 息 并 进 行 预 处 理 5.1.1. 原 始 抓 包 原 始 抓 包 采 用 Raw Socket 技 术, 接 收 本 机 网 卡 上 的 数 据 帧 或 者 数 据 包, 该 程 序 是 以 发 送 接 收 ip 数 据 包 的 方 式 创 建 这 种 socket 首 先 使 用 经 过 初 始 化 各 个 参 数 值 后, 预 先 定 义 一 个 IP 头 结 构, 而 后 与 数 据 库 (Mysql) 进 行 连 接, 将 网 卡 的 工 作 模 式 设 置 为 混 杂 模 式 以 获 取 网 络 设 备 的 所 有 数 据 包, 同 时 设 置 一 个 过 滤 器, 以 确 定 只 抓 取 ICMP,TCP,UDP 的 数 据 包, 并 对 接 收 到 的 信 息 进 行 拦 截 处 理, 丢 弃 非 法 的 信 息, 而 后 通 过 获 取 以 太 网 的 包 头 信 息 获 取 传 输 层 的 协 议 类 型, 根 据 不 同 的 协 议 内 容 (ICMP, TCP, UDP), 分 别 烈 性 初 始 化 相 应 的 数 据 结 构 ( 入 库 的 记 录 结 构 ), 而 后 设 置 一 个 缓 冲 区 数 组, 来 存 放 流 量 数 据, 并 将 缓 冲 区 的 最 大 容 量 设 置 为 一 分 钟 内 可 以 允 许 最 多 的 抓 包 的 记 录 数, 达 到 上 限 时 不 再 像 缓 冲 数 组 插 入 数 据, 未 达 到 上 限 的 情 况 下, 要 遍 历 记 录, 若 存 在 源 地 址 和 目 标 地 址 均 相 同 的 要 予 以 合 并, 随 后 程 序 设 置 了 存 盘 的 时 间 间 隔 十 分 钟, 若 达 到 该 时 间, 将 缓 冲 区 数 组 内 的 数 据 存 入 本 地 数 据 库 中, 而 后 清 空 缓 冲 区 数 组 中 的 数 据, 未 达 到 时 间 要 求 则 继 续 像 缓 冲 区 数 组 内 插 入 流 量 数 据, 而 后 一 直 循 环 从 拦 截 消 息 之 后 的 全 部 过 程 5.1.2. 数 据 包 信 息 预 处 理 通 过 抓 包 程 序 已 将 IP 数 据 包 获 取 并 以 数 据 库 的 记 录 形 式 存 于 前 置 采 集 数 据 库 中, 为 了 方 便 之 后 的 分 析 处 理, 所 以 需 要 将 流 量 信 息 记 录 中 的 IP 地 址 替 换 为 对 应 的 单 位 名 称, 即 通 过 在 遍 历 前 置 采 集 数 据 库 中 的 流 量 信 息 数 据 表, 获 取 其 IP 地 址, 一 次 同 时 遍 历 存 储 各 个 单 位 IP 地 址 范 围 的 数 据 表, 若 该 IP 地 址 在 某 单 位 的 允 许 的 IP 地 址 范 围 内, 则 将 该 IP 地 址 替 换 为 单 位 名 称, 以 更 新 原 来 存 储 于 前 置 采 集 数 据 库 中 相 应 记 录 134 Open Access
5.2. 前 置 采 集 层 5.2.1. 前 置 采 集 程 序 主 要 负 责 下 载 数 据 采 集 设 备 上 采 集 到 的 流 量 数 据, 将 数 据 下 载 到 前 置 服 务 器 中 的 基 本 数 据 库 后, 删 除 前 置 数 据 库 上 的 原 有 下 载 数 据 程 序 从 相 关 数 据 表 中 获 取 各 采 集 设 备 的 数 据 端 口 地 址, 而 后 通 过 IP 网 络 从 前 置 数 据 库 中 获 取 数 据, 每 10 分 钟 获 取 一 次 将 获 取 的 数 据 保 存 到 基 本 数 据 库 中 的 相 关 数 据 表 中 ( 此 处 需 要 通 过 多 线 程 实 现 各 个 前 置 数 据 库 中 的 数 据 记 录 上 传 到 基 础 数 据 库 中, 下 小 节 详 述 ), 然 后 在 前 置 数 据 库 中 的 对 应 表 中 将 相 应 的 记 录 置 为 已 获 取 状 态 程 序 每 10 分 钟 检 查 一 次 基 本 数 据 库 中 的 该 数 据 表, 将 表 中 已 经 统 计 过 的 记 录 删 除 具 体 流 程 详 见 图 3 查 找 采 集 设 备 数 据 表 获 取 设 备 的 端 口 地 址 IP 网 络 根 据 地 址 查 找 前 置 数 据 库 中 的 数 据 表 获 取 流 量 数 据 记 录 是 否 找 到 N 多 线 程 实 现 Y 等 待 五 分 钟 5.2.2. 多 线 程 并 行 上 传 在 本 文 的 实 际 项 目 中 的 承 接 网 上 存 在 35 个 接 入 点, 每 个 采 集 点 下 连 接 一 个 数 据 采 集 设 备 ( 设 备 中 自 带 数 据 库 ) 内 都 储 存 着 流 经 该 接 入 点 中 的 流 量 信 息 记 录 正 如 通 过 开 设 多 条 服 务 线 程 并 行 作 业 的 方 式 以 高 效 地 将 前 置 数 据 库 中 的 纪 录 上 传 至 基 础 数 据 库 中 ; 而 为 实 现 各 服 务 线 程 可 以 在 几 乎 相 同 的 时 间 内 完 成 数 据 上 传 的 任 务 保 证 同 一 周 期 内 数 据 在 采 集 时 间 上 的 一 致 性, 即 目 标 是 为 每 条 服 务 线 程 分 配 尽 量 相 同 数 量 的 数 据 条 数 诚 如 本 文 第 二 部 分 所 讲, 此 处 才 有 集 合 划 分 的 思 想, 利 用 公 式 (3) 中 的 数 据 模 型 和 遗 传 算 法 的 思 想 解 决 模 型 中 的 最 小 值 问 题 因 此 需 要 确 定 服 务 线 程 的 数 目 以 及 各 个 前 置 数 据 库 中 的 记 录 条 数 本 文 中, 实 际 上 在 服 务 器 上 开 启 5 条 服 务 线 程 ( 经 测 试, 前 置 数 据 库 每 分 钟 平 均 处 理 1000~2000 条 数 据, 35 个 采 集 设 备 中 可 储 存 近 50,000 条 数 据, 而 根 据 服 务 器 的 行 配 置, 一 条 服 务 线 程 一 分 钟 内 最 多 可 以 承 担 12,000 条 数 据 记 录, 所 以 理 应 开 设 五 条 服 务 线 程 而 通 过 对 各 个 采 集 设 备 中 的 记 录 一 个 月 的 观 察, 以 统 计 的 方 法 求 得, 服 务 器 每 天 处 理 记 录 约 3000 万 条, 而 以 下 数 据 是 各 个 采 集 设 备 中 在 一 天 之 内 存 储 的 记 录 条 数 的, 以 集 合 形 式 表 示 :A = {26 285 17 8 70 167 27 61 72 15 24 220 54 154 72 28 137 132 51 179 1 42 215 18 208 64 53 191 41 23 35 116 18 23 153} 按 照 集 合 划 分 问 题 里 的 遗 传 算 法 的 思 想 中 对 应 保 存 至 基 础 数 据 库 数 据 表 中 每 十 分 钟 检 查 基 础 数 据 库 数 据 表 中 记 录 更 新 基 础 数 据 库 数 据 表 是 否 重 复 Y 删 除 重 复 记 录 Figure 3. Front acquisition progra flow chart 图 3. 前 置 采 集 程 序 流 程 图 的 基 因 表 示 方 法, 即 A 中 第 i 个 元 素, 若 分 配 到 第 个 子 集, 则 对 应 的 di 1 n 基 因 d 1 到 d 组 成, 就 本 文 的 例 子 来 说,d i = {1,2,3,4,5}, = 35,1 5 5.3. 交 互 分 析 层 负 责 对 采 集 到 的 数 据 分 析 处 理, 以 形 成 流 量 统 计 报 表, 并 将 结 果 存 入 web 服 务 器 的 数 据 库 中 供 用 户 查 询, 可 以 查 询 到 流 量 总 计 起 始 地 址 和 目 标 地 址 等 信 息 以 及 提 供 与 用 户 交 互 的 界 面 在 基 础 数 据 库 中 的 数 据 表 中, 根 据 用 户 的 各 查 询 需 求, 创 建 相 应 的 存 储 过 程, 利 用 存 储 过 程 在 基 本 数 据 库 中 提 取 相 应 的 数 据 集, 一 方 面 将 该 数 据 集 存 入 结 果 数 据 库 中, 供 给 用 户 查 询 ; 另 一 方 面 利 用 该 数 据 集 生 成 需 要 的 报 表 ( 日 周 月 报 表 ) 生 成 报 表 方 面, 对 于 单 位 到 单 位 ( 端 口 ) 的 流 量 数 Open Access 135
据 分 析, 由 于 日 报 表 以 10 分 钟 为 统 计 单 位, 所 以 基 本 数 据 库 中 的 带 有 端 口 的 数 据 可 以 直 接 生 成 日 报 表, 在 此 基 础 上, 在 源 端 口 和 目 标 端 口 一 致 的 条 件 下, 利 用 存 储 过 程 对 以 十 分 钟 为 单 位 的 数 据 库 记 录 进 行 累 加, 形 成 以 一 小 时 单 位 的 数 据 记 录, 同 理, 月 报 表 是 在 周 报 表 的 基 础 上 形 成 24 小 时 为 单 位 的, 数 据 记 录 对 于 不 带 端 口 的 流 量 数 据 流 量 的 分 析 处 理, 与 带 端 口 的 大 致 相 同, 得 到 带 端 口 的 流 量 数 据 后, 将 公 司 A 到 B 的 所 有 端 口 的 数 据 记 录 累 加, 形 成 日 报 表 数 据 记 录, 而 后 过 程 同 上 而 后 分 析 处 理 后 的 数 据 记 录 存 储 在 用 于 与 用 户 交 互 的 WEB 服 务 器 的 结 果 数 据 库 中, 待 用 户 按 需 求 进 行 信 息 和 相 关 报 表 的 查 看 6. 运 行 测 试 由 于 篇 幅 限 制, 此 处 重 点 展 示 数 据 采 集, 采 用 遗 传 算 法 下 实 现 多 线 程 分 配 任 务 量 均 等 分 配 的 运 行 结 果, 以 及 流 量 查 询 时 生 成 的 报 表 首 先 测 试 系 统 中 数 据 采 集 部 分, 在 对 交 换 机 进 行 正 确 的 配 置 后, 将 经 过 端 口 镜 像, 程 序 抓 包, 初 步 解 析, 以 十 分 钟 为 单 位 进 行 累 计 的 流 量 信 息 存 储 在 Linux 操 作 系 统 下 的 本 地 数 据 库 (MysQL) 中 查 询 数 据 中 的 前 20 条 记 录 的 呈 现 结 果, 如 图 4 所 示 其 次, 前 置 抓 取 程 序 中 用 多 线 程 的 形 式 实 现 从 35 个 本 地 数 据 库 到 中 心 数 据 库 的 上 传, 开 设 了 5 条 服 务 线 程, 为 每 条 服 务 线 程 尽 量 分 配 数 量 相 同 的 记 录 条 数, 运 用 了 遗 传 算 法 的 思 想 来 解 决 这 一 集 合 划 分 问 题 实 际 的 分 配 结 果 如 表 1 所 示 在 实 际 运 行 的 程 序 中, 由 于 目 标 函 数 中 需 要 将 划 分 后 的 该 集 合 元 素 与 所 有 元 素 的 平 局 值 的 差 值 作 为 分 母, 所 以 考 虑 的 零 的 出 现, 无 法 作 为 分 母, 因 此 将 出 现 零 的 时 候 赋 予 了 一 个 10 10 的 一 个 数 字, 因 此 best fitness 会 出 现 10 10 这 样 的 数 字, 实 际 证 明 当 遗 传 到 1771 代 是 结 果 已 经 稳 定, 结 果 表 示 将 原 集 合 划 分 为 各 个 元 素 相 加 相 等 ( 各 子 集 中 元 素 和 为 600,subest (x) = 600) 的 五 个 子 集,5 组 分 别 {167,220,137,53,23}, {26,208,191,41,116,18}.{17,61,15,24,72,28,132,1,215,3 5},{8,70,27,72,154,51,42,23,153},{285,54,179,18,64}, 结 果 表 明 一 号 采 集 记 录 被 分 配 到 服 务 线 程 五 中, 二 号 被 分 配 到 服 务 线 程 四 中, 依 此 类 推 Figure 4. The flow inforation record of the database 图 4. 数 据 库 中 的 流 量 信 息 记 录 Table 1. The allocation result chart of the local database by the thread 表 1. 线 程 分 配 的 本 地 数 据 的 结 果 图 var(1) = 5 var(2) = 4 var(3) = 2 var(4) = 3 var(5) = 3 var(6) = 1 var(7) = 3 var(8) = 2 var(9) = 3 var(10) = 2 var(11) = 2 var(12) = 1 var(13) = 4 var(14) = 3 var(15) = 2 var(16) = 2 var(17) = 1 var(18) = 2 var(19) = 3 var(20) = 4 var(21) = 2 var(22) = 3 var(23) = 2 var(24) = 4 var(25) = 3 var(26) = 4 var(27) = 1 var(28) = 5 var(29) = 5 var(30) = 5 var(31) = 2 var(32) = 5 var(33) = 5 var(34) = 1 var(35) = 3 subest (1) = 600 subest (2) = subest r(3) = 600 600 Best fitness:10000000000 subest(4) = 600 subest (5) = 600 最 后 测 试 流 量 统 计 与 分 析, 以 报 表 形 式 展 现, 本 系 统 可 生 成 单 位 流 量 统 计 报 表 单 位 到 单 位 流 量 统 计 报 表 单 位 到 单 位 端 口 流 量 统 计 报 表, 并 且 每 种 类 型 的 报 表 都 包 含 日 周 月 三 种 时 段, 其 中 日 报 表 精 确 到 10 分 钟, 周 报 表 精 确 到 1 小 时, 月 报 表 精 确 到 1 天, 此 处 给 出 通 过 查 询 单 位 到 单 位 之 间 日 流 量 统 计 结 果 而 生 成 的 饼 状 日 报 表 以 及 双 击 饼 状 图 的 对 应 区 域 后 形 成 的 点 对 点 的 报 表, 如 图 5 所 示 通 过 点 击 报 表 选 项 卡 后 生 成 的 饼 状 日 报 表, 可 以 直 观 的 看 出 流 向 各 处 流 量 的 比 例 大 小 以 及 单 击 对 应 区 域 后, 可 以 得 知 从 市 区 所 监 站 流 向 unknown 的 平 均 流 量 值, 以 及 在 各 个 时 刻 的 流 量 大 小 便 于 网 站 管 理 人 员 的 查 看 7. 结 语 本 文 设 计 和 实 现 的 一 种 针 对 某 大 型 城 市 的 办 公 网 络 的 流 量 监 测 系 统, 完 成 了 在 多 级 网 络 结 构 下 的 流 量 采 集 任 务, 通 过 分 布 式 的 部 署 流 量 采 集 点 以 及 流 量 数 据 本 地 存 储 的 方 式 确 保 了 流 量 信 息 的 完 整 性 ; 而 后 通 过 多 线 程 并 行 上 传 各 本 地 流 量 信 息 至 中 心 数 据 库 136 Open Access
Figure 5. Daily flow data statistics pie report between different copanies daily and daily point-to-point report 图 5. 单 位 与 单 位 间 的 日 流 量 统 计 饼 状 日 报 表 和 点 对 点 日 报 表 ( 其 中 在 为 各 服 务 线 程 分 配 任 务 量 是, 更 是 运 用 了 遗 传 算 法 的 思 想, 实 现 了 平 均 分 配 原 则, 统 一 了 数 据 上 传 的 周 期 时 间 ), 进 行 统 一 流 量 信 息 处 理 的 方 式 保 证 了 流 量 信 息 分 析 的 全 面 性 最 后, 相 关 网 络 管 理 人 员 可 以 在 页 面 上 按 需 求 查 询 经 过 细 化 统 计 分 析 后 的 流 量 数 据 并 可 以 针 对 查 询 的 流 量 数 据 生 成 直 观 的 报 表, 保 证 了 流 量 信 息 分 析 结 果 展 示 的 直 观 性 该 系 统 的 展 示 结 果 为 流 量 控 制 提 供 了 有 价 值 的 参 考 信 息, 减 轻 了 网 络 管 理 工 作 负 的 同 时 网 络 的 安 全 性 该 系 统 经 过 大 量 的 用 例 测 试 后, 仍 然 可 以 正 常 运 行 计 算 机 工 程, 33, 237. [2] 鲍 江 宏, 李 炯 城 (2008) 基 于 遗 传 算 法 的 集 合 划 分 问 题 求 解. 计 算 机 工 程 与 设 计, 11, 2280-2281. [3] Li, K.S. and Stadler, R. (2005) Real tie views of network trafficusing decentralized anageent. 9th IFIP/IEEE International Syposiu on Integrated Network Manageent (IM2005), 5, 16-19. [4] 郑 晓 霞 (2012) 校 园 网 异 常 流 量 分 析 系 统 设 计 与 实 现. 硕 士 论 文, 中 国 海 洋 大 学, 青 岛, 22-24. [5] 左 靖, 王 海 龙, 杨 奔 全 (2009) 基 于 WSDM 的 校 园 网 流 量 监 测 系 统 设 计 与 实 现. 电 子 技 术 应 用, 6, 148-151. [6] 刺 婷 婷 (2012) 网 络 流 量 监 测 系 统 的 设 计 与 实 现. 硕 士 论 文, 陕 西 师 范 大 学, 西 安, 41-43. [7] 欧 亮, 陈 迅, 沈 晨, 黄 晓 莹, 吕 屹 (2013) IP 网 络 流 量 流 向 分 析 与 预 测 技 术 研 究. 电 信 科 学, 7, 24-25. [8] 王 宏 (2008) 网 络 综 合 流 量 管 理 关 键 技 术 研 究. 硕 士 论 文, 国 防 科 技 大 学, 长 沙, 21-24. 参 考 文 献 (References) [1] 赵 新 元, 王 能 (2007) 基 于 Web 的 网 络 流 量 监 测 系 统 的 设 计. Open Access 137