Table of Contents 简 介 Splunk Enterprise 容 量 规 划 简 介 3 3 硬 件 容 量 规 划 Splunk Enterprise 部 署 的 各 个 组 件 Splunk Enterprise 部 署 维 度 传 入 数 据 如 何 影 响 Splunk E

Splunk Enterprise 6.3.0 容 量 规 划 手 册 生 成 时 间 :2015 年 9 月 14 日, 上 午 10:46 Copyright (c) 2016 Splunk Inc. All Rights Reserved

Table of Contents 简 介 Splunk Enterprise 容 量 规 划 简 介 3 3 硬 件 容 量 规 划 Splunk Enterprise 部 署 的 各 个 组 件 Splunk Enterprise 部 署 维 度 传 入 数 据 如 何 影 响 Splunk Enterprise 性 能 索 引 的 数 据 如 何 影 响 Splunk Enterprise 性 能 并 发 用 户 如 何 影 响 Splunk Enterprise 性 能 保 存 的 搜 索 / 报 表 如 何 影 响 Splunk Enterprise 性 能 搜 索 类 型 如 何 影 响 Splunk Enterprise 性 能 Splunk 应 用 如 何 影 响 Splunk Enterprise 性 能 Splunk Enterprise 如 何 计 算 磁 盘 存 储 评 估 存 储 要 求 调 整 您 的 Splunk Enterprise 部 署 规 模 分 布 索 引 和 搜 索 容 纳 许 多 同 时 进 行 的 搜 索 性 能 参 考 参 考 硬 件 性 能 检 查 表 性 能 建 议 摘 要 转 发 器 与 索 之 间 的 比 率 并 行 化 设 置 3 3 4 4 4 5 5 5 5 6 6 7 7 8 9 9 11 12 13 13

简 介 Splunk Enterprise 容 量 规 划 简 介 您 可 以 对 Splunk Enterprise 进 行 扩 展 以 满 足 几 乎 任 何 容 量 要 求 要 利 用 这 种 扩 展 能 力 需 要 进 行 规 划 本 手 册 介 绍 了 Splunk Enterprise 部 署 的 高 级 别 硬 件 指 导, 同 时 介 绍 了 Splunk Enterprise 如 何 在 不 同 的 情 况 下 使 用 硬 件 资 源 作 为 Splunk Enterprise 6.2 以 及 之 后 版 本 的 新 内 容, 本 手 册 代 替 安 装 和 分 布 式 部 署 手 册 中 有 关 容 量 规 划 的 指 导 它 提 供 有 关 参 考 硬 件 和 性 能 检 查 表 的 信 息, 以 确 定 根 据 您 的 需 求 应 该 在 何 时 以 及 如 何 扩 展 您 的 部 署 规 模 在 您 决 定 Splunk Enterprise 的 硬 件 之 前, 请 参 阅 下 列 信 息 : 有 关 Splunk Enterprise 安 装 中 元 素 的 描 述, 请 查 看 本 手 册 中 的 Splunk Enterprise 部 署 的 各 个 组 件 阅 读 Splunk Enterprise 部 署 维 度, 了 解 这 些 维 度 如 何 影 响 性 能, 以 及 如 何 将 性 能 最 大 化 在 本 手 册 的 参 考 硬 件 中 了 解 有 关 Splunk Enterprise 部 署 的 基 本 构 建 块 的 信 息 硬 件 容 量 规 划 Splunk Enterprise 部 署 的 各 个 组 件 通 过 使 用 单 个 软 件 组 件 和 易 于 理 解 的 配 置,Splunk Enterprise 可 与 现 有 基 础 设 施 并 存, 或 作 为 通 用 平 台 部 署 以 访 问 IT 数 据 最 简 单 的 部 署 方 式 是 安 装 Splunk Enterprise 时 默 认 获 得 的 方 式 : 在 同 一 服 务 器 上 进 行 索 引 和 搜 索 您 可 在 服 务 器 上 登 录 Splunk Web 或 CLI 并 配 置 数 据 输 入, 以 收 集 机 器 数 据 然 后 您 使 用 同 一 服 务 器 搜 索 监 视 告 警 并 报 告 传 入 数 据 您 还 可 在 不 同 服 务 器 上 部 署 Splunk Enterprise 的 组 件 以 处 理 负 载 和 可 用 性 要 求 本 部 分 介 绍 了 组 件 类 型 参 阅 分 布 式 部 署 手 册, 特 别 是 主 题 使 用 Splunk Enterprise 组 件 调 整 部 署 规 模 索 Splunk 索 为 本 地 和 远 程 数 据 提 供 数 据 处 理 和 存 储, 并 托 管 主 要 Splunk 数 据 存 储 区 有 关 更 多 信 息, 请 参 阅 管 理 索 和 群 集 手 册 中 的 索 引 如 何 工 作 搜 索 搜 索 是 分 发 搜 索 到 索 ( 在 此 上 下 文 中 称 为 搜 索 节 点 ) 的 Splunk Enterprise 实 例 搜 索 可 以 是 专 用 或 非 专 用, 这 取 决 于 它 们 是 否 还 执 行 索 引 除 常 见 的 内 部 索 引 外, 专 用 搜 索 没 有 任 何 自 己 的 索 引 相 反, 它 们 会 整 合 并 显 示 来 自 远 程 搜 索 节 点 的 结 果 请 参 阅 分 布 式 搜 索 手 册 中 的 分 布 式 搜 索 是 什 么 以 配 置 跨 索 池 搜 索 的 搜 索 转 发 器 转 发 器 是 转 发 数 据 到 远 程 索 进 行 数 据 处 理 和 存 储 的 Splunk 实 例 在 大 部 分 情 况 下, 它 们 不 会 自 己 索 引 数 据 请 参 阅 转 发 数 据 手 册 中 的 关 于 转 发 和 接 收 主 题 部 署 服 务 器 Splunk Enterprise 实 例 也 可 作 为 部 署 服 务 器 部 署 服 务 器 是 一 款 用 来 将 配 置 应 用 和 内 部 更 新 分 发 到 各 组 Splunk Enterprise 实 例 的 工 具 您 可 以 使 用 部 署 服 务 器 将 更 新 分 发 到 大 多 数 Splunk 组 件 : 转 发 器 非 群 集 索 和 非 群 集 搜 索 请 参 阅 更 新 Splunk Enterprise 实 例 手 册 中 的 关 于 部 署 服 务 器 和 转 发 器 管 理 功 能 一 览 函 数 索 搜 索 转 发 器 部 署 服 务 器 索 引 x Web 直 接 搜 索 x x 转 发 至 索 x 部 署 配 置 x x x 3

索 引 复 制 和 索 群 集 索 群 集 是 配 置 为 复 制 彼 此 数 据 的 一 组 索, 这 样 系 统 便 会 保 留 所 有 数 据 的 多 个 副 本 此 过 程 称 为 索 引 复 制 通 过 保 留 数 据 的 多 个 相 同 副 本, 索 群 集 能 够 防 止 数 据 丢 失, 同 时 还 便 于 数 据 搜 索 Splunk Enterprise 群 集 功 能 会 自 动 从 一 个 索 故 障 转 移 到 下 一 个 索 这 意 味 着, 如 果 一 个 或 多 个 索 出 现 故 障, 可 继 续 为 传 入 数 据 创 建 索 引 且 可 继 续 对 索 引 数 据 执 行 搜 索 除 了 能 提 高 数 据 可 用 性, 群 集 还 具 备 当 您 调 整 部 署 规 模 时 应 该 考 虑 的 其 他 功 能, 例 如, 轻 松 地 跨 群 集 中 所 有 索 协 调 配 置 更 新 的 功 能 此 外, 群 集 内 置 了 分 布 式 搜 索 操 作 请 参 阅 管 理 索 和 索 群 集 手 册 中 的 关 于 群 集 和 索 引 复 制 Splunk Enterprise 部 署 维 度 Splunk Enterprise 部 署 有 多 个 维 度 这 些 方 案 确 定 单 个 参 考 计 算 机 是 否 可 以 处 理 索 引 和 搜 索 负 载 在 一 些 情 况 下, 单 个 参 考 计 算 机 可 以 有 效 地 收 集 存 储 和 搜 索 数 据 在 其 他 情 况 下, 可 以 考 虑 向 Splunk Enterprise 部 署 中 添 加 计 算 机 以 提 高 性 能 以 下 是 会 对 Splunk Enterprise 性 能 有 显 著 影 响 的 项 目 列 表 传 入 数 据 量 您 发 送 到 Splunk Enterprise 的 数 据 越 多, 它 需 要 越 多 时 间 处 理 数 据 直 到 可 以 搜 索 报 告 并 生 成 告 警 的 事 件 索 引 数 据 量 当 存 储 在 Splunk Enterprise 索 引 中 的 数 据 量 增 加 的 时 候, 存 储 数 据 并 提 供 搜 索 结 果 所 需 要 的 I/O 带 宽 也 会 增 加 并 发 用 户 的 数 量 如 果 有 一 次 使 用 Splunk Enterprise 实 例 的 人 数 超 过 一 人, 则 该 实 例 需 要 更 多 资 源 以 便 这 些 用 户 执 行 搜 索 及 创 建 报 表 和 仪 表 板 保 存 的 搜 索 数 量 如 果 计 划 调 用 许 多 保 存 的 搜 索,Splunk Enterprise 需 要 其 他 容 量 才 能 立 即 有 效 地 执 行 这 些 搜 索 在 给 定 的 时 间 段 内, 更 多 的 搜 索 次 数 需 要 更 多 的 资 源 使 用 的 搜 索 类 型 与 保 存 的 搜 索 数 量 几 乎 一 样 重 要 的 是, 您 对 Splunk Enterprise 实 例 运 行 的 搜 索 类 型 这 里 有 几 种 类 型 的 搜 索, 每 个 搜 索 将 影 响 索 响 应 搜 索 请 求 的 方 式 您 是 否 运 行 Splunk 应 用 Splunk 应 用 和 解 决 方 案 拥 有 独 特 的 性 能 部 署 和 配 置 注 意 事 项 如 果 计 划 运 行 应 用, 请 考 虑 您 所 使 用 的 应 用 资 源 要 求 有 关 更 多 信 息, 请 参 阅 应 用 文 档 这 些 维 度 如 何 影 响 整 体 性 能? 尽 管 这 些 因 素 会 影 响 您 的 Splunk Enterprise 部 署 的 基 本 大 小 要 求, 但 是 单 独 处 理 每 个 问 题 无 法 保 证 获 得 部 署 的 最 高 性 能 您 必 须 通 过 试 验 了 解 这 些 因 素 如 何 在 特 定 应 用 程 序 中 彼 此 相 关 例 如, 如 果 您 的 Splunk Enterprise 部 署 调 用 少 量 索 引, 但 是 具 有 大 量 并 发 用 户, 则 资 源 要 求 与 具 有 少 量 并 发 用 户 和 大 量 日 常 索 引 数 据 量 的 设 置 完 全 不 同 此 外, 随 着 用 户 计 数 和 索 引 的 数 据 量 增 加, 您 必 须 跨 多 个 服 务 器 分 发 环 境, 以 保 持 类 似 的 性 能 级 别 搜 索 类 型 使 得 问 题 变 得 复 杂, 因 为 一 些 搜 索 受 可 用 CPU 资 源 限 制, 而 其 他 的 搜 索 则 取 决 于 磁 盘 子 系 统 的 速 度 何 时 应 扩 展 Splunk Enterprise 部 署? 您 必 须 了 解 本 主 题 中 描 述 的 部 署 维 度 如 何 适 用 于 您 的 特 定 用 例 回 答 以 下 问 题, 然 后 参 阅 本 手 册 的 性 能 检 查 表 以 确 定 何 时 应 增 加 更 多 硬 件 资 源 : 您 每 天 预 计 索 引 多 少 数 据? 您 需 要 保 留 多 少 数 据 以 及 保 留 多 长 时 间? 您 预 计 有 多 少 用 户 会 在 任 何 时 间 同 时 搜 索 数 据? 您 是 否 计 划 使 用 一 次 以 上 的 某 些 特 定 搜 索? 您 是 否 希 望 或 需 要 使 用 Splunk 应 用 以 显 示 或 操 作 数 据? 想 要 安 装 时 运 行 良 好 的 关 键 在 于 在 部 署 进 程 早 期 制 定 计 划, 以 考 虑 最 初 的 硬 件 资 源 支 出 和 部 署 扩 展 后 的 资 源 增 加 传 入 数 据 如 何 影 响 Splunk Enterprise 性 能 参 考 Splunk Enterprise 索 可 在 较 短 时 间 内 索 引 大 量 数 据 : 超 过 每 秒 20 MB 数 据 或 每 天 1.7 TB 假 定 服 务 器 仅 处 理 数 据 而 不 进 行 其 他 任 何 操 作, 则 会 达 到 该 索 引 级 别 由 于 Splunk Enterprise 实 例 不 仅 仅 进 行 索 引, 可 将 该 数 字 看 作 索 的 最 大 吞 吐 量 性 能 变 化 取 决 于 传 入 数 据 的 大 小 和 数 据 量 大 型 事 件 会 减 慢 索 引 性 能 随 着 事 件 的 大 小 增 加, 索 将 使 用 更 多 系 统 内 存 以 处 理 和 索 引 它 们 如 果 需 要 较 单 个 索 所 提 供 的 更 大 的 索 引 容 量, 可 添 加 索 到 部 署 以 应 对 增 加 的 需 求 参 阅 本 章 中 的 主 题 以 了 解 其 他 因 素 如 何 影 响 性 能 数 据 索 引 的 数 据 如 何 影 响 Splunk Enterprise 性 能 4

在 Splunk Enterprise 耗 尽 数 据 并 放 入 索 引 之 后, 这 些 索 引 将 增 长 并 占 据 磁 盘 空 间 随 着 索 引 增 长 和 可 用 磁 盘 空 间 减 少,Splunk Enterprise 将 花 费 更 多 时 间 索 引 传 入 数 据, 因 为 索 的 磁 盘 子 系 统 会 花 费 更 多 时 间 查 找 空 间 以 存 储 数 据 该 增 长 也 会 影 响 搜 索 在 单 个 索 上, 磁 盘 吞 吐 量 拆 分 为 索 引 ( 这 是 持 续 的 ) 和 搜 索 请 求 ( 这 将 基 于 用 户 计 划 的 请 求 中 断 ) 随 着 索 引 增 长, 搜 索 速 度 会 变 慢, 因 为 磁 盘 子 系 统 需 要 处 理 搜 索 请 求, 并 且 还 需 要 处 理 时 间 更 长 的 传 入 数 据 存 储 请 求 根 据 搜 索 类 型 的 不 同, 这 些 请 求 类 型 会 耗 费 很 多 的 I/O 资 源 并 发 用 户 如 何 影 响 Splunk Enterprise 性 能 参 考 索 需 要 为 用 户 调 用 的 每 个 搜 索 ( 只 要 搜 索 是 活 跃 的 ) 专 门 提 供 一 个 可 用 的 CPU 核 心 如 果 多 个 用 户 登 录 和 运 行 搜 索, 可 用 的 CPU 核 心 的 数 量 会 迅 速 耗 尽 这 些 数 字 假 定 该 CPU 收 到 登 录 或 搜 索 请 求 时 处 于 空 闲 状 态 这 不 考 虑 其 他 系 统 请 求 或 Splunk Enterprise 使 用 来 索 引 数 据 的 CPU 核 心 如 果 正 在 处 理 任 何 其 他 系 统 请 求, 则 负 载 将 在 其 他 可 用 CPU 之 间 进 行 拆 分 随 着 CPU 核 心 满 载, 索 上 的 所 有 活 动 将 减 慢, 因 为 计 算 机 在 索 引 搜 索 和 处 理 在 线 用 户 之 间 拆 分 处 理 时 间 仅 其 他 索 可 以 增 加 所 有 三 个 Splunk Enterprise 操 作 功 能 的 容 量 保 存 的 搜 索 / 报 表 如 何 影 响 Splunk Enterprise 性 能 在 参 考 索 上, 保 存 的 搜 索 或 报 表 在 执 行 期 间 使 用 约 1 个 CPU 核 心 和 指 定 的 内 存 量 它 的 行 为 类 似 于 临 时 搜 索 随 着 磁 盘 子 系 统 扫 描 索 引 以 提 取 数 据, 保 存 的 搜 索 还 会 临 时 增 加 磁 盘 I/O 量 同 时 执 行 的 每 个 其 他 保 存 的 搜 索 会 使 用 一 个 其 他 的 CPU 核 心 此 消 耗 情 况 与 操 作 系 统 以 及 Splunk Enterprise 索 引 和 存 储 进 程 的 CPU 使 用 分 开 如 果 要 执 行 命 令 的 已 保 存 搜 索 超 过 可 以 处 理 的 数 量, 则 它 们 会 一 直 在 队 列 中 等 待, 直 到 进 行 处 理 当 系 统 达 到 保 存 的 搜 索 最 大 排 队 数 量 时,Splunk Enterprise 还 会 发 出 警 告 当 搜 索 等 待 队 列 时, 搜 索 结 果 将 更 慢 返 回 添 加 搜 索 将 提 供 其 他 CPU 核 心 以 运 行 更 多 并 发 搜 索 对 于 因 为 添 加 搜 索 而 导 致 的 搜 索 负 载 和 并 发 的 增 加, 添 加 索 能 帮 助 调 整 规 模 添 加 RAM 到 现 有 计 算 机 有 助 于 并 发 搜 索, 但 不 会 提 供 其 他 搜 索 容 量 搜 索 类 型 如 何 影 响 Splunk Enterprise 性 能 您 可 以 对 存 储 在 Splunk Enterprise 索 引 中 的 数 据 调 用 四 种 搜 索 类 型 每 种 搜 索 类 型 均 以 不 同 方 式 影 响 索 下 表 汇 总 了 不 同 搜 索 类 型 对 于 密 集 搜 索 和 稀 疏 搜 索,Splunk Enterprise 根 据 匹 配 事 件 的 数 量 来 衡 量 性 能 对 于 超 稀 疏 搜 索 和 罕 见 搜 索, 则 基 于 总 索 引 量 来 衡 量 性 能 搜 索 类 型 描 述 参 考 索 引 器 吞 吐 量 性 能 影 响 密 集 稀 疏 超 稀 疏 罕 见 返 回 给 定 时 间 范 围 内 给 定 数 据 集 的 一 个 大 比 例 匹 配 结 果 (10% 或 更 多 ) 密 集 搜 索 通 常 会 先 占 用 服 务 器 的 CPU, 因 为 解 压 缩 存 储 在 Splunk Enterprise 索 引 中 的 原 始 数 据 需 要 一 定 的 开 销 与 密 集 搜 索 相 比, 返 回 给 定 时 间 范 围 内 给 定 数 据 集 的 较 少 结 果 ( 任 何 位 置 都 在 0.01 到 1% 范 围 内 ) 返 回 每 个 索 引 数 据 桶 中 与 搜 索 匹 配 的 少 数 结 果 超 稀 疏 搜 索 耗 费 很 多 的 I/O 资 源, 因 为 索 引 器 必 须 浏 览 索 引 的 全 部 数 据 桶 才 能 找 到 结 果 如 果 您 的 索 上 存 储 了 大 量 数 据, 这 就 需 要 很 多 数 据 桶, 因 此 超 稀 疏 搜 索 可 能 需 要 很 长 时 间 才 能 完 成 与 超 稀 疏 搜 索 相 类 似, 但 需 要 借 助 布 隆 过 滤 器, 该 过 滤 器 可 帮 助 消 除 那 些 不 匹 配 搜 索 请 求 的 索 引 数 据 桶 罕 见 搜 索 在 任 意 位 置 返 回 结 果 的 速 度 均 可 达 超 稀 疏 搜 索 的 20 到 100 倍 Splunk 应 用 如 何 影 响 Splunk Enterprise 性 能 每 秒 最 多 50,000 个 匹 配 事 件 每 秒 最 多 5,000 个 匹 配 事 件 每 个 索 引 数 据 桶 最 多 2 秒 每 秒 10 到 50 个 索 引 数 据 桶 单 个 Splunk Enterprise 索 可 以 同 时 运 行 多 个 应 用 Splunk Enterprise 包 括 在 同 一 时 间 运 行 的 若 干 个 应 用 受 CPU 限 制 受 CPU 限 制 然 而, 更 复 杂 的 应 用 提 供 高 级 视 图 ( 需 要 使 用 在 后 台 运 行 的 摘 要 和 加 速 搜 索 ) 应 用 需 要 的 后 台 处 理 越 多, 您 越 有 可 能 必 须 跨 多 个 计 算 机 分 发 处 理 负 载 许 多 应 用 需 要 设 计 分 布 式 Splunk Enterprise 部 署 无 论 是 提 取 数 据 并 发 送 数 据 到 单 个 中 央 实 例 的 通 用 转 发 器, 还 是 连 接 在 一 起 并 用 于 报 表 仪 表 板 或 告 警 的 许 多 索 和 搜 索,Splunk 应 用 经 常 都 需 要 一 个 以 上 服 务 器 实 现 企 业 的 最 大 性 能 和 潜 能 受 I/O 限 制 受 I/O 限 制 Splunk 应 用 对 资 源 需 求 的 影 响 5

如 果 您 使 用 的 Splunk 应 用 或 解 决 方 案 将 通 过 执 行 大 量 保 存 的 搜 索 来 获 取 知 识, 单 一 服 务 器 Splunk Enterprise 实 例 会 被 塞 满 多 个 搜 索 很 快 就 会 耗 尽 索 上 的 可 用 CPU 资 源 请 参 阅 本 手 册 中 的 容 纳 许 多 同 时 进 行 的 搜 索 当 您 安 装 应 用 或 解 决 方 案 时, 请 阅 读 相 应 应 用 或 解 决 方 案 文 档 中 所 述 的 系 统 要 求 如 果 未 提 供 相 关 信 息, 请 联 系 该 应 用 或 解 决 方 案 的 作 者, 以 获 取 有 关 正 确 运 行 该 应 用 所 需 内 容 的 信 息 Splunk Enterprise 如 何 计 算 磁 盘 存 储 在 高 级 别,Splunk 将 如 下 计 算 总 磁 盘 存 储 : ( Daily average indexing rate ) x ( retention policy ) x 1/2 由 于 经 过 压 缩 处 理,Splunk Enterprise 会 以 原 始 大 小 约 一 半 的 空 间 存 储 原 始 数 据 在 包 含 500GB 可 用 磁 盘 空 间 的 卷 上, 您 可 以 以 5GB/ 天 的 索 引 速 率 存 储 近 六 个 月 的 数 据, 或 以 100GB/ 天 的 速 率 存 储 十 天 的 数 据 如 果 需 要 其 他 存 储, 则 可 选 择 更 多 本 地 磁 盘 ( 需 要 频 繁 搜 索 时 ) 或 附 加 或 网 络 存 储 ( 可 接 受 偶 尔 搜 索 时 ) 对 于 每 GB 更 低 成 本 优 先 于 即 时 搜 索 返 回 的 长 时 间 搜 索, 可 以 接 受 通 过 NFS 或 SMB/CIFS( 服 务 器 信 息 块 / 通 用 互 联 网 文 件 系 统 ) 的 低 延 迟 连 接 重 要 提 示 : 通 过 广 域 网 (WAN) 连 接 的 共 享 安 装 或 磁 带 等 备 用 存 储 不 适 合 Splunk Enterprise 操 作 的 存 储 选 择 评 估 存 储 要 求 本 主 题 介 绍 了 如 何 评 估 Splunk Enterprise 索 引 大 小, 以 计 划 您 的 存 储 容 量 要 求 Splunk Enterprise 为 您 的 数 据 创 建 索 引 时, 会 创 建 两 种 主 要 类 型 的 文 件 : 包 含 压 缩 形 式 的 原 始 数 据 "rawdata" 文 件, 以 及 指 向 该 数 据 的 索 引 文 件 ( 它 还 会 创 建 几 个 元 数 据 文 件, 这 不 会 使 用 太 多 空 间 ) 只 需 少 量 实 验, 您 就 可 以 评 估 给 定 传 入 数 据 量 所 需 的 索 引 磁 盘 空 间 通 常, 压 缩 的 原 始 数 据 文 件 为 传 入 预 索 引 原 始 数 据 大 小 的 10% 关 联 的 索 引 文 件 大 小 约 为 原 始 数 据 文 件 的 10% 至 110% 数 据 的 唯 一 术 语 数 量 对 该 值 产 生 影 响 根 据 数 据 特 性 的 不 同, 您 可 能 希 望 微 调 分 段 设 置, 如 同 数 据 导 入 手 册 中 的 关 于 分 段 所 述 了 解 空 间 需 求 的 最 佳 方 式 是 通 过 索 引 数 据 的 代 表 性 样 本 进 行 试 验, 然 后 检 查 $SPLUNK_HOME/var/lib/splunk/defaultdb 中 产 生 的 目 录 大 小 在 *nix 系 统 上, 遵 照 这 些 步 骤 一 旦 索 引 完 数 据 样 本 : 1. 转 到 $SPLUNK_HOME/var/lib/splunk/defaultdb/db 2. 运 行 du -ch hot_v* 并 查 看 最 后 total 行 以 查 看 索 引 大 小 在 Windows 系 统 上, 遵 照 这 些 步 骤 1. 从 Microsoft TechNet 下 载 du 实 用 工 具 2. 从 下 载 的 ZIP 文 件 提 取 du.exe 并 放 入 您 的 %SYSTEMROOT% 或 %WINDIR% 文 件 夹 注 意 : 您 还 可 将 它 放 在 您 %PATH% 中 的 任 何 地 方 3. 打 开 命 令 提 示 符 4. 从 命 令 提 示 符, 转 到 %SPLUNK_HOME%\var\lib\splunk\defaultdb\db 5. 运 行 del %TEMP%\du.txt & for /d %i in (hot_v*) do du -q -u %i\rawdata findstr /b "Size:" >> %TEMP%\du.txt 6. 打 开 %TEMP%\du.txt file. 您 将 看 到 Size: n, 这 是 每 个 找 到 的 rawdata 目 录 的 大 小 7. 合 计 这 些 数 字, 找 出 压 缩 的 持 久 化 原 始 数 据 大 小 8. 接 下 来, 运 行 for /d %i in (hot_v*) do dir /s %i, 其 摘 要 是 索 引 的 大 小 9. 添 加 该 数 字 到 总 持 久 化 原 始 数 据 数 量 这 是 您 已 索 引 样 本 的 索 引 和 关 联 数 据 的 总 大 小 现 在, 您 可 用 它 外 推 随 时 间 变 化 的 Splunk Enterprise 索 引 和 rawdata 目 录 的 大 小 要 求 问 答 有 什 么 问 题 吗? 请 访 问 Splunk Answers, 查 看 其 他 Splunk 用 户 有 哪 些 与 数 据 大 小 相 关 的 问 题 和 解 答 6

调 整 您 的 Splunk Enterprise 部 署 规 模 分 布 索 引 和 搜 索 本 主 题 介 绍 分 发 您 的 Splunk 平 台 部 署 组 件 的 原 因 分 布 式 索 引 和 搜 索 概 念 为 Splunk 平 台 设 计 一 个 可 调 整 规 模 的 架 构 需 要 Splunk 实 例 角 色 的 知 识, 以 及 它 们 打 算 如 何 调 整 规 模 最 常 见 的 两 种 角 色 是 搜 索 和 索 它 们 代 表 承 担 管 理 用 户 对 象 搜 索 分 析 和 数 据 存 储 职 责 的 角 色 搜 索 负 责 : 托 管 用 户 存 储 用 户 创 建 的 对 象 计 划 搜 索 和 告 警 通 过 仪 表 板 和 视 图 提 供 可 视 化 反 馈 信 息 执 行 访 问 控 制 索 负 责 : 从 转 发 器 接 收 数 据 流 分 析 数 据 将 数 据 写 入 数 据 桶 维 护 数 据 桶 接 受 来 自 搜 索 的 搜 索 请 求 搜 索 数 据 桶 并 将 结 果 以 流 化 方 式 传 回 给 搜 索 搜 索 的 任 务 主 要 受 CPU 限 制 随 着 更 多 的 用 户 和 更 多 的 应 用 添 加 到 搜 索, 并 发 搜 索 负 载 会 迅 速 攀 升 并 达 到 极 限 该 极 限 表 示 以 搜 索 的 CPU 核 心 衡 量 的 跨 所 有 用 户 和 应 用 的 总 搜 索 负 载 添 加 搜 索 到 部 署 可 增 加 总 的 CPU 资 源, 增 加 环 境 中 所 支 持 的 总 的 搜 索 并 发 以 及 活 跃 用 户 和 应 用 的 数 目 索 的 任 务 主 要 受 I/O 限 制 随 着 更 多 的 转 发 器 添 加 到 网 络, 要 接 受 更 多 的 并 发 数 据 流, 并 且 在 写 入 前 要 分 析 更 多 的 数 据 此 外, 搜 索 请 求 需 要 I/O 访 问 和 处 理 器 时 间 来 分 析 收 集 和 返 回 所 请 求 的 数 据 当 数 据 流 的 量 增 加 和 并 发 搜 索 请 求 攀 升 地 更 高 时, 索 会 达 到 极 限 该 极 限 表 示 以 索 的 I/O 容 量 衡 量 的 所 有 搜 索 的 总 搜 索 负 载 和 来 自 转 发 器 的 索 引 负 载 添 加 索 到 部 署 可 增 加 总 的 I/O 容 量 和 可 用 来 保 存 数 据 的 存 储 空 间, 减 少 每 个 索 负 载 上 的 数 据 量, 并 通 过 将 搜 索 负 载 分 布 到 更 多 的 索 上 来 降 低 其 影 响 调 整 Splunk 平 台 规 模 典 型 的 Splunk 平 台 部 署 规 划 基 于 2 点 : 每 天 的 索 引 数 据 量 和 评 估 的 搜 索 负 载 用 户 计 数 通 常 被 用 作 搜 索 负 载 的 替 代 指 标 例 如, 一 个 具 备 管 理 员 级 别 搜 索 并 发 权 限 的 活 跃 用 户 可 以 在 Splunk 平 台 部 署 中 与 多 个 更 低 级 别 角 色 的 用 户 维 持 同 样 的 负 载 大 多 数 的 Splunk 执 行 是 建 立 在 搜 索 数 百 GB 数 据 的 少 数 用 户 和 一 些 应 用 上 在 这 种 情 况 下, 添 加 索 是 调 整 规 模 的 首 选 方 法 执 行 索 群 集 时 适 用 同 样 的 规 则 当 搜 索 获 得 更 多 用 户 的 时 候,CPU 的 局 限 性 就 会 变 得 明 显, 此 时 搜 索 可 能 被 跳 过, 用 户 会 体 验 到 更 慢 的 搜 索 结 果 速 度 向 您 的 分 布 式 部 署 中 添 加 另 一 个 搜 索 不 能 保 证 提 高 搜 索 性 能 随 着 用 户 计 数 的 增 加, 必 须 添 加 索 以 保 持 搜 索 性 能 有 关 调 整 规 模 的 指 导 表 格, 请 参 阅 本 手 册 中 的 性 能 建 议 摘 要 在 对 于 用 户 计 数 为 50 或 更 多 的 部 署 进 行 规 划 时, 可 考 虑 执 行 搜 索 群 集 以 吸 收 高 级 别 用 户, 同 时 增 加 冗 余 的 搜 索 层 调 整 规 模 的 性 能 索 获 取 数 据 时, 它 们 会 将 数 据 存 储 在 数 据 桶 中, 数 据 桶 是 索 引 的 单 独 元 素 随 着 传 入 数 据 的 增 加, 数 据 桶 数 量 也 会 随 之 增 加 随 着 数 据 桶 数 量 的 增 加, 索 必 须 通 过 滚 动 数 据 桶 来 管 理 它 们, 为 新 传 入 的 数 据 留 出 空 间 此 过 程 会 占 用 I/O 周 期, 这 会 减 少 搜 索 请 求 获 取 事 件 的 可 用 资 源 对 于 拥 有 少 量 数 据 的 索 引 数 据 桶, 其 影 响 是 显 而 易 见 的 避 免 配 置 多 个 组 成 小 数 据 桶 的 索 引 例 如, 使 用 maxdatasize 数 据 桶 设 置, 可 参 阅 Splunk Enterprise 管 理 员 手 册 中 的 "indexes.conf.example" 搜 索 的 数 量 和 类 型 也 会 影 响 索 性 能 大 多 数 搜 索 类 型 会 使 用 索 的 磁 盘 子 系 统, 但 有 一 些 会 使 用 更 多 的 CPU 有 关 同 时 进 行 搜 索 的 信 息, 请 参 阅 本 手 册 中 的 容 纳 并 发 用 户 和 搜 索 如 果 分 配 给 索 的 硬 件 超 过 参 考 计 算 机 规 格, 可 考 虑 查 看 并 执 行 并 行 化 设 置 中 的 一 种 来 提 高 特 定 用 例 的 性 能 使 用 分 布 式 管 理 控 制 台 (DMC) 跨 Splunk 平 台 环 境 监 视 和 跟 踪 资 源 的 使 用 情 况 有 关 更 多 详 细 信 息, 请 参 阅 分 布 式 管 理 控 制 台 手 册 中 的 关 于 分 布 式 管 理 控 制 台 7

容 纳 许 多 同 时 进 行 的 搜 索 本 主 题 提 供 如 何 在 分 布 式 Splunk Enterprise 部 署 中 容 纳 许 多 同 时 进 行 的 搜 索 搜 索 类 型 和 并 发 用 户 的 高 级 指 导 搜 索 性 能 的 主 要 影 响 因 素 Splunk Enterprise 部 署 中 最 大 的 性 能 影 响 因 素 是 : 并 发 用 户 的 数 量 并 发 搜 索 的 数 量 操 作 过 程 中 使 用 的 搜 索 类 型 其 中 每 个 元 素 对 部 署 的 影 响 都 各 有 不 同 并 发 用 户 和 并 发 搜 索 对 性 能 的 影 响 当 某 个 用 户 提 交 搜 索 请 求 后, 该 搜 索 请 求 在 处 理 时 默 认 会 在 每 个 正 在 运 行 的 索 上 占 用 一 个 CPU 核 心 用 户 提 交 的 其 他 任 何 搜 索 也 占 用 一 个 CPU 核 心 您 可 以 调 整 一 台 计 算 机 能 运 行 的 全 局 并 发 搜 索 数 请 参 阅 搜 索 手 册 中 的 实 时 搜 索 和 报 表 的 预 期 性 能 和 已 知 限 制 用 户 调 用 的 搜 索 类 型 还 会 影 响 资 源 使 用 情 况 额 外 的 CPU 量 或 磁 盘 使 用 情 况 视 搜 索 类 型 而 定 请 参 阅 本 手 册 中 的 搜 索 类 型 如 何 影 响 Splunk Enterprise 性 能 作 为 Splunk Enterprise 6.3 版 本 的 新 内 容, 数 据 模 型 加 速 会 分 配 给 每 个 数 据 模 型 最 多 两 个 并 发 搜 索 如 果 您 的 应 用 使 用 数 据 模 型 加 速, 该 更 改 会 影 响 本 主 题 中 显 示 的 计 算 结 果 有 关 详 细 信 息, 请 参 阅 本 手 册 中 的 并 行 化 摘 要 如 何 最 大 程 度 地 提 高 搜 索 性 能 解 决 由 许 多 并 发 搜 索 而 引 起 的 资 源 开 销 问 题 的 最 佳 方 法 是 将 部 署 配 置 为 完 全 在 可 用 物 理 计 算 机 内 存 中 处 理 搜 索 请 求 通 过 添 加 尽 可 能 多 的 内 存 到 系 统 中 来 执 行 此 操 作 这 对 于 指 定 为 搜 索 的 计 算 机 很 重 要, 同 时 对 于 部 署 中 的 索 尤 为 重 要, 因 为 索 必 须 为 传 入 数 据 创 建 索 引 以 及 搜 索 现 有 数 据 例 如, 如 果 某 个 部 署 中 最 多 可 同 时 进 行 48 个 并 发 搜 索, 则 为 了 满 足 48 个 并 发 搜 索 请 求, 使 用 200MB 内 存 的 单 个 搜 索 需 要 转 换 成 接 近 10GB 的 内 存 可 用 内 存 量 是 一 个 非 常 重 要 的 统 计 值 尽 管 索 性 能 随 着 并 发 搜 索 任 务 对 CPU 使 用 率 的 增 加 而 逐 渐 下 降, 但 是 当 计 算 机 耗 尽 了 所 有 可 用 的 物 理 内 存 时, 索 性 能 便 会 显 著 下 降 单 一 参 考 索 无 法 处 理 48 个 并 发 搜 索 要 获 得 满 意 的 性 能, 计 算 机 至 少 需 要 额 外 的 内 存 搜 索 性 能 : 理 想 情 况 尽 管 存 在 内 存 约 束, 搜 索 的 运 行 时 间 还 是 会 随 着 计 算 机 上 可 用 CPU 核 心 数 量 的 减 少 而 成 比 例 增 加 例 如, 在 一 个 具 有 8 个 可 用 核 心 的 空 闲 系 统 上, 计 算 机 上 的 核 心 会 为 前 8 个 到 达 的 搜 索 服 务, 并 且 在 很 短 的 时 间 内 完 成, 在 本 例 中 为 10 秒 8 个 并 发 搜 索 :1 个 索 ( 每 个 索 带 有 8 个 核 心 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 8 8 1 10 10 如 果 并 发 运 行 48 个 搜 索, 则 完 成 时 间 会 显 著 增 加, 如 计 算 中 所 示 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 48 8 6 10 60 因 为 索 在 搜 索 操 作 中 执 行 大 量 工 作 ( 读 取 磁 盘 中 的 数 据 解 压 缩 数 据 提 取 知 识 和 报 表 ), 因 此 最 好 添 加 索 以 减 少 每 次 搜 索 所 需 的 时 间 在 下 一 个 示 例 中, 要 返 回 到 只 需 要 10 秒 的 搜 索 性 能 水 平, 部 署 6 个 索, 并 且 每 个 索 包 含 8 个 核 心 8 个 并 发 搜 索 :6 个 索 ( 每 个 索 带 有 8 个 核 心 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 搜 索 的 核 心 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 8 48 6 10 1.6 48 个 并 发 搜 索 :6 个 索 ( 每 个 索 带 有 8 个 核 心 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 搜 索 的 核 心 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 48 48 1 10 10 在 之 前 的 示 例 中, 可 以 使 用 一 个 搜 索 来 处 理 搜 索 请 求 也 可 以 再 留 出 一 个 搜 索 以 便 创 建 摘 要 索 引 8

搜 索 性 能 : 现 实 情 况 在 许 多 情 况 中, 在 搜 索 到 达 之 前, 系 统 不 是 处 于 空 闲 状 态 例 如, 如 果 索 每 天 要 在 高 峰 时 间 处 理 150GB 数 据, 则 在 8 个 可 用 核 心 中 最 多 使 用 4 个 核 心 来 创 建 该 数 据 的 索 引 在 这 种 情 况 下, 搜 索 次 数 会 显 著 增 加 4 个 并 发 搜 索 : 1 个 索 ( 每 个 索 可 用 8 个 核 心 中 的 4 个 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 搜 索 的 核 心 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 4 4 1 10 10 48 个 并 发 搜 索 :1 个 索 ( 每 个 索 可 用 8 个 核 心 中 的 4 个 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 48 4 12 10 120 增 加 每 个 计 算 机 的 核 心 数 可 缩 短 每 次 搜 索 所 需 的 时 间, 但 这 并 不 是 简 化 搜 索 操 作 的 最 有 效 方 法 一 个 具 有 16 个 核 心 的 系 统 具 有 以 下 性 能 16 个 并 发 搜 索 :1 个 索 (16 个 核 心 中 的 12 个 可 用 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 16 12 1.33 10 13.3 48 个 并 发 搜 索 :1 个 索 (16 个 核 心 中 的 12 个 可 用 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 总 时 间 ( 秒 ) 48 12 4 10 40 两 个 8 核 计 算 机 具 有 以 下 性 能 配 置 文 件 8 个 并 发 搜 索 :2 个 索 ( 每 个 索 可 用 8 个 核 心 中 的 4 个 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 搜 索 的 核 心 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 8 8 1 10 10 16 个 并 发 搜 索 :2 个 索 ( 每 个 索 可 用 8 个 核 心 中 的 4 个 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 16 8 2 10 20 48 个 并 发 搜 索 :2 个 索 ( 每 个 索 可 用 8 个 核 心 中 的 4 个 ): 并 发 搜 索 数 / 可 用 核 心 数 = 每 个 核 心 的 搜 索 数 x 单 个 搜 索 所 需 的 秒 数 = 每 次 搜 索 大 约 花 费 的 时 间 ( 秒 ) 48 8 6 10 60 使 用 两 个 8 核 计 算 机 的 成 本 比 使 用 一 个 16 核 计 算 机 的 成 本 略 多 一 些 另 外, 根 据 硬 盘 主 轴 计 数, 两 个 8 核 计 算 机 提 供 的 可 用 磁 盘 吞 吐 量 比 一 个 16 核 计 算 机 大 得 多 这 对 于 索 很 重 要, 因 为 索 需 要 很 高 的 磁 盘 带 宽 添 加 索 可 减 少 任 何 系 统 上 的 索 引 负 载, 并 释 放 CPU 核 心 进 行 搜 索 另 外, 因 为 几 乎 所 有 类 型 搜 索 的 性 能 都 会 随 着 索 数 量 的 增 加 而 逐 步 提 高, 因 此 搜 索 速 度 将 加 快, 这 可 缓 解 在 创 建 索 引 和 搜 索 过 程 中 共 享 资 源 而 导 致 性 能 降 低 的 影 响 增 加 搜 索 速 度 可 减 小 并 发 用 户 进 行 并 发 搜 索 的 机 会 在 拥 有 数 百 名 用 户 的 现 实 情 况 中, 虽 然 每 个 用 户 每 隔 几 分 钟 运 行 一 次 搜 索, 但 并 不 是 和 其 他 用 户 的 搜 索 时 间 完 全 相 同 通 过 添 加 索 并 减 少 搜 索 时 间, 您 可 以 减 小 并 发 因 子 并 降 低 由 此 引 发 的 I/O 和 内 存 争 用 情 况 性 能 参 考 参 考 硬 件 参 考 硬 件 提 供 一 组 当 限 定 Splunk 平 台 范 围 和 调 整 其 规 模 时 所 用 的 规 格 它 也 为 处 理 搜 索 和 索 引 负 载 时 的 性 能 设 置 基 准 用 于 单 实 例 部 署 的 参 考 计 算 机 下 面 的 计 算 机 要 求 代 表 Splunk Enterprise 部 署 的 基 本 构 建 块 9

Intel x86 64 位 芯 片 架 构 2 个 CPU, 每 CPU 6 核 心 ( 总 共 12 个 CPU 核 心 ), 每 核 心 至 少 2Ghz 12GB RAM 标 准 1Gb 以 太 网 NIC 另 一 个 用 于 管 理 网 络 的 NIC 选 件 标 准 64 位 Linux 或 Windows 分 发 磁 盘 子 系 统 参 考 计 算 机 的 磁 盘 子 系 统 应 能 够 处 理 大 量 平 均 每 秒 输 入 / 输 出 操 作 (IOPS) IOPS 是 硬 盘 驱 动 器 可 以 生 成 多 少 数 据 吞 吐 量 的 测 量 方 法 因 为 硬 盘 驱 动 器 以 不 同 速 度 读 取 和 写 入, 所 以 有 多 种 IOPS 数 量 用 于 磁 盘 读 取 和 写 入 平 均 IOPS 是 这 两 个 数 字 的 混 合 硬 盘 驱 动 器 可 以 生 成 越 多 平 均 IOPS, 它 在 给 定 时 间 段 可 以 索 引 和 搜 索 的 数 据 越 多 尽 管 许 多 变 量 项 目 考 虑 了 硬 盘 驱 动 器 可 以 生 成 的 IOPS 量, 但 是 以 下 是 三 个 最 重 要 的 元 素 : 它 的 旋 转 速 度 ( 每 分 钟 转 速 ) 它 的 平 均 延 迟 ( 旋 转 盘 片 半 周 所 花 费 的 时 间 量 ) 它 的 平 均 搜 索 时 间 ( 检 索 请 求 的 数 据 块 所 花 费 的 时 间 量 ) 要 从 硬 盘 驱 动 器 获 得 尽 可 能 多 的 IOPS, 选 择 具 有 高 转 速 和 低 平 均 延 迟 和 搜 索 时 间 的 驱 动 器 每 家 驱 动 器 制 造 商 均 会 提 供 这 一 条 信 息, 另 外 还 有 一 些 制 造 商 会 提 供 更 多 信 息 有 关 IOPS 和 如 何 计 算 它 们 的 信 息, 请 参 阅 以 下 文 章 : 获 得 Symantec 的 Connect Community 相 关 IOPS 信 息 (http://www.symantec.com/connect/articles/gettinghang-iops-v13) 分 析 CMDLN.ORG(sysadmin 博 客 ) 上 的 Linux 的 I/O 性 能 (http://www.cmdln.org/2010/04/22/analyzing-ioperformance-in-linux) 对 于 本 应 用 程 序, 我 们 为 磁 盘 子 系 统 使 用 了 8 个 146 GB 15,000 RPM 串 行 连 接 SCSI (SAS) HD 独 立 磁 盘 冗 余 阵 列 (RAID) 1+0 故 障 容 错 方 案 每 个 硬 盘 驱 动 器 能 够 提 供 平 均 约 200 IOPS 的 速 度 组 合 的 阵 列 能 够 提 供 略 微 超 过 800 IOPS 的 速 度 重 要 提 示 : 没 有 足 够 的 磁 盘 I/O 是 在 Splunk 基 础 架 构 中 发 现 的 最 常 见 的 限 制 在 配 置 您 的 硬 件 之 前 仔 细 查 看 磁 盘 子 系 统 的 要 求 性 能 参 考 计 算 机 针 对 给 定 数 据 样 本 生 成 以 下 索 引 和 搜 索 性 能 指 标 索 引 性 能 搜 索 性 能 最 多 每 秒 20MB( 每 天 1700GB) 的 原 始 索 引 性 能, 如 果 不 出 现 搜 索 或 其 他 索 引 相 关 的 活 动 的 话 对 于 密 集 搜 索, 每 秒 最 多 50,000 个 事 件 对 于 稀 疏 搜 索, 每 秒 最 多 5,000 个 事 件 对 于 超 稀 疏 搜 索, 每 索 引 数 据 桶 最 多 2 秒 对 于 带 布 隆 过 滤 器 的 罕 见 搜 索, 每 秒 10 至 50 个 数 据 桶 要 了 解 搜 索 类 型 以 及 它 们 如 何 影 响 Splunk Enterprise 性 能 的 信 息, 请 参 阅 本 手 册 中 的 搜 索 类 型 如 何 影 响 Splunk Enterprise 性 能 用 于 分 布 式 部 署 的 参 考 计 算 机 对 于 较 高 的 数 据 索 引 速 率 和 活 跃 用 户 计 数, 考 虑 索 和 搜 索 的 不 同 需 求 专 用 搜 索 不 需 要 太 多 的 本 地 存 储 或 极 快 的 磁 盘 吞 吐 量 搜 索 受 CPU 限 制, 并 且 将 使 用 比 索 更 多 的 CPU 资 源 专 用 搜 索 Intel 64 位 芯 片 架 构 4 个 CPU, 每 CPU 4 核 心 ( 总 共 16 个 CPU 核 心 ), 每 核 心 至 少 2Ghz 12GB RAM 2 个 300GB 10,000 RPM SAS 硬 盘, 采 用 RAID 1 配 置 标 准 1Gb 以 太 网 NIC 另 一 个 用 于 管 理 网 络 的 NIC 选 件 标 准 64 位 Linux 或 Windows 分 发 添 加 额 外 的 核 心 到 搜 索 以 容 纳 更 多 的 活 跃 用 户 和 更 高 的 并 发 搜 索 负 载 当 配 置 搜 索 时, 您 还 必 须 考 虑 到 计 划 的 搜 索 典 型 搜 索 请 求 需 要 1 个 CPU 核 心 索 10

分 发 索 引 过 程 允 许 Splunk 平 台 将 数 据 处 理 的 规 模 调 整 为 数 TB 一 天 单 个 的 索 与 一 组 索 有 相 同 的 磁 盘 I/O 带 宽 要 求 添 加 额 外 的 索 允 许 搜 索 请 求 和 数 据 索 引 量 的 工 作 跨 多 个 实 例 共 享 Intel 64 位 芯 片 架 构 2 个 CPU, 每 CPU 6 核 心 ( 总 共 12 个 CPU 核 心 ), 每 核 心 至 少 2Ghz 12GB RAM 能 够 提 供 800 平 均 IOPS 速 度 的 磁 盘 子 系 统 请 参 阅 磁 盘 子 系 统 标 准 1Gb 以 太 网 NIC, 以 及 另 一 个 用 于 管 理 网 络 的 NIC 选 件 标 准 64 位 Linux 或 Windows 分 发 如 果 分 配 给 索 的 硬 件 超 过 参 考 计 算 机 规 格, 可 考 虑 查 看 并 执 行 并 行 化 设 置 中 的 一 种 来 提 高 特 定 用 例 的 性 能 每 日 数 据 量 较 高 时, 本 地 磁 盘 无 法 为 想 要 快 速 搜 索 的 时 间 期 间 提 供 经 济 有 效 的 存 储 在 这 些 情 况 下, 部 署 快 速 连 接 存 储 或 网 络 存 储, 例 如, 光 纤 存 储 区 域 网 络 (SAN), 它 能 为 每 个 索 提 供 需 要 的 IOPS 虽 然 推 荐 使 用 很 多 存 储 类 型, 但 在 规 划 存 储 基 础 设 施 时 请 考 虑 以 下 指 导 原 则 : 因 此 : 索 执 行 大 量 批 量 读 取 操 作 索 执 行 大 量 磁 盘 搜 索 操 作 磁 盘 越 多 ( 特 别 是 主 轴 越 多 ), 索 引 性 能 越 好 整 个 系 统 的 总 吞 吐 量 很 重 要 特 定 系 统 中 磁 盘 与 磁 盘 控 制 器 的 比 率 应 该 较 高 一 些, 与 配 置 数 据 库 服 务 器 的 情 况 类 似 索 与 搜 索 的 比 率 对 索 可 以 支 持 的 搜 索 数 量 或 搜 索 可 以 搜 索 的 索 数 量 没 有 实 际 的 限 制 用 例 将 决 定 基 础 架 构 中 需 要 什 么 样 的 Splunk 实 例 角 色 ( 搜 索 或 索 ) 来 调 整 规 模 同 时 保 持 性 能 有 关 调 整 规 模 的 指 导 表 格, 请 参 阅 本 手 册 中 的 性 能 建 议 摘 要 虚 拟 硬 件 Splunk 平 台 实 例 支 持 运 行 在 虚 拟 主 机 环 境 中 布 置 在 VMWare 上 的 索 ( 具 备 满 足 参 考 硬 件 规 格 的 预 留 资 源 ) 处 理 数 据 的 速 度 比 布 置 在 裸 机 上 的 索 慢 约 10% 到 15% 在 虚 拟 主 机 环 境 中 的 搜 索 性 能 与 裸 机 上 的 性 能 近 似 相 当 这 介 绍 了 不 考 虑 与 同 一 物 理 服 务 器 或 存 储 阵 列 上 共 享 的 其 他 活 跃 虚 拟 机 争 用 资 源 的 最 佳 方 案 它 也 不 考 虑 某 些 供 应 商 的 特 定 I/O 增 强 技 术, 如 直 接 I/O 或 原 始 设 备 映 射 有 关 在 VMWare 虚 拟 机 上 运 行 Splunk Enterprise 的 建 议, 请 参 阅 主 要 的 Splunk 网 站 上 的 在 虚 拟 环 境 中 部 署 Splunk Enterprise Splunk Enterprise, 在 cloud 中 自 我 管 理 在 cloud 中 运 行 Splunk Enterprise 是 在 裸 机 硬 件 上 本 地 运 行 的 替 代 方 式 Splunk Enterprise 在 基 于 cloud 的 基 础 架 构 上 提 供 与 裸 机 硬 件 上 的 类 似 性 能 取 决 于 供 应 商 和 用 于 配 置 cloud 实 例 的 技 术, 可 用 资 源 可 能 会 比 OS 报 告 的 更 少 如 果 您 在 Amazon Web Services (AWS) 实 例 上 运 行 Splunk Enterprise: AWS 测 量 虚 拟 CPU (vcpu) 中 弹 性 计 算 Cloud (EC2) 实 例 的 CPU 功 率, 而 不 是 真 实 CPU 中 的 功 率 每 个 vcpu 是 大 多 数 AWS 实 例 类 型 上 的 Intel Xeon 核 心 的 一 个 超 线 程 请 参 阅 AWS 站 点 上 的 AWS Amazon EC2 实 例 类 型 (http://aws.amazon.com/ec2/instance-types/) 作 为 核 心 的 超 线 程,vCPU 被 用 作 核 心, 但 物 理 核 心 必 须 在 物 理 核 心 处 理 的 其 他 vcpu 的 其 余 工 作 量 之 间 安 排 工 作 量 对 于 索 引 和 数 据 存 储, 请 注 意 : 如 果 您 选 择 使 用 弹 性 块 存 储 (EBS), 您 选 择 的 EBS 卷 类 型 决 定 了 您 可 获 得 的 性 能 量 不 是 所 有 的 EBS 卷 类 型 都 有 处 理 Splunk Enterprise 操 作 所 需 要 的 IOPS 配 置 IOPS 和 磁 性 EBS 卷 类 型 为 获 得 索 引 和 搜 索 所 需 要 的 IOPS 提 供 了 最 佳 选 择 请 参 阅 AWS 站 点 上 的 EBS - 产 品 详 细 信 息 (http://aws.amazon.com/ebs/details/) 不 是 每 一 个 EC2 实 例 类 型 均 为 您 需 要 的 EBS 卷 提 供 网 络 吞 吐 量 要 确 保 该 带 宽, 您 必 须 将 instance4 作 为 EBS- 优 化 启 动, 或 者 选 择 一 个 能 提 供 最 小 10Gb 带 宽 的 实 例 类 型 请 参 阅 AWS 站 点 上 的 Amazon EC2 实 例 配 置 (http://docs.aws.amazon.com/awsec2/latest/userguide/ebs-ec2-config.html) 对 于 转 发, 请 注 意, 您 的 Cloud 基 础 架 构 邻 近 您 的 转 发 器 会 对 整 个 环 境 的 性 能 有 重 大 影 响 Splunk Cloud Splunk 将 它 的 计 算 机 数 据 平 台 和 获 许 可 的 软 件 作 为 名 为 Splunk Cloud 的 订 阅 服 务 提 供 当 您 订 阅 服 务 时, 您 可 以 购 买 容 量 以 索 引 存 储 和 搜 索 您 的 计 算 机 数 据 Splunk Cloud 对 您 的 基 础 架 构 规 格 进 行 提 取 摘 要, 并 在 您 所 购 买 的 容 量 上 提 供 高 性 能 服 务 性 能 检 查 表 11

该 问 卷 假 定 您 有 一 个 基 于 参 考 架 构 ( 在 用 于 单 实 例 部 署 的 参 考 计 算 机 主 题 中 介 绍 ) 的 单 实 例 Splunk Enterprise 部 署 这 些 指 南 会 帮 助 您 决 定 何 时 分 发 您 的 Splunk 平 台 部 署 确 定 何 时 调 整 您 的 Splunk Enterprise 部 署 规 模 在 考 虑 何 时 扩 展 之 前, 评 估 需 要 索 引 的 数 据 量, 以 及 是 否 会 有 不 止 一 个 的 活 跃 用 户 搜 索 该 数 据 根 据 索 引 的 数 据 量 和 所 需 并 发 用 户 计 数 的 不 同, 您 可 能 需 要 将 环 境 扩 展 为 多 台 计 算 机 即 使 您 的 索 引 量 和 用 户 计 数 在 单 个 计 算 机 的 容 量 范 围 之 内, 但 基 于 使 用 的 搜 索 类 型 和 使 用 的 功 能 ( 例 如 摘 要 索 引 或 数 据 模 型 加 速 ), 您 可 能 必 须 分 发 您 的 部 署 另 外, 在 您 的 环 境 中 运 行 Splunk 应 用 或 解 决 方 案, 或 试 图 支 持 大 量 保 存 的 搜 索 需 要 具 备 分 散 在 多 个 计 算 机 上 的 组 件 的 分 布 式 Splunk 平 台 问 题 1: 您 是 否 希 望 创 建 或 运 行 执 行 大 量 保 存 的 搜 索 ( 并 发 超 过 8 个 ) 的 Splunk 应 用 告 警 或 解 决 方 案? 保 存 的 搜 索 是 用 户 保 存 在 Splunk Enterprise 中 以 便 稍 后 使 用 的 搜 索 保 存 的 搜 索 数 量, 尤 其 是 并 发 运 行 的 那 些 搜 索 的 数 量, 会 直 接 影 响 Splunk 服 务 器 的 性 能 如 果 回 答 否, 则 转 到 问 题 2 您 暂 时 无 需 考 虑 扩 展 Splunk Enterprise 部 署 到 多 台 计 算 机 如 果 回 答 是, 则 应 扩 展 您 的 Splunk Enterprise 部 署 规 模 到 多 台 计 算 机 问 题 2: 您 每 天 是 否 需 要 索 引 超 过 2GB 的 数 据? 问 题 3: 您 是 否 有 超 过 两 位 用 户 同 时 登 录? 如 果 您 对 问 题 2 和 3 都 回 答 否, 则 您 的 Splunk 平 台 实 例 可 与 其 他 Splunk 平 台 服 务 共 享 用 于 分 布 式 部 署 的 参 考 计 算 机 如 果 您 对 问 题 2 或 3 回 答 是, 则 继 续 问 题 4 警 告 要 在 Windows 上 部 署 Splunk Enterprise, 则 不 可 在 运 行 Microsoft Exchange Active Directory 域 服 务 或 计 算 机 虚 拟 化 软 件 的 服 务 器 上 分 享 完 整 的 Splunk Enterprise 服 务 这 些 服 务 经 常 耗 费 很 多 I/O 资 源, 会 降 低 索 引 和 搜 索 性 能 此 外, 确 保 安 装 在 服 务 器 上 的 防 病 毒 软 件 不 会 扫 描 Splunk Enterprise 安 装 目 录 问 题 4: 您 每 天 是 否 需 要 索 引 超 过 300GB 的 数 据? 问 题 5: 您 是 否 需 要 超 过 四 位 并 发 用 户? 如 果 您 对 问 题 4 和 5 都 回 答 否, 则 运 行 在 参 考 计 算 机 上 的 单 个 专 用 Splunk Enterprise 实 例 应 能 够 处 理 索 引 和 搜 索 的 工 作 负 载 如 果 您 对 问 题 4 或 5 回 答 是, 则 转 到 问 题 6 问 题 6: 您 是 否 需 要 超 过 600GB 的 总 存 储 空 间? 请 参 阅 Splunk Enterprise 如 何 计 算 磁 盘 存 储 如 果 回 答 否, 则 单 个 参 考 架 构 的 专 门 计 算 机 应 能 够 处 理 索 引 和 搜 索 的 工 作 负 载, 但 您 可 能 需 要 为 系 统 添 加 快 速 存 储 以 处 理 增 加 的 磁 盘 使 用 率 如 果 回 答 是, 则 考 虑 扩 展 部 署 到 其 他 索, 以 处 理 不 断 增 加 的 索 引 和 搜 索 需 求 问 题 7: 您 是 否 需 要 为 少 量 结 果 ( 不 到 1%) 搜 索 大 量 数 据? 涉 及 大 量 数 据 并 返 回 少 量 数 据 结 果 的 搜 索 被 称 为 超 稀 疏 搜 索 这 些 搜 索 需 要 大 量 磁 盘 I/O, 因 为 索 必 须 搜 索 一 些 数 据 桶 以 查 找 您 需 要 的 数 据 如 果 回 答 否, 则 无 需 扩 展 部 署 但 是, 增 加 其 他 索 将 同 时 提 升 索 引 和 搜 索 性 能 如 果 回 答 是, 则 考 虑 扩 展 部 署 性 能 建 议 摘 要 每 日 索 引 量 表 格 汇 总 了 性 能 检 查 表 给 出 的 性 能 建 议 下 表 显 示 了 在 Splunk Enterprise 中 索 引 和 搜 索 数 据 所 需 的 参 考 计 算 机 的 数 量, 这 取 决 于 并 发 用 户 计 数 和 实 例 索 引 的 数 据 量 要 查 看 当 前 参 考 硬 件 的 规 格, 请 参 阅 本 手 册 中 的 参 考 硬 件 此 表 只 是 粗 略 的 指 导 说 明 根 据 用 例 修 改 相 关 数 字 如 果 您 需 要 帮 助 确 定 和 调 整 Splunk 平 台 环 境, 请 联 系 Splunk 销 售 代 表 或 专 业 服 务 每 日 索 引 量 12

< 2GB/ 天 2 到 300 GB/ 天 300 到 600 GB/ 天 600GB 到 1TB/ 天 1 到 2TB/ 天 2 到 3TB/ 天 总 用 户 数 : 小 于 4 1 个 合 并 实 例 1 个 合 并 实 例 2 个 索 3 个 索 7 个 索 引 器 10 个 索 总 用 户 数 : 最 大 8 1 个 合 并 实 例 1 个 索 引 器 2 个 索 3 个 索 8 个 索 引 器 12 个 索 总 用 户 数 : 最 大 16 1 个 搜 索 1 个 索 1 个 索 引 器 3 个 索 2 个 搜 索 4 个 索 2 个 搜 索 10 个 索 2 个 搜 索 15 个 索 总 用 户 数 : 最 大 24 1 个 搜 索 1 个 索 2 个 索 引 器 2 个 搜 索 3 个 索 2 个 搜 索 6 个 索 2 个 搜 索 12 个 索 3 个 搜 索 18 个 索 总 用 户 数 : 最 大 48 2 个 索 引 器 2 个 搜 索 4 个 索 2 个 搜 索 7 个 索 3 个 搜 索 14 个 索 3 个 搜 索 21 个 索 问 答 有 什 么 问 题 吗? 请 访 问 Splunk Answers 以 查 看 其 他 用 户 有 哪 些 与 硬 件 和 Splunk Enterprise 相 关 的 问 题 和 解 答 转 发 器 与 索 之 间 的 比 率 Splunk Enterprise 索 负 责 从 内 部 和 外 部 数 据 源 ( 例 如 转 发 器 ) 接 收 数 据 流, 并 在 本 地 为 该 流 建 立 索 引 为 数 据 建 立 索 引 需 要 大 量 的 磁 盘 I/O 带 宽 以 及 一 些 计 算 资 源 当 您 考 虑 一 个 索 能 处 理 多 少 个 转 发 器 的 数 据 时, 索 引 容 量 仍 然 是 最 关 注 的 问 题 转 发 器 ( 一 个 索 能 从 其 接 收 数 据 ) 的 数 量 取 决 于 几 个 因 素 : 计 算 机 上 CPU 的 数 量 主 轴 的 数 量 应 该 满 足 或 超 过 参 考 标 准 计 算 机 上 磁 盘 主 轴 的 数 量 主 轴 的 数 量 应 该 满 足 或 超 过 参 考 标 准 索 是 否 运 行 在 Windows 或 *nix 上 要 转 发 到 索 的 数 据 量 索 是 否 也 会 用 作 部 署 服 务 器 对 于 *nix 索, 转 发 器 与 索 之 间 的 比 率 Splunk Enterprise 使 用 以 下 设 置 来 为 能 连 接 到 *nix 索 的 转 发 器 数 量 提 供 指 导 : 一 个 索 ( 具 备 8 个 核 心,7GB RAM, 采 用 RAID 0 配 置 的 4 x 420GB 磁 盘, 运 行 64 位 Linux OS) 以 100Mb/s 或 更 快 速 度 传 输 的 高 速 局 域 网 (LAN) 所 有 的 通 用 转 发 器 发 送 未 经 预 先 处 理 的 数 据 在 这 些 情 况 下, 索 能 够 处 理 至 少 2,000 个 转 发 器 的 数 据, 通 常 能 处 理 多 达 5,000 个 转 发 器 的 数 据 当 服 务 器 被 配 置 为 接 受 大 量 的 Unix 文 件 描 述 符 ( 通 常 是 索 可 以 接 受 的 转 发 器 数 量 的 三 到 四 倍 ) 时, 性 能 最 佳 注 意 : 这 些 数 字 仅 用 于 指 导 取 决 于 索 转 发 器 和 网 络 的 配 置, 结 果 会 有 所 不 同 并 行 化 设 置 在 Splunk Enterprise 6.3 版 本 中, 可 使 用 新 设 置 来 提 高 搜 索 和 索 引 性 能 谁 能 使 用 这 些 设 置 13

并 行 化 设 置 被 设 计 来 提 高 Splunk Enterprise 中 特 定 组 件 的 性 能 并 行 化 功 能 的 目 的 是 使 得 具 有 多 余 的 CPU 核 心 和 I/O 容 量 的 客 户 能 充 分 利 用 他 们 的 硬 件 提 高 跨 索 引 层 的 性 能 您 可 以 使 用 这 些 设 置 来 分 配 CPU 资 源, 以 用 于 Splunk 平 台 环 境 中 最 广 泛 的 用 途, 方 法 是 将 索 调 整 以 满 足 其 要 求 设 置 摘 要 设 置 批 处 理 模 式 搜 索 并 行 化 描 述 允 许 批 处 理 模 式 搜 索 在 每 个 索 上 打 开 其 他 的 搜 索 管 道, 同 时 处 理 多 个 数 据 桶 数 据 模 型 的 并 行 化 摘 要 允 许 计 划 程 序 在 索 上 运 行 并 发 数 据 模 型 的 加 速 搜 索 报 表 加 速 的 并 行 化 摘 要 允 许 计 划 程 序 在 索 上 运 行 并 发 报 表 的 加 速 搜 索 索 引 并 行 化 允 许 在 索 和 转 发 器 上 的 并 发 数 据 处 理 管 道 如 果 您 的 Splunk 平 台 环 境 中 的 索 超 过 了 参 考 硬 件 规 格, 您 可 以 查 看 用 例 并 增 加 一 个 并 行 化 设 置 直 到 最 大 建 议 值 如 果 您 的 索 达 到 或 接 近 容 量 极 限, 更 改 并 行 化 设 置 会 对 搜 索 和 索 引 性 能 产 生 负 面 影 响 所 有 并 行 化 设 置 都 需 要 重 新 启 动 服 务 使 其 生 效 批 处 理 模 式 搜 索 并 行 化 批 处 理 模 式 搜 索 被 设 计 用 于 按 数 据 桶 而 不 是 按 时 间 进 行 搜 索 和 返 回 事 件 数 据 通 过 添 加 更 多 的 批 处 理 搜 索 管 道, 可 同 时 处 理 多 个 数 据 桶, 加 快 搜 索 结 果 的 返 回 速 度 使 用 批 处 理 模 式 搜 索 并 行 化 的 客 户 会 发 现 返 回 批 处 理 模 式 搜 索 结 果 的 速 度 快 了 一 倍 设 置 名 称 默 认 最 大 建 议 值 影 响 batch_search_max_pipeline 1 2 乘 以 每 个 索 上 每 个 批 处 理 模 式 搜 索 的 搜 索 管 道 数 量 调 整 limits.conf 中 的 batch_search_max_pipeline 设 置 为 2, 乘 以 每 个 索 上 的 批 处 理 模 式 搜 索 所 使 用 的 IO 处 理 开 销 和 内 存 2 倍 的 值 提 供 最 佳 的 性 能 增 长, 更 高 的 值 则 会 使 得 收 益 递 减 有 关 配 置 的 详 细 信 息, 请 参 阅 Splunk Enterprise 知 识 管 理 器 手 册 中 的 配 置 批 处 理 模 式 搜 索 并 行 化 Splunk 管 理 员 可 使 用 分 布 式 管 理 控 制 台 (DMC) 监 视 和 跟 踪 索 资 源 的 使 用 情 况 有 关 更 多 详 细 信 息, 请 参 阅 分 布 式 管 理 控 制 台 手 册 中 的 关 于 分 布 式 管 理 控 制 台 并 行 化 摘 要 加 速 搜 索 有 两 种 类 型 : 数 据 模 型 加 速 和 报 表 加 速 两 种 加 速 类 型 都 会 在 每 个 索 引 数 据 桶 之 外 的 磁 盘 上 创 建 搜 索 结 果 当 计 划 的 加 速 搜 索 无 法 跟 上 索 引 的 数 据 量 时, 延 迟 被 引 入 到 搜 索 结 果 中 通 过 允 许 计 划 程 序 在 索 上 运 行 并 行 加 速 搜 索, 可 同 时 处 理 多 个 数 据 桶, 加 快 加 速 搜 索 结 果 的 创 建 速 度 使 用 并 行 化 摘 要 的 客 户 会 发 现 构 建 加 速 搜 索 结 果 的 速 度 快 了 一 倍 数 据 模 型 加 速 设 置 名 称 默 认 最 大 建 议 值 影 响 acceleration.max_concurrent 2 2 乘 以 每 个 索 上 每 个 数 据 模 型 的 计 划 的 加 速 搜 索 数 量 datamodels.conf 中 的 acceleration.max_concurrent 设 置 默 认 为 2, 乘 以 每 个 索 上 运 行 计 划 的 加 速 搜 索 时 所 使 用 的 IO 处 理 开 销 和 内 存 2 倍 的 值 提 供 最 佳 的 性 能 增 长, 更 高 的 值 则 会 使 得 收 益 递 减 有 关 配 置 的 详 细 信 息, 请 参 阅 Splunk Enterprise 知 识 管 理 器 手 册 中 的 并 行 化 摘 要 报 表 加 速 设 置 名 称 默 认 最 大 建 议 值 影 响 auto_summarize.max_concurrent 1 2 乘 以 每 个 索 上 每 个 搜 索 的 计 划 的 加 速 搜 索 数 量 调 整 savedsearches.conf 中 的 auto_summarize.max_concurrent 设 置 为 2, 乘 以 每 个 索 上 运 行 计 划 的 加 速 搜 索 时 所 使 用 的 IO 处 理 开 销 和 内 存 2 倍 的 值 提 供 最 佳 的 性 能 增 长, 更 高 的 值 则 会 使 得 收 益 递 减 有 关 配 置 的 详 细 信 息, 请 参 阅 Splunk Enterprise 知 识 管 理 器 手 册 中 的 使 用 并 行 化 摘 要 加 速 报 表 摘 要 的 创 建 和 维 护 Splunk 管 理 员 可 使 用 分 布 式 管 理 控 制 台 (DMC) 监 视 和 跟 踪 索 资 源 的 使 用 情 况 有 关 更 多 详 细 信 息, 请 参 阅 分 14

布 式 管 理 控 制 台 手 册 中 的 关 于 分 布 式 管 理 控 制 台 索 引 并 行 化 索 引 并 行 化 允 许 索 维 护 多 个 管 道 集 管 道 集 处 理 数 据 的 过 程, 从 接 收 事 件 流, 通 过 事 件 处 理, 到 将 事 件 写 入 磁 盘 通 过 允 许 索 创 建 和 操 作 多 个 管 道, 多 条 数 据 流 可 以 使 用 其 他 的 CPU 核 心 来 处 理, 加 快 数 据 分 析 和 写 入 磁 盘 的 速 度, 直 到 达 到 索 的 I/O 容 量 极 限 使 用 索 引 并 行 化 的 客 户 会 发 现 索 的 持 续 负 载 的 增 加, 或 是 突 然 从 转 发 器 接 收 到 大 量 数 据 时 索 引 速 度 快 了 一 倍 设 置 名 称 默 认 最 大 建 议 值 影 响 parallelingestionpipelines 1 2 乘 以 每 个 索 上 的 管 道 数 量 调 整 server.conf 中 的 parallelingestionpipelines 设 置 为 2 将 使 用 额 外 的 4 到 6 个 CPU 核 心, 以 及 需 要 300-400 IOPS 以 保 持 每 个 索 上 的 索 引 吞 吐 量 另 外, 可 用 于 搜 索 处 理 的 CPU 核 心 更 少 2 倍 的 值 提 供 最 佳 的 性 能 增 长, 更 高 的 值 则 会 使 得 收 益 递 减 有 关 配 置 的 详 细 信 息, 请 参 阅 Splunk Enterprise 管 理 索 和 索 群 集 手 册 中 的 管 理 用 于 索 引 并 行 化 的 管 道 集 Splunk 管 理 员 可 使 用 分 布 式 管 理 控 制 台 (DMC) 监 视 和 跟 踪 索 资 源 的 使 用 情 况 有 关 更 多 详 细 信 息, 请 参 阅 分 布 式 管 理 控 制 台 手 册 中 的 关 于 分 布 式 管 理 控 制 台 15