用面向大数据与分析的思科 UCS 集成基础设施搭建 星环一站式大数据综合平台

用面向大数据与分析的思科 UCS 集成基础设施搭建 星环一站式大数据综合平台 给大数据带来完整的SQL和ACID支持解决方案介绍 2017年5月 2017 Cisco/ Transwarp. 均保留所有权利

关键特性 面向大数据和内存计算的综合集成平台 Cisco UCS是思科面向大数据分析的集成平台 为企业级一站式大数据综合平台Transwarp Data Hub(TDH)的性能 扩展性和可用性提供保障 轻松部署 Cisco UCS Manager管理工具使用自动化的基于策略的机制 来简化部署 并有效减少配置错误和系 统宕机时间 UCS拥有极高的线性扩展能力 能轻松应对单机架或多机架的扩展部署 完整的SQL和ACID支持 Transwarp Inceptor是第一个实现完整SQL支持的Hadoop发行产品 它不仅支持SQL 2003 Oracle PL/SQL以及DB2 SQL PL 还实现了完整的ACID和CRUD功能 此外 TDH还提供了JDBC和ODBC驱动 以方便第三方工具运行于TDH之上 极致的性能 R TDH的批处理速度是开源Hadoop的许多倍 比RDBMS也快了很多倍 支持对从GB到PB级的数据量实现 复杂的查询和分析 可以以优异的性能完成大数据的转换 处理 分析等任务 低延迟的流处理 Transwarp Slipstream是一款支持事件驱动和微批处理两种计算模式的混合流计算引擎 用于处理流式 数据 事件驱动模式适用于有低延迟需求的业务场景 其延迟可低至5ms 微批处理模式则用于吞吐量大的 场景 在Hadoop上使用复杂数据仓库功能的需求 Hadoop技术的出现标志着大数据技术时代的开始 大数据技术已经真正承托起一大批企业的数据基础 架构 Hadoop分为开源和商业产品两类 许多企业在初期构建数仓时为了节约成本 会倾向使用开 源Hadoop 然而随着业务的拓展 开源产品的运维将耗费大量时间而且要求较高的技术支持 反而 增加大量的后续开销 这驱使企业将目光投向成熟的Hadoop商业发行版 其中星环科技的企业级一站式大 数据综合平台Transwarp Data Hub(TDH)已经成为很多企业的选择 经过几年的不断创新与优化 TDH和其他Hadoop发行版相比在性能 可扩展性和易用性等各方面都具备显 著的优势 例如 TDH对SQL提供完备的支持 使开发者仅通过一种语言-SQL-就能够实现批处理 交互分析 流处 理以及搜索等复杂功能 用户可以在TDH的分析引擎Inceptor上 用S Q L 访问远程异源的数据 并进行处 理分析 对于流处理 Transwarp Slipstream为用户提供了和DBMS相似的操作方式 实现流上的数据查 找 大幅度降低了流式应用的开发门槛 TDH具有超强性能和优秀的可扩展性 以其为底层构建的数据处理平台既能保持对已有应用的支持又能 支撑新应用对于性能和容量的需求 T D H 可以在不牺牲性能的前提下 构建高效且高可用的大数据处理平 台 为企业节省相当可观的运维开销 在实现技术革新方面具有巨大的潜力

下一代大数据平台的构建需具备以下几个条件 轻量且集中的管理 极致的性能和线性扩展支持 利 用Cisco UCS R 大数据分析集成平台搭建一站式大数据综合平台Transwarp Data Hub,恰好可以满足以上几 点需求 应用于多种业务场景 包括物联网 欺诈分析和基因诊疗等 面向大数据的思科统一计算系统 (UCS) 集成基础设施 构建大数据平台时 必须要保证底层硬件可以被快捷部署 扩展和管扩展和管理 从而应对业务未来的 飞速拓增 思科统一计算系统 (Cisco UCS)革命性地使用了统一化集成架构 提升了数据中心的业务处理能 力 促进IT创新并加快其发展 思科面向大数据的统一计算集成基础设施能够处理端到端的大批量实时和归 档数据 支持结构化和非结构化数据 同时整合了一些相关复杂功能 以满足企业级应用对于高性能和扩展 性的需求 图 1: 用面向大数据与分析的思科 UCS 集成基础设施搭建星环一站式大数据综合平台 2x Cisco UCS 6296 交换矩阵互联 64 Cisco UCS C240 M4 服务器 16x10 Gb 链路 Cisco UCS 6200 and 6300交换矩阵互联 Cisco UCS 6200系列交换矩阵互联是用于接入UCS的设备提供高带宽低延迟的连接服务和统一集成管理 的产品 Cisco UCS 6300系列是该技术的最新版本 思科UCS 6200和6300系类交换矩阵互联是思科UCS架构的核心 它们具有低延时 低损耗的特性 提供10 GB和40 GB 以太网和以太网光纤信道(FCoE),并对部署在冗余组件的光纤信道进行集中管理 思科 R 互联阵 列可以完全满足大数据应用平台对硬件基础的三项典型需求 双主机(active-active) 冗余 出色的性能 优异的扩展性 此外 Cisco UCS Manager支持通过若干服务配置文件快速完成服务配置 同时把系统运维工作(例如 防火墙更新) 简化为单一操作 提供高级系统监控 Cisco UCS C-系列机架式服务器 Cisco UCS C240 M4 和 UCS C220 M4机架式服务器可以满足数据高密度设计对于计算 I/O和存储能力 的各种需求 它们的配置包括 两个Intel R 核Xeon R 处理器(E5-2600 v4 系列CPU) 768 GB内存 并对普通

机械硬盘和固态硬盘提供各种选择 UCS C240 M4服务器根据优化关注点的不同分为两类 针对性能优化的 服务器 最多可挂载24块SFF硬盘 针对存储优化的服务器 最多支持12块LFF硬盘 另外用户还可以根据采用的光纤互联阵列 在Cisco UCS虚拟接口卡(VIC) 1227和1387之间进行选择 二者的不同在于 VIC 1227主要用于优化高带宽 延迟低的场景 而VIC 1387则提供双端口增强版小型可插 拔模块(QSFP+) 40Gb以太网和主板模块化局域网(mLOM) 中的以太网光纤信道(FCoE) 星环一站式大数据综合平台(Transwarp Data Hub) 自2016年起 TDH正式成为Gartner认可的Hadoop国际主流发行版本 如图2 所示 TDH主要提供了六款核心产品: Transwarp Inceptor 大数据分析数据库 Transwarp Slipstream 实时计算引擎 Transwarp Discover 机器学习开发平台 Transwarp Hyperbase 处 理非结构化数据的NewSQL数据库 Transwarp Search 构建企业搜索引擎的产品 Transwarp Sophon 支持图形化操作的深度学习平台 通过使用TDH 企业能够更有效的利用数据构建核心商业 系统 加速商业创新 在 原 有 架 构 基 础 之 上 T D H 5. 0 对应用层进行了改动 新 增 了 全 新 的 图 形 化 大 数 据 开 发 工 具 套 件 Transwarp Studio Studio包 括 以 下 五 个 工 具 Transporter 一 款 用 于 设 计 和 创 建 E T L 任 务 的 可 视化工具 Workflow 一个图形化的工作流设计 调试 调度和分析的服务平台 Rubik 一款用 于设计O L A P C u b e 的可视化工具 并支持Cube实例化于HDFS或Holodesk Governor 元数据管 理和数据治理工具 Waterdrop TDH中的SQL IDE工具 任意业务场景下 用户都可以通过Studio 便捷地选择使用不同的图形化工具来提高大数据的开发效率 另外 TDH 5.0还迈出了创新性的一步 它利用容器技术将产品包装成云服务 并利用Docker和Kubernetes等技术进行资源管理 这一举措将带来三方面的好处 1.大幅简化集群配置/安装及运维步骤 2.实现更好的多租户管理 使各租户可以在资源隔离的环境下自由搭建应用 3.云技术和大数据的结合将使大数据提供体验更好的数据分析服务 图2 Transwarp Data Hub 5.0

Transwarp Data Hub的特性 一站式大数据综合平台T D H 利用众多前沿技术显著地提升了H a d o o p 的易用性 性能和稳定性 通过TDH平台 企业可以省时省力地构建其核心商业系统和应用 加速商业创新 TDH产品的主要技术优势包括以下几个方面 极致的性能与可扩展性 Transwarp Inceptor作为大数据分析工具有着极致的执行性能和扩展能力 并且对数据重分布和广 播的逻辑进行调试优化以创造更好性能 Inceptor利用基于SSD或内存的列式存储引擎Holodesk 提供 高速的数据读取能力 此外 Inceptor采用了基于成本的优化和基于规则的优化来为执行任务选择最佳 执行计划 还通过OLAP Cube技术 更好地适配各种交互式数据分析和OLAP场景 容器技术和大数据平台 自5.0版本起 TDH将默认部署于Transwarp Operating System(TOS) TOS是为大数据应用量身 订做的云操作系统 基于Docker和Kubernetes技术 提供一键部署TDH 扩容 缩容能力 支持基 于优先级的抢占式资源调度和细粒度资源分配 完整的SQL和ACID支持 T D H 是第一个提供完整S Q L 2 0 0 3 O r a c l e P L / S Q L D B 2 S Q L P L 支 持的H a d o o p 商业发行产 品 为了降低开发流应用程序的难度 TDH支持Stream SQL标准 其中包含流扩展后的SQL 99 TDH也是第一个提供完整ACID支持的Hadoop商业化产品 实现了串行化的事务隔离 并通过两阶段 锁和MVCC协议保证数据的一致性 低延迟的流处理 Slipstream是同时支持微批处理和事件驱动模式的流处理引擎 用户可以根据不同场景对这两种模 式进行选择 微批处理模式能够提供极高的吞吐 适合运用在某些对吞吐量大的特殊业务 例如交通的 视频 检 测 而事件驱动的模式则可以提供低至5毫秒的计算延迟 从而开发对延迟时间较敏感度的应 用 比如在线反欺诈应用 此外 Slipstream还支持高可用性和Exactly-Once语义 无需开发者亲自编写数 据处理或重复执行的逻辑 图形化大数据开发工具集 Transwarp Studio集成了Governor, Workflow, Transporter, Rubik 和 Waterdrop这五种功能各异的 大数据开发工具 用于更高效的搭建企业级数据仓库 通过该套件 技术人员可以方便的在Hadoop平台 上选择正确的工具进行业务处理 进而降低应用开发的技术门槛 丰富的机器学习和深度学习框架 TDH提供了两种产品用于开发数据科学应用 Transwarp Discover支持用户通过R语言和Python开发机 器学习项目 或者用图形化的工具做分析 深度学习平台Sophon能帮助用户快捷的创建AI应用程序

统一的安全 & 多租户管理 Transwarp Guardian是TDH平台中实现安全控制和资源管理的中央服务平台 它支持Kerberos和LDAP 认证 可以做细粒度的权限控制 并且提供租户管理功能 多样化的数据处理功能 Transwarp Hyperbase可同时处理结构化数据和非结构化数据 如日志文件 JSON/XML 图像视频等 二进制数据等 Hyperbase还同时支持支持全局索引和次级索引 从而实现高速的非主键查询 大数据上的全文搜索 Transwarp Search支持通过SQL实现大数据上的秒级全文搜索 它利用一系列创新性技术 极大的提高了系 统的稳定性和安全性 简易的操作和管理 Transwarp Manager是专门用于部署 管理和运维TDH集群的组件 支持产品一键安装 一键升级和图 形化运维 并提供了预警和健康检测功能 帮助用户简化运维过程 另外 为了提供云服务 TDH将各个组 件针对Docker作了优化 计算引擎也可以使用K u b e r n e t e s 进行资源管理 得以使TDH以较低的成本部署 在公共云或者私有云上 TDH基础设施的构建 如表1所示 面向大数据分析的思科UCS集成系统为了满足多样化的计算和存储需求 提供了各种不同硬件配置 表1 面向大数据分析的思科UCS集成系统为TDH提供的配置选项 表1 面向大数据分析的思科UCS集成系统为TDH提供的配置选项 性能优化选择 储存优化选择 思科S3260配置 连接性 2个Cisco UCS 6296UP 或6332交换矩阵互联 连接性 2个Cisco UCS 6296UP 交换矩阵互联 连接性 2个Cisco UCS 6332交换矩阵互联 16台UCS C240 M4 机架式服务器 每台配置如下 16台UCS C240 M4 机架式服务器(LFF) 每台配置如下 8台思科S3260机架式服务器 每个 有2个节点 配置如下 2个Intel Xeon 处理器 E5-2680 V4 CPUs (14核/CPU) 2个Intel Xeon 处理器 E5-2620 V4 CPUs (8核/CPU) 2个Intel Xeon 处理器 E5-2680 V4 CPUs (14核/CPU) 256 GB 内存 128 或 256 GB内存 256 GB 内存 配备2GB内存写缓存的Cisco 12Gbps SAS 模块化磁盘阵列控制器 配备2GB内存写缓存的Cisco 12Gbps SAS 模块化磁盘阵列控制器 配备4GB内存写缓存的Cisco 12Gbps SAS 模块化磁盘阵列控制器 24x1.2 TB 或 24x1.8 TB 10,000 -rpm SFF SAS 硬盘 12x6-TB 或 12x8-TB 7200 -rpm LFF SAS 硬盘 28x4/6-TB 7200-rpm LFF SAS 硬盘 2x240-GB 6-Gbps 2.5英寸支持 boot的企业级sata SSD 2x240-GB 6-Gbps 2.5英寸支持 boot的企业级sata SSD 2x240-GB 6-Gbps 2.5英寸支持 boot的企业级sata SSD Cisco UCS VIC 1277 (2x10 GBEthernet SFP + ports) 或 Cisco UCS VIC 1387 (2x40 GB Ethernet QSFP ports) Cisco UCS VIC 1277 (2x10 GBEthernet SFP + ports) Cisco UCS VIC 1387 (2x40 GB Ethernet QSFP ports)

当使用思科UCS C240 M4的配置时 使用3台服务器作为管理节点 比如思科UCS S3260存储服务器的配 置 管理节点可以是3台思科 UCS C240 M4 机架式服务器 每台服务器有2个Intel Xeon处理器E5-2680 v4 CPUs, 256GB 内存 配备2GB内存写缓存的Cisco 12-Gbps SAS 模块化磁盘阵列控制器 12个1.2TB 10,000-rpm SFF SAS硬盘 和思科 UCS VIC 1387 (2个40GB Ethernet QSFP interfaces). 思科UCS推荐的星环一站式大数据综合平台的机构可以支持大型企业部署Hadoop的需求 本文中描述的 配置可以被扩展到支持80台服务器 和一对96端口的思科UCS交换矩阵互联.可以使用思科 Nexus 9000 系列交 换机来支持多个思科 UCS domains 和多至数千台服务器 总结 利用面向大数据与分析的思科UCS集成基础设施搭建的星环一站式大数据综合平台(TDH)具有行业领先 的性能 轻量且集中的管理 极致的性能和线性扩展 支持 利用Cisco UCS大数据分析集成平台搭建一站式 大数据综合平台Transwarp Data Hub 恰好可以满足以上几点需求 该解决方案通过UCS的极简部署模 式简化了T D H 的集群部署流程 同时允许企业根据大数据分析应用的扩建方便的对基础架构进行扩展 进而 创造更强大的数据处理平台 其他信息 更多关于Cisco UCS大数据解决方案的信息 请点击 www.cisco.com/go/bigdata. 更多关于Cisco UCS的信息 请点击 http://blogs.cisco.com/datacenter/cpav4/. 更多关于Transwarp Data Hub的信息 请点击 http://transwarp.io/.