<4D F736F F F696E74202D20D4DAC6F3D2B5BCDCB9B9D6D0CAB5CAA9B4F3CAFDBEDDBDE2BEF6B7BDB0B82E707074>

Size: px
Start display at page:

Download "<4D F736F F F696E74202D20D4DAC6F3D2B5BCDCB9B9D6D0CAB5CAA9B4F3CAFDBEDDBDE2BEF6B7BDB0B82E707074>"

Transcription

1 在企业架构中实施大数据解决方案 刘达 IBM 应用开发商合作部

2 议程 大数据的现状 趋势和问题 IBM 大数据解决方案介绍 IBM 大数据解决方案技术背景分析以及优势 参考资源 3 世界上的新增数据信息每 12 小时就会增长一倍! 2005 年, 全球 RFID 标签的数量为 13 亿个 而在 2011 年底, 这个数量将变为 300 亿个

3 Data Variety( 数据多样性 ) Twitter 每天处理的数据量 :7 TBs 300 亿 RFID 标签 (1.3B in 2005) 46 亿部手机拥有照相功能 Facebook 每天处理的数据量 :10 TBs 9 亿 GPS 每年被销售 World Data Centre for Climate 保存了 220 TBS 主要数据以及 9 PBs 的辅助数据 资本市场的数据, 年增长了 : 1750%, 2009 年有 7600 万智能计量设备,2014 年将为 2 亿个 2011 上网人数为 2 billion Twitter 持续创造着新的纪录 2 亿用户每天产生超过 9 千万条记录 纽约证交所每天产生 1TB 交易记录 Twitter 每天产生 7TB 的记录数据 128,000 tps 64,000 tps 32,000 tps 16,000 tps 8,000 tps 4,000 tps 2,000 tps

4 大数据带来的机会 从海量规模 多样性和快速流量的数据集中抽取有用的信息, 这是原有方案和技术很难实现的目标 Variety: Velocity: Volume: 处理各种各样复杂结构的数据, 包括 : 关系型数据 日志和文本数据 流数据和大规模的数据改变 超大容量的存储, 从 TB 级到 PB(1K TBs) 级甚至是 ZB(1B TBs) 级 大数据时代面临的问题 相当于不断拥有的数据而言, 企业能够分析的数据比例在不断降低 简而言之, 现在的企业在面对一些 可能是机会的数据 时, 并没有清醒的认识 最终的问题回到了我们如何认识 管理和分析我们所拥有的各种数据 企业所拥有的数据 盲区 企业可以处理的数据比例

5 大数据带来了新的机遇但是需要新的分析方法 Exa Peta Up to 10,000 Times larger 公共安全 60 万记录 / 秒, 500 亿 / 天每 1-2 毫秒作出一个动作 320TB 的数据需要进行深入分析 Data Scale Data Scale Tera Giga Mega Kilo Data at Rest Traditional Data Warehouse and Business Intelligence Data in Motion Up to 10,000 times faster yr mo wk day hr min sec ms μs Occasional Frequent Real-time Decision Frequency 电信行业 10 万记录 / 秒,60 亿 / 天每 10 毫秒作出一个动作 270TB 的数据需要进行深入分析 DeepQA 100s GB for Deep Analytics 3 sec/decision 交通系统 25 万个检测数据 / 秒每 1-2 毫秒作出一个动作 大数据背后隐藏的秘密 如何从大量事件驱动的信息中发现其中的商业价值? 如果只是对一个 3 只蜜蜂的群体进行分析, 那么将十分简单 如果是一个一百万只蜜蜂的蜂群, 那么将是一个巨大的任务 每年全球的数据量会以 30 % 的速度增长

6 Streams Computing 图示 行业革命 : 更好地生产 流水线让我们认识到可以将生产步骤进行分解, 然后持续地进行生产 Streams 意味着在您的组织中按照数据的流向一步步地进行数据处理 Streams 可以避免在数据被处理之前被保存到磁盘上并进行转换 : 持续流水线理论 实时的安保系统 : 声音 图像等等非结构化信息 directory: /img" filename: farm directory: /img" filename: bird directory: /opt" filename: java directory: /img" filename: cat tuples height: 640 width: 480 data: height: 1280 width: 1024 data: height: 640 width: 480 data: Data In Motion( 动态数据 ) 每秒收到 1270 万个市场信息, 并在 130 毫秒内为每一个客户生成相应的交易推荐信息 IPDR.org 每天将分析超过 60 亿个 IP 记录 X 射线衍射的速度到达 100MBps 处理每秒 1000 个单独的信息

7 Calling Network Data at Rest( 静态数据 ) Merged Network Telco company Amy 对于电信运营商的价值? 她是否会更换成其他运营商? 有多少用户会效仿她? Retailer Facebook Network Public database Amy Bearn 32, 已婚, 3 岁孩子的母亲会计 Telco Score: 91 CPG Score: 76 Fashion Score: 88 CPA Score: 96 Amy 对于零售商的价值何在? 她的影响力有多大? 将已有的静态数据 ( 个人信息 分析数据 历史数据等 ) 与新兴的动态数据 ( 社交应用数据 电信数据 ) 进行融合和分析后, 会挖掘出很多新的业务信息

8 Optimizing capital investments based on double digit Petabyte analysis 通过天气信息进行建模, 实现风机放置位置的优化, 增大电力和使用寿命 依据全球 1 1 公里的网格数据提供的上百个参数进行建模 分析的时间周期从 3 星期缩减到 3 天! 建模的结果用于预测以及实时操作的数据基础 一旦风机投入发电, 风机上的传感器将收集和存储大量的数据, 同时会和模型中的历史数据以及其他辅助数据进行比 对系统将会计算出合适的服务间隔 故障预期时间以及通过风力情况给出的优化方案 IBM Watson 是数据分析的极大创新, 但是没有高质量的数据作为基础, 这一目标是无法实现的

9 大数据解决方案用于构建 Watson 系统的知识库 Big Data and Watson Watson 可以利用大数据解决方案提供的强大分析能力得到更精确的结果 Watson 使用 Apache Hadoop 实现将数据加载带内存中这一操作分布到多个节点上进行 POS Data CRM Data Social Media 大约 2 亿页文字信息 (Jeopardy! 比赛中用到的数据 ) InfoSphere BigInsights 分析的结果 - 消费习惯 - 社交关系 - 购买趋势 Watson s Memory Advanced search and analysis 不知道什么信息应该被分析? 经常会被问到 待分析的数据量巨大 潜在的数据一般处于静态或不被注意的情况 判断如此大量的非结构化数据是否真的具有所需要的价值是一项巨大的工作 多数数据没有固定的结构, 或者拥有不同的结构, 很难进行分析 很难将分散的数据进行整合和集成 很多数据的可用周期很短 分析需要基于很多已有的信息

10 经常会被问到 什么时候以及如何在已有的决策流程中加入大数据的支持? 大数据解决方案与传统的数据仓库和分析工具之间的关系? 大数据解决方案与传统的数据仓库和分析工具之间的不同? 大数据解决方案针对批处理, 还是事务处理, 还是两者兼顾? 哪种场景更适合大数据解决方案? 大数据是否会替代传统数据仓库中的一些工具? 大数据如何帮助我们? 让您可以建立实用的风险模型 : 某一品牌的信用卡统计结果发现, 经常在酒吧消费人群延迟还款的比例要比经常在牙医诊所消费的人群高 4 倍 客户流失分析 (CDR 和 IPDR 分析 ) 推荐引擎 : 可能会购买的产品 了解购买者的兴趣爱好 : 买个这个商品的其他人也同时购买了 刷卡消费记录分析 用于预测消费者的消费趋势 ( 零售推荐 )

11 大数据如何帮助我们? 分析网络数据的状况来预测可能的故障 网络对于突然的波动如何应对? 例如网络风暴 攻击 垃圾邮件 网络进攻等威胁的分析 交易监管 侦测违规交易和危险操作 提高搜索质量 灵活的数据集 让组织可以灵活 方便地从已有的数据中抓取出有用的关系 模式用于新的业务 大数据如何帮助我们? 对天气进行预测, 实现风机运转的优化, 减少运营成本 通过在医院的检查记录发现身体的症状 多渠道的客户体验以及购物感受分析 通过摄像头 健康 录音等数据发现潜在的犯罪和威胁

12 将传统方式与大数据方式进行整合 传统方式结构化数据和重复的分析操作 大数据方式反复的 挖掘性的分析 业务用户 决定需要什么样的数据 IT 提供能够进行各种数据分析操作的平台 IT 为业务用户组织相应的数据结果 业务用户 自行通过平台提供的工具和数据来进行数据分析 月度销售报告利润率分析客户调查 品牌忠诚度产品战略资产利用率 针对传统数据仓库和大数据解决方案的数据质量问题 企业数据仓库 (EDW) 被设计为要求数据是原始的 集成的, 并且很好的进行了集合, 同时拥有全面的文档和模型 这些特点是 MDM,ETL 操作所必需的 让大批量的报告生成 仪表盘应用以及基于 OLAP 的分析工作成为可能 让进入 EDW 的数据尽可能的完整, 且能够表现出业务的真实性 为深入的分析工作进行数据的准备工作需要注意 : 很多数据并不是可以公开访问且易于被复用的 大数据解决方案并不是一开始就可以符合 ETL 数据质量 元数据以及数据建模的需求 由于大数据解决方案的趋势不可避免, 对于 EDW 问题和实际情况了解的越多, 会对于实施大数据方案越有帮助

13 议程 大数据的现状 趋势和问题 IBM 大数据解决方案介绍 IBM 大数据解决方案技术背景分析以及优势 参考资源 25 IBM 提供了全面的大数据解决方案 非传统数据 InfoSphere BigInsights Streams 过滤进入的数据 传统数据 Streams 可以重用数据仓库的分析模型 持久化数据 动态数据

14 典型的数据流 参数, 新的 / 扩展应用 模型 参数 显示结果 开始进行分析 InfoSphere BigInsights 查询 / 应用 / 参数 模型 参数 数据源选择 查询 数据源 InfoSphere Warehouse Streams 和 BigInsights 集成模型 WAREHOUSE BigInsights Hadoop Summaries WAREHOUSE All data Streams Subsets WAREHOUSE Subsets Data marts

15 集成 Streams 和 BigInsights 模型构建 / 部署 其他计算节点 模型部署 模型管理 模型 ) Metatracker 开始数据流 启动预定义的任务 创建模型任务完成 流数据 产生数据 根据时间和事件 Job Model output BigInsights Hadoop (PMML et al) Streams 的模型根据数据集中的参数来进行更新 Analytic Job Collection 在 Hadoop 中构建的模型或者参数会被部署到生产环境的 Streams 中进行实时的情景分析 集成 Streams 和 BigInsights 结合历史数据的动态数据分析 为 Streams 提供重新计算和整合的过程数据 Data Streams Surfaces 开始流程 Discovery 启动预定义的任务来查询历史数据进行分析 Job Metatracker Historical data for discovery 生成数据 ; 任务结束 BigInsights Hadoop 当在实时的流分析过程中发现了又有的数据后, 就可以启动结合了历史数据的分析流程

16 InfoSphere Streams 可以动态地分析大规模的结构化和非结构化数据 主要优势 : 并行 高效的流数据处理平台 可以处理结构化和非结构化数据 可在多种硬件平台上进行扩展 Extreme Volumes Extreme Speed Extreme Analysis 基于 IBM 的流数据处理研究成果 IBM Watson 实验室的研究成果 应用于很多实际的大型项目 IBM 还在继续研究的步伐 InfoSphere Streams 工作原理 百万级的事件 NYSE SEC Edgar Video News Video News Video News 10 Q Earnings Extraction Caption Extraction Caption Extraction Caption Extraction Speech Recognition Speech Recognition Speech Recognition Topic Filtration Topic Filtration Topic Filtration VWAP Calculation Earnings Related Earnings Earnings News Related News Related Analysis Analysis News Analysis Transform( 转换 ) Correlate( 联合 ) Earnings News Join Earnings Moving Average Calculation Dynamic P/E Ratio Calculation Annotate Join P/E with Aggregate Impact Trade Decision Weather Data Hurricane Weather Data Extraction Hurricane Forecast Hurricane Model Forecast 1 Hurricane Model Forecast Hurricane 2 Model Forecast Model N Hurricane Risk Encoder Hurricane Impact Hurricane Industry Impact Filter( 过滤 ) Classify( 分类 ) 微秒级的延迟

17 IBM BigInsights = IBM 的企业版 Hadoop BigInsights 企业版 BigSheets (BigInsights 中的组件 ) 适应性 MapReduce SystemML( 机器学习 ) 非结构化分析 (SystemT) Metatracker GPFS SNC BigInsights 核心 安装和配置 监视 Jaql 管理控制台 与 Streams, 数据库和数据仓库的集成 Pig,Hive,Flume,Sqoop 等工具 Applications & Solutions Enabling Infrastructure Applications / Solutions / Partners / Community Cognos SPSS 和 R 下一代信用卡风险分析 自定义应用 IBM Distribution of Apache Hadoop 通过了 IBM 的测试和验证 议程 大数据的现状 趋势和问题 IBM 大数据解决方案介绍 IBM 大数据解决方案技术背景分析以及优势 参考资源 34

18 不同的数据处理模型 是一个计算性处理模型 Service for Extraterrestrial Intelligence (SETI) 使用普通台式机未使用的 CPU 处理资源来计算射电望远镜得到的数据 将计算的结果输入到应用系统 Data to function MapReduce 是一个数据处理模型 由用于 Mapper 和 Reducer 的数据处理原语组成 MapReduce 程序的实现相对复杂, 但是可以通过简单的配置扩展到上千个计算节点 Function to data Apache Hadoop Framework Hadoop Common Hadoop 框架的应用层, 可以实现对于 HDFS 和框架组件的管理 HDFS Hadoop 框架的数据存储平台 可以通过分布到多台机器上实现大规模的存储 MapReduce 通过集群节点来实现数据处理的框架 (API) MAP 过程是将输入的数据经过一次映射后进行拆分, 然后将拆分后的小数据集分配到各个计算节点上 REDUCE 将负责收集各个节点的计算结果, 组合成最终的结果

19 Hadoop 基本架构 Hadoop 设计原则 存储和处理数据的新方式 : 让系统自动处理大部分的工作 : 故障 扩展 减少通信 将计算能力更集中到数据的处理上 并行模式 相对低廉的硬件 让数据动起来! Hadoop = HDFS + Map/Reduce 架构

20 HDFS = Hadoop Distributed File System Yahoo 的发明 (Doug Cutting) 处理互联网的大规模数据 ( 爬虫数据 ) 节省成本 - 将巨大的工作量分布到并行运行的普通计算设备上 高容错能力 磁盘的平均损坏周期是 3 年, 意味着如果拥有 1000 块磁盘的组织将会每天都有磁盘出现问题 能耗与宕机率的很好平衡 吞吐量的要求比相应速度高 批量处理的操作不需要理解作出响应 大规模的读取操作 - 避免随机访问 适合大体积文件 通过复制来实现高可用 HDFS 架构说明 NodeName Node 客户端计算机 应用程序 DataNode POSIX API HDFS API DataNode 本地文件系统 HDFS 接口 DataNode

21 HDFS 文件存储示例 B1 B2 B3 create Block done namenode DataNodeR1N1 DataNodeR2N1 DataNodeR3N1 DataNodeR1N2 DataNodeR2N2 DataNodeR3N2 DataNodeR1N3 DataNodeR2N3 DataNodeR3N3 DataNodeR1N4 DataNodeR2N4 DataNodeR3N4 DataNodeR1N5 DataNodeR2N5 DataNodeR3N5 DataNodeR1N6 DataNodeR2N6 DataNodeR3N6 DataNodeR1N7 DataNodeR2N7 DataNodeR3N7 DataNodeR1N8 DataNodeR2N8 DataNodeR3N8 HDFS 文件存储示例 B1 B2 B3 namenode R1N1 R2N1: B1 R3N1 R1N2 R2N2 R3N2 R1N3 R2N3 R3N3 R1N4: B1 R2N4 R3N4 R1N5 R2N5: B1 R3N5 R1N6 R2N6 R3N6 R1N7 R2N7 R3N7 R1N8 R2N8 R3N8

22 HDFS 文件存储示例 B1 B2 B3 namenode R1N1 R2N1: B1 R3N1: B2 R1N2 R2N2 R3N2 R1N3 R2N3 R3N3 R1N4: B1 R2N4 R3N4: B2 R1N5 R2N5: B1 R3N5 R1N6 R2N6 R3N6 R1N7: B2 R2N7 R3N7 R1N8 R2N8 R3N8 HDFS 文件存储示例 B1 B2 B3 namenode R1N1: B3 R2N1: B1 R3N1: B2 R1N2 R2N2: B3 R3N2 R1N3 R2N3 R3N3 R1N4: B1 R2N4 R3N4: B2 R1N5 R2N5: B1 R3N5 R1N6 R2N6 R3N6 R1N7: B2 R2N7 R3N7 R1N8 R2N8: B3 R3N8

23 什么是 MAP? MAP 是指一种高级的方法, 可以将一组数据赋值给一个特定的函数, 然后返回相应的结果 示例 : square x = x * x map square [1,2,3,4,5] will return [1,4,9,16.25] 最初源自函数式编程语言, 现在在很多语言中都有实现 ** 最重要的是, 我可以并行执行上面的 map square : map square [1,2,3] -> [1,4,9] map square [4,5] -> [16,25] 什么是 REDUCE? REDUCE 是一组高级的方法, 可以以特定的顺序用特定的函数来遍历一个数据集, 同时生成返回值 通常,REDUCE 包含两部分 : 一个统计函数和一组数据, 过程就是使用统计函数以优化的方式来对这一组数据进行处理 Example: MAX (1, 2, 3, 10,15, 20) -> 20 SUM (1, 7, 10) -> 18 在 Hadoop 中,REDUCE 函数经常以 MAP 函数的输出作为自己的输入

24 Map/Reduce 用例 计算 URL 的访问次数 ( 日志分析 ):map 方法处理网页日志数据, 然后输出格式为 <URL,1> 的数据,reduce 方法将所有相同 URL 的数据加在一起, 生成格式为 <URL,total count> 的数据组 反向 Web-Link 图 :map 方法的输出格式为 <target,source>, 其中 source 为一个 web 页面 ( 如 :index.html),target 为这个页面上所有连接的指向 URL reduce 方法将所有与同一目标 URL 相关的 source 整理在一起, 生成格式为 <target,list(source)> 的输出 统计文本中词语的个数 :map 方法将输出每一个单独的词语并附上它的出现次数 ( 例如 :1 次 ),reduce 方法将根据词语将输入中的数据进行累加, 得到每一个词语出现的总次数 MapReduce Cat split map combine reduce part0 split map combine reduce part1 Bat Dog split map combine reduce part2 Other Words (size: TByte) split map 3/19/2012

25 RDMS & Hadoop 互相补充, 而非竞争 拥有已知结构的结构化数据 支持非结构化和结构化数据 Records, long fields, objects, XML 允许更新 (update) SQL & XQuery 可以快速 随机地进行访问 数据的丢失是不能接受的 安全和审计 加密 各种的数据压缩方式 企业级硬件平台的支持 超过 30 年的发展 通过索引加速随机访问 庞大的 DBA 和开发社区支持 文件 只支持插入和删除操作 Hive, Pig, Jaql 批量处理 数据的丢失是可以承受的 不支持 不支持 简单的文件级压缩 普通的应用平台 2-3 年的发展历程 只能对文件进行访问 目前只有相对少数的公司将其应用于生成环境中 IBM 对于开源社区的贡献 多年来 IBM 对开源社区有着持续的贡献 : Apache Hadoop and Jaql Apache Derby Apache Geronimo Apache Jakarta Eclipse: founded by IBM 文本分析 :Unstructured Information Management Architecture (UIMA) 文本分析的应用是 Haoop 的主要应用方向 IBM Lucene Extension Library (ILEL) 对 Lucene 的贡献 : Project Gumshoe DRDA, XQuery, SQL, XML4J, XERCES, HTTP, Java, Linux, +++ 基于开源技术的 IBM 产品 : WebSphere: Apache Rational: Eclipse and Apache InfoSphere: Eclipse and Apache, +++

26 IBM InfoSphere Big Insights 用于收集 存储和分析大数据的商业平台 以合理的成本实现大数据解决方案 以普通计算机硬件为基础进行线性扩展, 从 TB 级到 PB 级 支持对结构化和非结构化数据的处理 基于开源的 Hadoop 框架, 完全由 IBM 来支持 开箱即用 InfoSphere BigSheets 用于收集 搜索和图形化数据的易用型工具 高级分析功能 与 Cognos, SPSS, LanguageWare 进行集成 Solutions Business Ready Cognos Consumer Insight Next Generation Credit Risk Analytics InfoSphere Big Insights ECM ECM Search... Big Insights InfoSphere Big Insights Analytics Platform BigInsights 的版本分布 企业价值 高级用途 Hadoop BigInsights Basic 免费下载使用网络社区资源支持 实用的附件工具用于数据的载入 管理 视图化和报告生成 BigInsights Enterprise 和 IBM 软件进行集成和实时分析系统进行集成 (Streams) 解决方案 企业级别的增强 : 数据加载器数据管理配给和安全性分析和查询语言的支持任务和工作流管理与 RDBMS 和 ETL 工具的集成 一般用途 随机附带的服务入门 教程 示例 开发帮助 部署规模

27 BigInsights Basic 版本架构 BigSheets Workflow Orchestration (Oozie) Data Ingestion (Flume) Indexing (Lucene) Other components (Zookeeper, Avro, etc) Pig Hive HBase Jaql Hadoop Hadoop Distributed File System (HDFS) Hadoop Integration with DB2 Apache Hadoop 的局限性 存储 : Hadoop Distributed File System (HDFS) 单点故障的可能 与 POSIX 系统的不兼容性 没有文件系统级的安全性, 数据管理的功能也很有限 ( 备份 回复 同步 ) 没有负载隔离 随机的读写操作性能很差 工作流的编排 (Oozie) 没有高级的工作流管理工具, 无法实现 loop 的方式运行 没有针对工作流的容错功能, 只能依靠 Hadoop 的故障恢复体系 语言支持 : Pig / Hive 对于层级和嵌套结构的数据比较难进处理 比较难实现模块的重用 对于查询运行时的控制不足 操作 / 开发界面 主要针对开发人员提供的接口 对 IDE 的支持不足 使用方式比较复杂, 不够灵活 无法真正实现业务人员进行操作的需求

28 BigInsights Enterprise 版本架构 Performance Manageability Consumability Integration BigInsights Enterprise Console Databases Crawlers Streams JMS HTTP Web & Application logs Data Explorer Application Flows Dashboards/Reports Administration DBA/Analyst/ Programmer Language (Jaql, Pig, Hive, HBase) Analyst Analytics (systemml, system T) Analyst BigInsights Enterprise Engine Workflow orchestration (MetaTracker) Map-reduce (Hadoop + Adaptive Map-Reduce) File system (GPFS, HDFS) DBA Indexing (ILEL: parallel, partitioned, real-time) Workload Prioritization (FLEX) DataStage Streams DB2 Netezza SPSS Cognos Unica Coremetric IBM INTERNAL and CONFIDENTIAL BigInsights Enterprise Engine 的优势 性能 BigInsights Enterprise Engine 工作流编排 语言支持 任务调度 数据注入 (Ingestion) Map-reduce engine (Hadoop) 文件系统 (GPFS) 文件系统优势 (GPFS) 高扩展性 高性能 高可用性以及数据一致性 POSIX 兼容 Shared nothing clusters (SNC) 提供了数据带宽的可扩展性 负载的独立性 通过 WAN 实现集群间的复制, 让异地灾备成为可能 分层存储管理 (HSM) 对于 HDFS 的优势 更好地顺序读取 更好的磁盘布局 更好的随机访问 缓存带来的更好的随机访问 没有单点故障

29 BigInsights Enterprise Engine 的优势 BigInsights Enterprise Engine 工作流编排 管理 工作流编排 工作流调度和排序将于任务调度相结合 工作流和其子任务都是可以被恢复和被重新启动的 支持 持续进行 的工作流 工作流的持久化目录 语言支持 任务调度 语言 (JAQL): JAQL 的优势 包括一系列的高级功能 : 高级文本分析 (SystemT) 开源的文本分析语言 (R) 被高度认可的分析能力 (SPSS,SysmteML) 访问数据库的功能 原生对复杂数据操作的支持, 无需进行 Java 编码 数据诸如 Map-reduce engine (Hadoop) 工作负载调度 支持可配置策略的调度器, 实现了平均响应时间的优化 完成更多任务的优化 根据优先级策略的不同将任务进行高中低三档分级 文件系统 (GPFS) IBM INTERNAL and CONFIDENTIAL 调度器对比 :BigInsights(FLEX) 与 Hadoop(FAIR) 前提条件 : 假设我们希望缩短任务的响应时间 意味着较小的任务将会在较大任务前执行 假设 : 一个较小的任务独立运行花费 2 分钟, 一个较大的任务独立运行花费 10 分钟 简而言之 : FLEX 会先运行小任务, 让它在 2 分钟内完成 FAIR 会将资源平均分配给两个任务, 小任务将会在 4 分钟内完成 也就是说 : FAIR 将会平均分配资源 FLEX 会按优先级分配资源 如何区分任务的大小? FLEX 会记住上一次任务运行的时间 非常小的任务的执行时间不会被记录 FAIR 不会区分任务的大小

30 systemt 分析文本并为结果文档进行标注 (AQL) 如何使用 : 创建规则 ( 也可以称为视图 (views)) 运行 systemt 编辑器将规则进行优化和转换成为 Java 代码 使用规则来分析文档 拥有一套文本分析库 已经集成到 JAQL 中, 可以实现更好地应用 以组件的形式存在 import systemt; 当前文本分析方法的问题 当前用于文本分析的方法和架构让分析变得不太方便 效果不够好 ( 精确度以及速度 ) 难于使用 当前用于文本分析的方法主要依靠抽取和过滤系统提供的数据 灵活度低且效率不足, 经常导致重复处理的现象 已有的工具包也不利于结果的展示和生成 分析师需要自己编写相应的代码 开发人员 <-> 分析师 会导致更多地延迟 复杂度和难度实现需要的结果 影响分析效率的最大因素在于无法决定系统如何生成特点的结果

31 BigInsights 文本分析工具包 System T 原来只是内嵌于 IBM 产品, 最终用户无法直接使用 BigInsights 是第一个可以允许使用者进行定制和二次开发的文本分析引擎 BigInsights 文本分析工具包提供了开发工具 易于使用的文本分析语言以及易于应用的一组数据提取器 多语言支持, 包括双字节 (DBCS) 语言 ( 中文 日文 韩文 ) 包含了类似 SQL 的 Annotator Query Language (AQL): 专门用于文本分析的语言 通过从对编程语言的抽象可以更好地适应 用于在 BigInsights 中构建数据提取器, 从非结构化文本中提取结构化的数据 文本分析工具包性能加速器 (Performance Accelerator) AQL 是针对 MapReduce 高度优化的语言 不同于其他的框架,AQL 优化器会决定抽取指令执行的顺序, 从而最大地提高效率 将可以实现 10 倍于其他框架的速度

32 文本分析工具包 开发加速器 图形化的开发平台, 用于提取器的构建和使用 Eclipse 插件 适合敏捷开发 文本分析如何工作? 文本分析的主要目的是读取非结构化的文本, 然后进行统计分析 示例 : 本文分析程序可以读取一段文字, 然后根据预定的规则来生成结构化的数据 这些规则就定义在提取器中, 例如可以识别文本中的人名 In the 2010 World Cup of Soccer, the team from the Netherlands distinguished themselves well, losing to Spain 1-0 in the Final. Early in the second half, Dutch striker Arjen Robben almost changed the tide of the game on a breakaway, only to have the ball deflected by Spanish keeper, Iker Casilas. Near the end of regulation time, winger Andres Iniesta scored, winning Spain the World Cup. Extractor Name Position Country Arjen Robben Striker Netherlands Iker Casilas Goalkeeper Spain Andres Iniesta Spain

33 机器学习 问题 : 机器学习 是一个很耗费计算资源的工作, 尤其是针对于大型的计算任务 所以, 很多人希望将机器学习这个任务放在 BigInsights(Hadoop) 中进行 需要并行执行, 但是很难实现 以 BigInsights 为基础的高性能集群可以为分析人员和数学家提供一个分析和统计数据的高性能平台, 同时自己不必了解过于高深的 Java 编程技术和数学理论 通过 Hadoop 可以实现 R 语言的操作, 但是效率并不尽如人意, 同时需要很多的管理工作, 同时功能也不够完全 BigInsights 将提供一个和 R 十分相似的机器学习语言 (MLL), 让您只需关心如何构建统计分析的模型, 而不需要去关心如何去进行编程以及具体的实现 很方便的和 SPSS 和 InfoSphere Warehouse 进行集成 机器学习引擎将会把 MLL 抽象成为十分精简的 MapReduce 代码 (Java) IBM 在相关技术领域进行了 20 多年的研究, 并将成功集成与 BigInsights 等产品 让用户充分利用 Hadoop Hadoop 让分析大数据成为了可能, 但是您需要是一个对于 MapReduce 算法有所了解的开发人员 BigSheets 是一个基于浏览器的图形化工具, 可以让业务人员利用 Hadoop 提供的能力, 以电子表单的方式来实现数据的分析 如果您会使用类似 Excel 的电子表格应用, 那么您就可以使用 BigSheets 来进行数据分析和挖掘工作 让更加高层的使用者可以十分方便得以一种熟悉的方式来查看数据

34 使用 BigInsights 中的 BigSheets 进行分析 BigSheets 让使用 Haoop 分析功能进行业务分析变成可能 无需成为一个 MapReduce 开发人员 简单的图形化工具, 让分析工作可以立即进行 如果您的 BI 环境中每 30 个业务人员需要配备一个高级的 SQL 语句开发人员的话, 那么这些工作基本都可以交给 BigSheets 来实现了 示例应用 : 数据挖掘和图形化 (Infographic) 图形化报表的生成 BigInsights: 实现 Hadoop 的快速方法 集成化安装方式

35 GPFS-SNC(Shared Nothing Cluster) IBM 对于 Hadoop 的增强, 立即可以供企业使用, 并符合相关的服务条款 (SLA) 更好的性能 更好的可用性 更好的管理方式 GPFS-SNC 的性能优势 Data Striping 实现所有数据的条带化和镜像 Distributed Metadata 通过大量的随机式读取操作实现性能的提升 Client-side Caching 提供随机访问的性能, 对于某些类型的负载十分有效

36 GPFS-SNC is 100% POSIX Compliant 管理 BigInsights 的存储就像管理环境中其他 POSIX 标准的存储一样 易用性的优势 应用可以不必像 HDFS 那样来写文件 多个应用可以并行地对一个文件进行同时写入 让您的 BigInsights 集群更加稳定 安全和灵活 例如 :GPFS-SNC 通过似乎用 PiT snapshot 备份方式, 离线同步以及其他功能扩展了原有的备份能力 GPFS-SNC 是内核级别的文件系统 HDFS 不是 POSIX 兼容的文件系统, 因此需要 IT 花费一定的时间了解如何对它进行管理, 同时了解它的限制和不足 HDFS 构建与操作系统上 ( 而不是在内核 ), 会导致一定的不稳定性 BigInsights 中的任务管理 开源的 Hadoop 附带了几个调度器, 用于任务的管理 : First in First Out (FIFO), Fair 调度器, 和 Capacity 调度器 Hadoop 调度器无法提供对集群的完全控制 Fair 调度器可以提供对于资源分配的管理 但是, 无法对负载任务进行细颗粒度的控制 IBM 经过对于 Hadoop 管理调度系统的研究, 构建了更加智能的调度器 扩展了 Fair 调度器的功能, 让它可以不断地提醒任务所分配给他的 Slot 的最小数量 囊括了多种指标显示, 让使用者可以依据它们进行优化 对指标显示根据集群和任务的不同进行细颗粒度的选择 通过指标显示来区别各个任务的权重 示例 : 副总执行的任务将会比总监执行的任务获得更多 Hadoop 资源 越大的任务获得越多的资源

37 适应性 (Adaptive)MapReduce IBM 负载管理专家希望能够找到一个更加优化 Hadoop 运行的方法 适应性 MapReduce 通过让每一个 mapper 有自我认知的功能, 同时可以通过适应性了解其他 mapper 的状况 单独的 map 任务可以根据自己所处的环境进行自适应的条件 分解任务的大小? 如何选择 分解成较小的任务意外着将有更多的 map 来完成整个任务 然而更多的 map 任务以为着将耗费更多地资源来启动 运行和管理它们 对于分配了更多资源的任务, 适合分解成较大的任务 适应性 Mappers 的优势 在 mapper 之间进行负载均衡 减少启动和调度的开销 time

38 企业集成的重要性 企业中的其他系统也需要能够使用 Hadoop 的计算能力, 反正亦然 原来基于 SQL 关系型应用将不会被抛弃, 因为您将还会使用关系型存储 BigInsights 支持多种数据来源 :Netezza,DB2, 其他支持 JDBC 的数据库,InfoSphere Streams, DataStage 等 Big Data 解决方案必须集成到您企业的内部才能发挥其优势 Traditional Approach New Approach Structured, analytical, logical Creative, holistic thought, intuition Structured Repeatable Linear Monthly sales reports Profitability analysis Customer surveys Unstructured Exploratory Iterative Brand sentiment Product strategy Maximum asset utilization 易于部署 集成的方案才能使您的企业数据被更好地利用

39 推荐下载 IBM InfoSphere BigInsights IBM InfoSphere Streams developerworks 下载中心 参考资源 BigInsights - 基于 Hadoop 的数据分析平台 实战 IBM BigInsights 安装和配置 InfoSphere Streams Jaql 和 Pig 查询语言的比较

40 从 IBM developerworks 中国网站获取更多资源 技术资源 指导信息 样例代码 路线图 试用下载 教程 技术文章 网络广播 演示 教育资源 样例项目 Web 社区 技术专区 产品专区 博客 RSS 订阅 社区空间 全球最佳厂商开发者项目 (IDC) IT 行业第 2 大开发者社区 32 项行业大奖 79 developerworks 社区 : 最极客的社交网络 马上加入 : 通过概要信息和别人取得联系 通过群组结识志同道合的朋友 博客,Wiki, 论坛, 书签, 活动, 文件 可以共享您在社交网络 Facebook 或 LinkedIn 中的信息 80

41 81

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项 IT@Intel 白 皮 书 英 特 尔 IT 部 门 大 数 据 和 商 业 智 能 2013 年 10 月 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 要 点 概 述 仅 在 五 周 之 内, 我 们 就 实 施 了 基 于 Apache Hadoop* 英 特 尔 分 发 版 的 低 成 本 可 完 全 实 现 的 大 数

More information

水晶分析师

水晶分析师 大数据时代的挑战 产品定位 体系架构 功能特点 大数据处理平台 行业大数据应用 IT 基础设施 数据源 Hadoop Yarn 终端 统一管理和监控中心(Deploy,Configure,monitor,Manage) Master Servers TRS CRYSTAL MPP Flat Files Applications&DBs ETL&DI Products 技术指标 1 TRS

More information

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1 Business & Operation 业 务 与 运 营 大 数 据 技 术 在 精 准 营 销 中 的 应 用 王 小 鹏 北 京 东 方 国 信 科 技 股 份 有 限 公 司 北 京 100102 摘 要 简 要 介 绍 主 流 的 大 数 据 技 术 架 构 和 大 数 据 挖 掘 技 术 ; 阐 述 大 数 据 技 术 在 精 准 营 销 与 维 系 系 统 建 设 中 的 应 用,

More information

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop

More information

Reducing Client Incidents through Big Data Predictive Analytics

Reducing Client Incidents through Big Data Predictive Analytics IT@lntel 白 皮 书 英 特 尔 IT 部 门 IT 最 佳 实 践 大 数 据 预 测 分 析 2013 年 12 月 通 过 大 数 据 预 测 分 析 减 少 客 户 端 事 故 总 体 概 述 相 比 过 去 的 被 动 反 应, 我 们 现 在 能 够 更 容 易 主 动 找 出 客 户 端 问 题, 并 及 时 将 其 修 复 以 免 问 题 扩 大, 从 而 为 企 业 节 约

More information

长 安 大 学 硕 士 学 位 论 文 基 于 数 据 仓 库 和 数 据 挖 掘 的 行 为 分 析 研 究 姓 名 : 杨 雅 薇 申 请 学 位 级 别 : 硕 士 专 业 : 计 算 机 软 件 与 理 论 指 导 教 师 : 张 卫 钢 20100530 长安大学硕士学位论文 3 1 3系统架构设计 行为分析数据仓库的应用模型由四部分组成 如图3 3所示

More information

第 06 期 李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI

第 06 期 李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI 电子科学技术第 02 卷第 06 期 2015 年 11 月 Electronic Science & Technology Vol.02 No.06 Nov.2015 年 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 李祥池 ( 杭州华三通信技术有限公司北京研究所, 北京,100085) 摘要 : 在大数据时代 对数据平台各组件的运行状态实时监控与运行分析具有重要意义

More information

Microsoft PowerPoint - Big Data rc Sharing掃盲時間.ppt [相容模式]

Microsoft PowerPoint - Big Data rc Sharing掃盲時間.ppt [相容模式] Big Data RC Sharing 大數據掃盲 Service Planner of Enterprise Big Data 大 數 據 服 務 規 劃 師 企 業 大 數 據 課 程 規 劃 依 照 企 業 資 料 流 程 的 特 殊 性, 安 排 合 適 的 課 程 協 助 企 業 導 入 應 用 大 數 據 案 例 :Etu 資 策 會 平 安 保 險 湖 南 國 防 科 技 大 學 等

More information

培 训 机 构 介 绍 中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开 展 Hadoop 云 计 算 的 培

培 训 机 构 介 绍  中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开 展 Hadoop 云 计 算 的 培 Hadoop 2.0 培 训 Hadoop 2.0Training Hadoop 2.0 运 维 与 开 发 实 战 培 训 邀 请 函 培 训 机 构 介 绍 www.zkpk.org 中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开

More information

Azure_s

Azure_s Azure ? Azure Azure Windows Server Database Server Azure Azure Azure Azure Azure Azure Azure Azure OpenSource Azure IaaS Azure VM Windows Server Linux PaaS Azure ASP.NET PHP Node.js Python MS SQL MySQL

More information

2013_6_3.indd

2013_6_3.indd 中 国 科 技 资 源 导 刊 ISSN 1674-1544 2013 年 11 月 第 45 卷 第 6 期 95-99, 107 CHINA SCIENCE & TECHNOLOGY RESOURCES REVIEW ISSN 1674-1544 Vol.45 No.6 95-99, 107 Nov. 2013 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统

More information

6112 http / /mops.tse.com.tw http / /

6112 http / /mops.tse.com.tw http / / 6112 http/ /mops.tse.com.tw http/ / www.sysage.com.tw (02)8797-8260 pr@sysage.com.tw 134 5 02-87978260 516 10 02-87978260 2 7 1 03-5437168 51 20 A2 04-23271151 38 20 2 07-5372088 533 (02)2381-6288 http//www.nsc.com.tw

More information

% ~ AAA

% ~ AAA 1. 230000 503566 47% 2001 3 ~2002 9 31281 5010 950 AAA 2002 1 0532--5951792 2003.7.7 2. 37 58 37% 2001 3 ~2002 9 75 60 950 AAA 2002 306 0532--5951792 2003.7.7 500000 1640000 4350000 6020000 220000 200000

More information

第 02 期 1 医 疗 信 息 现 状 20% EMR Electronic Medical Record HIS HIS [1-2] 40 2011 张 肖 等 : 基 于 大 数 据 的 医 疗 健 康 创 新 应 用 2 大 数 据 环 境 下 医 疗 数 据 特 征 分 析 PC [3]

第 02 期 1 医 疗 信 息 现 状 20% EMR Electronic Medical Record HIS HIS [1-2] 40 2011 张 肖 等 : 基 于 大 数 据 的 医 疗 健 康 创 新 应 用 2 大 数 据 环 境 下 医 疗 数 据 特 征 分 析 PC [3] 电 子 科 学 技 术 电 第 02 子 科 卷 学 第 技 02 术 期 Electronic 2015 年 Science 3 月 & Technology Electronic Science & Technology Vol.02 No.02 Mar.2015 年 基 于 大 数 据 的 医 疗 健 康 创 新 应 用 张 肖, 杨 锦 洲, 王 志 勇 ( 中 国 联 通 研 究 院, 北

More information

合集

合集 Ver 1.0 版 本 目 录 第 一 章 当 大 数 据 遇 上 SSD 01 第 二 章 广 东 移 动 运 用 Hadoop 创 新 应 用 04 第 三 章 第 四 章 第 五 章 第 六 章 第 七 章 第 八 章 第 九 章 第 十 章 如 何 利 用 大 数 据 分 析 提 升 垃 圾 短 信 过 滤 效 果 广 东 电 信 用 大 数 据 重 构 室 内 网 优 大 数 据 提 升

More information

册子0906

册子0906 IBM SelectStack ( PMC v2.0 ) 模块化私有云管理平台 是跨主流虚拟化技术的统一资源云管理平台 01 亮点 : 快速可靠地实现集成化 私有云管理平台 02/03 丰富的功能支持企业数据中心云计算 扩展性强 : 简单易用 : 04/05 功能丰富 : 06/07 为什么选择 IBM SelectStack (PMC v2.0)? 快速实现价值 提高创新能力 降低 IT 成本 降低复杂度和风险

More information

目 录 简 介.3 ` 体 系 结 构...4 数 据 层...5 数 据 连 接 器...6 Tableau Server 组 件...7 网 关 / 负 载 平 衡 器...8 客 户 端 :Web 浏 览 器 和 移 动 应 用 程 序...8 客 户 端 :Tableau Desktop..

目 录 简 介.3 ` 体 系 结 构...4 数 据 层...5 数 据 连 接 器...6 Tableau Server 组 件...7 网 关 / 负 载 平 衡 器...8 客 户 端 :Web 浏 览 器 和 移 动 应 用 程 序...8 客 户 端 :Tableau Desktop.. Neelesh Kamkolkar, 产 品 经 理 Ellie Fields, 产 品 营 销 副 总 裁 Marc Rueter, 战 略 解 决 方 案 高 级 总 监 适 用 于 企 业 的 Tableau: IT 概 述 目 录 简 介.3 ` 体 系 结 构...4 数 据 层...5 数 据 连 接 器...6 Tableau Server 组 件...7 网 关 / 负 载 平 衡

More information

<4D6963726F736F667420576F7264202D20B5E7D7D3C9CCCEF1D7A8D2B5C5E0D1F8B7BDB0B8D0DEB6C1D6B8C4CFA3A832303136BCB6A3A92E646F63>

<4D6963726F736F667420576F7264202D20B5E7D7D3C9CCCEF1D7A8D2B5C5E0D1F8B7BDB0B8D0DEB6C1D6B8C4CFA3A832303136BCB6A3A92E646F63> 福 州 大 校 训 博 远 志 明 德 至 诚 目 录 福 州 大 大 英 语 课 程 教 实 施 方 案 1 福 州 大 大 信 息 技 术 基 础 分 级 教 实 施 方 案 2 电 子 商 务 专 业 培 养 方 案 3 电 子 商 务 专 业 简 介 10 培 养 方 案 解 读 16 管 理 院 电 子 商 务 专 业 课 程 安 排 表 21 福 州 大 大 英 语 课 程 教 实 施

More information

Connected Intelligence:ビッグデータ技術を活用したIT運用

Connected Intelligence:ビッグデータ技術を活用したIT運用 HP Technology At Work 2015 Connected Intelligence IT HP 0 Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP New Style of

More information

F4

F4 DOI:10.3969/j.issn.1009-6868.2016.01.002 网 络 出 版 地 址 :http://www.cnki.net/kcms/detail/34.1228.tn.20151117.1506.006.html Challenges and Countermeasures of Network Space Security 周 延 森 /ZHOU Yansen 周 琳 娜

More information

Value Chain ~ (E-Business RD / Pre-Sales / Consultant) APS, Advanc

Value Chain ~ (E-Business RD / Pre-Sales / Consultant) APS, Advanc Key @ Value Chain fanchihmin@yahoo.com.tw 1 Key@ValueChain 1994.6 1996.6 2000.6 2000.10 ~ 2004.10 (E- RD / Pre-Sales / Consultant) APS, Advanced Planning & Scheduling CDP, Collaborative Demand Planning

More information

数据分析技术介绍

数据分析技术介绍 DW OLAP DM ,,, :, DW OLAP DM DW OLAP DM DW OLAP DM 80 " "William H.Inmon Data mart " " Meta Data ( ) ETL ETL Extract Transform Cleansing Load ETL Oracle Oracle (CWM) (OEM) 9i Application Server 9i

More information

Microsoft Word - 103-4 記錄附件

Microsoft Word - 103-4 記錄附件 國 立 虎 尾 技 大 103 年 度 第 4 次 教 務 會 議 記 錄 附 件 中 華 民 國 104 年 6 月 16 日 受 文 者 : 國 立 虎 尾 技 大 發 文 日 期 : 中 華 民 國 104 年 5 月 28 日 發 文 字 號 : 臺 教 技 ( 二 ) 字 第 1040058590 號 速 別 : 最 速 件 密 等 及 解 密 條 件 或 保 密 期 限 : 附 件 :

More information

<4D6963726F736F667420506F776572506F696E74202D20C8EDBCFEBCDCB9B9CAA6D1D0D0DEBDB2D7F92E707074>

<4D6963726F736F667420506F776572506F696E74202D20C8EDBCFEBCDCB9B9CAA6D1D0D0DEBDB2D7F92E707074> 软 件 架 构 师 研 修 讲 座 胡 协 刚 软 件 架 构 师 UML/RUP 专 家 szjinco@public.szptt.net.cn 中 国 软 件 架 构 师 网 东 软 培 训 中 心 小 故 事 : 七 人 分 粥 当 前 软 件 团 队 的 开 发 现 状 和 面 临 的 问 题 软 件 项 目 的 特 点 解 决 之 道 : 从 瀑 布 模 型 到 迭 代 模 型 解 决 项

More information

目次 

目次  軟 體 工 程 期 末 報 告 網 路 麻 將 91703014 資 科 三 黃 偉 嘉 91703024 資 科 三 丘 祐 瑋 91703030 資 科 三 江 致 廣 1 目 次 壹 前 言 (Preface) P.4 貳 計 畫 簡 述 及 預 期 效 益 (Project Description and Expected Results) P.4 參 系 統 開 發 需 求 (System

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Apache Spark 与 多 数 据 源 的 结 合 田 毅 @ 目 录 为 什 么 会 用 到 多 个 数 据 源 Spark 的 多 数 据 源 方 案 有 哪 些 已 有 的 数 据 源 支 持 Spark 在 GrowingIO 的 实 践 分 享 为 什 么 会 用 到 多 个 数 据 源 从 数 据 本 身 来 看 大 数 据 的 特 性 之 一 :Variety 数 据 的 多 样

More information

untitled

untitled Chapter 01 1.0... 1-2 1.1... 1-2 1.1.1...1-2 1.1.2...1-4 1.1.2.1... 1-6 1.1.2.2... 1-7 1.1.2.3... 1-7 1.1.2.4... 1-7 1.1.2.5... 1-8 1.1.2.6... 1-8 1.1.3??...1-8 1.1.4...1-9 1.2...1-12 1.3...1-14 1.4...1-17

More information

ebook204-2

ebook204-2 Internet Information Services 2 I I S 5 We b We b I I S IIS 5 M i c r o s o f t M i c r o s o f t Active Server Pages A S P We b IIS 5 IIS 5 3 We b IIS 5 We b Microsoft Solutions Framework M S F M S F

More information

目 录 1 不 断 开 发 工 具 以 管 理 大 数 据...2 1.1 Hadoop* 简 介 : 支 持 从 大 数 据 中 获 得 出 色 价 值 的 可 靠 框 架... 2 1.2 大 数 据 技 术 的 行 业 生 态 系 统... 2 2 在 关 键 组 件 中 实 现 平 衡...

目 录 1 不 断 开 发 工 具 以 管 理 大 数 据...2 1.1 Hadoop* 简 介 : 支 持 从 大 数 据 中 获 得 出 色 价 值 的 可 靠 框 架... 2 1.2 大 数 据 技 术 的 行 业 生 态 系 统... 2 2 在 关 键 组 件 中 实 现 平 衡... 白 皮 书 英 特 尔 固 态 硬 盘 英 特 尔 以 太 网 融 合 网 络 英 特 尔 Hadoop* 发 行 版 软 件 应 用 大 数 据 技 术 获 得 近 实 时 分 析 巨 大 成 效 1 平 衡 的 基 础 设 施 使 工 作 负 载 完 成 时 间 从 4 小 时 缩 短 为 7 如 今, 基 于 广 泛 可 用 的 计 算 存 储 和 网 络 组 件 的 改 进, 商 业 学 术

More information

10 IBM Louis V. Gerstner, Jr. 15 Moore's Law EPC PC 2-2

10 IBM Louis V. Gerstner, Jr. 15 Moore's Law EPC PC 2-2 Chapter02 2.1 2.2 2.3 2.4 EPC 2.5 10 IBM Louis V. Gerstner, Jr. 15 Moore's Law 1950 1965 1980 1995 1995 2010 15 2.1 2.2 2.3 2.4 EPC 2.5 2.1 PC 2-2 CHAPTER 02 Human to Human, H2H Facebook Plurk Human to

More information

1 o o o CPU o o o o o SQL Server 2005 o CPU o o o o o SQL Server o Microsoft SQL Server 2005

1 o o o CPU o o o o o SQL Server 2005 o CPU o o o o o SQL Server o Microsoft SQL Server 2005 1 o o o CPU o o o o o SQL Server 2005 o CPU o o o o o SQL Server o Microsoft SQL Server 2005 1 1...3 2...20 3...28 4...41 5 Windows SQL Server...47 Microsoft SQL Server 2005 DBSRV1 Microsoft SQL Server

More information

信 息 化 研 究

信 息 化 研 究 信 息 化 研 究 2014 年 第 21 期 总 第 70 期 国 家 信 息 中 心 信 息 化 研 究 部 2014 年 12 月 17 日 大 数 据 在 电 子 政 务 中 的 应 用 研 究 杨 道 玲 1 摘 要 大 数 据 技 术 的 发 展, 对 政 府 治 理 和 公 共 服 务 正 产 生 广 泛 而 深 刻 的 影 响 欧 美 发 达 国 家 已 经 开 展 电 子 政 务

More information

1 Par t IBM 7 Par t 2 I BM IBM Par t Q & A

1 Par t IBM 7 Par t 2 I BM IBM Par t Q & A IBM 1 Par t 1 12 2 3 1 3 3 3 1 4 4 4 5 5 5 2 5 6 6 IBM 7 Par t 2 I BM IBM 1 0 1 1 2 2 1 6 3 1 8 Par t 3 2 0 Q & A 2 9 2 2 Pa r t 1 12 4 27 1 2 3 2,3 0 0 2 1990 9 1992 6 1995 4 1995 7 12 1995 8 11 1995

More information

目 录 1. 业 务 流 程 系 统 开 发 面 临 的 挑 战 与 机 遇... 3 1.1 业 务 流 程 管 理... 4 2. 新 一 代 开 源 业 务 流 程 开 发 平 台 BPMX3... 5 2.1 BPMX3 是 什 么... 5 2.2 为 什 么 要 优 先 采 用 BPMX

目 录 1. 业 务 流 程 系 统 开 发 面 临 的 挑 战 与 机 遇... 3 1.1 业 务 流 程 管 理... 4 2. 新 一 代 开 源 业 务 流 程 开 发 平 台 BPMX3... 5 2.1 BPMX3 是 什 么... 5 2.2 为 什 么 要 优 先 采 用 BPMX BPMX3 技 术 白 皮 书 业 务 流 程 开 发 平 台 介 绍 目 录 1. 业 务 流 程 系 统 开 发 面 临 的 挑 战 与 机 遇... 3 1.1 业 务 流 程 管 理... 4 2. 新 一 代 开 源 业 务 流 程 开 发 平 台 BPMX3... 5 2.1 BPMX3 是 什 么... 5 2.2 为 什 么 要 优 先 采 用 BPMX3... 5 2.2.1 BPMX3

More information

创业板投资风险提示:本次股票发行后拟在创业板市场上市,该市场具有较高的投资风险

创业板投资风险提示:本次股票发行后拟在创业板市场上市,该市场具有较高的投资风险 创 业 板 投 资 风 险 提 示 : 本 次 股 票 发 行 后 拟 在 创 业 板 市 场 上 市, 该 市 场 具 有 较 高 的 投 资 风 险 创 业 板 公 司 具 有 业 绩 不 稳 定 经 营 风 险 高 退 市 风 险 大 等 特 点, 投 资 者 面 临 较 大 的 市 场 风 险 投 资 者 应 充 分 了 解 创 业 板 市 场 的 投 资 风 险 及 本 公 司 所 披 露

More information

次世代のITインフラ“Compute”を先取り!HPが統合型アプライアンス「HP ConvergedSystem」を推進する理由

次世代のITインフラ“Compute”を先取り!HPが統合型アプライアンス「HP ConvergedSystem」を推進する理由 ITCompute HP HP ConvergedSystem 2015 2 18 HP Devices (1) 300 40 GB 40 Zettabytes 1000 (3) Mobile Apps 2020 (2) DATA Mobile Apps Cloud Security 2 Mobility New Style of IT Big Data (1) IDC Directions 2013:

More information

声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和 主 管 会 计 工 作 的

声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和 主 管 会 计 工 作 的 声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和 主 管 会 计 工 作 的 负 责 人 会 计 机 构 负 责 人 保 证 公 开 转 让 说 明 书 中 财 务 会 计 资

More information

FICO ( Fair Issac ) ( keynote sessions ) ( Big Data ) FICO ( FICO's Technology Vision ) ( Changing the Customer Equation ) (

FICO ( Fair Issac ) ( keynote sessions ) ( Big Data ) FICO ( FICO's Technology Vision ) ( Changing the Customer Equation ) ( 2013FICO 2013FICOFICO Fair IssacBIG DATA ANALYTICS AND THE CUSTOMER REVOLUTIONFICOFICO SCORE Big Data FICO FICO ( Big data ) 36 2013 /12 FICO ( Fair Issac ) 43053 70080040 3 ( keynote sessions ) ( Big

More information

Autodesk Product Design Suite Standard 系统统需求 典型用户户和工作流 Autodesk Product Design Suite Standard 版本为为负责创建非凡凡产品的设计师师和工程师提供供基本方案设计和和制图工具, 以获得令人惊叹叹的产品

Autodesk Product Design Suite Standard 系统统需求 典型用户户和工作流 Autodesk Product Design Suite Standard 版本为为负责创建非凡凡产品的设计师师和工程师提供供基本方案设计和和制图工具, 以获得令人惊叹叹的产品 Autodesk Product Design Suite Standard 20122 系统统需求 典型用户户和工作流 Autodesk Product Design Suite Standard 版本为为负责创建非凡凡产品的设计师师和工程师提供供基本方案设计和和制图工具, 以获得令人惊叹叹的产品设计 Autodesk Product Design Suite Standard 版本包包括以下软件产产品

More information

WebSphere Studio Application Developer IBM Portal Toolkit... 2/21 1. WebSphere Portal Portal WebSphere Application Server stopserver.bat -configfile..

WebSphere Studio Application Developer IBM Portal Toolkit... 2/21 1. WebSphere Portal Portal WebSphere Application Server stopserver.bat -configfile.. WebSphere Studio Application Developer IBM Portal Toolkit... 1/21 WebSphere Studio Application Developer IBM Portal Toolkit Portlet Doug Phillips (dougep@us.ibm.com),, IBM Developer Technical Support Center

More information

Outline Speech Signals Processing Dual-Tone Multifrequency Signal Detection 云南大学滇池学院课程 : 数字信号处理 Applications of Digital Signal Processing 2

Outline Speech Signals Processing Dual-Tone Multifrequency Signal Detection 云南大学滇池学院课程 : 数字信号处理 Applications of Digital Signal Processing 2 CHAPTER 10 Applications of Digital Signal Processing Wang Weilian wlwang@ynu.edu.cn School of Information Science and Technology Yunnan University Outline Speech Signals Processing Dual-Tone Multifrequency

More information

背 景 概 述 企 业 需 要 一 种 灵 活 的 平 台 来 快 速 构 建 测 试 和 扩 展 新 的 应 用 程 序 服 务 并 对 市 场 中 发 生 的 数 字 化 变 革 作 出 反 应 数 字 化 变 革 正 在 加 快 步 伐, 因 为 流 程 和 信 息 的 日 益 融 合 带 来

背 景 概 述 企 业 需 要 一 种 灵 活 的 平 台 来 快 速 构 建 测 试 和 扩 展 新 的 应 用 程 序 服 务 并 对 市 场 中 发 生 的 数 字 化 变 革 作 出 反 应 数 字 化 变 革 正 在 加 快 步 伐, 因 为 流 程 和 信 息 的 日 益 融 合 带 来 白 皮 书 平 台 即 服 务 : 助 力 实 现 数 字 化 转 型 赞 助 商 :Oracle Robert P. Mahowald 2015 年 1 月 Larry Carvalho 执 行 概 要 传 统 业 务 模 式 正 在 受 到 为 客 户 提 供 多 渠 道 数 字 体 验 的 新 业 务 模 式 的 越 来 越 强 烈 的 冲 击 IDC 预 测, 到 2015 年, 在 营 销

More information

Microsoft Word - 招股说明书.doc

Microsoft Word - 招股说明书.doc 创 业 板 投 资 风 险 提 示 : 本 次 股 票 发 行 后 拟 在 创 业 板 市 场 上 市, 该 市 场 具 有 较 高 的 投 资 风 险 创 业 板 公 司 具 有 业 绩 不 稳 定 经 营 风 险 高 退 市 风 险 大 等 特 点, 投 资 者 面 临 较 大 的 市 场 风 险 投 资 者 应 充 分 了 解 创 业 板 市 场 的 投 资 风 险 及 本 公 司 所 披 露

More information

<4D6963726F736F667420576F7264202D20312D3120D5D0B9C9CBB5C3F7CAE9A3A8C9EAB1A8B8E5A3A9>

<4D6963726F736F667420576F7264202D20312D3120D5D0B9C9CBB5C3F7CAE9A3A8C9EAB1A8B8E5A3A9> 本 次 股 票 发 行 后 拟 在 创 业 板 市 场 上 市, 该 市 场 具 有 较 高 的 投 资 风 险 创 业 板 公 司 具 有 业 绩 不 稳 定 经 营 风 险 高 退 市 风 险 大 等 特 点, 投 资 者 面 临 较 大 的 市 场 风 险 投 资 者 应 充 分 了 解 创 业 板 市 场 的 投 资 风 险 及 本 公 司 所 披 露 的 风 险 因 素, 审 慎 作 出

More information

Microsoft PowerPoint ARIS_Platform_en.ppt

Microsoft PowerPoint ARIS_Platform_en.ppt ARIS Platform www.ixon.com.tw ARIS ARIS Architecture of Integrated Information System Prof. Dr. Dr. h.c. mult. August-Wilhelm Scheer ARIS () 2 IDS Scheer AG International Presence >> Partners and subsidiaries

More information

SDK 概要 使用 Maven 的用户可以从 Maven 库中搜索 "odps-sdk" 获取不同版本的 Java SDK: 包名 odps-sdk-core odps-sdk-commons odps-sdk-udf odps-sdk-mapred odps-sdk-graph 描述 ODPS 基

SDK 概要 使用 Maven 的用户可以从 Maven 库中搜索 odps-sdk 获取不同版本的 Java SDK: 包名 odps-sdk-core odps-sdk-commons odps-sdk-udf odps-sdk-mapred odps-sdk-graph 描述 ODPS 基 开放数据处理服务 ODPS SDK SDK 概要 使用 Maven 的用户可以从 Maven 库中搜索 "odps-sdk" 获取不同版本的 Java SDK: 包名 odps-sdk-core odps-sdk-commons odps-sdk-udf odps-sdk-mapred odps-sdk-graph 描述 ODPS 基础功能的主体接口, 搜索关键词 "odpssdk-core" 一些

More information

59 1 CSpace 2 CSpace CSpace URL CSpace 1 CSpace URL 2 Lucene 3 ID 4 ID Web 1. 2 CSpace LireSolr 3 LireSolr 3 Web LireSolr ID

59 1 CSpace 2 CSpace CSpace URL CSpace 1 CSpace URL 2 Lucene 3 ID 4 ID Web 1. 2 CSpace LireSolr 3 LireSolr 3 Web LireSolr ID 58 2016. 14 * LireSolr LireSolr CEDD Ajax CSpace LireSolr CEDD Abstract In order to offer better image support services it is necessary to extend the image retrieval function of our institutional repository.

More information

CH01.indd

CH01.indd 3D ios Android Windows 10 App Apple icloud Google Wi-Fi 4G 1 ( 3D ) 2 3 4 5 CPU / / 2 6 App UNIX OS X Windows Linux (ios Android Windows 8/8.1/10 BlackBerry OS) 7 ( ZigBee UWB) (IEEE 802.11/a/b/g/n/ad/ac

More information

应 用 为 先, 统 筹 规 划 摘 要 : 总 体 上 看, 我 国 的 云 计 算 还 没 有 进 入 良 性 发 展 的 轨 道 目 前 的 形 势 是 政 府 比 企 业 积 极, 企 业 比 用 户 积 极, 大 企 业 比 中 小 企 业 积 极, 建 设 数 据 中 心 比 推 广 应

应 用 为 先, 统 筹 规 划 摘 要 : 总 体 上 看, 我 国 的 云 计 算 还 没 有 进 入 良 性 发 展 的 轨 道 目 前 的 形 势 是 政 府 比 企 业 积 极, 企 业 比 用 户 积 极, 大 企 业 比 中 小 企 业 积 极, 建 设 数 据 中 心 比 推 广 应 国 家 信 息 化 专 家 咨 询 委 员 会 2011 年 课 题 研 究 报 告 信 息 技 术 与 新 兴 产 业 专 业 委 员 会 内 部 资 料 注 意 保 存 应 用 为 先, 统 筹 规 划 对 政 府 引 领 云 计 算 健 康 发 展 的 建 议 国 家 信 息 化 专 家 咨 询 委 员 会 云 计 算 技 术 产 业 与 应 用 研 究 咨 询 课 题 组 二 〇 一 二 年

More information

(Electronic Data Interchange) (Executive Information System) (Economic Order Quantity) (Enterprise Resource Planning) (Flexible Manufacture System) (F

(Electronic Data Interchange) (Executive Information System) (Economic Order Quantity) (Enterprise Resource Planning) (Flexible Manufacture System) (F (Activity-Based Costing) (Activity-Based Budgeting) (Activity-Base Management) (Advanced Planning and Scheduling) Application Service Provider (Available To Promise) (Bill Of Material) (Business Process

More information

PowerPoint Presentation

PowerPoint Presentation 数 字 化 校 园 信 息 平 台 解 决 方 案 杭 州 正 方 电 子 工 程 有 限 公 司 2007.10 杭 州 正 方 电 子 工 程 有 限 公 司 简 介 正 方 公 司 成 立 于 1999 年 1 月 份, 现 有 员 工 170 多 名, 是 经 相 关 机 构 认 定 的 高 新 技 术 企 业 软 杭 件 企 州 业 正, 取 方 得 电 计 算 子 机 工 软 件 程 著

More information

目錄

目錄 資 訊 素 養 線 上 教 材 單 元 五 資 料 庫 概 論 及 Access 5.1 資 料 庫 概 論 5.1.1 為 什 麼 需 要 資 料 庫? 日 常 生 活 裡 我 們 常 常 需 要 記 錄 一 些 事 物, 以 便 有 朝 一 日 所 記 錄 的 事 物 能 夠 派 得 上 用 場 我 們 能 藉 由 記 錄 每 天 的 生 活 開 銷, 就 可 以 在 每 個 月 的 月 底 知

More information

Presentation title goes here

Presentation title goes here ACP- 如何在微软 Azure HDInsight 优化 Hadoop 董乃文 Nevin Dong 资深技术顾问开发工具及平台事业部 (DX) 微软公司 朱晓勇 Xiaoyong Zhu 产品经理云计算与企业事业部 (C&E) 微软公司 Hadoop, HDInsight 及关键能力 HDInsight 性能及调优 典型应用场景 HDInsight 概述及关键能力 Hadoop as a Service,

More information

声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和 主 管 会 计 工 作 的

声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和 主 管 会 计 工 作 的 ( 申 报 稿 ) 主 办 券 商 二 零 一 五 年 七 月 声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和 主 管 会 计 工 作 的 负 责 人 会 计 机 构 负 责

More information

0896-电力信息与系统通信-02期.indb

0896-电力信息与系统通信-02期.indb ... 中 图 分 类 号 :TP319 文 献 标 志 码 :B 文 章 编 号 :1672-4844(2013)02-0044-05 自 定 义 报 表 平 台 的 实 施 李 晶 1, 刘 小 秋 2 1, 刘 立 超 (1. 福 州 电 业 局, 福 建 福 州 350009 ;2. 国 网 信 通 亿 力 科 技 股 份 有 限 责 任 公 司, 福 建 福 州 350003) 摘 要 :

More information

WP_ARIS_PPM_CN.PDF

WP_ARIS_PPM_CN.PDF ,! ARIS (ARIS PPM) IDS Scheer AG 1 1 3? 3 4 ARI PPM 5 IT - 6 2 ARIS PPM 6 6 7 8 (SLA) 8 9 10 10 11 12 QM 12 13 3 ARIS PPM 14 ARIS PPM 14 ARIS PPM 15 15 15 16 (Management Views) 16 (Speedometer)- 17 18

More information

SAP HANA 最 简 单 的 理 解 ERP CRM SRM BI 列 存 储 2

SAP HANA 最 简 单 的 理 解 ERP CRM SRM BI 列 存 储 2 www.hand-china.com 搭 建 基 于 HANA 的 企 业 基 础 架 构 平 台 作 者 : HAND 日 期 : 2016-05 本 : 2.5 上 海 信 息 技 术 股 份 限 HAND Enterprise Solutions Company Ltd. www.hand-china.com SAP HANA 最 简 单 的 理 解 ERP CRM SRM BI 列 存 储

More information

epub83-1

epub83-1 C++Builder 1 C + + B u i l d e r C + + B u i l d e r C + + B u i l d e r C + + B u i l d e r 1.1 1.1.1 1-1 1. 1-1 1 2. 1-1 2 A c c e s s P a r a d o x Visual FoxPro 3. / C / S 2 C + + B u i l d e r / C

More information

BYOD IP+Optical (IP NGN) API 4. End-to-End (Service Aware) 5. IP NGN (IP Next Generation Network) ( ) Prime Carrier Management Access Edge Co

BYOD IP+Optical (IP NGN) API 4. End-to-End (Service Aware) 5. IP NGN (IP Next Generation Network) ( ) Prime Carrier Management Access Edge Co BYOD 228 2015 IT open source DIY ( ) Up/Down HP NNMi WhatsUp Gold Nagios HP SiteScope WhatsUp Gold HP NNMi WhatsUp Gold Cacti MRTG HP ispi Performance for Metrics WhatsUp Gold ( ) Open source Agent End-to-End

More information

XXX专业本科人才培养方案

XXX专业本科人才培养方案 计 算 机 科 学 与 技 术 专 业 本 科 人 才 培 养 方 案 (Computer Science and Technology 080901) 一 培 养 目 标 本 专 业 培 养 德 智 体 美 全 面 发 展, 具 有 良 好 的 科 学 与 人 文 素 养, 熟 悉 经 济 管 理 法 律 等 相 关 基 础 知 识, 系 统 地 掌 握 计 算 机 硬 件 软 件 方 面 的 基

More information

Oracle Database 10g: SQL (OCE) 的第一堂課

Oracle Database 10g: SQL (OCE) 的第一堂課 商 用 資 料 庫 的 第 一 堂 課 中 華 大 學 資 訊 管 理 系 助 理 教 授 李 之 中 http://www.chu.edu.tw/~leecc 甲 骨 文 俱 樂 部 @Taiwan Facebook 社 團 https://www.facebook.com/groups/365923576787041/ 2014/09/15 問 題 一 大 三 了, 你 為 什 麼 還 在 這

More information

个人介绍 思考数据分析系统的基本指标 Hadoop 史前和史后的数据仓库流程 Hadoop 史前和史后的数据分析流程 思考 Hadoop 解决了什么样的根本问题 演讲大纲 Python 如何在构建数据仓库系统的作用 1. 使用 Python 快速构建数据分析模块 ComETL 2. 基于 Pytho

个人介绍 思考数据分析系统的基本指标 Hadoop 史前和史后的数据仓库流程 Hadoop 史前和史后的数据分析流程 思考 Hadoop 解决了什么样的根本问题 演讲大纲 Python 如何在构建数据仓库系统的作用 1. 使用 Python 快速构建数据分析模块 ComETL 2. 基于 Pytho Python&Hadoop 构建数据仓库从开源中来, 到开源中去 EasyHadoop 童小军 tongxiaojun@gmail.com 2012 年 10 年 20 日 个人介绍 思考数据分析系统的基本指标 Hadoop 史前和史后的数据仓库流程 Hadoop 史前和史后的数据分析流程 思考 Hadoop 解决了什么样的根本问题 演讲大纲 Python 如何在构建数据仓库系统的作用 1. 使用

More information

IBM SPSS Modeler 14.2 建模节点

IBM SPSS Modeler 14.2 建模节点 IBM SPSS Modeler 14.2 建 模 节 点 注 意 : 使 用 本 信 息 以 及 其 支 持 的 产 品 之 前, 请 阅 读 注 意 事 项 第 页 码 下 的 常 规 信 息 本 文 件 包 含 SPSS Inc,IBM Company 的 专 利 信 息 本 文 件 依 照 许 可 证 协 议 提 供 并 受 版 权 法 保 护 本 出 版 物 中 包 含 的 任 何 信 息

More information

Cloudy computing forEducation

Cloudy computing forEducation 规 模 企 业 的 云 之 旅 姜 大 勇 威 睿 信 息 技 术 ( 中 国 ) 有 限 公 司 2009 VMware Inc. All rights reserved 背 景 说 明 云 计 算 是 一 种 新 型 的 信 息 资 源 管 理 和 计 算 服 务 模 式, 是 继 大 型 计 算 机 个 人 电 脑 互 联 网 之 后 信 息 产 业 的 一 次 革 命 云 计 算 可 将 分

More information

附3

附3 普 通 高 等 学 校 本 科 专 业 设 置 申 请 表 ( 备 案 专 业 适 用 ) 080910T 3-6 2 016 7 6 4884878 目 录 填 表 说 明 ⒈ ⒉ ⒊ ⒋ ⒌ 1. 普 通 高 等 学 校 增 设 本 科 专 业 基 本 情 况 表 080910T 3-6 1978 36 ( 1978) ( 2008) 2017 60 120 / S J ⒉ 学 校 基 本 情

More information

13 A DSS B DSS C DSS D DSS A. B. C. CPU D. 15 A B Cache C Cache D L0 L1 L2 Cache 16 SMP A B. C D 17 A B. C D A B - C - D

13 A DSS B DSS C DSS D DSS A. B. C. CPU D. 15 A B Cache C Cache D L0 L1 L2 Cache 16 SMP A B. C D 17 A B. C D A B - C - D 2008 1 1 A. B. C. D. UML 2 3 2 A. B. C. D. 3 A. B. C. D. UML 4 5 4 A. B. C. D. 5 A. B. C. D. 6 6 A. DES B. RC-5 C. IDEA D. RSA 7 7 A. B. C. D. TCP/IP SSL(Security Socket Layer) 8 8 A. B. C. D. 9 9 A. SET

More information

DPark MapReduce (Davies) davies@douban.com 2011/12/07 Velocity China 2011 Douban Douban 5500 Douban 5500 1000G, Douban 5500 1000G, 60+ Douban 5500 1000G, 60+ 200+ Douban 5500 1000G, 60+ 200+ > MooseFS

More information

经华名家讲堂

经华名家讲堂 5.1 5.1.1 5.1.2 5.2 5.2.1 5.2.2 5.2.3 5.2.4 5.2.5 5.3 5.3.1 5.3.2 5.3.3 / 5.3.4 / 5.3.5 / 5.4 Internet 5.4.1 Internet 5.4.2 Intranet 1. 2. 1 31 5 5.1 5.1.1 Internet 1 Host 20 60 IBM 2000 2 20 60 20 60

More information

93碩簡章

93碩簡章 104 學 年 度 學 士 後 第 二 專 長 學 士 學 位 學 程 招 生 簡 章 配 合 產 業 用 人 需 求, 強 化 民 眾 職 場 就 業 能 力, 培 養 第 二 專 長, 本 校 辦 理 商 業 巨 量 資 料 管 理 工 程 法 律 實 務 數 位 音 樂 應 用 運 動 健 康 產 業 等 學 士 後 第 二 專 長 學 士 學 位 學 程, 歡 迎 已 取 得 學 士 以 上

More information

IBM中国高校合作项目新闻

IBM中国高校合作项目新闻 2009 年 5-6 月 IBM 大 学 合 作 项 目 新 闻 双 月 报 大 学 合 作 项 目 新 闻 2009 年 (5-6 月 刊 ) 总 第 15 期 IBM 大 学 合 作 部 E-mail mail: ibmur@cn.ibm.com 联 系 电 话 : 010-63612203 热 点 新 闻 IBM 大 中 华 区 董 事 长 周 伟 焜 先 生 拜 访 教 育 部 周 济 部

More information

温州市政府分散采购

温州市政府分散采购 温 州 市 政 府 分 散 采 购 招 标 文 件 招 标 编 号 :F - G B 2 0 1 6 0 3 1 4 0 0 4 7 招 标 项 目 : 温 州 市 人 民 政 府 办 公 室 政 务 云 平 台 ( 重 ) 招 标 方 式 : 公 开 招 标 招 标 人 : 温 州 市 人 民 政 府 办 公 室 招 标 代 理 : 二 〇 一 六 年 三 月 目 录 投 标 保 证 金 办 理

More information

IBM Rational ClearQuest Client for Eclipse 1/ IBM Rational ClearQuest Client for Ecl

IBM Rational ClearQuest Client for Eclipse   1/ IBM Rational ClearQuest Client for Ecl 1/39 Balaji Krish,, IBM Nam LeIBM 2005 4 15 IBM Rational ClearQuest ClearQuest Eclipse Rational ClearQuest / Eclipse Clien Rational ClearQuest Rational ClearQuest Windows Web Rational ClearQuest Client

More information

ERP-1

ERP-1 IEEM 3041 ERP Enterprise Resource Planning ERP The Chain from Original Supply to Final Consumption INFORMATION FLOW Transfer Transfer Transfer Transfer Supplier Manufacturing Distribution Retail Outlet

More information

untitled

untitled rxli@public.wh.hb.cn http://idc.hust.edu.cn/~rxli/ 2 3 ( ) (Distributed System) Integrated System () 4 5 6 System Integration 7 8 Integrated System 9 1.1 CIMS IDEF CSCW STEP MIS MRPII ERP CRM SCM MIS:

More information

untitled

untitled SAP SAP Business One ... 4 SAP Business One... 5... 5 SAP Business One... 7 SAP Business One... 8... 8... 8... 9... 10... 11 mysap Business Suite... 12... 13... 14 Copyright 2004 SAP AG. All rights reserved.

More information

epub 61-2

epub 61-2 2 Web Dreamweaver UltraDev Dreamweaver 3 We b We b We Dreamweaver UltraDev We b Dreamweaver UltraDev We b We b 2.1 Web We b We b D r e a m w e a v e r J a v a S c r i p t We b We b 2.1.1 Web We b C C +

More information

Grant proposal

Grant proposal 科 技 部 106 年 度 跨 領 域 整 合 型 研 究 計 畫 徵 求 公 告 一 規 劃 案 說 明 ( 一 ) 研 究 主 題 與 承 辦 單 位 項 目 研 究 主 題 主 辦 學 術 司 共 同 主 辦 學 術 司 1 以 尖 端 物 理 化 學 方 法 探 索 生 物 科 學 之 跨 領 域 研 究 自 然 司 生 科 司 2 空 間 資 訊 與 人 文 社 會 經 濟 跨 領 域 研

More information

2. 2001-2008 IT 3. 2008 1. 2008 2. ebay PayPal B2B B2C ebay ebay 3 120 20 Paypal 3. 4 2014 9

2. 2001-2008 IT 3. 2008 1. 2008 2. ebay PayPal B2B B2C ebay ebay 3 120 20 Paypal 3. 4 2014 9 2014 9 * 200020 F713. 36 A 1005-1309 2014 09-0003 - 016 cross-border electronic commerce 2008 2012 150 30% 1. 1998-2001 2014-08 - 28 * 2014 3 2. 2001-2008 IT 3. 2008 1. 2008 2. ebay PayPal B2B B2C ebay

More information

SiteView技术白皮书

SiteView技术白皮书 SiteView ECC V6.2 技 术 白 皮 书 游 龙 网 络 科 技 ( 中 国 ) 有 限 公 司 DragonFlow Networks(China),Inc. 目 录 第 一 章 产 品 概 述... 3 第 二 章 系 统 结 构... 6 一 系 统 架 构... 7 1 用 户 管 理 模 块... 7 2 Web Server... 8 3 存 储 加 密 模 块... 8

More information

6-1 Table Column Data Type Row Record 1. DBMS 2. DBMS MySQL Microsoft Access SQL Server Oracle 3. ODBC SQL 1. Structured Query Language 2. IBM

6-1 Table Column Data Type Row Record 1. DBMS 2. DBMS MySQL Microsoft Access SQL Server Oracle 3. ODBC SQL 1. Structured Query Language 2. IBM CHAPTER 6 SQL SQL SQL 6-1 Table Column Data Type Row Record 1. DBMS 2. DBMS MySQL Microsoft Access SQL Server Oracle 3. ODBC SQL 1. Structured Query Language 2. IBM 3. 1986 10 ANSI SQL ANSI X3. 135-1986

More information

Microsoft Word - 20150105 2014資訊專業證照研析報告

Microsoft Word - 20150105 2014資訊專業證照研析報告 資 訊 專 業 證 照 研 析 報 告 2014 年 度 報 告 專 業 證 照 推 廣 主 持 人 台 灣 科 技 大 學 李 育 杰 教 授 教 育 部 資 訊 軟 體 人 才 培 育 中 程 計 畫 2014 年 12 月 摘 要 資 訊 產 業 不 斷 的 進 步 發 達, 社 會 型 態 趨 勢 也 逐 漸 走 上 高 學 歷 時 代, 但 是 學 歷 與 能 力 已 不 能 劃 上 等

More information

Bluemix 从概念到应用CN改

Bluemix 从概念到应用CN改 IBM Bluemix 从概念到应用 平台即服务 1. 2. 3. 3.1. 3.2. 4. 4.1. 4.1.1. 4.1.2. 4.2. 5. 6. 7. 7.1. 7.2. 7.3. 8. 引言 开发者面临的挑战和障碍 Bluemix 在云格局中的定位 3.1. 云计算的各种模式 3.2. 以开发者为中心的 PaaS IBM Bluemix 简介 4.1. IBM Bluemix 架构 4.1.1.

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生 态 技 术 在 阿 里 全 网 商 品 搜 索 实 战 阿 里 巴 巴 - 王 峰 自 我 介 绍 真 名 : 王 峰 淘 宝 花 名 : 莫 问 微 博 : 淘 莫 问 2006 年 硕 士 毕 业 后 加 入 阿 里 巴 巴 集 团 淘 及 搜 索 事 业 部 ( 高 级 技 术 与 家 ) 目 前 负 责 搜 索 离 线 系 统 团 队 技 术 方 向 : 分 布 式 计 算

More information

附件9 电梯运行安全监测管理信息平台技术规范 第11部分:系统信息安全技术规范(征求意见稿)

附件9 电梯运行安全监测管理信息平台技术规范 第11部分:系统信息安全技术规范(征求意见稿) ICS 35.240.01 M 63 备 案 号 : - 北 京 市 地 方 标 准 DB11/ XXX.1 XXXX 电 梯 运 行 安 全 监 测 管 理 信 息 平 台 技 术 规 范 第 11 部 分 : 系 统 信 息 安 全 规 范 Technical Specification for Management Information Platform of Elevator Operation

More information

智慧地球领导力系列

智慧地球领导力系列 智 慧 地 球 领 导 力 系 列 高 级 医 疗 联 盟 (Premier Healthcare Alliance) 在 整 合 式 医 疗 和 医 疗 卫 生 服 务 提 供 商 绩 效 改 善 方 面 实 现 了 巨 大 飞 跃 - 高 级 医 疗 联 盟 首 席 技 术 官 Denise Hatzidakis 去 年 初 秋, 在 北 卡 罗 来 纳 州 夏 洛 特 市, 高 级 医 疗 联

More information

3.1 SQL Server 2005 Analysis Services Unified Dimension Model (UDM) 3 ( Ad-Hoc) SQL Server 2005 E - R T-SQL(Star Schema) (Data Mart) (ETL) ( Ora

3.1 SQL Server 2005 Analysis Services Unified Dimension Model (UDM) 3 ( Ad-Hoc) SQL Server 2005 E - R T-SQL(Star Schema) (Data Mart) (ETL) ( Ora C H A P T E R 3 SQL Server 2005 SQL Server 2000SQL Server SQL Server 20052005 3.1 SQL Server 2005 Analysis Services 3.1.1 Unified Dimension Model (UDM) 3 ( Ad-Hoc) SQL Server 2005 E - R T-SQL(Star Schema)

More information

目錄... ivv...vii Chapter DETECT

目錄... ivv...vii Chapter DETECT ... ivv...vii Chapter 1 1.1... 5 1.2... 6 1.3 DETECT... 11 1.3.1... 12 1.3.1.1...12 1.3.1.2...13 1.3.1.3...14 1.3.1.4...15 1.3.1.5...15 1.3.1.6...16 1.3.2 DETECT... 17 1.3.3... 19 1.3.4... 20... 22 Chapter

More information

OOAD PowerDesigner OOAD Applying PowerDesigner CASE Tool in OOAD PowerDesigner CASE Tool PowerDesigner PowerDesigner CASE To

OOAD PowerDesigner OOAD Applying PowerDesigner CASE Tool in OOAD PowerDesigner CASE Tool PowerDesigner PowerDesigner CASE To PowerDesigner Applying PowerDesigner CASE Tool in OOAD albertchung@mpinfo.com.tw PowerDesigner CASE Tool PowerDesigner PowerDesigner CASE Tool PowerDesigner CASE Tool CASE Tool PowerDesignerUnified ProcessUMLing

More information

国 家 图 书 馆 年 鉴 0 重 点 文 化 工 程 一 中 华 古 籍 保 护 计 划 0 年, 国 家 图 书 馆 ( 国 家 古 籍 保 护 中 心 ) 根 据 文 化 部 要 求, 围 绕 习 近 平 总 书 记 关 于 弘 扬 中 华 优 秀 传 统 文 化 系 列 讲 话 精 神, 对

国 家 图 书 馆 年 鉴 0 重 点 文 化 工 程 一 中 华 古 籍 保 护 计 划 0 年, 国 家 图 书 馆 ( 国 家 古 籍 保 护 中 心 ) 根 据 文 化 部 要 求, 围 绕 习 近 平 总 书 记 关 于 弘 扬 中 华 优 秀 传 统 文 化 系 列 讲 话 精 神, 对 重点文化工程 中华古籍保护计划 数字图书馆推广工程 民国时期文献保护计划 年度掠影 国 家 图 书 馆 年 鉴 0 重 点 文 化 工 程 一 中 华 古 籍 保 护 计 划 0 年, 国 家 图 书 馆 ( 国 家 古 籍 保 护 中 心 ) 根 据 文 化 部 要 求, 围 绕 习 近 平 总 书 记 关 于 弘 扬 中 华 优 秀 传 统 文 化 系 列 讲 话 精 神, 对 中 华 古 籍

More information

公 司 年 度 大 事 记 2015 年 10 月 -11 月, 公 司 完 成 股 份 制 改 造 10 月 13 日, 百 灵 有 限 临 时 股 东 会 作 出 决 议, 同 意 各 发 起 人 将 其 在 百 灵 有 限 拥 有 的 截 至 2015 年 8 月 31 日 经 审 计 的 原

公 司 年 度 大 事 记 2015 年 10 月 -11 月, 公 司 完 成 股 份 制 改 造 10 月 13 日, 百 灵 有 限 临 时 股 东 会 作 出 决 议, 同 意 各 发 起 人 将 其 在 百 灵 有 限 拥 有 的 截 至 2015 年 8 月 31 日 经 审 计 的 原 百 灵 电 子 NEEQ :836943 郑 州 百 灵 电 子 技 术 股 份 有 限 公 司 (ZHENGZHOU BEELINK ELECTRONIC TECHNOLOGY CO.,LTD.) 年 度 报 告 2015 第 1 页, 共 110 页 公 司 年 度 大 事 记 2015 年 10 月 -11 月, 公 司 完 成 股 份 制 改 造 10 月 13 日, 百 灵 有 限 临 时

More information

大数据分析技术 [13] 1.1 大数据 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1

大数据分析技术 [13] 1.1 大数据 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1 2016 2016, Vol. 37, No. 01 37 01 COMPUTER ENGINEERING & SOFTWARE IT 大数据在输变电设备状态评估中的研究 周广 1, 闫丹凤 1, 许光可 2, 李笋 1. 100876 2. 250001 2 摘要 : 电网的高速发展带来海量数据的存储和分析问题, 传统的数据管理和分析工具不再适用 本文主要对大数据分析的相关技术在输变电设备状态评估中的应用进行了研究

More information

南威软件股份有限公司

南威软件股份有限公司 发 行 概 况 发 行 股 票 类 型 发 行 股 数 本 次 发 行 股 份 安 排 每 股 面 值 每 股 发 行 价 格 预 计 发 行 日 期 拟 上 市 证 券 交 易 所 发 行 后 总 股 本 人 民 币 普 通 股 A 股 不 超 过 2,500 万 股 本 次 计 划 公 开 发 行 股 票 数 量 不 超 过 2,500 万 股, 占 发 行 后 公 司 总 股 本 的 25%

More information

85% NCEP CFS 10 CFS CFS BP BP BP ~ 15 d CFS BP r - 1 r CFS 2. 1 CFS 10% 50% 3 d CFS Cli

85% NCEP CFS 10 CFS CFS BP BP BP ~ 15 d CFS BP r - 1 r CFS 2. 1 CFS 10% 50% 3 d CFS Cli 1 2 3 1. 310030 2. 100054 3. 116000 CFS BP doi 10. 13928 /j. cnki. wrahe. 2016. 04. 020 TV697. 1 A 1000-0860 2016 04-0088-05 Abandoned water risk ratio control-based reservoir pre-discharge control method

More information

51434S Fundamentals of the UNIX system 5 40, H3064S HPE-UX System and Network Administration I 5 40, H3065S HPE-UX System

51434S Fundamentals of the UNIX system 5 40, H3064S HPE-UX System and Network Administration I 5 40, H3065S HPE-UX System 51434S Fundamentals of the UNIX system 5 40,000 9-13 17-21 H3064S HPE-UX System and Network Administration I 5 40,000 6-10 15-19 H3065S HPE-UX System and Network Administration II 5 40,000 6-10 12-16 H8P04S

More information

文件範本

文件範本 圖 337 訊 息 格 式 交 換 示 意 圖 4.3. 資 料 服 務 帄 台 災 害 管 理 是 個 極 為 龐 雜 的 體 系 架 構 與 分 工 細 膩 的 運 作 帄 台, 災 害 種 類 可 區 分 為 天 然 災 害 ( 如 颱 風 豪 雨 地 震 等 ) 及 人 為 災 害 ( 人 類 科 技 因 疏 忽 意 外 所 帶 來 的 交 通 事 故 化 學 災 害 核 能 災 變 等 )

More information

GBase 8a 案 例 集, 天 津 南 大 通 用 数 据 技 术 股 份 有 限 公 司 GBASE 版 权 所 有 2016, 保 留 所 有 权 利 如 果 通 过 本 文 的 介 绍, 使 您 了 解 GBase 8a 恰 是 您 巟 作 中 需 要 的 数 据 库 产 品, 戒 者 是

GBase 8a 案 例 集, 天 津 南 大 通 用 数 据 技 术 股 份 有 限 公 司 GBASE 版 权 所 有 2016, 保 留 所 有 权 利 如 果 通 过 本 文 的 介 绍, 使 您 了 解 GBase 8a 恰 是 您 巟 作 中 需 要 的 数 据 库 产 品, 戒 者 是 - 1 - 南 大 通 用 数 据 技 术 股 仹 有 限 公 司 GBase 8a 案 例 集, 天 津 南 大 通 用 数 据 技 术 股 份 有 限 公 司 GBASE 版 权 所 有 2016, 保 留 所 有 权 利 如 果 通 过 本 文 的 介 绍, 使 您 了 解 GBase 8a 恰 是 您 巟 作 中 需 要 的 数 据 库 产 品, 戒 者 是 您 想 进 一 步 了 解 GBase

More information

<4D6963726F736F667420576F7264202D204861646F6F70B4F3CAFDBEDDBCB0BAA3C1BFCAFDBEDDCDDABEF2D3A6D3C3B9A4B3CCCAA6C5E0D1B5B0E056312E332E646F63>

<4D6963726F736F667420576F7264202D204861646F6F70B4F3CAFDBEDDBCB0BAA3C1BFCAFDBEDDCDDABEF2D3A6D3C3B9A4B3CCCAA6C5E0D1B5B0E056312E332E646F63> 关 于 举 办 Hadoop 大 数 据 及 海 量 数 据 挖 掘 应 用 工 程 师 培 训 班 的 通 知 随 着 云 时 代 的 来 临, 大 数 据 技 术 将 具 有 越 来 越 重 要 的 战 略 意 义 大 数 据 分 析 与 挖 掘 技 术 已 经 渗 透 到 每 一 个 行 业 和 业 务 职 能 领 域, 逐 渐 成 为 重 要 的 生 产 要 素, 人 们 对 于 海 量 数

More information

第壹章

第壹章 資訊管理系 德州撲克之 智慧型喊注系統 指導教授 萬 絢 教授 組員名單 游子祥 蔡宗益 張宇祥 李姵嫺 978C019 978C043 978C089 978C101 中華民國101年5月 嶺 東 科 技 大 學 資 訊 管 理 系 德 州 撲 克 之 智 慧 型 喊 注 系 統 資訊管理系專題口試委員審定書 德州撲克之 智慧型喊注系統 指導教授 萬 絢 教授 組員名單 游子祥 978C019 蔡宗益

More information

目 录 1. 花 旗 银 行 ( 中 国 ) 有 限 公 司 基 本 信 息 财 务 会 计 报 告 及 会 计 报 表 附 注 财 务 会 计 报 告 及 会 计 报 表 附 注 资 本 充 足 率 状 况 杠 杆 率 状 况.

目 录 1. 花 旗 银 行 ( 中 国 ) 有 限 公 司 基 本 信 息 财 务 会 计 报 告 及 会 计 报 表 附 注 财 务 会 计 报 告 及 会 计 报 表 附 注 资 本 充 足 率 状 况 杠 杆 率 状 况. 花 旗 银 行 ( 中 国 ) 有 限 公 司 2015 年 度 信 息 披 露 目 录 1. 花 旗 银 行 ( 中 国 ) 有 限 公 司 基 本 信 息... 2 2. 财 务 会 计 报 告 及 会 计 报 表 附 注... 4 2.1 财 务 会 计 报 告 及 会 计 报 表 附 注... 4 2.2 资 本 充 足 率 状 况... 5 2.3 杠 杆 率 状 况... 11 2.4

More information