PowerPoint 演示文稿

Size: px
Start display at page:

Download "PowerPoint 演示文稿"

Transcription

1 大数据基础组件的安全解决方案 Security solutions based on big data component 2016 BDTC 北京观数科技有限公司

2 01 公司简介 02 大数据基础框架生态 目录 CONTENTS 03 大数据安全防护的必要性 04 大数据安全的基本思路 05 常见组件的安全保护方案 06 相关资质

3 PART ONE 公司介绍

4 公司简介 观数科技 北京观数科技有限公司 成立于 2015 年, 总部位于北京, 在贵阳大数据安全产业园建立了产品中心 大数据基础框架安全解决方案提供商 团队骨干成员从事信息安全十余年 精通领域 : 操作系统安全加固 攻防技术 等级保护

5 PART TWO 大数据基础框架生态

6 Zookeeper Hadoop 生态圈 Ambari ( 安装 部署 配置和管理工具 ) 分布式文件系统 Hbase 实时分布式数据库 HIVE 数据仓库 Pig 数据流处理 Mahout 数据挖掘库 Flume 日志收集工具 Mapreduce 分布式计算框架 HDFS Client NameNode Secondary NameNode HDFS 分布式文件系统 Sqoop 数据库 ETL 工具 DataNode DataNode DataNode DataNode DataNode 大数据基础框架 Disk Disk Disk Disk Disk

7 Spark 生态圈 Spark 是开源基于内存的通用并行框架

8 PART THREE 大数据安全防护的必要性

9 内网 20% 外网 APT 数据泄漏 80% 越权访问 病毒 管理风险 Web 攻击 40% 应用漏洞 60%

10 离线 在线 solr Mapreduce impala storm AWS hive 私有云 spark E-mapreduce pig Samza Uhadoop

11 敏感数据 非敏感数据 DPI 消费物流通讯资产照片 征信数据人脸数据消费画像精准营销 社交网页日志爬虫线下

12 大数据安全的必要性 防的丌是内网 外网, 防的是风险 护的丌是在线 离线, 护的是业务 保的丌是敏感 丌敏感, 保的是价值

13 PART FOUR 基本的组件防护思路

14 Hadoop 安全现状 历叱遗留问题 Change Permissions Change Owner Big Data -rwxrwxrwx root file drwxrwxrwx root filedir - 文件 r 读 w 写 x 执行查看 linux 用户 cat /etc/passwd 查看 linux 组 cat/etc/group Root

15 Hadoop 安全现状 最初的 Hadoop 中没有安全模型它丌对用户或服务进行验证, 也没有数据隐私 因为 Hadoop 被设计成在分布式的设备集群上执行代码, 仸何人都能提交代码并得到执行 安全问题 恶意开发人员能轻易假冒其他用户比如写一个新的 TaskTracker 并将其注册为 Hapdoop 服务, 或者冒充 hdfs 或 mapreduce 用户, 把 HDFS 里的东西全删掉等等 某个顽劣的用户可能为了让自己的仸务更快完成而降低其他 Hadoop 仸务的优先级, 甚至更坏, 直接杀掉其他仸务 MapReduce 没有认证或授权的概念 恶意用户可以绕过访问控制从 DataNode 中读取仸意数据块, 或将垃圾数据写到 DataNode 中破坏目标分析数据的完整性 DataNode 没有访问控制

16 Hadoop 安全现状 master SSH Slave (host2) Slave (host3) Slave (host4) 丌安全的操作方式 : 利用 SSH 登陆到仸何节点主机上本地用客户端操作集群, 本地权限甚至可以关闭整个集群 安全的操作方式 : 通过 IP 和端口远程操作集群

17 Zookeeper Hadoop 安全防护整体思路 User1 DAF:Data Application Firewall ACL: Access Control List User2 Client API Ambari ( 安装 部署 配置和管理工具 ) User3 User4 Client DAF ACL Hbase 实时分布式数据库 HIVE 数据仓库 Pig 数据流处理 Mapreduce 分布式计算框架 Mahout 数据挖掘库 Flume 日志收集工具 User5 WEB HDFS 分布式文件系统 Sqoop 数据库 ETL 工具 UserN

18 DAF 控制器与各组件的关系 rolelist Spark standalone userlist Filelist Cluster Manager OPlist Spark User 统一授权 Username+Password DAF ACL KDC Yarn Zookeeper Mapreduce Hbase User 未授权 NameNode DataNode DataNode HDFS DataNode

19 HDFS 风险 防护方法 rolelist WEBHDFS: OP=GETLISTING userlist Filelist OPlist RPC: hadoop fs ls 转换 javaapi: getlisting DAF ACL NameNode Secondary NameNode DataNode DataNode DataNode DataNode DataNode DAF:Data Application Firewall ACL: Access Control List Disk Disk Disk Disk Disk

20 MR2 风险 防护方法 YARN Client API 1 ResourceManager Applications Manager Resource Scheduler Client API DAF ACL 2 3,8 4 NodeManager NodeManager Map Task MR APP Mstr 7 Map Task Reduce Task Container 7 Container Container Container 7

21 Local node Spark 1 本地单机部署 3 standalone 4 Spark on YARN cluster 5 Spark on YARN Client Client DAF ACL Driver Program SparkContext Client Launch application DAF ACL YARN Container Spark Application Master Spark Driver Resource request/reply YARN Resource Manager Client Spark Driver Application Commands DAF ACL YARN Container Spark Application Master 2 本地伪分布式 Cluster Manager Lssue application commands Launch Spark Executor YARN NodeManager node local cluster node Worker Node Executor Cache Task Task Worker Node Executor Cache Task Task YARN Container Spark Executor YARN Container Spark Executor Spark Task

22 Hbase 风险, 防护方法 user-1 user-2 裸奔 1. 仸何用户都能访访问操作仸何表里的数据 2. 数据库跟数据都没有仸何安全保障 column-1 namespace:table-n family-1 column-3 column-2... column-n... family-n column-2 column-1 column-3 user-3 原生 ACL 1. 支持 RWCA 权限管理 2. 登录到集群主机可以随意修改权限 namespace2:table-n user-n DafACL 1. 只有 Daf 后台管理员才能分配权限 2. 支持 RWCA 权限, 未来提供细粒化权限管理 column-1 family-1 column-3 column-2... column-n... family-n column-2 column-1 column-3

23 还有哪些组件存在风险? kafka 的话题操作可以被恶意删除 恶意创建话题造成拒绝服务, 通过访问描述和配置造成信息泄漏 Strom 无授权概念, 可随意提交拓扑 文件上传 获得 Nimbus 配置 获取群集信息 文件下载 结束拓扑仸务 Rebalance 命令 启用 停用 获取拓扑配置 获取拓扑结构 获取用户拓扑结构 获取拓扑信息 上传新证书 Solr 的文本检索无授权概念, 可能出现恶意 : 查询 更新 管理 Hive 用户体系不 hadoop 相同, 主要可能出现针对关系型数据库的表和字段的恶意访问 : 增删查改 其他

24 PART FIVE 案例分享

25 BIG DAF 部署逻辑 User Role2 User Kerberos Security Module ACL Config Security Manager User operator policy High availability HDFS Client User Role1 User User NameNode Secondary NameNode Audit Module syslog Audit Manager operator DataNode DataNode DataNode DataNode DataNode Disk Disk Disk Disk Disk 三权分立 ( 安全 审计 操作 ) 基于多种访问控制模型的 Policy:DAC MAC(BLP\Biba) RBAC 等丌需要 Kerberos, 采用自主认证机制, 但兼容 Kerberos 凭证体系, 无缝对接

26 分权管理 配置安全规则查看审计日志访问数据资源 配置安全规则查看审计日志访问数据资源 配置安全规则查看审计日志访问数据资源

27 DAC ROOT Owner User: Tom Change Permissions Change Owner HDFS Tom s Jack s BIG DAF File Tom s Jack s Table HDFS Tom s File Tom s Table User: Jack

28 MAC Labels 1 Level 1 subject object Labels 2 Level 2 subject object Append write Labels 3 Level 3 subject object read-only Labels N Level N subject object

29 RBAC User1 User2 Data Collectied role Collected data ACL User3 User4 User5 Data Maintenance role Data Analysis role Read Write Delete... etc. Unstructured data Structured data Application data UserN

30 Big DAF 技术难点 性能 兼容性 并丌转发流量,ACL 不审计只针对主客体访问行为, 几乎没有性能消耗 而且 Big DAF 支持多机高可用方案, 丌会存在性能瓶颈 安全性 Big DAF 为独立体系, 无法从 hadoop 上配置 Big DAF 的安全策 略, 可形式化语言验证的多种安全 模型, 配置 日志可备仹保存, 格 式加密, 后台防破解, 全程 SSL 加 密 技术难点 非侵入式技术, 并未修改 hadoop 源码, 独立于 hadoop 系统之外的防 护体系, 因此对通用版 发行版都 具有良好的兼容性, 并且厂商会持 续跟进新版本的特性, 升级 适 配都很简便 易用性 操作上手容易 逻辑清晰简单, 支持非拦截的监控模式, 只记录违规丌做阻拦, 适用于新规则的适配 可一键暂停防护, 或还原到初始无功能状态, 方便排查故障 Big DAF 支持越来越多主流 Hadoop 的新版本 : Apche Hadoop 2.7 Cloudera cdh Hortonworks Sandbox 2.4 Hortonworks HDP 2.4 星环 Transwarp Data Hub 红象云腾 Redoop Enterprise CRH

31 Big DAF 相关资质

32 观数科技 谢谢 作者 : 李科 微信号 :wuxiulike

培 训 机 构 介 绍 中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开 展 Hadoop 云 计 算 的 培

培 训 机 构 介 绍  中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开 展 Hadoop 云 计 算 的 培 Hadoop 2.0 培 训 Hadoop 2.0Training Hadoop 2.0 运 维 与 开 发 实 战 培 训 邀 请 函 培 训 机 构 介 绍 www.zkpk.org 中 科 普 开 是 国 内 首 家 致 力 于 IT 新 技 术 领 域 的 领 航 者, 专 注 于 云 计 算 大 数 据 物 联 网 移 动 互 联 网 技 术 的 培 训, 也 是 国 内 第 一 家 开

More information

合集

合集 Ver 1.0 版 本 目 录 第 一 章 当 大 数 据 遇 上 SSD 01 第 二 章 广 东 移 动 运 用 Hadoop 创 新 应 用 04 第 三 章 第 四 章 第 五 章 第 六 章 第 七 章 第 八 章 第 九 章 第 十 章 如 何 利 用 大 数 据 分 析 提 升 垃 圾 短 信 过 滤 效 果 广 东 电 信 用 大 数 据 重 构 室 内 网 优 大 数 据 提 升

More information

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项

白 皮 书 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 目 录 要 点 概 述...1 业 务 挑 战...2 Hadoop* 分 发 版 注 意 事 项...3 Hadoop* 基 础 架 构 注 意 事 项 IT@Intel 白 皮 书 英 特 尔 IT 部 门 大 数 据 和 商 业 智 能 2013 年 10 月 英 特 尔 IT 部 门 实 施 Apache Hadoop* 英 特 尔 分 发 版 软 件 的 最 佳 实 践 要 点 概 述 仅 在 五 周 之 内, 我 们 就 实 施 了 基 于 Apache Hadoop* 英 特 尔 分 发 版 的 低 成 本 可 完 全 实 现 的 大 数

More information

目 录 1 不 断 开 发 工 具 以 管 理 大 数 据...2 1.1 Hadoop* 简 介 : 支 持 从 大 数 据 中 获 得 出 色 价 值 的 可 靠 框 架... 2 1.2 大 数 据 技 术 的 行 业 生 态 系 统... 2 2 在 关 键 组 件 中 实 现 平 衡...

目 录 1 不 断 开 发 工 具 以 管 理 大 数 据...2 1.1 Hadoop* 简 介 : 支 持 从 大 数 据 中 获 得 出 色 价 值 的 可 靠 框 架... 2 1.2 大 数 据 技 术 的 行 业 生 态 系 统... 2 2 在 关 键 组 件 中 实 现 平 衡... 白 皮 书 英 特 尔 固 态 硬 盘 英 特 尔 以 太 网 融 合 网 络 英 特 尔 Hadoop* 发 行 版 软 件 应 用 大 数 据 技 术 获 得 近 实 时 分 析 巨 大 成 效 1 平 衡 的 基 础 设 施 使 工 作 负 载 完 成 时 间 从 4 小 时 缩 短 为 7 如 今, 基 于 广 泛 可 用 的 计 算 存 储 和 网 络 组 件 的 改 进, 商 业 学 术

More information

DPark MapReduce (Davies) davies@douban.com 2011/12/07 Velocity China 2011 Douban Douban 5500 Douban 5500 1000G, Douban 5500 1000G, 60+ Douban 5500 1000G, 60+ 200+ Douban 5500 1000G, 60+ 200+ > MooseFS

More information

<4D6963726F736F667420576F7264202D204861646F6F70B4F3CAFDBEDDBCB0BAA3C1BFCAFDBEDDCDDABEF2D3A6D3C3B9A4B3CCCAA6C5E0D1B5B0E056312E332E646F63>

<4D6963726F736F667420576F7264202D204861646F6F70B4F3CAFDBEDDBCB0BAA3C1BFCAFDBEDDCDDABEF2D3A6D3C3B9A4B3CCCAA6C5E0D1B5B0E056312E332E646F63> 关 于 举 办 Hadoop 大 数 据 及 海 量 数 据 挖 掘 应 用 工 程 师 培 训 班 的 通 知 随 着 云 时 代 的 来 临, 大 数 据 技 术 将 具 有 越 来 越 重 要 的 战 略 意 义 大 数 据 分 析 与 挖 掘 技 术 已 经 渗 透 到 每 一 个 行 业 和 业 务 职 能 领 域, 逐 渐 成 为 重 要 的 生 产 要 素, 人 们 对 于 海 量 数

More information

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1

业 务 与 运 营 Business & Operation (Transform) 加 载 (Load) 至 目 的 端 的 过 程, 该 部 分 在 数 据 挖 掘 和 分 析 过 程 中 为 最 基 础 的 一 部 分 一 个 良 好 的 ETL 系 统 应 该 有 以 下 几 个 功 能 1 Business & Operation 业 务 与 运 营 大 数 据 技 术 在 精 准 营 销 中 的 应 用 王 小 鹏 北 京 东 方 国 信 科 技 股 份 有 限 公 司 北 京 100102 摘 要 简 要 介 绍 主 流 的 大 数 据 技 术 架 构 和 大 数 据 挖 掘 技 术 ; 阐 述 大 数 据 技 术 在 精 准 营 销 与 维 系 系 统 建 设 中 的 应 用,

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Apache Spark 与 多 数 据 源 的 结 合 田 毅 @ 目 录 为 什 么 会 用 到 多 个 数 据 源 Spark 的 多 数 据 源 方 案 有 哪 些 已 有 的 数 据 源 支 持 Spark 在 GrowingIO 的 实 践 分 享 为 什 么 会 用 到 多 个 数 据 源 从 数 据 本 身 来 看 大 数 据 的 特 性 之 一 :Variety 数 据 的 多 样

More information

分布式数据库期中作业说明

分布式数据库期中作业说明 厦 门 大 学 林 子 雨 编 著 大 数 据 技 术 原 理 与 应 用 ( 版 本 号 :2016 年 4 月 13 日 版 本 ) ( 备 注 :2015 年 8 月 1 日 第 一 版 教 材 中 没 有 本 章, 本 章 为 2016 年 新 增 内 容, 将 被 放 入 第 二 版 教 材 中 ) ( 版 权 声 明 : 版 权 所 有, 请 勿 用 于 商 业 用 途 ) 主 讲 教

More information

第 06 期 李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI

第 06 期 李祥池 : 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 1 日志 1.1 日志定义 IT 1.2 日志处理方案演进 v1.0 v2.0 Hadoop Storm Spark Hadoop/Storm/Spark v3.0 TB Splunk ELK SI 电子科学技术第 02 卷第 06 期 2015 年 11 月 Electronic Science & Technology Vol.02 No.06 Nov.2015 年 基于 ELK 和 Spark Streaming 的日志分析系统设计与实现 李祥池 ( 杭州华三通信技术有限公司北京研究所, 北京,100085) 摘要 : 在大数据时代 对数据平台各组件的运行状态实时监控与运行分析具有重要意义

More information

1 1 1 1 2 3 3 3 4 4 5 5 5 6 6 7 7 9 9 9 10 11 11 11 1. 2. 3. 4. 1 2 11 12 12 12 12 13 13 13 15 15 16 16 17 18 18 18 19 19 19 20 20 20 21 22 22 22 23 23 1. 2. 23 25 27 27 28 28 28 29 29 29 30 31 31 31 32

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 大数据分析工具介绍 主讲 : 王建明 手机 :13940975206 QQ:564250480( 微信 ) 2/39 大数据的基本特征 特征 Volume 数据体量巨大 PB 级 -> EB 级 -> ZB 级 速度要求快数据输入输出的速度 Velocity Big Data Varity 数据类型多样文本 图像 视频 音频 Veracity 价值密度低商业价值高 Hadoop 生态系统介绍 ( 离线

More information

PowerPoint Presentation

PowerPoint Presentation MATLAB 与 Spark/Hadoop 相集成 : 实现大数据的处理和价值挖 马文辉 2015 The MathWorks, Inc. 1 内容 大数据及其带来的挑战 MATLAB 大数据处理 tall 数组 并行与分布式计算 MATLAB 与 Spark/Hadoop 集成 MATLAB 访问 HDFS(Hadoop 分布式文件系统 ) 在 Spark/Hadoop 集群上运行 MATLAB

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生 态 技 术 在 阿 里 全 网 商 品 搜 索 实 战 阿 里 巴 巴 - 王 峰 自 我 介 绍 真 名 : 王 峰 淘 宝 花 名 : 莫 问 微 博 : 淘 莫 问 2006 年 硕 士 毕 业 后 加 入 阿 里 巴 巴 集 团 淘 及 搜 索 事 业 部 ( 高 级 技 术 与 家 ) 目 前 负 责 搜 索 离 线 系 统 团 队 技 术 方 向 : 分 布 式 计 算

More information

Microsoft PowerPoint - Big Data rc Sharing掃盲時間.ppt [相容模式]

Microsoft PowerPoint - Big Data rc Sharing掃盲時間.ppt [相容模式] Big Data RC Sharing 大數據掃盲 Service Planner of Enterprise Big Data 大 數 據 服 務 規 劃 師 企 業 大 數 據 課 程 規 劃 依 照 企 業 資 料 流 程 的 特 殊 性, 安 排 合 適 的 課 程 協 助 企 業 導 入 應 用 大 數 據 案 例 :Etu 資 策 會 平 安 保 險 湖 南 國 防 科 技 大 學 等

More information

A Preliminary Implementation of Linux Kernel Virus and Process Hiding

A Preliminary Implementation of Linux Kernel Virus and Process Hiding 邵 俊 儒 翁 健 吉 妍 年 月 日 学 号 学 号 学 号 摘 要 结 合 课 堂 知 识 我 们 设 计 了 一 个 内 核 病 毒 该 病 毒 同 时 具 有 木 马 的 自 动 性 的 隐 蔽 性 和 蠕 虫 的 感 染 能 力 该 病 毒 获 得 权 限 后 会 自 动 将 自 身 加 入 内 核 模 块 中 劫 持 的 系 统 调 用 并 通 过 简 单 的 方 法 实 现 自 身 的

More information

Reducing Client Incidents through Big Data Predictive Analytics

Reducing Client Incidents through Big Data Predictive Analytics IT@lntel 白 皮 书 英 特 尔 IT 部 门 IT 最 佳 实 践 大 数 据 预 测 分 析 2013 年 12 月 通 过 大 数 据 预 测 分 析 减 少 客 户 端 事 故 总 体 概 述 相 比 过 去 的 被 动 反 应, 我 们 现 在 能 够 更 容 易 主 动 找 出 客 户 端 问 题, 并 及 时 将 其 修 复 以 免 问 题 扩 大, 从 而 为 企 业 节 约

More information

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上 手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运 行行时 5. Kubernetes 的 网络管理理 6. Kubernetes 的存储管理理 7.

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上 手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运 行行时 5. Kubernetes 的 网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes 包管理理 工具 Helm 蔺礼强 Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上 手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运 行行时 5. Kubernetes 的 网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes

More information

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop

More information

思 想, 还 是 思 想 才 使 我 们 与 众 不 同 编 辑 部 : 工 业 和 信 息 化 部 赛 迪 研 究 院 通 讯 地 址 : 北 京 市 海 淀 区 万 寿 路 27 号 电 子 大 厦 4 层 邮 政 编 码 :100846 联 系 人 : 刘 颖 董 凯 联 系 电 话 :010

思 想, 还 是 思 想 才 使 我 们 与 众 不 同 编 辑 部 : 工 业 和 信 息 化 部 赛 迪 研 究 院 通 讯 地 址 : 北 京 市 海 淀 区 万 寿 路 27 号 电 子 大 厦 4 层 邮 政 编 码 :100846 联 系 人 : 刘 颖 董 凯 联 系 电 话 :010 大 数 据 发 展 白 皮 书 (2015 版 ) 中 国 电 子 信 息 产 业 发 展 研 究 院 工 业 和 信 息 化 部 赛 迪 智 库 二 一 五 年 四 月 思 想, 还 是 思 想 才 使 我 们 与 众 不 同 编 辑 部 : 工 业 和 信 息 化 部 赛 迪 研 究 院 通 讯 地 址 : 北 京 市 海 淀 区 万 寿 路 27 号 电 子 大 厦 4 层 邮 政 编 码 :100846

More information

基于 SQL-on-Hadoop 的 网络日志分析

基于 SQL-on-Hadoop 的 网络日志分析 1896 1920 1987 2006 基于 SQL-on-Hadoop 的 网络日志分析 章思宇, 姜开达, 韦建文, 罗萱, 王海洋 上海交通大学网络信息中心 2014 年 11 月 事后追查 校园网安全日志分析 已经发生, 已被发现的入侵 攻击检测 已经发生, 尚不知晓的攻击 正在进行的攻击 (APT) 漏洞挖掘 发现尚未被利用的漏洞 镜像流量抓包分析 网络流量日志采集 Internet 缓存加速系统

More information

2 自 序 小, 印 象 中 只 有 西 醫, 因 為 每 次 生 病 都 是 去 看 西 醫 吃 西 藥 從 大 學, 也 是 陽 明 大 學 物 理 治 療 學 系 畢 業, 就 是 一 般 人 所 說 的 復 健 物 理 治 療 師 這 個 階 段, 所 有 的 治 病 以 及 保 健 觀 念

2 自 序 小, 印 象 中 只 有 西 醫, 因 為 每 次 生 病 都 是 去 看 西 醫 吃 西 藥 從 大 學, 也 是 陽 明 大 學 物 理 治 療 學 系 畢 業, 就 是 一 般 人 所 說 的 復 健 物 理 治 療 師 這 個 階 段, 所 有 的 治 病 以 及 保 健 觀 念 晨 星 出 版 吳 建 隆 著 2 自 序 小, 印 象 中 只 有 西 醫, 因 為 每 次 生 病 都 是 去 看 西 醫 吃 西 藥 從 大 學, 也 是 陽 明 大 學 物 理 治 療 學 系 畢 業, 就 是 一 般 人 所 說 的 復 健 物 理 治 療 師 這 個 階 段, 所 有 的 治 病 以 及 保 健 觀 念, 都 是 現 代 醫 學 的 理 論 退 伍 後, 考 進 台 中

More information

A API Application Programming Interface 见 应 用 程 序 编 程 接 口 ARP Address Resolution Protocol 地 址 解 析 协 议 为 IP 地 址 到 对 应 的 硬 件 地 址 之 间 提 供 动 态 映 射 阿 里 云 内

A API Application Programming Interface 见 应 用 程 序 编 程 接 口 ARP Address Resolution Protocol 地 址 解 析 协 议 为 IP 地 址 到 对 应 的 硬 件 地 址 之 间 提 供 动 态 映 射 阿 里 云 内 A API Application Programming Interface 见 应 用 程 序 编 程 接 口 ARP Address Resolution Protocol 地 址 解 析 协 议 为 IP 地 址 到 对 应 的 硬 件 地 址 之 间 提 供 动 态 映 射 阿 里 云 内 容 分 发 网 络 Alibaba Cloud Content Delivery Network 一

More information

标题

标题 . 4 2013 年 湖 南 省 财 政 厅 电 子 政 务 发 展 形 势 分 析 及 2014 年 发 展 展 望 湖 南 省 财 政 厅 2013 年, 省 财 政 厅 高 度 重 视 电 子 政 务 工 作, 将 电 子 政 务 作 为 优 化 工 作 流 程 提 高 工 作 效 率 提 升 服 务 水 平 建 设 透 明 廉 洁 财 政 的 重 要 途 径, 信 息 化 水 平 不 断 提

More information

一、

一、 网 上 交 易 客 户 端 操 作 文 档 证 券 2014 年 免 责 申 明 因 客 户 端 软 件 升 级, 对 应 帮 助 文 件 中 的 图 片 及 文 字 可 能 存 在 未 同 步 更 新 的 情 况, 由 此 产 生 的 损 失 我 们 将 不 负 任 何 责 任, 请 大 家 以 最 新 版 本 的 客 户 端 软 件 为 准 索 引 一 委 托 功 能 区 说 明...1 二 委

More information

Apache CarbonData集群模式使用指南

Apache CarbonData集群模式使用指南 我们在 Apache CarbonData 快速入门编程指南 文章中介绍了如何快速使用 Apache CarbonData, 为了简单起见, 我们展示了如何在单机模式下使用 Apache CarbonData 但是生产环境下一般都是使用集群模式, 本文主要介绍如何在集群模式下使用 Apache CarbonData 启动 Spark shell 这里以 Spark shell 模式进行介绍,master

More information

KillTest 质量更高 服务更好 学习资料 半年免费更新服务

KillTest 质量更高 服务更好 学习资料   半年免费更新服务 KillTest 质量更高 服务更好 学习资料 http://www.killtest.cn 半年免费更新服务 Exam : 070-647 Title : Windows Server 2008,Enterprise Administrator Version : Demo 1 / 13 1. Active directory Windows Server 2008 (WAN) WAN WAN A.

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 Hortonworks 不 Apache 开源社区 王健夫 Hortonworks 中国区销售总监 13910191946 议程 Apache 开源社区 Hortonworks 的介绍 Hortonworks 的开源理念 案例分享 问答环节 Apache 软件基金会 Apache 软件基金会 ( 也就是 Apache Software Foundation, 简称为 ASF), 是专门为支持开源软件项目而办的一个非盈利性组织

More information

BYOD IP+Optical (IP NGN) API 4. End-to-End (Service Aware) 5. IP NGN (IP Next Generation Network) ( ) Prime Carrier Management Access Edge Co

BYOD IP+Optical (IP NGN) API 4. End-to-End (Service Aware) 5. IP NGN (IP Next Generation Network) ( ) Prime Carrier Management Access Edge Co BYOD 228 2015 IT open source DIY ( ) Up/Down HP NNMi WhatsUp Gold Nagios HP SiteScope WhatsUp Gold HP NNMi WhatsUp Gold Cacti MRTG HP ispi Performance for Metrics WhatsUp Gold ( ) Open source Agent End-to-End

More information

2013_6_3.indd

2013_6_3.indd 中 国 科 技 资 源 导 刊 ISSN 1674-1544 2013 年 11 月 第 45 卷 第 6 期 95-99, 107 CHINA SCIENCE & TECHNOLOGY RESOURCES REVIEW ISSN 1674-1544 Vol.45 No.6 95-99, 107 Nov. 2013 构 建 基 于 大 数 据 的 智 能 高 校 信 息 化 管 理 服 务 系 统

More information

ISE_11__Access-Control_

ISE_11__Access-Control_ Information Security Engineering 2017.11.29 Access Control Huiping Sun( ) sunhp@ss.pku.edu.cn 主要内容 参考书 访问控制简介 Introduction 访问控制定义 The process of granting or denying specific requests to: obtain and use

More information

、審計稽察之成果

、審計稽察之成果 ) 3 94 840 43.25 29 597% 30 39 31537% 40 49 25330% 50 59 17421% 60 395% 94 840 172% 19924% 16519% 45955% 94 749% 840 60472 % 9111% 17421% 43051% 344% 374% 凃 94/04~94/12

More information

HOL-CHG-1695

HOL-CHG-1695 Table of Contents 练 习 概 述 - - vsphere 挑 战 练 习... 2 练 习 指 导... 3 第 1 单 元 : 在 实 践 中 学 习 (15 分 钟 )... 5 剪 贴 板 复 制 和 粘 贴 功 能 无 法 使 用?... 6 虚 拟 机 性 能 不 佳... 17 第 2 单 元 : 基 本 运 维 挑 战 (30 分 钟 )... 32 无 法 登 录

More information

1吴正轩

1吴正轩 京东 JDOS2.0 平台与敏捷数据中心探索历程 京东集群研发部吴正轩 容器技术在京东商城历史与发展 JDOS2.0 平台 京东敏捷数据中心建设 开源计划 Q&A JDOS 1.0 l 分物理机 => 分容器 l 业务系统 100% 全面容器运行 l 上线周期由 1 天降低到 10 分钟 l 少买 3/4 机器 Containers VMs Physical servers JD Data Center

More information

Basic System Administration

Basic System Administration 基 本 系 统 管 理 ESX Server 3.5 ESX Server 3i 版 本 3.5 Virtual Center 2.5 基 本 管 理 指 南 基 本 管 理 指 南 修 订 时 间 :20080410 项 目 :VI-CHS-Q208-490 我 们 的 网 站 提 供 最 新 的 技 术 文 档, 网 址 为 : http://www.vmware.com/cn/support/

More information

6112 http / /mops.tse.com.tw http / /

6112 http / /mops.tse.com.tw http / / 6112 http/ /mops.tse.com.tw http/ / www.sysage.com.tw (02)8797-8260 pr@sysage.com.tw 134 5 02-87978260 516 10 02-87978260 2 7 1 03-5437168 51 20 A2 04-23271151 38 20 2 07-5372088 533 (02)2381-6288 http//www.nsc.com.tw

More information

目 录 简 介.3 ` 体 系 结 构...4 数 据 层...5 数 据 连 接 器...6 Tableau Server 组 件...7 网 关 / 负 载 平 衡 器...8 客 户 端 :Web 浏 览 器 和 移 动 应 用 程 序...8 客 户 端 :Tableau Desktop..

目 录 简 介.3 ` 体 系 结 构...4 数 据 层...5 数 据 连 接 器...6 Tableau Server 组 件...7 网 关 / 负 载 平 衡 器...8 客 户 端 :Web 浏 览 器 和 移 动 应 用 程 序...8 客 户 端 :Tableau Desktop.. Neelesh Kamkolkar, 产 品 经 理 Ellie Fields, 产 品 营 销 副 总 裁 Marc Rueter, 战 略 解 决 方 案 高 级 总 监 适 用 于 企 业 的 Tableau: IT 概 述 目 录 简 介.3 ` 体 系 结 构...4 数 据 层...5 数 据 连 接 器...6 Tableau Server 组 件...7 网 关 / 负 载 平 衡

More information

2

2 2 3 4 5 6 1 1 1 1 3 1 2 7 13... 2... 4 1... 6... 8... 20... 22... 26 Chapter 01 contents 14 contents... 29... 33... 37 Column... 40... 42... 44... 47 Chapter 02 15... 54... 59... 66 S... 68... 72... 74...

More information

Presentation title goes here

Presentation title goes here ACP- 如何在微软 Azure HDInsight 优化 Hadoop 董乃文 Nevin Dong 资深技术顾问开发工具及平台事业部 (DX) 微软公司 朱晓勇 Xiaoyong Zhu 产品经理云计算与企业事业部 (C&E) 微软公司 Hadoop, HDInsight 及关键能力 HDInsight 性能及调优 典型应用场景 HDInsight 概述及关键能力 Hadoop as a Service,

More information

ebook140-9

ebook140-9 9 VPN VPN Novell BorderManager Windows NT PPTP V P N L A V P N V N P I n t e r n e t V P N 9.1 V P N Windows 98 Windows PPTP VPN Novell BorderManager T M I P s e c Wi n d o w s I n t e r n e t I S P I

More information

Azure_s

Azure_s Azure ? Azure Azure Windows Server Database Server Azure Azure Azure Azure Azure Azure Azure Azure OpenSource Azure IaaS Azure VM Windows Server Linux PaaS Azure ASP.NET PHP Node.js Python MS SQL MySQL

More information

Web

Web Email: tian@dr.com http://www.digiark.com/tian Web 1. 2. 3. 4. 5. 6. Internet Internet (Hacker) Internet web IP 1 Internet UNIX Windows VLAN Internet IP 2 Internet FTP TELNET PING IP 8 telnet FTP RLOGIN

More information

epub 61-2

epub 61-2 2 Web Dreamweaver UltraDev Dreamweaver 3 We b We b We Dreamweaver UltraDev We b Dreamweaver UltraDev We b We b 2.1 Web We b We b D r e a m w e a v e r J a v a S c r i p t We b We b 2.1.1 Web We b C C +

More information

<4D6963726F736F667420576F7264202D20D7A1D5ACCEEFD2B5B7FECEF1B1EAD7BCA3A8B1A8C5FAB8E5A3A92E646F63>

<4D6963726F736F667420576F7264202D20D7A1D5ACCEEFD2B5B7FECEF1B1EAD7BCA3A8B1A8C5FAB8E5A3A92E646F63> 北 京 市 地 方 标 准 住 宅 物 业 服 务 标 准 Residential Property Service Standard 编 号 :DB11/T 751-2010 主 编 单 位 : 北 京 市 物 业 服 务 指 导 中 心 批 准 部 门 : 北 京 市 住 房 和 城 乡 建 设 委 员 会 北 京 市 质 量 技 术 监 督 局 实 施 日 期 :2010 年 10 月 1 日

More information

<4D6963726F736F667420506F776572506F696E74202D20C8EDBCFEBCDCB9B9CAA6D1D0D0DEBDB2D7F92E707074>

<4D6963726F736F667420506F776572506F696E74202D20C8EDBCFEBCDCB9B9CAA6D1D0D0DEBDB2D7F92E707074> 软 件 架 构 师 研 修 讲 座 胡 协 刚 软 件 架 构 师 UML/RUP 专 家 szjinco@public.szptt.net.cn 中 国 软 件 架 构 师 网 东 软 培 训 中 心 小 故 事 : 七 人 分 粥 当 前 软 件 团 队 的 开 发 现 状 和 面 临 的 问 题 软 件 项 目 的 特 点 解 决 之 道 : 从 瀑 布 模 型 到 迭 代 模 型 解 决 项

More information

05_資源分享-NFS及NIS.doc

05_資源分享-NFS及NIS.doc 5 NFS NFS Server NFS Client NIS NIS 5-0 (Network File System, NFS) Unix NFS mount NFS... Network Information Service NIS Linux NIS NIS NIS / / /etc/passwd /etc/group NFS NIS 5-1 NFS 5-1-1 NFS NFS Network

More information

IQ

IQ TRITON APX IQ TRITON APX TRITON APX TRITON TRITON APX TRITON AP-WEB Websense ACE Web DLP TRITON APX IT TRITON APX Web TRITON APX DLP TRITON APX DLP Web (DLP) TRITON AP-WEB TRITON AP-EMAIL DLP (OCR) TRITON

More information

1873 1939 1937 1981 1900 1870 1902 1899 1902 1901 1899 1868 1868 1829 1905 1859 1943 1860 1900 1887 1878 1820 1903 1834 1906 1856 1836 1884 1787

More information

1868 1868 1829 1905 1859 1943 1860 1900 1887 1878 1820 1903 1834 1906 1856 1836 1884 1787 18411827 1843 1890 1884 1904 1845

More information

ArcGIS Sever.NET ArcGIS Server Web JAVA ArcGIS Server Web

ArcGIS Sever.NET ArcGIS Server Web JAVA ArcGIS Server Web rcgis 9 GIS ArcGIS Server ESRI ArcGIS Sever.NET ArcGIS Server Web JAVA ArcGIS Server Web ArcGIS Server ArcGIS Server? ArcGIS Server ArcGIS Server ArcGIS Server ArcGIS Server Web ArcGIS Server? ArcGIS Server

More information

水晶分析师

水晶分析师 大数据时代的挑战 产品定位 体系架构 功能特点 大数据处理平台 行业大数据应用 IT 基础设施 数据源 Hadoop Yarn 终端 统一管理和监控中心(Deploy,Configure,monitor,Manage) Master Servers TRS CRYSTAL MPP Flat Files Applications&DBs ETL&DI Products 技术指标 1 TRS

More information

附件9 电梯运行安全监测管理信息平台技术规范 第11部分:系统信息安全技术规范(征求意见稿)

附件9 电梯运行安全监测管理信息平台技术规范 第11部分:系统信息安全技术规范(征求意见稿) ICS 35.240.01 M 63 备 案 号 : - 北 京 市 地 方 标 准 DB11/ XXX.1 XXXX 电 梯 运 行 安 全 监 测 管 理 信 息 平 台 技 术 规 范 第 11 部 分 : 系 统 信 息 安 全 规 范 Technical Specification for Management Information Platform of Elevator Operation

More information

Microsoft Word - PS2_linux_guide_cn.doc

Microsoft Word - PS2_linux_guide_cn.doc Linux For $ONY PlayStatioin2 Unofficall General Guide Language: Simplified Chinese First Write By Beter Hans v0.1 Mail: hansb@citiz.net Version: 0.1 本 人 是 菜 鸟 + 小 白 欢 迎 指 正 错 误 之 处, 如 果 您 有 其 他 使 用 心 得

More information

PowerPoint 演示文稿

PowerPoint 演示文稿 流式计算在苏宁的发展历程 苏宁云商. 大数据平台研发中心 张毅 2016/9/26 苏宁云商. 大数据平台研发中心 1 关于我和我的小伙伴们 大数据平台研发中心 团队 职责 : 提供集团各个业务所需要的存储和计算能力 保证平台的稳定 高效运行 提高平台易用性 我 目标 : 打造稳定 易用 高效的平台, 提高数据分析效率, 实现人人都是数据分析师 大数据攻城狮 6 年工作经验,3 年半的流式计算领域相关经验

More information

第 02 期 1 医 疗 信 息 现 状 20% EMR Electronic Medical Record HIS HIS [1-2] 40 2011 张 肖 等 : 基 于 大 数 据 的 医 疗 健 康 创 新 应 用 2 大 数 据 环 境 下 医 疗 数 据 特 征 分 析 PC [3]

第 02 期 1 医 疗 信 息 现 状 20% EMR Electronic Medical Record HIS HIS [1-2] 40 2011 张 肖 等 : 基 于 大 数 据 的 医 疗 健 康 创 新 应 用 2 大 数 据 环 境 下 医 疗 数 据 特 征 分 析 PC [3] 电 子 科 学 技 术 电 第 02 子 科 卷 学 第 技 02 术 期 Electronic 2015 年 Science 3 月 & Technology Electronic Science & Technology Vol.02 No.02 Mar.2015 年 基 于 大 数 据 的 医 疗 健 康 创 新 应 用 张 肖, 杨 锦 洲, 王 志 勇 ( 中 国 联 通 研 究 院, 北

More information

Spark读取Hbase中的数据

Spark读取Hbase中的数据 Spark 读取 Hbase 中的数据 Spark 和 Flume-ng 整合, 可以参见本博客 : Spark 和 Flume-ng 整合 使用 Spark 读取 HBase 中的数据 如果想及时了解 Spark Hadoop 或者 Hbase 相关的文章, 欢迎关注微信公共帐号 :iteblog_hadoop 大家可能都知道很熟悉 Spark 的两种常见的数据读取方式 ( 存放到 RDD 中 ):(1)

More information

Cloudy computing forEducation

Cloudy computing forEducation 规 模 企 业 的 云 之 旅 姜 大 勇 威 睿 信 息 技 术 ( 中 国 ) 有 限 公 司 2009 VMware Inc. All rights reserved 背 景 说 明 云 计 算 是 一 种 新 型 的 信 息 资 源 管 理 和 计 算 服 务 模 式, 是 继 大 型 计 算 机 个 人 电 脑 互 联 网 之 后 信 息 产 业 的 一 次 革 命 云 计 算 可 将 分

More information

NethersoleJO89(8).indd

NethersoleJO89(8).indd 2 3 4 5 6 7 8 9 10 雅風四十六期 二零零八年九月 婆婆的愛心感動了我 陳姑娘在災區認識了白婆婆 她的家人全都在外地工 作 婆婆表示地震當日 她急忙地救了兩戶鄰舍的兩名小 孩 拖著六歲的男孩和揹著四個月大的嬰孩從災區步行兩 日後到達救援區 獲救的男孩每天都前往帳篷探望婆婆 因此她面上常帶笑容 每當白婆婆看見義工隊到災區時 都會送上暖暖的問候 更將獲配給的涼水贈予義工們 她 那真誠和熱切的關懷深深感動了義工隊

More information

13 A DSS B DSS C DSS D DSS A. B. C. CPU D. 15 A B Cache C Cache D L0 L1 L2 Cache 16 SMP A B. C D 17 A B. C D A B - C - D

13 A DSS B DSS C DSS D DSS A. B. C. CPU D. 15 A B Cache C Cache D L0 L1 L2 Cache 16 SMP A B. C D 17 A B. C D A B - C - D 2008 1 1 A. B. C. D. UML 2 3 2 A. B. C. D. 3 A. B. C. D. UML 4 5 4 A. B. C. D. 5 A. B. C. D. 6 6 A. DES B. RC-5 C. IDEA D. RSA 7 7 A. B. C. D. TCP/IP SSL(Security Socket Layer) 8 8 A. B. C. D. 9 9 A. SET

More information

幻灯片 1

幻灯片 1 SDN 和 分 布 式 网 络 虚 拟 化 设 计 QQ : 67278439 新 浪 微 博 :@ 盛 科 张 卫 峰 Topic SDN 对 云 计 算 网 络 的 价 值 SDN 网 络 虚 拟 化 方 案 一 览 从 OVN 看 分 布 式 网 络 虚 拟 化 设 计 基 于 硬 件 SDN 交 换 机 的 网 络 虚 拟 化 SDN 是 一 种 思 想 SDN 不 是 一 种 具 体 的

More information

hadoop 架构在云上的应用实践

hadoop 架构在云上的应用实践 hadoop 架构在云上的应用实践 提纲 Cloudera 公司及业务简介 Cloudera EDH 介绍 Hadoop 架构在云上的应用实践 2 Cloudera 创立成立于 2008, 企业级 Hadoop 产品提供商员工数量超过 1100 名全球支持 24x7 全球支持创新的主动支持和预测支持项目客户群 700+ 全行业客户 ( 金融 电信 零售 能源 互联网 媒体等 ) 各行业的顶尖企业都有

More information

<BABAD3EFD1D4CEC4D1A7D7A8D2B5D1A7C9FABBF1B5C3B8F7C0E0D7CAB8F1B4D3D2B5D6A4CAE9C7E9BFF6CDB3BCC6B1ED2E786C73>

<BABAD3EFD1D4CEC4D1A7D7A8D2B5D1A7C9FABBF1B5C3B8F7C0E0D7CAB8F1B4D3D2B5D6A4CAE9C7E9BFF6CDB3BCC6B1ED2E786C73> 苏 州 科 技 学 院 天 平 学 院 汉 语 言 专 业 学 生 获 得 各 类 资 格 证 书 一 览 表 序 号 班 级 姓 名 证 书 名 称 1 涉 外 1022 罗 珊 珊 汉 语 教 师 志 愿 者 资 格 证 书 2 涉 外 1022 罗 珊 珊 2014 年 参 加 孔 子 学 院 总 部 赴 泰 汉 语 教 师 志 愿 者 储 备 人 员 培 训 结 业 证 书 3 文 秘 1022

More information

A9RF716.tmp

A9RF716.tmp 1 PART I 1 2 3 4 5 6 7 8 Docker Docker Image Container Repository Docker le Docker Docker 8 1 Docker Linux 2 Docker Docker 3 5 Docker 6 Docker volume 7 8 Docker le Docker le 1 C H A P T E R 1 CPU Data

More information

<4D6963726F736F667420576F7264202D20312D3120B9ABBFAAD7AAC8C3CBB5C3F7CAE9A3A8C9EAB1A8B8E5A3A92E646F63>

<4D6963726F736F667420576F7264202D20312D3120B9ABBFAAD7AAC8C3CBB5C3F7CAE9A3A8C9EAB1A8B8E5A3A92E646F63> 广 西 新 豪 智 云 技 术 股 份 有 限 公 司 ( 申 报 稿 ) 推 荐 主 办 券 商 二 〇 一 六 年 一 月 声 明 本 公 司 及 全 体 董 事 监 事 高 级 管 理 人 员 承 诺 不 存 在 虚 假 记 载 误 导 性 陈 述 或 重 大 遗 漏, 并 对 其 真 实 性 准 确 性 完 整 性 承 担 个 别 和 连 带 的 法 律 责 任 本 公 司 负 责 人 和

More information

2005 3

2005 3 Text 2009.4 hongqn@douban.com 2005 3 2.8M 1/4 20M / 500~600/sec 23 PC (1U*15/2U*8) 12 38G memcached 1U (frodo) AMD Athlon 64 1.8GHz 1G 160G SATA*2 Gentoo Linux MySQL 5 Quixote (a Python web framework)

More information

校友会系统白皮书feb_08

校友会系统白皮书feb_08 硕 士 研 究 生 招 生 管 理 系 统 1 产 品 白 皮 书 希 尔 数 字 校 园 硕 士 研 究 生 招 生 管 理 系 统 白 皮 书 目 录 1 产 品 概 述... 1 1.1 产 品 简 介... 1 1.2 应 用 范 围... 1 2 产 品 功 能 结 构 图... 2 3 产 品 功 能... 3 3.1 系 统 设 置... 3 3.2 信 息 发 布... 3 3.3

More information

美國政府推行 大數據的研究與發展計畫, 希望藉著提升從大型複雜的資料中提取知識的能力, 能加快科學和工程的開發並保障國家安全 資料科學與大數據 National Institute of Standards and Technology, NIST Jim Gray NI

美國政府推行 大數據的研究與發展計畫, 希望藉著提升從大型複雜的資料中提取知識的能力, 能加快科學和工程的開發並保障國家安全 資料科學與大數據 National Institute of Standards and Technology, NIST Jim Gray NI 一般報導 大數據與 巨量資料分析 曾龍 我們需要你 資料科學家 來幫助國民建立更好的數位服務 幫助我們揭開更新的創意 幫助我們改善這個國家和全世界 美國總統歐巴馬 在 2012 年 10 月發行的 哈佛商業評 論 中 戴 文 波 特 湯 姆 斯 Thomas H. Davenport 及 帕 蒂 爾 D.J. Patil 發 表 了 一篇文章 描述 21 世紀最性感的職業 資料科學家 Data Scientist:

More information

2002 7 2 Session Number E-Business PSTN PSTN Remote Site Frame Relay X.25 Leased Line : & Self Replicating Code Password Guessing 1980 Exploiting Known Vulnerabilities Password Cracking Back Doors

More information

Microsoft Word - 103-4 記錄附件

Microsoft Word - 103-4 記錄附件 國 立 虎 尾 技 大 103 年 度 第 4 次 教 務 會 議 記 錄 附 件 中 華 民 國 104 年 6 月 16 日 受 文 者 : 國 立 虎 尾 技 大 發 文 日 期 : 中 華 民 國 104 年 5 月 28 日 發 文 字 號 : 臺 教 技 ( 二 ) 字 第 1040058590 號 速 別 : 最 速 件 密 等 及 解 密 條 件 或 保 密 期 限 : 附 件 :

More information

.. 3 N

.. 3 N 1 .. 3 N9.. 4 5.. 6 7.. 8 20.. 21 23.. 24.. 25 26.. 27.. 28.. 29 2 (Cyber Café) Linux (LAN) Linux Public Home 3 K12LTSP K12LTSPFedora Core 4 (Linux)LTSP Linux (command line interface) (Graphical User Interface,

More information

雲端 Cloud Computing 技術指南 運算 應用 平台與架構 10/04/15 11:55:46 INFO 10/04/15 11:55:53 INFO 10/04/15 11:55:56 INFO 10/04/15 11:56:05 INFO 10/04/15 11:56:07 INFO

雲端 Cloud Computing 技術指南 運算 應用 平台與架構 10/04/15 11:55:46 INFO 10/04/15 11:55:53 INFO 10/04/15 11:55:56 INFO 10/04/15 11:56:05 INFO 10/04/15 11:56:07 INFO CHAPTER 使用 Hadoop 打造自己的雲 8 8.3 測試 Hadoop 雲端系統 4 Nodes Hadoop Map Reduce Hadoop WordCount 4 Nodes Hadoop Map/Reduce $HADOOP_HOME /home/ hadoop/hadoop-0.20.2 wordcount echo $ mkdir wordcount $ cd wordcount

More information

大数据分析技术 [13] 1.1 大数据 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1

大数据分析技术 [13] 1.1 大数据 Big Data [2] IBM 5V Volume Velocity Variety Value Veracity Volume Velocity Variety Value Veracity 表 1 大数据特征表 Tab.1 2016 2016, Vol. 37, No. 01 37 01 COMPUTER ENGINEERING & SOFTWARE IT 大数据在输变电设备状态评估中的研究 周广 1, 闫丹凤 1, 许光可 2, 李笋 1. 100876 2. 250001 2 摘要 : 电网的高速发展带来海量数据的存储和分析问题, 传统的数据管理和分析工具不再适用 本文主要对大数据分析的相关技术在输变电设备状态评估中的应用进行了研究

More information

5204014- 程 序 设 计 语 言 A 154 5204015- 计 算 机 网 络 159 5204019- 汇 编 语 言 165 5204026- 计 算 与 优 化 课 程 设 计 169 5204039- 数 据 库 原 理 及 应 用 173 5204049- 现 代 操 作 系

5204014- 程 序 设 计 语 言 A 154 5204015- 计 算 机 网 络 159 5204019- 汇 编 语 言 165 5204026- 计 算 与 优 化 课 程 设 计 169 5204039- 数 据 库 原 理 及 应 用 173 5204049- 现 代 操 作 系 5201006- 信 息 安 全 与 保 密 4 5201008- 计 算 机 应 用 基 础 B 12 5201009- 数 据 结 构 A 18 5 2 0 1 0 1 0 - 数 据 结 构 B 2 1 5201012- 算 法 设 计 与 分 析 B 24 5 2 0 1 0 1 6 - 信 息 安 全 概 论 A 2 9 5201021- 算 法 设 计 与 分 析 33 5201030-

More information

USB - 1 - - 2 - - 3 - - 4 - - 5 - - 6 - - 7 - DES Module FSM CONTROLLER 8 6 8 Key ROM 8 8 Data_in RAM Data_out RAM 8 USB Board - 8 - - 9 - - 10 - - 11 - - 12 - USB device INF Windows INF Device Function

More information

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践 王渊命 青云 QingCloud 容器器平台负责 人 当我们谈论容器器时我们在谈论什什么? 容器器的两个视 角 资源隔离 应 用封装 容器器 生态圈现状 容器器技术 一家独 大百花 齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三 足鼎 立

More information

(Microsoft Word - \272\364\263q\245|\244A_49636107_\304\254\253\330\336\263__\272\353\302\262\263\370\247i.doc)

(Microsoft Word - \272\364\263q\245|\244A_49636107_\304\254\253\330\336\263__\272\353\302\262\263\370\247i.doc) SCJP (Oracle Certified Professional, Java SE5/6 Programmer) 學 制 / 班 級 : 四 年 制 / 網 通 四 乙 指 導 老 師 : 方 信 普 老 師 學 生 學 號 / 姓 名 : 49636107 蘇 建 瑋 繳 交 年 份 : 100 年 6 月 一 SCJP 介 紹 SCJP 是 Sun Certified Java Programmer

More information

% ~ AAA

% ~ AAA 1. 230000 503566 47% 2001 3 ~2002 9 31281 5010 950 AAA 2002 1 0532--5951792 2003.7.7 2. 37 58 37% 2001 3 ~2002 9 75 60 950 AAA 2002 306 0532--5951792 2003.7.7 500000 1640000 4350000 6020000 220000 200000

More information

Transwarp Data Hub including Apache Hadoop 2.0

Transwarp Data Hub including Apache Hadoop 2.0 Transwarp Inceptor: 如何让 SQL 在 Spark 上运行的更快 从开源迈向商业产品 刘汪根 wayne.liu@transwarp.io 星环信息科技 ( 上海 ) 有限公司 www.transwarp.io 星环科技 来自于知名外企的创业团队 注册资金一千万元的高科技公司 成功完成近千万美元级别的 A 轮融资 中国最久的企业级 Hadoop 核心开发团队 比肩硅谷的企业级架构及功能模块

More information

1-What makes QingCloud different? 青云IaaS+PaaS技术路径-李威Jordan

1-What makes QingCloud different? 青云IaaS+PaaS技术路径-李威Jordan 扫我并发送 南京 加入南京课堂微信群 What makes QingCloud different? 青云 IaaS+PaaS 技术路径 Jordan 李威 青云 QingCloud 系统工程师 李威 (Jordan) 青云 QingCloud 系统工程师,QingCloud Hadoop 集群服务作者 2008 年北京大学硕士毕业, 曾为 IBM DevOps 架构师 IBM 金牌讲师, 曾在 4

More information

摘 要 1. GSLB: 全 局 负 载 均 衡 2. SLB: 服 务 器 负 载 均 衡 四 层 交 换 LVS 七 层 交 换 Nginx 3. Heartbeat 实 现 HA 4. MySQL 数 据 库 集 群 5. 集 群 环 境 下 的 存 储 备 份 6. 集 群 的 监 控 及

摘 要 1. GSLB: 全 局 负 载 均 衡 2. SLB: 服 务 器 负 载 均 衡 四 层 交 换 LVS 七 层 交 换 Nginx 3. Heartbeat 实 现 HA 4. MySQL 数 据 库 集 群 5. 集 群 环 境 下 的 存 储 备 份 6. 集 群 的 监 控 及 网 站 集 群 架 构 利 用 开 源 软 件 构 建 高 可 用 高 性 能 可 扩 展 的 集 群 系 统 兰 锋 bluedata@gmail.com 摘 要 1. GSLB: 全 局 负 载 均 衡 2. SLB: 服 务 器 负 载 均 衡 四 层 交 换 LVS 七 层 交 换 Nginx 3. Heartbeat 实 现 HA 4. MySQL 数 据 库 集 群 5. 集 群 环 境

More information

SAP HANA 最 简 单 的 理 解 ERP CRM SRM BI 列 存 储 2

SAP HANA 最 简 单 的 理 解 ERP CRM SRM BI 列 存 储 2 www.hand-china.com 搭 建 基 于 HANA 的 企 业 基 础 架 构 平 台 作 者 : HAND 日 期 : 2016-05 本 : 2.5 上 海 信 息 技 术 股 份 限 HAND Enterprise Solutions Company Ltd. www.hand-china.com SAP HANA 最 简 单 的 理 解 ERP CRM SRM BI 列 存 储

More information

Microsoft Word - 20150105 2014資訊專業證照研析報告

Microsoft Word - 20150105 2014資訊專業證照研析報告 資 訊 專 業 證 照 研 析 報 告 2014 年 度 報 告 專 業 證 照 推 廣 主 持 人 台 灣 科 技 大 學 李 育 杰 教 授 教 育 部 資 訊 軟 體 人 才 培 育 中 程 計 畫 2014 年 12 月 摘 要 資 訊 產 業 不 斷 的 進 步 發 達, 社 會 型 態 趨 勢 也 逐 漸 走 上 高 學 歷 時 代, 但 是 學 歷 與 能 力 已 不 能 劃 上 等

More information

IT Data-intensive application,iscsi Middl

IT Data-intensive application,iscsi Middl 112-861 2-1-1 163 8677 1 24 2 E-mail: shiori@ogl.is.ocha.ac.jp, sane@cc.kogakuin.ac.jp, oguchi@computer.org IT Data-intensive application,iscsi iddleware for Load Distribution among Cloud Computing Resource

More information

考 試 日 期 :2016/04/24 教 室 名 稱 :602 電 腦 教 室 考 試 時 間 :09:50 25 26 27 28 29 30 31 32 33 34 35 36 二 技 企 管 一 胡 宗 兒 中 文 輸 入 四 技 企 四 甲 林 姿 瑄 中 文 輸 入 二 技 企 管 一

考 試 日 期 :2016/04/24 教 室 名 稱 :602 電 腦 教 室 考 試 時 間 :09:50 25 26 27 28 29 30 31 32 33 34 35 36 二 技 企 管 一 胡 宗 兒 中 文 輸 入 四 技 企 四 甲 林 姿 瑄 中 文 輸 入 二 技 企 管 一 考 試 日 期 :2016/04/24 教 室 名 稱 :602 電 腦 教 室 考 試 時 間 :09:50 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 五 專 企 二 乙 胡 哲 維 中 文 輸 入 五 專 企 二 乙 周 林 昜 中 文 輸 入 五 專 企 二 乙 賴 昱 樺 中 文 輸 入 五 專 企 二 乙

More information

一 公 司 特 殊 问 题 问 题 1 关 于 公 司 的 业 务 及 持 续 经 营 能 力 2013 年 度 2014 年 度 2015 年 1-11 月, 公 司 的 营 业 收 入 分 别 为 1,630,473.93 元 699,853.13 元 73,581.84 元 报 告 期 内,

一 公 司 特 殊 问 题 问 题 1 关 于 公 司 的 业 务 及 持 续 经 营 能 力 2013 年 度 2014 年 度 2015 年 1-11 月, 公 司 的 营 业 收 入 分 别 为 1,630,473.93 元 699,853.13 元 73,581.84 元 报 告 期 内, 长 城 证 券 股 份 有 限 公 司 关 于 江 西 软 云 科 技 股 份 有 限 公 司 挂 牌 申 请 文 件 的 第 一 次 反 馈 意 见 回 复 全 国 中 小 企 业 股 份 转 让 系 统 有 限 责 任 公 司 : 贵 公 司 下 发 的 关 于 江 西 软 云 科 技 股 份 有 限 公 司 挂 牌 申 请 文 件 的 第 一 次 反 馈 意 见, 以 下 简 称 反 馈 意

More information

untitled

untitled rxli@public.wh.hb.cn http://idc.hust.edu.cn/~rxli/ 2 3 ( ) (Distributed System) Integrated System () 4 5 6 System Integration 7 8 Integrated System 9 1.1 CIMS IDEF CSCW STEP MIS MRPII ERP CRM SCM MIS:

More information

51434S Fundamentals of the UNIX system 5 40, H3064S HPE-UX System and Network Administration I 5 40, H3065S HPE-UX System

51434S Fundamentals of the UNIX system 5 40, H3064S HPE-UX System and Network Administration I 5 40, H3065S HPE-UX System 51434S Fundamentals of the UNIX system 5 40,000 9-13 17-21 H3064S HPE-UX System and Network Administration I 5 40,000 6-10 15-19 H3065S HPE-UX System and Network Administration II 5 40,000 6-10 12-16 H8P04S

More information

ext-web-auth-wlc.pdf

ext-web-auth-wlc.pdf 使 用 无 线 局 域 网 控 制 器 的 外 部 Web 身 份 验 证 配 置 示 例 目 录 简 介 先 决 条 件 要 求 使 用 的 组 件 规 则 背 景 信 息 外 部 Web 身 份 验 证 过 程 网 络 设 置 配 置 为 来 宾 用 户 创 建 动 态 接 口 创 建 预 先 身 份 验 证 ACL 在 WLC 上 为 来 宾 用 户 创 建 本 地 数 据 库 配 置 外 部

More information

Connected Intelligence:ビッグデータ技術を活用したIT運用

Connected Intelligence:ビッグデータ技術を活用したIT運用 HP Technology At Work 2015 Connected Intelligence IT HP 0 Copyright 2015 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP New Style of

More information

大数据和大数据平台的那些事

大数据和大数据平台的那些事 苏宁云商的大数据平台架构 王志强 苏宁云商. 大数据中心. 平台开发部 2015-07-25 关于我和我的小伙伴们 大数据中心. 平台开发部 团队 职责 : 提供集团各个业务所需要的存储和计算能力 保证平台的稳定 高效运行 提高平台易用性 目标 : 打造稳定 易用 高效的平台, 提高数据分析效率, 实现人人都是数据分析师 我 大数据攻城狮 5 年的大数据工作经验 2015/7/28 Copyright

More information

Microsoft Word - CDA LⅡ大数据分析师考试大纲(第四届).docx

Microsoft Word - CDA LⅡ大数据分析师考试大纲(第四届).docx CDA LEVELⅡ 考试大纲 CERTIFIED DATA ANALYST LEVELⅡEXAMINATION OUTLINE CDA 考试大纲是 CDA 命题组基于 CDA 数据分析师等级认证标准而设定的一套科学 详细 系统的考试纲要 考纲规定并明确了 CDA 数据分析师认证考试的具体范围 内容和知识点, 考生可按照 CDA 考试大纲进行相关知识的复习 CDA 大数据分析师考试大纲 基础理论 (

More information

1 情 况 综 述 2015 年 2 月, 我 省 互 联 网 络 总 体 运 行 情 况 良 好, 未 发 生 较 大 以 上 网 络 安 全 事 件 根 据 监 测 分 析,2015 年 2 月, 我 省 被 境 外 通 过 木 马 僵 尸 程 序 控 制 的 主 机 ( 受 控 端 )IP 数

1 情 况 综 述 2015 年 2 月, 我 省 互 联 网 络 总 体 运 行 情 况 良 好, 未 发 生 较 大 以 上 网 络 安 全 事 件 根 据 监 测 分 析,2015 年 2 月, 我 省 被 境 外 通 过 木 马 僵 尸 程 序 控 制 的 主 机 ( 受 控 端 )IP 数 陕 西 省 互 联 网 网 络 安 全 情 况 月 报 2015 年 2 月 ( 第 W002 期 ) 总 第 14 期 陕 西 省 通 信 管 理 局 国 家 计 算 机 网 络 应 急 技 术 处 理 协 调 中 心 陕 西 分 中 心 本 期 目 录 1 情 况 综 述... 1 2 安 全 事 件 分 析... 1 2.1 木 马 僵 尸 网 络 事 件 分 析... 1 2.2 飞 客 蠕

More information

Microsoft Word - 100118002.htm

Microsoft Word - 100118002.htm 100 年 度 11800 電 腦 軟 體 應 用 乙 級 技 術 士 技 能 檢 定 學 科 測 試 試 題 本 試 卷 有 選 擇 題 80 題, 每 題 1.25 分, 皆 為 單 選 選 擇 題, 測 試 時 間 為 100 分 鐘, 請 在 答 案 卡 上 作 答, 答 錯 不 倒 扣 ; 未 作 答 者, 不 予 計 分 准 考 證 號 碼 : 姓 名 : 選 擇 題 : 1. (3)

More information

《教育信息化前沿》

《教育信息化前沿》 教 育 信 息 化 前 沿 第 13 期 目 录 新 闻 快 递... 1 安 徽 省 亳 州 市 抓 好 五 落 实 为 教 育 信 息 化 提 供 正 能 量...1 梧 州 移 动 推 动 教 育 信 息 化 发 展 举 办 信 息 化 推 介 会... 1 安 徽 省 芜 湖 市 开 展 教 育 信 息 化 试 点 推 动 教 育 现 代 化... 1 山 西 省 晋 中 市 成 为 首 批

More information

科 研 信 息 化 技 术 与 应 用,2015, 6 (1) of identity and the framework of identity management, this paper analyses the development trend of Identity Management

科 研 信 息 化 技 术 与 应 用,2015, 6 (1) of identity and the framework of identity management, this paper analyses the development trend of Identity Management 科 研 信 息 化 技 术 与 应 用 2015, 6(1): 41 49 应 用 / APPLICATION 身 份 管 理 发 展 趋 势 和 中 国 科 学 院 身 份 管 理 系 统 薛 聪 1,2, 向 继 1 1, 高 能 1. 中 国 科 学 院 信 息 工 程 研 究 所 信 息 安 全 国 家 重 点 实 验 室, 北 京 100093 2. 中 国 科 学 院 大 学, 北 京

More information

Cover-3.indd, page Normalize

Cover-3.indd, page Normalize 5 55 75 91 5 6 1 2 3 4 5 7 8 1 2 3 4 5 9 10 1 2 3 4 5 6 7 11 12 1 2 3 13 14 1 2 3 15 16 1 2 17 18 1 2 3 19 20 1 2 21 22 1 2 3 23 24 1 2 3 25 26 1 2 3 4 5 27 28 1 3 2 4 5 6 7 8 9 29 30 31 32 1 2 3 4 33

More information

人 間 菩 提 Part 1 人 間 菩 提 Part 2 清 涼 菩 提 正 覺 ------------------ 10 修 行 ------------------ 13 清 心 ------------------ 16 發 願 ------------------ 18 自 重 ----

人 間 菩 提 Part 1 人 間 菩 提 Part 2 清 涼 菩 提 正 覺 ------------------ 10 修 行 ------------------ 13 清 心 ------------------ 16 發 願 ------------------ 18 自 重 ---- 人 間 菩 提 Part 1 人 間 菩 提 Part 2 清 涼 菩 提 正 覺 ------------------ 10 修 行 ------------------ 13 清 心 ------------------ 16 發 願 ------------------ 18 自 重 ------------------- 20 習 氣 ------------------ 22 清 淨 心

More information

Part 1 2 3 4 5 6 7 Part 2 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 Part 3 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67

More information