要注意的是,Flume 中对事件的处理不需要带状态, 它的 Scalability 可以很容易实现 3. Manageability:Flume 利用 ZooKeeper 和 gossip, 保证配置数据的一致性高可用同时,

Size: px

Start display at page:

Download "要注意的是,Flume 中对事件的处理不需要带状态, 它的 Scalability 可以很容易实现 3. Manageability:Flume 利用 ZooKeeper 和 gossip, 保证配置数据的一致性高可用同时,"

羚屠
7 years ago
Views:

1 Flume 介绍安装与应用案例本文版权归作者和博客园共有, 欢迎转载, 但未经作者同意必须保留此段声明, 且在文章页面明显位置给出原文连接, 博主为石山园, 博客地址为该系列课程是应邀实验楼整理编写的, 这里需要赞一下实验楼提供了学习的新方式, 可以边看博客边上机实验, 课程地址为注该系列所使用到安装包测试数据和代码均可在百度网盘下载, 具体地址为下载该 PDF 文件 1 搭建环境部署节点操作系统为 CentOS, 防火墙和 SElinux 禁用, 创建了一个 shiyanlou 用户并在系统根目录下创建 /app 目录, 用于存放 Hadoop 等组件运行包因为该目录用于安装 hadoop 等组件程序, 用户对 shiyanlou 必须赋予 rwx 权限 ( 一般做法是 root 用户在根目录下创建 /app 目录, 并修改该目录拥有者为 shiyanlou(chown R shiyanlou:shiyanlou /app) Hadoop 搭建环境 : 虚拟机操作系统 : CentOS 位, 单核,1G 内存 JDK:1.7.0_55 64 位 Hadoop: Flume 介绍 Flume 是 Cloudera 提供的日志收集系统,Flume 支持在日志系统中定制各类数据发送方, 用于收集数据 ; 同时,Flume 提供对数据进行简单处理, 并写到各种数据接受方 ( 可定制 ) 的能力 Flume 是一个分布式可靠和高可用的海量日志采集聚合和传输的系统 Flume 具有 Reliability Scalability Manageability 和 Extensibility 特点 : 1. Reliability:Flume 提供 3 中数据可靠性选项, 包括 End-to-end Store on failure 和 Best effort 其中 End-to-end 使用了磁盘日志和接受端 Ack 的方式, 保证 Flume 接受到的数据会最终到达目的 Store on failure 在目的不可用的时候, 数据会保持在本地硬盘和 End-to-end 不同的是, 如果是进程出现问题,Store on failure 可能会丢失部分数据 Best effort 不做任何 QoS 保证 2. Scalability:Flume 的 3 大组件 :collector master 和 storage tier 都是可伸缩的需第 1 页共 10 页

2 要注意的是,Flume 中对事件的处理不需要带状态, 它的 Scalability 可以很容易实现 3. Manageability:Flume 利用 ZooKeeper 和 gossip, 保证配置数据的一致性高可用同时, 多 Master, 保证 Master 可以管理大量的节点 4. Extensibility: 基于 Java, 用户可以为 Flume 添加各种新的功能, 如通过继承 Source, 用户可以实现自己的数据接入方式, 实现 Sink 的子类, 用户可以将数据写往特定目标, 同时, 通过 SinkDecorator, 用户可以对数据进行一定的预处理 2.1 Flume 架构上图的 Flume 的架构中最重要的抽象是 data flow( 数据流 ),data flow 描述了数据从产生, 传输处理并最终写入目标的一条路径 ( 在上图中, 实线描述了 data flow) Agent 用于采集数据,agent 是 flume 中产生数据流的地方, 同时,agent 会将产生的数据流传输到 collector 对应的,collector 用于对数据进行聚合, 往往会产生一个更大的流 Flume 提供了从 console( 控制台 ) RPC(Thrift-RPC) text( 文件 ) tail(unix tail) syslog(syslog 日志系统, 支持 TCP 和 UDP 等 2 种模式 ),exec( 命令执行 ) 等数据源上收集数据的能力同时,Flume 的数据接受方, 可以是 console( 控制台 ) text( 文件 ) dfs(hdfs 文件 ) RPC(Thrift-RPC) 和 syslogtcp(tcp syslog 日志系统 ) 等其中, 收集数据有 2 种主要工作模式, 如下 : 第 2 页共 10 页

3 1. Push Sources: 外部系统会主动地将数据推送到 Flume 中, 如 RPC syslog 2. Polling Sources:Flume 到外部系统中获取数据, 一般使用轮询的方式, 如 text 和 exec 注意, 在 Flume 中,agent 和 collector 对应, 而 source 和 sink 对应 Source 和 sink 强调发送接受方的特性 ( 如数据格式编码等 ), 而 agent 和 collector 关注功能 2.2 Flume 管理方式 Flume Master 用于管理数据流的配置, 如下图为了保证可扩展性,Flume 采用了多 Master 的方式为了保证配置数据的一致性,Flume 引入了 ZooKeeper, 用于保存配置数据,ZooKeeper 本身可保证配置数据的一致性和高可用, 另外, 在配置数据发生变化时,ZooKeeper 可以通知 Flume Master 节点 Flume Master 间使用 gossip 协议同步数据 3 安装部署 Flume 3.1 Flume 部署过程下载 Flume 可以到 apache 基金 flume 官网选择镜像下载地址下载一个稳定版本, 如下图所示下载 flume bin.tar.gz: 第 3 页共 10 页

4 也可以在 /home/shiyanlou/install-pack 目录中找到该安装包, 解压该安装包并把该安装包复制到 /app 目录中 cd /home/shiyanlou/install-pack tar -xzf flume bin.tar.gz mv apache-flume bin /app/flume 设置 /etc/profile 参数编辑 /etc/profile 文件, 声明 flume 的 home 路径和在 path 加入 bin 的路径 : export FLUME_HOME=/app/flume export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=$PATH:$FLUME_HOME/bin 编译配置文件 /etc/profile, 并确认生效第 4 页共 10 页

5 source /etc/profile echo $PATH 设置 flume-env.sh 配置文件在 $FLUME_HOME/conf 下复制改名 flume-env.sh.template 为 flume-env.sh, 修改 conf/ flume-env.sh 配置文件 cd /app/flume-1.5.2/conf cp flume-env.sh.template flume-env.sh sudo vi flume-env.sh 修改配置文件内容 : JAVA_HOME= /app/lib/jdk1.7.0_55 JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote" 3.2 部署验证验证安装 1. 修改 flume-conf 配置文件在 $FLUME_HOME/conf 目录下修改 flume-conf.properties.template 文件, 复制并改名为 flume-conf, cd /app/flume-1.5.2/conf cp flume-conf.properties.template flume-conf.properties sudo vi flume-conf.properties 修改 flume-conf 配置文件内容 # The configuration file needs to define the sources, the channels and the sinks. # Sources, channels and sinks are defined per agent, in this case called 'a1' a1.sources = r1 a1.sinks = k1 a1.channels = c1 # For each one of the sources, the type is defined 第 5 页共 10 页

6 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = #The channel can be defined as follows. a1.sources.r1.channels = c1 # Each sink's type must be defined a1.sinks.k1.type = logger #Specify the channel the sink should use a1.sinks.k1.channel = c1 # Each channel's type is defined. a1.channels.c1.type = memory # Other config values specific to each type of channel(sink or source) # can be defined as well # In this case, it specifies the capacity of the memory channel a1.channels.c1.capacity = 1000 a1.channels.c1.transactioncapacity = 在 flume 的安装目录 /flume 下运行 cd /app/flume 第 6 页共 10 页

7 ./bin/flume-ng agent --conf./conf/ --conf-file./conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console 3. 再打开一个终端, 输入如下命令 : telnet localhost hello world 注 : 在 CentOS6.5 运行 telnet 提示 "command not found", 使用 sudo yum install telnet 进行安装 4. 在原来的终端上查看, 可以收到来自于 telnet 发出的消息测试收集日志到 HDFS 1. 在 $FLUME_HOME/conf 目录下修改 flume-conf.properties.template 文件, 复制并改名为 flume-conf2.properties cd /app/flume-1.5.2/conf cp flume-conf.properties.template flume-conf2.properties sudo vi flume-conf2.properties 第 7 页共 10 页

8 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.sources.r1.channels = c1 a1.sources.r1.command = tail -F /app/hadoop-1.1.2/logs/hadoop-shiyanlou-namenode-b393a04554e1.log a1.sinks.k1.type = hdfs a1.sinks.k1.channel = c1 a1.sinks.k1.hdfs.path = hdfs://hadoop:9000/class12/out_flume a1.sinks.k1.hdfs.fileprefix = eventsa1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundvalue = 10 a1.sinks.k1.hdfs.roundunit = minute a1.sinks.k1.hdfs.rollsize = a1.sinks.k1.hdfs.rollcount = 0 a1.sinks.k1.hdfs.writeformat = Text a1.sinks.k1.hdfs.filetype = DataStream a1.sinks.k1.hdfs.batchsize = 10 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactioncapacity = 100 第 8 页共 10 页

9 2. 在 flume 的安装目录 /flume 下运行 cd /app/flume /bin/flume-ng agent --conf./conf/ --conf-file./conf/flume-conf2.properties --name a1 -Dflume.root.logger=INFO,console 3. 不断收集 hadoop-hadoop-namenode-hadoop1.log 的数据写入 HDFS 中 4. 查看 hdfs 中 /class12/out_flume 中的文件 hadoop fs -ls /class12/out_flume 第 9 页共 10 页

10 hadoop fs -cat /class12/out_flume/events 第 10 页共 10 页

<433A5C446F63756D656E747320616E642053657474696E67735C41646D696E6973747261746F725CD7C0C3E65CC2DBCEC4CFB5CDB3CAB9D3C3D6B8C4CFA3A8BCF2BBAFA3A95CCAB9D3C3D6B8C4CF31302D31392E646F63>

<433A5C446F63756D656E747320616E642053657474696E67735C41646D696E6973747261746F725CD7C0C3E65CC2DBCEC4CFB5CDB3CAB9D3C3D6B8C4CFA3A8BCF2BBAFA3A95CCAB9D3C3D6B8C4CF31302D31392E646F63> ( 一 ) 系统整体操作流程简述 3 ( 二 ) 系统中各角色操作功能说明 5 1. 学院管理员 5 2. 教学院长 8 3. 指导教师 10 4. 答辩组组长 12 5. 学生 12 6. 系统管理员 15 ( 一 ) 论文系统常见问题 16 ( 二 ) 论文查重常见问题 22 1 2 主

要 注 意 的 是,Flume 中 对 事 件 的 处 理 不 需 要 带 状 态, 它 的 Scalability 可 以 很 容 易 实 现 3. Manageability:Flume 利 用 ZooKeeper 和 gossip, 保 证 配 置 数 据 的 一 致 性 高 可 用 同 时,

要注意的是,Flume 中对事件的处理不需要带状态, 它的 Scalability 可以很容易实现 3. Manageability:Flume 利用 ZooKeeper 和 gossip, 保证配置数据的一致性高可用同时,