Flume接受telent数据
- 第一步：开发配置文件
- 第二步：启动配置文件
案例：使用网络telent命令向一台机器发送一些网络数据，然后通过flume采集网络端口数据
第一步：开发配置文件
最好还是安装主节点 不然得不到其他节点信息
根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)
配置我们的网络收集的配置文件
在flume的conf目录下新建一个配置文件（采集方案）
复制代码
1
2vi /export/servers/apache-flume-1.8.0-bin/conf/netcat-logger.conf
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34# 定义这个agent中各组件的名字 # flume里面有 sources | sinks | channels 先实例出来 #a1 是客户端得名字 随便是什么都可以 #r1 | k1 | c1 就是客户端名字得 sources | sinks | channels a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件：r1 #r1的类型是 neicat 监控某一个端口 a1.sources.r1.type = netcat #bin 监控那一排服务器得端口 a1.sources.r1.bind = 192.168.248.101 #监控这排服务器的什么端口 a1.sources.r1.port = 44444 # 描述和配置sink组件：k1 #logger直接打印到控制台 a1.sinks.k1.type = logger # 描述和配置channel组件，此处使用是内存缓存的方式 #Channel参数解释：(这两个可以不填) capacity：默认该通道中最大的可以存储的event数量 trasactionCapacity：每次最大可以从source中拿到或者送到sink中的event数量 # 是基于内存 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 描述和配置source channel sink之间的连接关系 #客户端的soucres是r1 r1的数据发送到channel里面 a1.sources.r1.channels = c1 #a1得sinks从哪里去拿数据 a1.sinks.k1.channel = c1
第二步：启动配置文件
指定采集方案配置文件，在相应的节点上启动flume agent
先用一个最简单的例子来测试一下程序环境是否正常
启动agent去采集数据
复制代码
1
2bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
- c conf 指定flume自身的配置文件所在目录
- f conf/netcat-logger.con 指定我们所描述的采集方案
- n a1 指定我们这个agent的名字
监控得节点
yum -y install telnet
telnet Hadoop001 44444 # 使用telnet模拟数据发送
最后
以上就是尊敬身影最近收集整理的关于案例一 Flume接受telent数据第一步：开发配置文件第二步：启动配置文件的全部内容，更多相关案例一内容请搜索靠谱客的其他文章。
本图文内容来源于网友提供，作为学习参考使用，或来自网络收集整理，版权属于原作者所有。
发表评论 取消回复