【大数据学习 | flume】flume之常见的channel组件
Channel是连接Source和Sink的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上， 直到Sink处理完该事件，Flume对于Channel，则提供了Memory Channel、JDBC Chanel、File Channel。
MemoryChannel可以实现高速的吞吐，但是无法保证数据的完整性。
FileChannel保证数据的完整性与一致性。
Spillable Memory Channel基于内存和磁盘，内存不够时将数据存储在磁盘中，数据出错恢复时，只恢复磁盘中的数据，还在测试阶段不建议在生产环境用。
1. file channel
# file channel
#给agent组件起名
a1.sources=r1
a1.sinks=k1
a1.channels=c1
#定义source
a1.sources.r1.type=netcat
a1.sources.r1.bind=11.90.214.80
a1.sources.r1.port=44444
#定义channel
a1.channels.c1.type=file
a1.channels.c1.dataDirs = /root/filedata
#定义sink
a1.sinks.k1.type=logger
#绑定
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1创建数据输出目录
mkdir -p /root/filedata启动flume agent a1 服务端
flume-ng agent -n a1 -c /usr/local/flume/conf/ -f ./fileroll.agent -Dflume.root.logger=INFO,console2. Kafka Channel
将数据存储到kafka中,kafka数据也是存储在磁盘中，并且kafka提供了高可用的功能，数据不会丢失。
重新启动镜像并需要添加kafka的组件。
#给agent组件起名
a1.sources=r1
a1.sinks=k1
a1.channels=c1
#定义source
a1.sources.r1.type=netcat
a1.sources.r1.bind=11.90.214.80
a1.sources.r1.port=44444
#定义channel
a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel
a1.channels.c1.kafka.bootstrap.servers = kafka-1:9092,kafka-2:9092,kafka-3:9092
a1.channels.c1.kafka.topic = hainiu
a1.channels.c1.kafka.consumer.group.id = flume-consumer
#定义sink
a1.sinks.k1.type=logger
#绑定
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1启动flume agent a1 服务端
flume-ng agent -n a1 -c /usr/local/flume/conf/ -f ./kafkachannel.agent -Dflume.root.logger=INFO,console测试kafka中是否存储flume收集过来的数据：
启动kafka消费者消费指定分区的数据
#创建主题
./kafka-topics.sh --zookeeper11.99.16.105:2181 --create --topic hainiu --replication-factor 1 --partitions 1
#生产者生产数据
./kafka-console-producer.sh --broker-list 11.99.16.105:9092--topic hainiu
#消费者消费数据
kafka-console-consumer.sh --bootstrap-server 11.99.16.105:9092 --topic hainiu通过telnet向flume监听的端口发数据
flume logger sink将数据打印在控制台
原文地址：https://blog.csdn.net/2301_80912559/article/details/143810361
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！