Flume

Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 官方文档

自己的理解 就是 把数据从日志收集 然后存储 最后再转发出去的一个东西 主要有 三个核心组件 第一个是 source 就是对数据做拿来的 可以拦截到 第二个组件 channal的数据

最后channl 做不同方式的存储 本地磁盘 或者内存方式的 第三个就是把这些数据推送到其他的消费端 所有 flume 可以做kafka的生产者

Apache Flume1.8.0用户手册官方文档理解

Storm之——Storm+Kafka+Flume+Zookeeper+MySQL实现数据实时分析(环境搭建篇)

flume安装

Last Updated: 9/27/2019, 5:20:18 PM