flume

Apache Flume（简称Flume）是一种分布式、基于流水线模型、可靠、容错、易于管理的架构，可以收集、日志记录和转移大量数据，特别适合收集日志文件，如Apache服务器日志或系统日志。
Flume的架构主要由Flume代理、Flume事务管理器和接收端组成，它们分别负责数据的收集、路由和存储。
Flume代理充当节点和连接器之间的中间层，它接收节点上的数据，然后基于源定义的路由规则将数据路由到一个或多个目标连接器上。
Flume事务管理器负责Flume代理发来的数据，它负责检查数据是否有效，然后针对节点发来的数据，采用数据分割、校验、存储操作等优化、分发处理。
接收端可以是HDFS、Hbase等，它们接收Flume发来的数据并存储入库，提供的数据存储可靠性和可用性。

Flume的使用要求，系统高度可靠性。它使用基于流水线模型的可靠转移机制，可以保证数据在跨域传输过程中不会丢失。同时，Flume还支持基于失败重试机制的容错，不会因为某个节点故障而影响整个系统运行。此外，Flume也可以满足用户对管理及控制需求，提供数据转移状态可视化、日志转移管理和完成率等。

总的来看，Flume是一种分布式数据采集、传输的有效架构，它可以有效的传输日志数据，保证了可靠性及容错性，同时提供简便的管理控制，是目前的大数据日志采集、传输的一种有效工具。