全部标签

flume

Flume 学习之路（六）思维导图知识点
flume
- 328
- 0
白老师20年5月9日
Flume 学习之路（五）Flume 的监控

使用 Flume 实时收集日志的过程中，尽管有事务机制保证数据不丢失，但仍然需要时刻关注 Source、Channel、Sink 之间的消息传输是否正常。比如，SouceChannel 传输了多少消息，ChannelSink 又传输了多少，两处的消息量是否偏差过大等等。 Flume 为我们提供了 Monitor 的机制：http://flume.apache.org/FlumeUserGuide…
flume
- 201
- 0
白老师20年5月9日
Flume 学习之路（四）Flume 的部署安装

Flume 框架对 Hadoop 和 Zookeeper 的依赖只是在 jar 包上，并不要求 Flume 启动时必须将 Hadoop 和 Zookeeper 服务也启动。 Flume瞎子下载地址：http://flume.apache.org/download.html http://archive.cloudera.com/cdh5/cdh/5/ Flume 解压 tar -zxvf apa…
flume
- 119
- 0
白老师20年5月9日
Flume 学习之路（三）Flume的Source类型

官方文档介绍：http://flume.apache.org/FlumeUserGuide.html#flume-sources Avro Source 内置 Avro Server，可接受 Avro 客户端发送的数据官方文档描述：示例： vim avro_source.properties a1.sources = s1 a1.sinks = k1 a1.channels = c1 // 配…
flume
- 592
- 0
白老师20年5月9日
Flume 学习之路（二）Flume 高级组件（Interceptor，Channel Selector 和 Sink Processor）

除了 Source、channel、Sink外，Flume Agent 还允许用户设置其他组件更灵活地控制数据流，包括 Interceptor，Channel Selector 和 Sink Processor。 Interceptor Flume 中的拦截器（Interceptor），当 Source 读取 Event 发送到 Sink 的 Event 时候，在 Event header 中加入…
flume
- 321
- 0
白老师20年5月9日
Flume 学习之路（一）Flume 概述和基本架构

Flume 是一个分布式、可靠且高可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据的简单灵活架构，良好的可靠性机制、故障转移和恢复机制，具有强大的容错性。它支持在系统中定制各类数据发送方，用于收集数据；同时Flume 提供对数据的简单处理，并具有写到各种数据接收方的能力。 Flume 发展历程？ Flume 最初是 Cloudera 开发的日志收集系统，受到了业界的认可与广泛应…
flume
- 159
- 0
白老师20年5月9日