一、概述1. 通过搭建高可用 flume 来实现对数据的收集并存储到 hdfs 上，架构图如下： 二、配置 A…

在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息，甚至包括点击的位置，我们也经常发现自己刚搜完…

在前篇 几十条业务线日志系统如何收集处理？中已经介绍了 Flume 的众多应用场景，那此篇中先介绍如何搭建单机…

Flume 采集 Nginx 日志到 HDFS 下载 apache-flume-1.7.0-bin.tar.g…

1. 简介 该文主要是翻译官方的相关文档，源地址点击这里。介绍一下 Flume 的一些基本知识和搭建方法。 A…

1 Flume 简介 Flume 是 Cloudera 提供的一个高可用、高可靠、分布式的海量日志采集、聚合和…

最近一段时间，负责公司的产品日志埋点与收集工作，搭建了基于 Flume+HDFS+Hive 日志搜集系统。 一…

Flume 1.7.0 User Guide   Introduction（简介） Overview（综述） …

本文将会介绍如何使用 Flume、log4j、Kafka 进行规范的日志采集。 Flume 基本概念 Flum…

本文只会涉及 flume 和 kafka 的结合，kafka 和 storm 的结合可以参考其他文章。 Kaf…