当前位置:首页--Flume

Flume 1.5日志收集和存款mongodb安装结构

 Flume该演示是不是说。你可以自己搜索。 但现在的互联网主要是Flume 1.4前版本号的信息。Flume 1.5在轰动的大变化。假设你准备尝试,我在这里给大家介绍一下程序最小化结构,和使用MongoSink的数据被存储mongodb。完全独立的执行,没有master。没有collector(说白了collector也就是一个agent,仅仅是数据来源于多个其它agent),仅仅有一个agent......

阅读全文

log4j直接输出日志到flume

 log4j.properties配置: log4j.rootLogger=INFO log4j.category.com.besttone=INFO,flume log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender log4j.appender.flume.Hostname = localhost l......

阅读全文

关于flume配置加载(二)

 为什么翻flume的代码,一方面是确实遇到了问题,另一方面是想翻一下flume的源码,看看有什么收获,现在收获还谈不上,因为要继续总结。不够已经够解决问题了,而且确实有好的代码,后续会继续慢慢分享,这里先把启动的流程分析一下,这也是找到问题症结的关键。 至于遇到的问题如下: Caused by: org.apache.flume.ChannelException: Put queue for Me......

阅读全文

MySQL数据实时增量同步到Kafka - Flume

 写在前面的话   需求,将MySQL里的数据实时增量同步到Kafka。接到活儿的时候,第一个想法就是通过读取MySQL的binlog日志,将数据写到Kafka。不过对比了一些工具,例如:Canel,Databus,Puma等,这些都是需要部署server和client的。其中server端是由这些工具实现,配置了就可以读binlog,而client端是需要我们动手编写程序的,远没有达到我即插即用的......

阅读全文

flume+kafka+hbase+ELK

 一、架构方案如下图:   二、各个组件的安装方案如下: 1)、zookeeper+kafka http://www.cnblogs.com/super-d2/p/4534323.html 2)hbase http://www.cnblogs.com/super-d2/p/4755932.html 3)flume安装: 安装 安装JDK Flume 运行系统要求1.6以上的Java 运行环境,从or......

阅读全文

Flume环境部署和配置详解及案例大全

 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。  一、什么是Flume?   flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume ......

阅读全文

flume 安装过程记录

 1、安装jdk 2、下载安装包 : apache-flume-1.7.0-bin.tar.gz 安装包是在win下载的,需要拖动到ubuntu下的/home/hadoop (拖动不了需要先安装  lrzsz:  sudo apt-get install lrzsz) 3、在 /home/hadoop/ 下解压安装包: tar -zxvf apache-flume-1.8.0-bin.tar.gz ......

阅读全文

Windows上搭建Flume运行环境 Windows上搭建Kafka运行环境

 1.如果没有安装过Java环境,则需首先安装JDK。 可参考《Windows上搭建Kafka运行环境》中的搭建环境安装JDK部分   2.官方下载Flume(当前为apache-flume-1.8.0-bin.tar.gz) 官方下载地址 官方用户手册   3.根据官方用户手册,创建一个简单例子监听44444端口的输入并在console中输出。 ①进入apache-flume-1.8.0-bin\......

阅读全文

Flume NG 简介及配置实战

 Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输......

阅读全文

解决flume运行中的一个异常问题!

 今天在本地测试flume的exec  监控文件   分割的问题!!!遇到各种141异常问题!   怀疑是在切割文件的时候超过了监控文本的时间,导致flume异常退出,,,所以增加了keep-alive 时长,,,他的默认值是3秒,,我把它设置为30秒,,,之后运行,,,,他不再异常!!! 解决:设置agent1.channels..keep-alive = 30 参考文......

阅读全文
1 2 3 4 下一页 尾页