当前位置:首页--kafka

3 kafka介绍

  本博文的主要内容有     .kafka的官网介绍            http://kafka.apache.org/   来,用官网上的教程,快速入门。   http://kafka.apache.org/documentation kafka的官网文档教程。   The Producer API allows an application to publish a stream reco......

阅读全文

kafka

 基本概念 kafka的工作方式和其他MQ基本相同,只是在一些名词命名上有些不同。为了更好的讨论,这里对这些名词做简单解释。通过这些解释应该可以大致了解kafka MQ的工作方式。 Producer (P):就是网kafka发消息的客户端 Consumer (C):从kafka取消息的客户端 Topic (T):可以理解为一个队列 Consumer Group (CG):这是kafka用来实现一个t......

阅读全文

RabbitMQ和Kafka

 转自通九大神的博客   起因 最近公司RabbitMQ的集群出了点问题,然后有些亲就说RabbitMQ慢且不好用,是一个瓶颈,不如换成Kafka。而我本人,使用RabbitMQ有一点久了,认为这个事情应当辩证的去看。所以就在没事的时候简单的看了看RabbitMQ的代码。但是我并没有看太多Kafka的代码,我只简单提下。 关于Kafka 根据Kafka官方的文档,Kafka可以被认为一个高大上的集群......

阅读全文

kafka性能基准测试

 转载请注明出处:http://www.cnblogs.com/xiaodf/ 1、测试环境 该benchmark用到了六台机器,机器配置如下 l  IntelXeon 2.5 GHz processor with six cores l  Six7200 RPM SATA drives l  32GB ofRAM l  1GbEthernet 这6台机器其中3台用来搭建Kafka broker集群......

阅读全文

Kafka深度解析

 转自:http://blog.csdn.net/qqqq724/article/details/43228863   背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持K......

阅读全文

Kafka入门经典教程

   本帖最后由 desehawk 于 2015-5-3 00:45 编辑 问题导读 1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka判断一个节点是否活着有哪两个条件? 6.producer是否直接将数据发送到broker的leader(主节点)? 7.Kafa consu......

阅读全文

kafka 多线程消费

 一、    1、Kafka的消费并行度依赖Topic配置的分区数,如分区数为10,那么最多10台机器来并行消费(每台机器只能开启一个线程),或者一台机器消费(10个线程并行消费)。即消费并行度和分区数一致。    2、(1)如果指定了某个分区,会只讲消息发到这个分区上        (2)如果同时指定了某个分区和key,则也会将消息发送到指定分区上,key不起作用         (3)如果没有指......

阅读全文

kafka快速入门

 一、kafka简介   kafka,ActiveMQ,RabbitMQ是当今最流行的分布式消息中间件,其中kafka在性能及吞吐量方面是三者中的佼佼者,不过最近查阅官网时,官方与它的定义为一个分布式流媒体平台。kafka最主要有以下几个方面作用: 发布和订阅记录流,类似于消息队列或企业消息传递系统。 以容错持久的方式存储记录流。 处理记录发生的流   kafka有四个比较核心的API 分别为:  ......

阅读全文

Kafka实战系列--Kafka API使用体验

   前言:   kafka是linkedin开源的消息队列, 淘宝的metaq就是基于kafka而研发. 而消息队列作为一个分布式组件, 在服务解耦/异步化, 扮演非常重要的角色. 本系列主要研究kafka的思想和使用, 本文主要讲解kafka的一些基本概念和api的使用. *) 准备工作 1) 配置maven依赖   org.apache.kafka......

阅读全文

kafka 搭建与使用

 消息量非超级多不建议使用,可以使用redis或Beanstalkd 使用简单  Beanstalkd 客户端建议用: composer require pda/pheanstalk 如果无JAVA JDK 先下载JAVA JDK 并安装 添加.profile变量:JAVA_HOME export JAVA_HOME=/usr/java/jdk1.8.0_31 下载: http://gradle.o......

阅读全文
1 2 3 4 下一页 尾页