KAFKA August 25, 2018

kafka自定义消息序列化和反序列化方式

Words count 22k Reading time 20 mins.

版本说明:

kafka版本:kafka_2.12-2.0.0.tgz

pom依赖:

<dependency>
    <groupId>org.apache.kafka</groupId...
Read article

KAFKA August 20, 2018

kafka官网文档学习

Words count 19k Reading time 17 mins.

kafka是一个分布式流式数据平台,具备以下三个特点:

  • 类似消息系统,提供事件流的发布和订阅,即具备数据注入功能
  • 存储时间流数据的几点具有故障容错的特点,即具备数据存储功能
  • 能够对实时的事件流进行流式地处理和分析,即具备流处理功能

kafka通常用户两大类应用:

  • 构建可在系统或应用程序之间可靠获取数据的实时流数据管道
  • 构建实时流应用程序,用户转换或相应数据流

与kafka相关的概念:

  • kafka作为一个集群运行在一台或多台可以跨越多个数据中心的服务器上
  • kafka集群在称为主题的类别中存储记...
Read article

KAFKA August 20, 2018

Kafka基本操作

Words count 2.2k Reading time 2 mins.

  • 需要启动zookeeper,因为kafka会将topic信息写入zookeeper的brokers目录;
  • config/server.properties文件至少需要配置zookeeper信息;
  • 通过
    bin/kafka-server-start.sh -daemon config/server.properties 
    
    启动kafka。

-daemon表示在后台运行。

  • bin目录提供了一个关闭脚本,但好像有问题;
  • 可以通过 kill -s TERM $pid 来关闭。

$pid表示...

Read article
0%