Kafka入门（一）环境搭建

1环境搭建

操作系统：Centos7

需要安装的 一共三个：apache-zookeeper-3.5.7-bin.tar.gz、kafka_2.11-2.4.0.tgz、java jdk；

此次放在/opt/kafkaStudy文件夹下

1.1安装 apache-zookeeper（注意关于zookeeper启动命令、查看安装命令需要在bin文件夹下才能运行）

首先在Centos中解压，

  

   

    

     

    
    

     

      tar -zxvf apache-zookeeper-
      3.6.
      2-bin.tar.gz 
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      tar -zxvf 解压包
     
    
  

然后进入config文件夹，可以看到当前文件夹下

cd apache-zookeeper-3.6.2-bin/conf

然后将zoo_sample.cfg 复制一份。命名为 zoo.cfg（会成为默认文件）

 cp zoo_sample.cfg  zoo.cfg

然后通vi zoo.cfg修改内容

 vi zoo.cfg 

进入bin文件夹下启动

./zkServer.sh start

通过 ./zkCli.sh命令查看安装的zookeeper信息

./zkCli.sh

1.2Kafka安装

首先解压Kafka文件

tar -zxvf kafka_2.12-2.8.0.tgz

然后修改config下的server.properties

  

   

    

     

    
    

     

       cd kafka_2.
      12-
      2.8.
      0/config
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      vi server.properties 
     
    
  

Kafka常用命令

  

   

    

     

    
    

     

      1、启动Kafka
     
    
   

    

     

    
    

     

      ./bin/kafka-server-start.sh -daemon config/server.properties
     
    
   

    

     

    
    

     

       #或者
     
    
   

    

     

    
    

     

      ./kafka-server-start.sh ../config/server.properties
     
    
   

    

     

    
    

     

      1.1查看状态
     
    
   

    

     

    
    

     

      jps
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      2、停止Kafka
     
    
   

    

     

    
    

     

      ./bin/kafka-server-stop.sh
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      3、创建Topic
     
    
   

    

     

    
    

     

      ./bin/kafka-topics.sh --create --zookeeper 
      172.16.
      0.11:
      2181 --replication-factor 
      1 --partitions 
      1 --topic jiangzh-topic
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      4、查看已经创建的Topic信息
     
    
   

    

     

    
    

     

      ./bin/kafka-topics.sh --list --zookeeper 
      172.16.
      0.11:
      2181
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      5、发送消息
     
    
   

    

     

    
    

     

      ./bin/kafka-console-producer.sh --broker-list 
      172.16.
      0.11:
      9092 --topic demo-topic
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      #./bin/kafka-console-producer.sh --broker-list 
      172.16.
      0.11:
      9092 --topic 名称
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      6、接收消息
     
    
   

    

     

    
    

     

      ./bin/kafka-console-consumer.sh --bootstrap-server 
      172.16.
      0.11:
      9092 --topic demo-topic --from-beginning
     
    
   

    

     

    
    

     

      #./bin/kafka-console-consumer.sh --bootstrap-server 
      172.16.
      0.11:
      9092 --topic 名称 --from-beginning
     
    
  

1.2windows docker安装

1.2.1先下载安装zookeeper

docker search zookeeper

下载第一个

docker pull zookeeper

然后安装

docker run -d --name zookeeper -p 2181:2181 -t zookeeper

1.2.2下载安装kafka

docker search kafka

下载第一个

docker pull wurstmeister/kafka

安装

  

   

    

     

    
    

     

      docker run -d --name kafka --publish 
      9092:
      9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:
      2181 --env KAFKA_ADVERTISED_HOST_NAME=你的宿主ip --env KAFKA_ADVERTISED_PORT=
      9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      例如
     
    
   

    

     

    
    

     

      docker run -d --name kafka --publish 
      9092:
      9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:
      2181 --env KAFKA_ADVERTISED_HOST_NAME=
      127.0.
      0.1 --env KAFKA_ADVERTISED_PORT=
      9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest
     
    
  

1.2.3进入kafka

docker exec -it 你的kafka容器id /bin/bash

或者通过docker进入

然后进入opt文文件夹下=》 cd opt/；然后进入带编号的kafka文件

1.2.4创建kafka以及接收kafka

接下来我们创建一个topic 名为demo1

bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic demo1

查看topic列表

bin/kafka-topics.sh --list --zookeeper zookeeper:2181  //查看我们的topic列表

产生一个生产者，发送消息。出现>之后，任意输入值然后回车。就说明发送成功消息

  

   

    

     

    
    

     

      #bin/kafka-console-producer.sh --broker-list localhost:
      9092 --topic topic名
     
    
   

    

     

    
    

     

      bin/kafka-console-producer.sh --broker-list localhost:
      9092 --topic demo1
     
    
  

然后创建一个消息接收者

  

   

    

     

    
    

     

      #bin/kafka-console-consumer.sh --bootstrap-server localhost:
      9092 --topic topic名 --from-beginning
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      bin/kafka-console-consumer.sh --bootstrap-server localhost:
      9092 --topic test01 --from-beginning