kafka初体验

kafka初体验

安装java环境: 下载java环境包:wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz file 解压后,配置环境变量:vim /etc/profile

进入文本编辑,"shift+g"定位到文件尾, 另起一行写下如下数据

export JAVA_HOME=/usr/local/src/jdk1.8.0_171 (根据自己的完整路径修改)
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

保存退出 file 让环境变量生效 :source /etc/profile 验证是否安装成功: java -version

注意zookeeper与kafka下zookeeper的版本 这里使用zookeeper3.7.0 + kafka2.8.0 安装zookeeper下载zookeeper包 下载后解压

进入conf目录下,复制 zoo_sample.cfg 文件为zoo.cfg cd ./apache-zookeeper-3.7.0/conf cp zoo_sample.cfg ./zoo.cfg bin目录下启动服务:

#启动
sh zkServer.sh start
#查看启动状态
sh ./zkServer.sh status

启动成功 file

安装kafka: 下载kafka包 下载后解压

进入config目录配置集群vim server.properties

  1. 把broker.id改0,1,2 三台机器不一样 broker.id=0 file
  2. 把listeners生效,并加上本机ip listeners=PLAINTEXT://localhost:9092,去掉#号,这里不要写死地址,使用localhost,写死后连不上 file
  3. 指定zookeeper连接地址,改为zookeeper服务器地址zookeeper.connect=zookeeper服务器地址:2181 file
  4. 启动kafka,三台机器启动,进入bin目录,执行 sh kafka-server-start.sh -daemon ../config/server.properties

    查看zookeeper

    ps -ef|grep zookeeperfile

  5. 可以进入log目录看kafka日志tail -f server.log文件是否有报错 filekafka启动完成后,查看zookeeper集群连接情况 : 进入apache-zookeeper-3.7.0/bin目录执行
    sh zkCli.sh 
    #查看 执行ls /
    #查看连接情况ls /brokers/ids

    file

任意一台机器 新建topic:

sh kafka-topics.sh --create --zookeeper 192.168.88.137:2181 --replication-factor 1 --partitions 1 --topic test

 #说明
 #192.168.88.137:2181  ###这是zookeeper服务ip+端口号
 #test ###这是topic

file 使用任意一台kafka服务器做生产者:

sh kafka-console-producer.sh --broker-list 192.168.88.132:9092 --topic test

ip不行时试试127.0.0.1或者修改kafka->config->server.properties

# 允许外部端口连接                                            
listeners=PLAINTEXT://0.0.0.0:9092  
# 外部代理地址                                                
advertised.listeners=PLAINTEXT://121.201.64.12:9092

file

file kafka消费:

kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test1 --from-beginning

filefile参考链接

猜你喜欢