kafak+zookeeper

kafak+zookeeper

经验文章nimo972025-03-08 14:03:5410A+A-

1.实现filebeat的高吞吐,以及高可用,高性能的日志转发 均衡的工作

1,下载kafka

wget http://*.*.*.*/ElasticStack/day07-/softwares/kafka_2.13-3.2.1.tgz

(2)解压软件包

tar xf kafka_2.13-3.2.1.tgz -C /oldboyedu/softwares/


(3)创建符号连接

ln -svf kafka_2.13-3.2.1 kafka

(4)配置环境变量

cat /etc/profile.d/kafka.sh

#!/bin/bash

export ZK_HOME=/wade/softwares/zk

export PATH=$PATH:$ZK_HOME/bin

export KAFKA_HOME=/wade/softwares/kafka

export PATH=$PATH:$KAFKA_HOME/bin


source /etc/profile.d/kafka.sh

(5)修改配置文件

vi softwares/kafka/config/server.properties

broker.id=101

zookeeper.connect=10.0.0.101:2181,10.0.0.102:2181,10.0.0.103:2181

启动kafka单点

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties


zookeeper的安装:

下载

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz

解压

tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz

配置文件修改

启动zk

./zkServer.sh start 启动zk

./zkServer.sh status查看状态

./zkCli.sh 链接zk'

zookeeper是一种服务 主要是存储一些kv型的数据,

ZooKeeper 是一个分布式协调工具,主要用于解决分布式系统中的数据一致性、服务注册与发现、分布式锁、Leader 选举、配置管理等问题。它广泛应用于分布式系统中,特别是在 Hadoop、HBase、Kafka 等大数据和流处理系统中,有助于管理集群、确保系统的高可用性和一致性。如果你在构建大规模的分布式系统,ZooKeeper 是一个非常有用的工具。

get /wade_test/jiaoshi01 查看

create /wade_test/jiaoshi01 wadetest 在znode下创建对应的数据

创建znode点: create /wade_test

修改 set /wade_test/jiaoshi01 yearts

znode中的 create -s /wade_test test 是创建一个临时的znode节点,当会话退出时会删除临时的幻化znode节点

点击这里复制本文地址 以上内容由nimo97整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!
qrcode

尼墨宝库 © All Rights Reserved.  蜀ICP备2024111239号-7