storm如何扩容升级

storm如何扩容升级

经验文章nimo972024-12-24 10:59:0815A+A-

一、项目背景

截止24年4月底,某IT监控系统已接入100个业务指标,覆盖全流程,但是目前某系统中的STORM集群中的剩余插槽只有27个了,使用率已达82%,考虑双十一数据量较大,需要进行升级扩容以便满足日益增长的业务需求。

二、Apache官网下载Storm安装包

https://storm.apache.org/downloads.html



三、版权规划

与生产一致


1.2.1

四、扩容服务器规划

序号

类型

IP

备注

1

现有

X.249.139.226

X.249.139.238

X.249.139.235

X.249.139.237

X.249.139.231

X.249.139.236

X.249.139.234

X.249.139.227

X.249.139.239

X.249.139.232

X.249.139.233

X.249.139.229

X.250.138.77

X.250.138.81

X.250.138.75

X.250.138.79

X.250.138.76

X.250.138.78

X.250.138.80

X.250.138.74

20台服务器

2

扩容

X.250.142.59

X.250.142.60

2台服务器






五、测试环境验证

先在测试环境中进行验证无误后进行生产配置。

http://X.230.27.126:8081/index.html

六、安装及配置

安装环境:jdk8,cenos操作系统

6.1 在新加的机器中(X.250.142.59,X.250.142.60)增加域名解析A记录


增加如下配置:

X.249.139.226 主机名1
X.249.139.227 主机名2


6.2 建立目录

mkdir storm

6.3给目录 加权限

chmod 755 -R storm

6.4解压安装包

tar -zxvf apache-storm-1.2.1.tar.gz -C storm /

6.5建立软链接(类似快捷方式)

ln -s apache-storm-1.2.1 storm

6.6 复制原先的storm配置

先备份配置文件 mv ./storm.yaml ./storm.yaml.bak

部分配置如下:


X.249.139.226的配置复制到X.250.142.59,X.250.142.60机器中

6.7 启动新扩容的从节点nohup ./storm supervisor &

6.8 验证集群的FREE SLOTS数量是否有增加。

点击这里复制本文地址 以上内容由nimo97整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!
qrcode

尼墨宝库 © All Rights Reserved.  蜀ICP备2024111239号-7