创建Maven项目打包提交wordcount到Storm集群

创建Maven项目打包提交wordcount到Storm集群

经验文章nimo972025-03-18 22:38:1410A+A-

在上一篇博客中,我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount。本文将介绍如何编写Java端的程序以及如何发布到测试的Storm环境中运行。

如果你觉得对你有帮助,欢迎Star和Fork,让更多人看到来帮助完善这个项目。

STEP1: 克隆storm官方示例项目 storm-starter:

$ git clone git://github.com/apache/storm.git && cd storm/examples/storm-starter

STEP2: 增加csharp的多语言支持:

将上一篇博客 使用Csharp创建你的第一个Storm拓扑 中完成的项目编译,把生产的组件拷贝到/multilang/resources/ 文件夹中。

STEP3:使用JAVA创建Topology:

/src/jvm/storm/starter/ 新增
WordCountTopologyCsharp.java

本例是在window平台使用.Net执行,如果你使用Mono,或者在其它平台通过Mono运行,请将

super("cmd", "/k", "CALL", "StormSimple.exe", "xxxxxx");

替换为

super("mono", "StormSimple.exe", "xxxxxx");

STEP4:编译并提交Topology:

  • 初始化安装storm所需依赖:$ mvn clean install -DskipTests=true

  • 使用Maven打包storm拓扑:$ mvn package

  • 搭建好运行环境并提交:

    $ storm jar storm-starter-*-jar-with-dependencies.jar storm.starter.WordCountTopologyCsharp wordcount

    storm集群的搭建请参考系列文章第一篇 搭建dotNet开发Storm拓扑的环境

    image

原文地址:
http://www.tnidea.com/deploy-wordcount-topology.html

未经授权,拒绝任何全文及摘要转载!

欢迎关注微信公众号:CareyTzou(dotNet大数据)

点击这里复制本文地址 以上内容由nimo97整理呈现,请务必在转载分享时注明本文地址!如对内容有疑问,请联系我们,谢谢!
qrcode

尼墨宝库 © All Rights Reserved.  蜀ICP备2024111239号-7