共计 2234 个字符,预计需要花费 6 分钟才能阅读完成。
Storm 的安装步骤
1、正常安装 JDK,测试 JKD 是否安装正常。
$ Java -version
2、正常安装 Python,测试 Python 是否安装正常。
$ python
3、正常安装 Zookeeper。
$ cd apache/
$ tar -xvf zookeeper-3.4.5.tar.gz
$ cd zookeeper-3.4.5/
$ mkdir data
$ mkdir logs
$ cd conf/
$ cp zoo_sample.cfg zoo.cfg
$ vim zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/wcbdd/apache/zookeeper-3.4.5/data
dataLogDir=/home/wcbdd/apache/zookeeper-3.4.5/logs
clientPort=2181
server.1=localhost:2888:3888
$ cd ..
$ echo “1” > data/myid
$ cd ~
$ vim .bashrc
exportZOOKEEPER_HOME=/home/wcbdd/apache/zookeeper-3.4.5
exportPATH=$PATH:$ZOOKEEPER_ HOME/bin
$ su – wcbdd
$ cd apache/zookeeper-3.4.5/bin/
$ vim zkEnv.sh
if [“x${ZOO_LOG_DIR}” = “x” ]
then
ZOO_LOG_DIR=”$ZOOKEEPER_HOME/logs”
fi
if [“x${ZOO_LOG4J_PROP}” = “x” ]
then
ZOO_LOG4J_PROP=”INFO,ROLLINGFILE”
fi
4、启动 Zookeeper,并检查其工作状态。
$ zkServer.sh start
$ jps
$ zkServer.sh status
备注:标红的是刚才开启的 Zookeeper 进程,HQuorumPeer 是 Hbase 内置的 Zookeeper 进程,因为以前配置的 Hbase 是由内置 Zookeeper 托管的,其实工作环境中一般都是把 Hbase 交给外部 Zookeeper 集群来托管。
5、安装 Storm。
$ cd apache/
$ tar -xvf apache-storm-0.9.6.tar.gz
$ cd apache-storm-0.9.6/
$ mkdir data
$ vim conf/storm.yaml
storm.zookeeper.servers:
– “localhost”
storm.zookeeper.port: 2181
nimbus.host: “localhost”
storm.local.dir:”/home/wcbdd/apache/apache-storm-0.9.6/data”
supervisor.slots.ports:
– 6700
– 6701
– 6702
– 6703
备注:设置了从节点 slots 有 4 个端口,即最多一个节点能开启 4 个 worder,每个 worker 是一个进程,一个进程又可开启很多个线程 task。这个值可根据节点资源配置情况和业务需求进行设置。
$ cd ~
$ vim .bashrc
exportSTORM_HOME=/home/wcbdd/apache/apache-storm-0.9.6
exportPATH=$PATH:$STORM_HOME/bin
$ su – wcbdd
6、启动 Storm。
$ storm nimbus >/dev/null 2>&1 & // 启动主节点
$ storm supervisor >/dev/null 2>&1& // 启动从节点
$ storm ui >/dev/null 2>&1 & // 启动后台 UI 管理界面
7、查看 Storm 是否正常启动。
$ jps
备注:上图的 nimbus 为 storm 主节点进程,supervisor 为从节点进程,core 为后台管理界面进程。
8、通过浏览器查看 Storm 后台管理界面。
备注:第一个红框显示了 storm 的版本号、主节点运行时间、从节点数量、slots 使用情况、任务数量等;第二个红框显示当前没有拓扑任务;第三个红框显示从节点信息,由图可知,这个 storm 集群只有一个从节点,运行在 wcbdd 主机上,有 4 个 slots,当前使用的 slots 数量为 0。
9、执行 Storm 的示例程序 WordCountTopology。
$ cd apache/apache-storm-0.9.6/examples/ storm-starter/
$ storm jar storm-starter-topologies-0.9.6.jarstorm.starter.WordCountTopology wordcount
备注:此命令的作用是用 storm 将这个 jar 包发送给 storm 去执行,后面的 wordcount 是定义的 topology 名称。
10、停止拓扑任务 wordcount。
$ storm deactivate wordcount
Kafka-Storm 集成部署 http://www.linuxidc.com/Linux/2016-03/129063.htm
Storm 在 Ubuntu 环境下的单机部署 http://www.linuxidc.com/Linux/2016-03/129060.htm
本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-08/134184.htm