Storm0.9.0.1升级安装

178次阅读

共计 2008 个字符，预计需要花费 6 分钟才能阅读完成。

1，下载 0.9.0.1 http://storm.incubator.apache.org/downloads.html

2，安装就 jdk,Python,zookeeper 在服务器 “192.168.1.1” “192.168.1.1””192.168.1.2″ 上

3，解压，修改 conf 下的 storm.yaml

storm.zookeeper.servers:
– “192.168.1.1”
– “192.168.1.2”
– “192.168.1.3”

nimbus.host: “192.168.1.10”
storm.local.dir: “/data/storm/work”
supervisor.slots.ports:
– 6700
– 6701
– 6702
– 6703
storm.messaging.transport: “backtype.storm.messaging.netty.Context”
storm.messaging.netty.buffer_size: 209715200
storm.messaging.netty.max_retries: 100
storm.messaging.netty.max_wait_ms: 1000
storm.messaging.netty.min_wait_ms: 100

logviewer.port: 80

4, 删除 storm/lib 下的 log4j-over-slf4j，因为 0.9 用的 logback, 不删除 top 可能起不来，并报类似如下错误

2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn’t started
2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn’t started

或者如下错误

2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
Java.io.IOException: No such file or directory

把这些错误日志前面的执行语句拿出来看一下就明白了

为了支持 logviewer 还要给 storm/lib 下手动 copy 一个 log4j 的 jar 报，这个自己找找吧，我是把 0.8.1 下面的 log4j 拷贝过来的

不得不说，storm 的升级对日志的支持很乱

4，分发配置好的 storm，到 192.168.1.10，192.168.1.12，192.168.1.13，并在三台服务器上创建 /data/storm/work 给足够的写权限

5，启动

192.168.1.10

#启动 storm nimbus 进程
nohup storm nimbus &
#启动 storm ui 监控界面进程
nohup storm ui &

192.168.1.12，192.168.1.13

#启动 storm supervisor 进程
nohup storm supervisor &
# 启动 storm 日志监控进程。启动该进程，可以在 storm ui 界面上看各个 supervisor 节点上日志
nohup storm logviewer &

6，show time