安装步骤
- 从下载relase包
- 搭建Zookeeper集群
- 安装Python 2.6
- 安装Java
- 安装zeromq
- 安装Jzmq
- 配置$JSTORM_HOME/conf/storm.yaml
- 搭建web ui
- 启动JStorm集群
搭建Zookeeper集群,这个很容易搞定的,省略....
搭建JStorm集群
安装python 2.6
- yum -y install python python-devel
安装java: 就是安装jdk,配置环境变量,省略.....
注意,如果当前系统是64位系统,则需要下载java 64位,如果是32为系统,则下载32位java
安装zeromq(如果不使用zeromq, 可以不安装zeromq)
wget
tar zxf zeromq-2.1.7.tar.gz
####这里需要先安装下该软件的依赖包,否则会有报错的
yum -y install uuid-devel libuuid-develcd zeromq-2.1.7
./configure --prefix=/home/hadoop/zeromq
make
sudo make install
sudo ldconfig
##如果不执行后面这两个命令,编译下面的jzmq会报错:
export CPPFLAGS=-I/home/hadoop/zeromq/include/
export LDFLAGS=-L/home/hadoop/zeromq/lib/
如果没有root权限,或当前用户无sudo权限时,执行 “ ./configure --prefix=/home/xxxxx” 替换 “./configure”, 其中/home/xxxx 为安装目标目录
安装jzmq(如果不使用jzmq, 可以不安装jzmq)
git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure --prefix=/home/hadoop/jzmq
make
make install
如果没有root权限,或当前用户无sudo权限时,执行 “ ./configure --prefix=/home/xxxx --with-zeromq=/home/xxxx” 替换 “./configure”, 其中/home/xxxx 为安装目标目录
安装JStorm
假设以为例
tar jxvf jstorm-2.1.0.tar.bz2
ln -s deploy jstormvi ~/.bash_profile
export JSTORM_HOME=/home/hadoop/jstorm/jstorm
export PATH=$PATH:$JSTORM_HOME/bin ##红色为添加的部分,个人目录不同要做相应的修改!
source ~/.bash_profile #使之立即生效
配置$JSTORM_HOME/conf/storm.yaml
配置项:
- storm.zookeeper.servers: 表示zookeeper 的地址,
- nimbus.host: 表示nimbus的地址
- storm.zookeeper.root: 表示jstorm在zookeeper中的根目录,当多个JStorm共享一个ZOOKEEPER时,需要设置该选项,默认即为“/jstorm”
- storm.local.dir: 表示jstorm临时数据存放目录,需要保证jstorm程序对该目录有写权限
- java.library.path: zeromq 和java zeromq library的安装目录,默认"/usr/local/lib:/opt/local/lib:/usr/lib"
- supervisor.slots.ports: 表示supervisor 提供的端口slot列表,注意不要和其他端口发生冲突,默认是68xx,而storm的是67xx
- supervisor.disk.slot: 表示提供数据目录,当一台机器有多块磁盘时,可以提供磁盘读写slot,方便有重IO操作的应用。
- topology.enable.classloader: false, 默认关闭classloader,如果应用的jar与jstorm的依赖的jar发生冲突,比如应用使用thrift9,但jstorm使用thrift7时,就需要打开classloader
- nimbus.groupfile.path: 如果需要做资源隔离,比如数据仓库使用多少资源,技术部使用多少资源,无线部门使用多少资源时,就需要打开分组功能, 设置一个配置文件的绝对路径,改配置文件如源码中group_file.ini所示
- storm.local.dir: jstorm使用的本地临时目录,如果一台机器同时运行storm和jstorm的话, 则不要共用一个目录,必须将二者分离开
在提交jar的节点上执行:
#mkdir ~/.jstorm #cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm 我的 配置文件如下:
- [hadoop@namenode conf]$ cat storm.yaml | grep -v "#" | grep -v "^$"
- storm.zookeeper.servers:
- - "10.33.96.241"
- - "10.33.96.242"
- - "10.33.96.243"
- storm.zookeeper.root: "/jstorm"
- nimbus.host: "10.33.96.241"
- storm.local.dir: "%JSTORM_HOME%/data"
- java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/jdk/lib"
- supervisor.slots.ports:
- - 6800
- - 6801
- - 6802
- - 6803
- [hadoop@namenode conf]$ pwd
- /home/hadoop/jstorm/jstorm/conf
- [hadoop@namenode conf]$
##说明:我用3台机器做了zookeeper集群,10.33.96.241为nimbus机器,其他的3台为supervisor机器!
安装JStorm web ui
必须使用tomcat 7.0 或以上版本, 注意不要忘记拷贝 ~/.jstorm/storm.yaml
web ui 可以和nimbus不在同一个节点
mkdir ~/.jstorm cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm 下载tomcat 7.x (以apache-tomcat-7.0.37 为例) tar -xzf apache-tomcat-7.0.37.tar.gz cd apache-tomcat-7.0.37 cd webapps cp $JSTORM_HOME/jstorm-ui-2.1.0.war ./ mv ROOT ROOT.old 这里要先启动tomcat,会自动将jstorm-ui-2.1.0.war 文件解压,生成jstorm-ui-2.1.0文件夹,然后才能做软连接 ln -s jstorm-ui-2.1.0 ROOT cd ../bin ./startup.sh
启动JStorm
在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误
在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误
我配置后的截图如下:

jstorm HA 机制:
