jstorm 集群安装配置

2490阅读 0评论2015-12-04 qingheliu
分类:大数据

安装步骤

搭建Zookeeper集群,这个很容易搞定的,省略....


搭建JStorm集群

安装python 2.6

安装java: 就是安装jdk,配置环境变量,省略.....

注意,如果当前系统是64位系统,则需要下载java 64位,如果是32为系统,则下载32位java

安装zeromq(如果不使用zeromq, 可以不安装zeromq)

wget 

tar zxf zeromq-2.1.7.tar.gz
####这里需要先安装下该软件的依赖包,否则会有报错的 
yum -y install uuid-devel  libuuid-devel

cd zeromq-2.1.7

./configure --prefix=/home/hadoop/zeromq

make

sudo make install

sudo ldconfig
##如果不执行后面这两个命令,编译下面的jzmq会报错:

 export CPPFLAGS=-I/home/hadoop/zeromq/include/
 export LDFLAGS=-L/home/hadoop/zeromq/lib/




如果没有root权限,或当前用户无sudo权限时,执行 “ ./configure --prefix=/home/xxxxx” 替换 “./configure”, 其中/home/xxxx 为安装目标目录

安装jzmq(如果不使用jzmq, 可以不安装jzmq)

   su - hadoop

  git clone git://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

./configure  --prefix=/home/hadoop/jzmq

make

make install

如果没有root权限,或当前用户无sudo权限时,执行 “ ./configure --prefix=/home/xxxx --with-zeromq=/home/xxxx” 替换 “./configure”, 其中/home/xxxx 为安装目标目录

安装JStorm

假设以为例

tar jxvf jstorm-2.1.0.tar.bz2
ln -s deploy  jstorm

vi ~/.bash_profile

export JSTORM_HOME=/home/hadoop/jstorm/jstorm

export PATH=$PATH:$JSTORM_HOME/bin  ##红色为添加的部分,个人目录不同要做相应的修改!
source ~/.bash_profile   #使之立即生效


配置$JSTORM_HOME/conf/storm.yaml

配置项:

在提交jar的节点上执行:

#mkdir ~/.jstorm
#cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm 
我的 配置文件如下:
  1. [hadoop@namenode conf]$ cat storm.yaml | grep -v "#" | grep -v "^$"
  2.  storm.zookeeper.servers:
  3.      - "10.33.96.241"
  4.      - "10.33.96.242"
  5.      - "10.33.96.243"
  6.  storm.zookeeper.root: "/jstorm"
  7.  nimbus.host: "10.33.96.241"  
  8.  storm.local.dir: "%JSTORM_HOME%/data"  
  9.  java.library.path: "/usr/local/lib:/opt/local/lib:/usr/lib:/usr/local/jdk/lib"
  10.  supervisor.slots.ports:
  11.     - 6800
  12.     - 6801
  13.     - 6802
  14.     - 6803
  15.  [hadoop@namenode conf]$ pwd
  16. /home/hadoop/jstorm/jstorm/conf
  17. [hadoop@namenode conf]$
##说明:我用3台机器做了zookeeper集群,10.33.96.241为nimbus机器,其他的3台为supervisor机器! 

安装JStorm web ui

必须使用tomcat 7.0 或以上版本, 注意不要忘记拷贝 ~/.jstorm/storm.yaml

web ui 可以和nimbus不在同一个节点

mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
下载tomcat 7.x (以apache-tomcat-7.0.37 为例)
tar -xzf apache-tomcat-7.0.37.tar.gz
cd apache-tomcat-7.0.37
cd webapps
cp $JSTORM_HOME/jstorm-ui-2.1.0.war ./
mv ROOT ROOT.old
这里要先启动tomcat,会自动将jstorm-ui-2.1.0.war  文件解压,生成jstorm-ui-2.1.0文件夹,然后才能做软连接
ln -s jstorm-ui-2.1.0 ROOT   
cd ../bin
./startup.sh 

启动JStorm

在nimbus 节点上执行 “nohup jstorm nimbus &”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误

在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误

我配置后的截图如下:



jstorm HA 机制:

上一篇:Nginx+tomcat+websocket配置
下一篇:jstorm 使用过程中遇到的问题