共计 2824 个字符,预计需要花费 8 分钟才能阅读完成。
一、ELLA 监控需求
XMonitor 监控系统 (svn 目录 svn.d.xiaonei.com/Hadoop/Xmonitor)
1 监控展示
- NameNode : gc_heap/load/performance/cluster/operation
- JobTracker : gc_heap/rpc/job_status/queue_status
- HMaster:
- Monitor: big_job/dead DN,dead TT/clear Log/check Point
2 监控查询
- DataNode disk:磁盘情况,block 情况
- Region server load:负载,请求数量
- User space 增量:集群二级目录的 HDFS 使用量
2 Auto Operation 自动化运维 (svn 目录 svn.d.xiaonei.com/hadoop/Operations)*
- ping :
- nnCheck
- jtCheck
- checkHDFS
- kill_job
- job_check
Ella 主要分为两部分,一部分负责信息的抓取, 一部分负责可视化展示
二、ELLA 安装部署
1. 源码地址
2. 数据库准备
手动创建一个数据库,然后使用 sql/sql.txt 中的 ddl 创建 Ella 所需要的表
3. 配置文件
信息抓取程序和可视化展示的 web 程序都依赖 conf/ella.properties 配置文件
4. 部署信息抓取器
1. 进入 minitor/ 目录,使用 mvn package 将负责信息抓取的代码打成一个 jar 包 (所有依赖的 jar 也会打入该 jar 包)
2.rs_host 表中添加所有 RegionServer 的 ip 地址
3. 主运行类为 com.xiaonei.xmonitor.Monitor, 运行该类
5. 部署可视化展示 Web 程序
1. 进入 web/ 目录,使用 mvn package 将 web 打成一个 war 包
2. 将生成的 war 包部署到一个 web 服务器中
6. 线上 Ella 部署
http://ella.d.linuxidc.com:8080/
用户名密码 admin/admin
7. 重启
tomcat 部署在:/opt/apache-tomcat-6.0.37/bin 目录 startup.sh
dbserver 部署在:/opt/hadoop_cluster_install/script/maintain/yz/XMonitor/DBServer/ 目录 setup-dbserver.sh
相关阅读 :
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
![post-qrcode](https://www.xgss.net/wp-content/uploads/2023/07/二维码-微信公众号256x256.jpg)