共计 14479 个字符,预计需要花费 37 分钟才能阅读完成。
概述
syslog-ng 是基于 syslog 协议的 Unix 和类 Unix 系统的开源软件。它基于原来 syslogd 的模型,扩展了富的过滤功能,灵活的配置选项,添加了重要的功能,如使用 TCP 进行传输系统日志。logzilla 是一个 syslog 和其他网络事件数据的 Web 前端工具, 提供简单易用的日志浏览、搜索和基本分析以及图表显示。
本文环境为 CentOS 6.5 平台部署 SYSLOG-NG+LOGZILLA,其中 logzilla 2.99o 为最后一免费版本。
CentOS 5.8 搭建日志管理服务器(Syslog-ng+logzilla)http://www.linuxidc.com/Linux/2012-06/62198.htm
关于 Linux 中 Syslog-ng 如何在转发时修改其 facility 以及 level http://www.linuxidc.com/Linux/2012-02/53941.htm
RHEL5 下使用 Syslog-ng 构建集中型日志服务器 http://www.linuxidc.com/Linux/2010-03/25170.htm
环境要求
CENTOS 6.5 X64
安装过程
安装介质
http://www.balabit.com/downloads/files?path=/syslog-ng/open-source-edition/3.3.5/source/ eventlog_0.2.12.tar.gz
syslog-ng_3.3.5.tar.gz
http://www.balabit.com/downloads/files?path=/libol/0.3/
libol-0.3.15.tar.gz
http://blog.liuts.com/attachment.php?fid=340
logzilla_v2.9.9o.tgz
SYSLOG-NG 配置
用 root 用户登录
调整时间
#hwclock –set –date=”2014/06/04 19:49″
#hwclock -hctosys
配置本地 YUM 源
#mkdir /mnt/cdrom
#mount /dev/cdrom /mnt/cdrom
#cd /etc/yum.repos.d/
#mv rhel-source.repo rhel-source.repo.bak
#vi media.repo
[media]
name=media
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=0
配置前先关闭 iptables 和 SELINUX,避免安装过程中报错。
# service iptables stop
# setenforce 0
# vi /etc/sysconfig/selinux
—————
SELINUX=disabled
安装 MYSQL PHP APACHE
# yum install mysql-server mysql-devel libcurl-devel net-snmp-devel php php-gd php-xml php-mysql httpd
安装 eventlog
创建安装目录
#mkdir /etc/eventlog
将安装文件解压至安装目录
上传安装文件至 /etc/eventlog 下
#tar zxvf eventlog_0.2.12.tar.gz
编译安装
#cd /etc/eventlog/eventlog-0.2.12
#./configure –prefix=/etc/eventlog && make && make install
安装 libol(最新的 libol 可能导致 Syslog-NG 不能安装)
创建安装目录
# /mkdir /etc/libol
将安装文件解压至安装目录
上传安装文件至 /etc/libol 下
#tar xvf libol-0.3.15.tar
编译安装
#cd /etc/libol/libol-0.3.15
#./configure –prefix=/etc/libol && make && make install
安装 Syslog-NG
创建安装目录
# mkdir /etc/syslogng
将安装文件解压至安装目录
上传安装文件至 /etc/syslogng 下
#tar zxvf syslog-ng_3.3.5.tar.gz
编译安装
#cd /etc/syslogng/syslog-ng-3.3.5
#export PKG_CONFIG_PATH=/etc/eventlog/lib/pkgconfig
#./configure –prefix=/etc/syslogng –with-libol=/etc/libol && make && make install
configure: error: Cannot find eventlog version >= 0.2: is pkg-config in path? (若出现这个错误,基本上是由于前面的 PKG_CONFIG_PATH 变量没指定好)
编辑 SYSLOG-NG 配置文件
#cp contrib/init.d.RedHat /etc/init.d/syslog-ng
#cd /etc/syslogng/etc/
#mv syslog-ng.conf syslog-ng.conf.bak
#vi syslog-ng.conf
@version:3.3.5
options {
long_hostnames(off);
log_msg_size(8192);
flush_lines(1);
log_fifo_size(20480);
time_reopen(10);
use_dns(yes);
dns_cache(yes);
use_fqdn(yes);
keep_hostname(yes);
chain_hostnames(no);
perm(0644);
stats_freq(43200);
};
source s_internal {
internal();
};
source s_local {
unix-stream(“/dev/log” max-connections(50));
file(“/proc/kmsg” program_override(“kernel: “));
};
# 使用 514 端口会与服务器本身的 RSYSLOG 产生冲突,建议可直接关闭 RSYSLOG,配置 SYSLOGNG 同时接受服务器日志。
source s_src {
tcp(ip(0.0.0.0) port(514));
udp(ip(0.0.0.0) port(514));
};
destination d_syslognglog {
file(“/var/log/syslog-ng.log”);
};
destination d_mysql {
program(“/usr/bin/mysql -usyslogadmin -psyslogadmin syslog”
template(“INSERT INTO logs (host, facility, priority, level, tag, fo, program, msg, seq)
VALUES (‘$HOST’, ‘$FACILITY’, ‘$PRIORITY’, ‘$LEVEL’, ‘$TAG’, ‘$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC’, ‘$PROGRAM’, ‘$MSG’, ‘$SEQ’);\n”)
template-escape(yes));
};
# 在服务器文件下保存信息, 用于调试 mysql 接收到数据
#destination r_messages {
# file(“/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages”
# owner(“root”) group(“root”)
# perm(0640) dir_perm(0750)
# create_dirs(yes)
# );
#};
log {
source(s_internal);
destination(d_syslognglog);
};
log {
source(s_local);
destination(d_mysql);
# destination(r_messages);
};
log {
source(s_src);
destination(d_mysql);
# destination(r_messages);
};
更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-06/103052p2.htm
设置开机启动
#vi /etc/init.d/syslog-ng
开头添加
#!/bin/bash
#chkconfig: 2345 12 88
#Description: syslog-ng
修改 PATH INIT_PROGINIT_OPTS
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/etc/syslogng/bin:/etc/syslogng/sbin
INIT_PROG=”/etc/syslogng/sbin/syslog-ng” # Full path to daemon
INIT_OPTS=”-f /etc/syslogng/etc/syslog-ng.conf” # options passed to daemon
赋权限,添加服务
#chmod +x /etc/init.d/syslog-ng
#chkconfig –add syslog-ng
#service syslog-ng start
Starting syslog-ng: /usr/local/syslog-ng/sbin/syslog-ng: error while loading shared libraries: libevtlog.so.0: cannot open shared object file: No such file or directory
Starting Kernel Logger: 出现此错误是因为共享库链接没做好
#ln -s /etc/eventlog/lib/* /lib/
#ln -s /etc/eventlog/lib/* /lib64/
防火墙开放服务端口
#service iptables start
/sbin/iptables -I INPUT -p tcp –dport 514 -j ACCEPT
/sbin/iptables -I INPUT -p udp –dport 514 -j ACCEPT
#/etc/init.d/iptables save
#/etc/init.d/iptables status
LOLZILLA 配置
用 root 用户登录
配置前先关闭 iptables 和 SELINUX,避免安装过程中报错。
# service iptables stop
# setenforce 0
# vi /etc/sysconfig/selinux
—————
SELINUX=disabled
上传安装文件至 apache 目录下
# cd /var/www/html
# tar zxvf logzilla_v2.9.9o.tgz
#chown -R root.root php-syslog-ng
#service mysqld restart
#service httpd restart
修改 php 环境
为配合 php-syslog-ng 对 php 环境的要求,请修改 /etc/php.ini 中的内容为:
display_errors = On
magic_quotes_gpc = On
memory_limit =256M
max_execution_time = 90
创建日志目录
# mkdir -p /var/log/httpd/php-syslog-ng
# mkdir -p /var/log/php-syslog-ng
配置虚拟机 (配置 apache 安全)
这部分,请根据 apache 实际情况操作。以默认系统为例,虚拟主机配置文件都放在 /etc/httpd/conf/httpd.conf,加入下面内容。
# PHP-SYSLOG-NG
<VirtualHost *:80>
ServerName zbserver
ServerAdmin zhjixi1234@163.com
DocumentRoot /var/www/html/php-syslog-ng/html
<Directory />
Options FollowSymLinks
AllowOverride All
</Directory>
<Directory /var/www/html/php-syslog-ng/html>
# pcw No directory listings
# Options Indexes FollowSymLinks MultiViews
Options -Indexes FollowSymLinks MultiViews
AllowOverride All
Order allow,deny
allow from all
</Directory>
<Directory /var/www/html/php-syslog-ng/html/config>
Deny from all
</Directory>
ErrorLog /var/log/httpd/php-syslog-ng/error.log
# Possible values include: debug, info, notice, warn, error, crit,
# alert, emerg.
LogLevel warn
CustomLog /var/log/httpd/php-syslog-ng/access.log combined
ServerSignature On
</VirtualHost>
概述
syslog-ng 是基于 syslog 协议的 Unix 和类 Unix 系统的开源软件。它基于原来 syslogd 的模型,扩展了富的过滤功能,灵活的配置选项,添加了重要的功能,如使用 TCP 进行传输系统日志。logzilla 是一个 syslog 和其他网络事件数据的 Web 前端工具, 提供简单易用的日志浏览、搜索和基本分析以及图表显示。
本文环境为 CentOS 6.5 平台部署 SYSLOG-NG+LOGZILLA,其中 logzilla 2.99o 为最后一免费版本。
CentOS 5.8 搭建日志管理服务器(Syslog-ng+logzilla)http://www.linuxidc.com/Linux/2012-06/62198.htm
关于 Linux 中 Syslog-ng 如何在转发时修改其 facility 以及 level http://www.linuxidc.com/Linux/2012-02/53941.htm
RHEL5 下使用 Syslog-ng 构建集中型日志服务器 http://www.linuxidc.com/Linux/2010-03/25170.htm
环境要求
CENTOS 6.5 X64
安装过程
安装介质
http://www.balabit.com/downloads/files?path=/syslog-ng/open-source-edition/3.3.5/source/ eventlog_0.2.12.tar.gz
syslog-ng_3.3.5.tar.gz
http://www.balabit.com/downloads/files?path=/libol/0.3/
libol-0.3.15.tar.gz
http://blog.liuts.com/attachment.php?fid=340
logzilla_v2.9.9o.tgz
SYSLOG-NG 配置
用 root 用户登录
调整时间
#hwclock –set –date=”2014/06/04 19:49″
#hwclock -hctosys
配置本地 YUM 源
#mkdir /mnt/cdrom
#mount /dev/cdrom /mnt/cdrom
#cd /etc/yum.repos.d/
#mv rhel-source.repo rhel-source.repo.bak
#vi media.repo
[media]
name=media
baseurl=file:///mnt/cdrom
enabled=1
gpgcheck=0
配置前先关闭 iptables 和 SELINUX,避免安装过程中报错。
# service iptables stop
# setenforce 0
# vi /etc/sysconfig/selinux
—————
SELINUX=disabled
安装 MYSQL PHP APACHE
# yum install mysql-server mysql-devel libcurl-devel net-snmp-devel php php-gd php-xml php-mysql httpd
安装 eventlog
创建安装目录
#mkdir /etc/eventlog
将安装文件解压至安装目录
上传安装文件至 /etc/eventlog 下
#tar zxvf eventlog_0.2.12.tar.gz
编译安装
#cd /etc/eventlog/eventlog-0.2.12
#./configure –prefix=/etc/eventlog && make && make install
安装 libol(最新的 libol 可能导致 Syslog-NG 不能安装)
创建安装目录
# /mkdir /etc/libol
将安装文件解压至安装目录
上传安装文件至 /etc/libol 下
#tar xvf libol-0.3.15.tar
编译安装
#cd /etc/libol/libol-0.3.15
#./configure –prefix=/etc/libol && make && make install
安装 Syslog-NG
创建安装目录
# mkdir /etc/syslogng
将安装文件解压至安装目录
上传安装文件至 /etc/syslogng 下
#tar zxvf syslog-ng_3.3.5.tar.gz
编译安装
#cd /etc/syslogng/syslog-ng-3.3.5
#export PKG_CONFIG_PATH=/etc/eventlog/lib/pkgconfig
#./configure –prefix=/etc/syslogng –with-libol=/etc/libol && make && make install
configure: error: Cannot find eventlog version >= 0.2: is pkg-config in path? (若出现这个错误,基本上是由于前面的 PKG_CONFIG_PATH 变量没指定好)
编辑 SYSLOG-NG 配置文件
#cp contrib/init.d.RedHat /etc/init.d/syslog-ng
#cd /etc/syslogng/etc/
#mv syslog-ng.conf syslog-ng.conf.bak
#vi syslog-ng.conf
@version:3.3.5
options {
long_hostnames(off);
log_msg_size(8192);
flush_lines(1);
log_fifo_size(20480);
time_reopen(10);
use_dns(yes);
dns_cache(yes);
use_fqdn(yes);
keep_hostname(yes);
chain_hostnames(no);
perm(0644);
stats_freq(43200);
};
source s_internal {
internal();
};
source s_local {
unix-stream(“/dev/log” max-connections(50));
file(“/proc/kmsg” program_override(“kernel: “));
};
# 使用 514 端口会与服务器本身的 RSYSLOG 产生冲突,建议可直接关闭 RSYSLOG,配置 SYSLOGNG 同时接受服务器日志。
source s_src {
tcp(ip(0.0.0.0) port(514));
udp(ip(0.0.0.0) port(514));
};
destination d_syslognglog {
file(“/var/log/syslog-ng.log”);
};
destination d_mysql {
program(“/usr/bin/mysql -usyslogadmin -psyslogadmin syslog”
template(“INSERT INTO logs (host, facility, priority, level, tag, fo, program, msg, seq)
VALUES (‘$HOST’, ‘$FACILITY’, ‘$PRIORITY’, ‘$LEVEL’, ‘$TAG’, ‘$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC’, ‘$PROGRAM’, ‘$MSG’, ‘$SEQ’);\n”)
template-escape(yes));
};
# 在服务器文件下保存信息, 用于调试 mysql 接收到数据
#destination r_messages {
# file(“/var/log/syslog-ng/$YEAR$MONTH$DAY/$HOST/messages”
# owner(“root”) group(“root”)
# perm(0640) dir_perm(0750)
# create_dirs(yes)
# );
#};
log {
source(s_internal);
destination(d_syslognglog);
};
log {
source(s_local);
destination(d_mysql);
# destination(r_messages);
};
log {
source(s_src);
destination(d_mysql);
# destination(r_messages);
};
更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-06/103052p2.htm
修改权限
chmod 777 /var/www/html/php-syslog-ng/html/config
chmod 777 /var/www/html/php-syslog-ng/html/jpcache
chmod 777 /var/www/html/php-syslog-ng/html/config/config.php
重启服务
#service httpd restart
WEB 配置
在浏览器输入网址,进入安装向导
访问 http://IP
查看协议:
配置数据库参数:
其中需要注意:
MySQL User Name:填入数据库管理用户,其必须有创建数据库和分派权限的能力;
MySQL Password:数据库管理用户的密码;
(可以使用 set password=password(‘ 密码 ’);flush privileges;)
MySQL Database Name:php-syslog-ng 使用的数据库命令,安装程序会使用上面的用户自动创建;
MySQL Port:数据库使用的端口
MySQL Table Prefix:表的前缀,但不要使用 ’old_’,其代表备份表;
Syslog User Name:php-syslog-ng 用这个用户读取数据库信息;
Syslog User Password:其密码;
Syslog Admin Name:php-syslog-ng 用这个用户写入数据库信息;
Syslog Admin Password:其密码;
Drop Existing Tables:是否删除已存在的表;
Backup Old Tables:是否备份旧的表;
Install Sample Data:是否安装示例数据;
Install CEMDB Data:是否安装用于收集 Cisco ERROR TABLE 的数据。
如果你选择安装 CEMDB 数据,这需要花费一定的时间:
输入网页的标题:
输入 php-syslog-ng 的管理信息:
可输入管理员的 Email 地址,以及管理员密码。
php-syslog-ng 会自动创建一个随机密码,及时修改。
安装完成,并会提示你管理员的信息:
至此 Web 部分已经完成。
但因为,syslog-ng 还未把数据导向 mysql,所以,此时网页中并没有数据的。
可能遇见报时区不正确,修改 /etc/php.ini,添加
date.timezone = “Asia/Chongqing”
重启 httpd 服务
修改脚本路径
cd /var/www/html/php-syslog-ng/scripts
sh fixpaths.sh
注:若 php-syslog-ng 所在路径有 html,需要修改脚本。
配置计划任务
若使用 php-syslog-ng 对日志进行集中管理,其数据量可能是相当巨大的,必须考虑日志循环的问题。可以使用计划任务实现。
配置计划任务
使用 crontab - e 加入:
# PHP-Syslog-NG
@daily php /var/www/html/php-syslog-ng/scripts/logrotate.php >> /var/log/php-syslog-ng/logrotate.log
@daily find /var/www/html /php-syslog-ng/html/jpcache/ -atime 1 -exec rm -f ‘{}’ ‘;’
0,5,10,15,20,25,30,35,40,45,50,55 * * * * php /var/www/html /php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log
※注意:
1、请把运行 dbgen.pl 的命令删除,该脚本只是用于产生演示数据,详见后面说明。
2、执行 php 脚本的时候可能会包 oci8.so 错误,后面也有说明。
3、原 find 语句存在 Bug,请加入 -type f 选项,否则会报如下的错误:
rm: cannot remove `/var/www/html/php-syslog-ng/html/jpcache/’: Is a directory
配置日志循环
# cp /var/www/html/php-syslog-ng/scripts/contrib/system_configs/logrotate.d /etc/logrotate.d/php-syslog-ng
至此,php-syslog-ng 已经全部配置完成
防火墙开放服务端口
#service iptables start
/sbin/iptables -I INPUT -p tcp –dport 80 -j ACCEPT
#/etc/init.d/iptables save
#/etc/init.d/iptables status
问题整理
报错
Unable to open ‘lpd_graph.jpeg’ for writing: Permission denied in /var/www/html/php-syslog-ng/html/includes/blocks/graph-logs_per_day.php on line 164
调整权限 /var/www/html/php-syslog-ng/html/lpd_graph.jpeg 权限为 777
点击 ”Graph” 的时候,报错:
JpGraph Error Font file “/usr/share/fonts/corefonts/verdana.ttf” is not readable or does not exist.
原因是,新版的 php-syslog-ng 考虑到旧版字库版权的问题,使用了 verdana.ttf 字库。而当前系统目录该字库。
解决办法:从 Windows\Fonts 目录中拷贝到上述的路径即可;
mkdir -p /usr/share/fonts/truetype/msttcorefonts/
上传文件
图例:
由于 PHP 版本过高,报错
Deprecated: Function split() is deprecated
将问题页面的 plit(“\n”,$txt)方法替换为 preg_split(‘/\n/’,$txt)方法
Deprecated: Function ereg() is deprecated
将问题页面的 ereg(“\n”,$txt)方法替换为 preg_match(‘/\n/’,$txt)方法
Deprecated: Function session_unregister()
替换为 $_SESSION = NULL
scripts 中的脚本
对 scripts 目录中其他的文件讲解以下:
请留意,.sh 结尾的是 bash 脚本,可直接执行;而.pl 的是 perl 脚本,使用 perl 执行;而.php 结尾的是 php 脚本,需使用 php 命令执行。
1、logrotate.php
对 php-syslog-ng 中的表进行日志循环,其与系统的 logrotate 不同。该脚本的执行结果,是把每天的日志表备份起来,并创建一个新的日志表供读写。在 crontab 下,每天自动执行一次。
2、syslog2mysql.sh
该脚本是用于创建 mysql 的 pipe 管道,让 syslog-ng 可通过该管道写入 mysql 中。在 crontab 下,系统系统的时候自动运行。
3、reloadcache.php
该脚本的作用是,当有新的 host 加入 syslog-ng 后,更新 mysql 中的信息。在 crontab 下,每 5 分钟运行一次。
4、resetusers.sh
用于重置用户表,当忘记 admin 密码的时候,可运行它。重置后,管理员用户名和密码都是 admin。
5、drop-old-tables.php
当 php-syslog-ng 运行一段时间后,由 logrotate.php 可能会产生大量的旧日志表。使用这个脚本,可删除具有相同前缀的表,例如 logs_* 等,可方便管理。
6、dbgen.pl
logs 表无数据,运行../php-syslog-ng/scripts/contrib/dbgen/dbgen.pl
# perl dbgen.pl
Can’t locate Net/MySQL.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at dbgen.pl line 22.
BEGIN failed–compilation aborted at dbgen.pl line 22.
该脚本用于产生一些演示数据,在测试 php-syslog-ng 是否正常时可以运行,其会插入大量数据到 mysql 中。
因其使用 perl 编写,故需要使用 Net::MySQL 模块。
安装模块及运行:
# cp MySQL.pm /usr/lib64/perl5/Net/
#perl /var/www/html/php-syslog-ng/scripts/dbgen.pl
示例:
※注意:这个脚本只是演示而已,实际没什么用的。而官方提供的 crontab 文件里是每小时执行一次的,应把它删掉。
Web 安全问题
若您配置虚拟主机的时候,使用 php-syslog-ng 的根目录作为 Web 根目录,请小心 scripts 的安全问题。应增加类似:
<Directory “/var/www/phpsyslogng/scripts”>
Deny from all
</Directory>
<Directory “/var/www/phpsyslogng/config”>
Deny from all
</Directory>
执行 php 脚本的时候报错
报错信息如下:
# php /var/www/html/php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log
PHP Warning: PHP Startup: Unable to load dynamic library ‘/usr/lib/php/modules/oci8.so’ – /usr/lib/php/modules/oci8.so: undefined symbol: OCINlsCharSetNameToId in Unknown on line 0
原因是 oci8.so(php 和 Oracle 的接口)不能在未定义前执行,这里也不会使用到该模块。
所以,请修改 /etc/php.d/oci8.ini,改为:
; extension=oci8.so
重启 httpd 服务即可。
◎若一定要使用该模块,可把执行命令的报错信息去掉,即改为:
# php /var/www/html/php-syslog-ng/scripts/reloadcache.php >> /var/log/php-syslog-ng/reloadcache.log 2>/dev/null
但这样就不能看到错误信息了。
WEB 不能显示日志问题
因 PHP4 与当 syslog-ng 版本,不能正常显示 CISCO 设备日志问题引起,将 CEMDB.class.php 替换成支持 CISCO 设备的旧文件。
搜索缓存图表只显示两天的数据,最近三天没有数据?
解决方法:
由于 search_cache 表采用的是 MEMORY 存储引擎,有大小的限制,修改一下 /etc/my.cnf,在 [MYSQLD] 添加:
tmp_table_size=1G
max_heap_table_size = 1G
再重启 mysql 就可以了。
效果图:
总结
搭建完成后,还有一堆问题,这次试验参考了 http://www.linuxidc.com/Linux/2014-06/103053.htm
感觉 LOGZILLA 这个 2.99 免费版本功能不是很完善,BUG 很多,例如搜索页面很多的 HOST 等列表并不能自动刷新。。等等等。
这个版本感觉也就不建议使用在大型的生产系统上。
Syslog-ng 的详细介绍:请点这里
Syslog-ng 的下载地址:请点这里
更多 CentOS 相关信息见CentOS 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=14