Skip to main content

HowTo Monitor Tomcat HeadMemory for Zabbix

最近项目上由于 BUG 问题导致 Tomcat 程序在运行过程中经常内存泄漏,而本身监控系统之中没有更好的检测到 Tomcat 堆空间 (Head Memory) 的使用情况导致报警频发,这篇文章主要讲述,如何在 Zabbix 之中调用 jmx 监控服务器上 Tomcat 堆空间的使用情况并增加对应报警功能。

测试环境: CentOS 6.8 Zabbix 2.4 Tomcat 7.0

实验前提默认是各位已经安装 Zabbix Server 服务器,并且至少有一台 Zabbix agent 服务器正常监控。关于如何搭建 Zabbix 监控集群,会有专门文章描述。

zabbix-java-gateway 的工作机制

  • 首先我们需要配置我们的 Tomcat 服务启用监控服务,这个是默认不启用的
  • 之后需要在 Zabbix 的管理页面添加对应 Tomcat 服务器的 jmx 监控接口
  • 最后 zabbix 端会自动获取 zabbix-java-gateway 的数据并根据相应模板进行展 示
  • 工作流:[Zabbix-Server]-->(port:10053 on zabbix server)--> [zabbix-java-gateway] --(port:12345 on tomcatserver)--> [JMX enabled]

1. Install zabbix-java-gateway on Zabbix Server

因为我的 zabbix 是使用 zabbix 2.4 官方源安装,所以只需要用 yum 在安装即可:

[root@6 ~]# sudo  yum install -y zabbix-java-gateway

如果你没有官方源可能先安装该源,注意我的服务器 zabbix 版本是 2.4 如果你是不同的版本,请到[这里] 查找对应版本。

# 查看zabbix server版本
[root@6 ~]# zabbix_server --version
Zabbix server v2.4.8 (revision 59539) (20 April 2016)
Compilation time: May 4 2016 01:32:12

在使用 yum 安装 zabbix-java-gateway 源时,会自动关联安装 openjdk,尽管这段程序没多大影响,如果你想保证系统 JAVA 环境不受到改变的话,可以在/etc/profile 文件最后,增加如下内容:

# add follows to the end
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

2. Confiure Tomcat host with enable jmx

首先在$tomcatdir/bin/catalina.sh 文件开头处增加如下:

#!/bin/sh

CATALINA_OPTS="-Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.port=12345"

然后,启动 Tomcat,你会发现多了一个 12345 端口,这就是 jmx 的监听端口,请保证 zabbix-java-gateway 可以访问到这台服务器。

[root@6 ~]# /tomcat7/bin/startup.sh
Starting Tomcat7:
Using CATALINA_BASE: /tomcat7
Using CATALINA_HOME: /tomcat7
Using CATALINA_TMPDIR: /tomcat7/temp
Using JRE_HOME: /usr
Using CLASSPATH: /tomcat7/bin/bootstrap.jar:/tomcat7/bin/tomcat-juli.jar
Tomcat started.

[root@6 ~]# netstat -ntlp | grep 12345
tcp 0 0 :::12345 :::* LISTEN 8793/java
[root@6 ~]#

==fix 1 == : zabbix agent 与 server 存在复杂网络环境

这里疏忽了 1 个问题,如果您的 zabbix server 与 agent 端之间有防火墙规则,而按照我上面的所述只是增加了 12345 这个端口,那么很可能,您在/var/log/zabbix/zabbix_java_gateway.log 中会看到“No route to host”的报错,这是因为 JMX 不光开启了 12345 端口,还开启了另外两个随机端口,而在获取监控数据时会使用到其中一个,这就导致了无法通过固定的防火墙规则来开放该端口。其实有另外一个替代方式来使该监听端口固定下来——使用 Tomcat 提供的额外组件 catalina-jmx-remote.jar,这个组件是需要另外下载的:

# 查看当前Tomcat版本.
[root@6 bin]# ./catalina.sh version
Using CATALINA_BASE: /tomcat7
Using CATALINA_HOME: /tomcat7
Using CATALINA_TMPDIR: /tomcat7/temp
Using JRE_HOME: /usr
Using CLASSPATH: /tomcat7/bin/bootstrap.jar:/tomcat7/bin/tomcat-juli.jar
Server version: Apache Tomcat/7.0.64
Server built: Aug 19 2015 17:18:06 UTC
Server number: 7.0.64.0
OS Name: Linux
OS Version: 2.6.32-642.11.1.el6.x86_64
Architecture: amd64
JVM Version: 1.8.0_111-b15
JVM Vendor: Oracle Corporation

# 下载 catalina-jmx-remote.jar # 请注意下载版本不要高于当前tomcat版本.
wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.57/bin/extras/catalina-jmx-remote.jar -O lib/catalina-jmx-remote.jar

增加如下内容,在 conf/server.xml 中:

<Listener className="org.apache.catalina.mbeans.JmxRemoteLifecycleListener"
rmiRegistryPortPlatform="12345" rmiServerPortPlatform="12346" />

因为我们已经在conf/server.xml定义了rmiRegistryPortPlatform,所以要将bin/catalina.sh中CATALINA_OPTS的com.sun.management.jmxremote.port去掉,否则会因为jmxremote.port配置有优先级更高而导致配置失效。

CATALINA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false"

完成之后,重启 tomcat 这时会发现 jmx 默认端口已经固定为 12345 何 12346,而 server 依然可以正常获取监控数据。

3. Configure Zabbix Server

首先需要修改 zabbix_server.conf 启用 zabbix-java-gateway,让 zabbix 可以检测到服务,修改如下:

### Option: JavaGateway
# IP address (or hostname) of Zabbix Java gateway.
# Only required if Java pollers are started.
#
# Mandatory: no
# Default:
JavaGateway=10.211.55.4 # 设置为你的zabbixsever IP

### Option: JavaGatewayPort

# Port that Zabbix Java gateway listens on

#

# Mandatory: no

# Range: 1024-32767

# Default

JavaGatewayPort=10053 # 设置服务端监听接口

### Option: StartJavaPollers

# Number of pre-forked instances of Java pollers

#

# Mandatory: no

# Range: 0-1000

# Default

StartJavaPollers=5 # 设置多线程启动

然后修改 zabbix_java_gateway.conf 配置如下:

### Option: zabbix.listenIP

# IP address to listen on

#

# Mandatory: no

# Default

LISTEN_IP="10.211.55.4" # 配置监听IP

### Option: zabbix.listenPort

# Port to listen on

#

# Mandatory: no

# Range: 1024-32767

# Default

LISTEN_PORT=10053 # 配置监听端口

### Option: zabbix.pidFile

# Name of PID file

# If omitted, Zabbix Java Gateway is started as a console application

#

# Mandatory: no

# Default

# PID_FILE=

PID_FILE="/var/run/zabbix/zabbix_java.pid"

### Option: zabbix.startPollers

# Number of worker threads to start

#

# Mandatory: no

# Range: 1-1000

# Default

# 不能大于zabbix_server.conf的值,否则可能导致当连接Java gateway时没有多余的线程进行处理

START_POLLERS=5

最后启动启动 zabbix-java-gateway,并重启 zabbix-server


[root@6 ~]# service zabbix-java-gateway start
Starting zabbix java gateway: [ OK ]
[root@6 ~]# service zabbix-server restart
Stopping zabbix server: [ OK ]
Starting zabbix server: [ OK ]

我在尝试重启发现一问题,zabbix-java-gateway 通过 service 命令管理 stop 不能删除 pid 文件导致服务无法启动,如果你也碰到,解决办法如下:


[root@6 zabbix]# vim /etc/rc.d/init.d/zabbix-java-gateway

# line 97, 注释修改为如下

# kill `cat $PID_FILE` && rm $PID_FILE

rm -f $PID_FILE

4. Adding jmx host on Zabbix Web consloe

首先,上传 Template Tomcat Head Memory 模板,这个我做了一个简单的模板,只针对了堆内存空间的监控,并针对使用率超过 60% 以及 80%,不同的警报。需要的同学可以直接从我这里下载,然后在 Configuration-Templates 导入到 zabbix 模板库内。 下载请点击:Template App Tomcat Head Memory

然后,增加服务器的 jmx 监控 image

关联模板 image

5. View the Head Memory Monitoring

image