shell告警系统_小言_互联网的博客

shell告警系统

2021-05-01 08:14 492人阅读评论(0)

一、创建主目录和子目录
1.在/usr/local/sbin/下创建
2.并且在bin下创建主脚本（网卡为自己的！！）

脚本内容：

#!/bin/bash
#是否发送邮件的开关
export send=1
#过滤ip地址
export addr=`/sbin/ifconfig |grep -A1 "ens192: "|awk '/inet/ {print $2}'`
dir=`pwd`
#只需要最后一级目录名
last_dir=`echo $dir|awk -F'/' '{print $NF}'`
#下面的判断目的是，保证执行脚本的时候，我们在bin目录里，不然监控脚本、邮件和日志很有可能找不到
if [ $last_dir == "bin" ] || [ $last_dir == "bin/" ]; then
    conf_file="../conf/mon.conf"
else
    echo "you shoud cd bin dir"
    exit
fi
exec 1>>../log/mon.log 2>>../log/err.log
echo "`date +"%F %T"` load average"
/bin/bash ../shares/load.sh
#先检查配置文件中是否需要监控502
if grep -q 'to_mon_502=1' $conf_file; then
    export log=`grep 'logfile=' $conf_file |awk -F '=' '{print $2}' |sed 's/ //g'`
    /bin/bash  ../shares/502.sh
fi

3.进入上一级的conf目录
编辑mon.conf文件（这个文件就是我们项目各个程序的主开关，负责各个程序是否监控）

内容:

## to config the options if to monitor
## 定义mysql的服务器地址、端口以及user、password
to_mon_cdb=0   ##0 or 1, default 0,0 not monitor, 1 monitor
db_ip=10.20.3.13
db_port=3315
db_user=username
db_pass=passwd
## httpd   如果是1则监控，为0不监控
to_mon_httpd=0
## php 如果是1则监控，为0不监控
to_mon_php_socket=0
## http_code_502  需要定义访问日志的路径
to_mon_502=0
logfile=/data/log/xxx.xxx.com/access.log
## request_count   定义日志路径以及域名
to_mon_request_count=0
req_log=/data/log/www.discuz.net/access.log
domainname=www.discuz.net

二、配置监控子程序（邮箱都为收件人邮箱）

主要有三个程序，分别是load.sh、502.sh、disk.sh。都放在shares目录下
1.load程序
核心就是利用uptime命令取程序最近一分钟的负载值做判断，如果值大于我们设定的阈值就发送邮件告警
（1）进入shares目录
（2）编辑load.sh文件

内容：

#！/bon/bash
##Writen by ##
load=`uptime |awk -F 'average:' '{print $2}'|cut -d',' -f1|sed 's/ //g' |cut -d. -f1`
if [ $load -gt 0 ] && [ $send -eq "1" ]
then
    /bin/bash ../mail/mail.sh  1820157360@qq.com "$addr\_load:$load" "$addr `date +%T` load is $load"
fi
echo "`date +%T` load is $load"

2.502.sh
核心就是监控nginx运行日志一分钟502出现的次数，如果大于我们设定的阈值就发送邮件告警。这个脚本需要在conf目录下mon.conf设置502运行日志的目录位置。
（1）编辑502.sh
内容：

#!/bin/bash
d=`date -d "-1 min" +%H:%M`
c_502=`grep :$d:  $log  |grep ' 502 '|wc -l`
if [ $c_502 -gt 10 ] && [ $send == 1 ]; then
     /bin/bash ../mail/mail.sh 1820157360@qq.com "$addr\_502 $c_502"  "$addr `date +%T` load is $load"
fi
echo "`date +%T` 502 $c_502"

3.disk.sh
核心思想就是利用for循环遍历每个分区的磁盘利用率，如果有分区磁盘利用率超过设定的阈值就发送告警邮件。
（1）编辑disk.sh

内容：

#!/bin/bash
##Writen by ##
rm -f ../log/disk.tmp
for r in `df -h |awk -F '[ %]+' '{print $5}'|grep -v Use`
do
    if [ $r -gt 90 ] && [ $send -eq "1" ]
then
    /bin/bash ../mail/mail.sh 1820157360@qq.com "$addr\_disk $r" "$addr `date +%T` disk useage is $r `df -h` "
    echo "`date +%T` disk useage is nook `df -h`"
fi
    else
        echo "`date +%T` disk useage is ok `df -h`"
fi

三、配置告警系统邮件引擎
引擎由两个文件构成，都在mail目录下，mail.py负责发送邮件，mail.sh负责告警收敛。
1.mail.py
（1）进入mail目录
（2）编辑mail.py，负责发送邮箱
（发送邮箱用自己的必须是163邮箱，授权码在设置里开启smtp服务,获取授权码）

内容：

sender = mailfrom
    # 邮件接受方邮箱地址，注意需要[]包裹，这意味着你可以写多个邮件地址群发
    receivers = [mailto]
    # 设置email信息
    # 邮件内容设置
    message = MIMEText(content, 'plain', 'utf-8')
    # 邮件主题
    message['Subject'] = subject
    # 发送方信息
    message['From'] = mailfrom
    # 接受方信息
    message['To'] = mailto
    # 登录并发送邮件
    try:
        smtpObj = smtplib.SMTP()
        # 连接到服务器
        smtpObj.connect(mail_host, 25)
        # 登录到服务器
        smtpObj.login(mail_user, mail_pass)
        # 发
        smtpObj.sendmail(
          sender, receivers, message.as_string())
        # 退出
        smtpObj.quit()
        print('success')
    except smtplib.SMTPException as e:
        print('error', e)  # 打印错误

if __name__ == "__main__":
    to=sys.argv[1]
    subject=sys.argv[2]
    content=sys.argv[3]
    # 邮箱账号   授权码   发送人邮箱
sendqqmail('tjd_11','CVEBVBFIQQGZCIKI','tjd_11@163.com',to,subject,content)

（2）编写mail.py文件

2.编写mail.sh文件
负责告警收敛的，如果每次运行脚本出现问题都发送邮件就太烦人了，所以就有了这个告警收敛脚本。这个脚本设置了三种场景，分别是第一次执行脚本如果有警告就发送邮件、业务连续报警十分钟再发送一封邮件和业务间断的报警一小时内满十分钟就报警一次。

内容：

log=$2
t_s=`date +%s`
t_s2=`date -d "2 hours ago" +%s`
if [ ! -f /tmp/$log ]
then
    echo $t_s2 > /tmp/$log
fi
t_s2=`tail -1 /tmp/$log|awk '{print $1}'`
echo $t_s>>/tmp/$log
v=$[$t_s-$t_s2]
echo $v
if [ $v -gt 3600 ]
then
    python3 ../mail/mail.py  "$1"  "$2"  "$3"
    echo "0" > /tmp/$log.txt
else
    if [ ! -f /tmp/$log.txt ]
    then
        echo "0" > /tmp/$log.txt
    fi
    nu=`cat /tmp/$log.txt`
    nu2=$[$nu+1]
    echo $nu2>/tmp/$log.txt
    if [ $nu2 -gt 10 ]
    then
         python3 ../mail/mail.py  $1 "trouble continue 10 min $2" "$3"
         echo "0" > /tmp/$log.txt
    fi
fi

四、测试
这里我们只测试linux负载情况下load.sh这个脚本
1.首先我们需要安装python3环境和net-tools
yum install -y python3 net-tools
2.如果是真实需求，这个脚本需要写入到crontab当中去，我们这里因为是测试就先不要写进去了。
3.因为是测试我们先把日志关掉，注释掉main.sh脚本exec那一行。
4.我们要把load.sh脚本改成满足我们设定的阈值，所以改一下判断条件当系统负载大于0时我们就告警。