为何需要配置开机重启告警

服务器频繁或非预期的开机、重启可能由硬件故障、内核崩溃、电源异常或恶意攻击引起。实时告警能帮助运维人员在第一时间介入，减少业务中断时间，避免数据丢失或安全漏洞扩大。

配置核心思路

实现开机重启实时告警的关键在于捕捉系统启动事件，并通过监控系统将事件转化为可通知的告警。主流方案包括使用系统日志（如 systemd-journald）、SNMP Trap 或自定义脚本，结合 Zabbix、Prometheus 等开源平台或云原生监控服务。

方案一：基于 systemd 服务的自启动脚本

在 Linux 系统中创建一个 systemd 服务单元，该服务在每次开机启动后执行一段脚本，向监控平台发送 HTTP POST 请求（如调用 Zabbix API 或 Prometheus Pushgateway）。

1. 编写报警脚本 /usr/local/bin/reboot_alert.sh，内容包含获取主机名、当前时间、启动时间（uptime -s）并拼接 JSON 数据。
2. 创建 systemd 服务文件 /etc/systemd/system/reboot-alert.service，设置 After=network.target 和 Type=oneshot。
3. 启用服务：systemctl enable reboot-alert.service。

方案二：通过 Zabbix agent 主动监控

Zabbix 内置对系统启动事件的检测能力。利用 system.cpu.switches 或自定义 UserParameter 监控 /proc/uptime 变化，当 uptime 突然变小（表示重启）时触发触发器。

• 配置步骤： 在 Zabbix Server 上创建模板，添加一个 Item，键值自定义如 system.uptime.seconds，数据类型为 Numeric（unsigned）。
• 创建触发器表达式：{Template OS Linux:system.uptime.seconds.last()}< 60（假设重启后 1 分钟内上报）并设置告警动作。

方案三：使用 Prometheus + Node Exporter + Alertmanager

Node Exporter 提供 node_boot_time_seconds 指标，表示系统最后启动时间（Unix 时间戳）。PromQL 表达式 (time() - node_boot_time_seconds{instance="$host"}) < 300 可检测最近 5 分钟内的重启。

• 配置 Alertmanager 路由，将告警发往邮件、钉钉或 Slack。
• 注意：需确保 Node Exporter 和 Prometheus 都在重启后自动恢复运行。

告警通知与升级策略

为避免告警风暴，建议设置告警级别：

• 普通重启： 计划内的维护操作可先通过 CMDB 标注，匹配白名单后不发送告警。
• 非计划重启： 触发实时通知（电话、短信）并自动创建工单。
• 利用告警静默功能在维护窗口期间屏蔽误报。

常见问题与优化

1. 重复告警： 系统可能因 OOM Killer 或硬件故障连续重启，建议在监控端添加 聚合并抑制 规则，同一主机 5 分钟内只发送一次告警。

2. 虚拟化场景： 虚拟机迁移或宿主机 HA 也会触发重启事件，应通过 XML/API 获取事件类型加以区分。

3. 安全性： 避免将 root 密码或 Token 硬编码在脚本中，推荐使用 vault 或环境变量。

总结

通过实时告警配置，运维团队能感知每一台服务器的启动状态变化。结合自动化运维工具，可快速定位原因并恢复服务。建议将开机重启告警作为基础设施监控的标配项，同时定期演练告警流程，确保在真实故障发生时响应及时。