IncidentRelay v2.3.1 的工作示例,于 检查。下面的名称、标识符和时间是说明性的;在使用生产凭据之前在测试部署中验证它们。
业务示例 · 设置 · 工作示例 · 验收检查 · 限制和失败模式
业务示例:办公室关门后结帐失败
说明性场景,而非客户案例研究。以下指标是针对您的试点的建议,不是衡量节省的结果,也不是 IR 包含每个报告仪表板的声明。
情况和风险。一家在线商店有四名工程师。 22:40,当客户仍在结账时,其监控检测到失败的支付请求。一般聊天中的消息不会告诉支持人员谁在处理问题。未完成的采购和不断增长的支持队列是业务风险;警报本身只是信号。
使用 IR 的工作流程。将记帐提醒发送给当前的主要响应者。如果没有人确认,策略将转移到指定的备份。指定的工程师认可该小组并进行调查;支持人员可以使用商定的事件流程来找到所有者并获取更新。使用下面的故障和恢复对测试该链。
需要验证的运营效益。用预定义的所有权链取代手动搜索可用工程师的方式。通过交接保持责任可见,而不是假设发送的聊天消息意味着有人正在处理它。
测量内容。记录从第一个可操作警报到 ACK 的时间、内部目标中确认的份额以及手动重新分配的次数。在商业监控中单独跟踪失败的结账以及成功支付恢复的时间。
边界。IR 不会修复结帐或付款提供商。 ACK 并不能证明客户可以再次付款,如果无法联系到任何一位工程师,则升级政策也无济于事。保留备用联系路径和真实的付款恢复检查。
四名工程师、一名计费服务人员、一条所有权链
假设四位工程师共同支持计费 API。从一支球队开始,每周进行一次主要轮换。为该路线提供默认服务和一个经过测试的传送通道。明确添加备份人员;共享聊天室不是升级政策。
| 目的 | UI 中的设置示例 |
|---|---|
| 所有权 |
payments 队;服务billing-api;轮换 payments-primary,有四名活跃成员,覆盖范围为 24/7。 |
| 摄入量 | 源 webhook、默认服务 billing-api、策略升级模式和附加通知渠道。 |
| 升级 | 规则1:主轮换,延迟300秒。规则2:指定备份用户,延迟600秒。为此试点设置 repeat_count=0。 |
在发送警报之前配置渠道和响应者联系人。打开完整的待命健康诊断:仅绿色表格摘要不会扫描未来的覆盖范围或证明消息已到达手机。
发送一次失败,然后恢复
使用 Content-Type: application/json 和 Authorization: Bearer ROUTE_TOKEN 将这些 JSON 正文分别发送到 POST /api/integrations/webhook。将占位符替换为 UI 中的测试路由令牌;使其远离源代码控制和共享日志。这是通用网络钩子格式,而不是规范化的模拟器事件。
{
"status": "firing",
"fingerprint": "billing-api:health:prod",
"title": "Billing API health check failed",
"severity": "critical",
"labels": {
"alertname": "BillingUnavailable",
"environment": "production",
"service": "billing-api"
}
}
{
"status": "resolved",
"fingerprint": "billing-api:health:prod",
"title": "Billing API health check failed",
"severity": "critical",
"labels": {
"alertname": "BillingUnavailable",
"environment": "production",
"service": "billing-api"
}
}
保留相同的路线、指纹和分组标签以进行恢复。指纹识别儿童警报;在每个请求上将其更改为新的随机值会导致重复数据删除失败。孤立恢复不会创建新组。
在真正的夜班之前验证链条
- 发送发射体两次。预计有一个孩子警报、预期服务和当前主要受托人;确认实际交付,而不仅仅是 HTTP 成功。
- 保留单独的测试警报未确认。检查备份是否在第一次策略延迟后成为目标。调度程序节奏、排队和提供商交付意味着这不是精确的五分钟交付 SLA。
- 确认另一个测试组并验证挂起的仅触发通知是否停止。发送恢复并确认当没有剩余的正在解雇的孩子时该组已解决。
- 创建临时旋转覆盖并重复测试。确认替代者是有效受让人,然后删除测试配置。
知道链条何时停止
在政策模式下,团队基于提醒的升级将被忽略。当所有规则和允许重复用完后,策略提醒停止;警报仍然可以触发。没有工作联系方式的备份人员只是数据库中的一个名字。
ACK 是计费服务的所有权,而不是恢复权。 IR 无法修复应用程序或提供失踪的工程师。如果 IR 或其通知提供商不可用,请保留外部方式联系团队,并在入职期间就后备方案达成一致。