Как настроить алерты, чтобы они не стали спамом

Плохой алертинг хуже его отсутствия: его начинают игнорировать. Хороший — приходит редко, но по делу.

Первая ошибка — отправлять уведомление на каждый сбой. Одиночная ошибка почти всегда означает сетевой сбой или перезапуск сервиса. Настройте порог «2 ошибки подряд» и окно подтверждения в 1–2 минуты — шума станет в разы меньше.

Вторая ошибка — один канал на всё. Критичные события должны идти туда, где разбудят: звонок или Telegram с эскалацией. Информационные — в почту или общий канал, чтобы не мешали.

Третья — отсутствие дедупликации. При падении сервера на нём могут «упасть» двадцать сайтов. Без группировки вы получите двадцать сообщений и не поймёте, что причина одна.

• Порог: 2 ошибки подряд, окно подтверждения 120 секунд.
• Подтверждение с нескольких точек — отсекает блокировки и гео-проблемы.
• Группировка: сводное сообщение при массовом сбое вместо потока.
• Тихие часы для некритичных событий, но не для «сайт недоступен».
• Эскалация: нет реакции 5 минут — звонок второму дежурному.

Проверьте настройки через тестовый инцидент: остановите тестовый сервис и посмотрите, кто и когда получит сообщение. Если вы сами не можете ответить, кто дежурит сегодня, — схема требует доработки.

Хороший признак: за неделю вы получили 2–3 алерта и каждый был по делу. Если больше — поднимайте пороги и убирайте лишние каналы.

Частые вопросы