Постмортем: как разбирать аварии без поиска виноватых
Цель постмортема — не найти виноватого, а убрать причину, чтобы это не повторилось.
Хороший постмортем пишется в течение 48 часов, пока свежи детали, и содержит таймлайн с точностью до минуты: когда заметили, когда поняли причину, когда починили.
Формулировки должны быть безликими: не «Иван задеплоил», а «в 04:58 прошёл деплой, после которого выросла доля 502». Люди ошибаются, системы позволяют ошибкам доходить до продакшена.
- Что произошло: факты и влияние на пользователей.
- Таймлайн: обнаружение, диагностика, устранение.
- Причина: техническая и организационная.
- Что сработало и что помешало.
- Действия с владельцами и сроками.
Отдельно фиксируйте, как инцидент обнаружили. Если узнали от клиента — это провал мониторинга, и это первое действие в списке.
Метрики после: MTTR, число повторных инцидентов с той же причиной. Если причина повторяется — действия были формальными.
Частые вопросы
Нужен ли постмортем для мелких инцидентов?
Достаточно короткой записи в 5 строк, но фиксировать нужно.
Кто должен писать?
Тот, кто разбирал инцидент, с ревью руководителя.
Проверьте на своём сайте
Три объекта бесплатно, без карты. Первый алерт — в течение часа.