Алерт должен означать «пользователям плохо или скоро будет плохо, и человеку нужно действовать». Будить по симптомам (ошибки, задержки, доступность глазами пользователя), а не по причинам (CPU 90%) — причины на дашбордах. Основа — SLI (доля успешных и быстрых запросов) и SLO (цель, например 99,9% за 30 дней); алерт срабатывает по скорости сжигания бюджета ошибок (burn rate).
А ещё Многооконный burn rate: быстрый (1 ч) ловит аварии, медленный (6 ч) — тихую деградацию
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Бюджет ошибок. SLO 99,9% за 30 дней — допустимо 0,1% неудачных запросов, это около 43 минут полной недоступности. Burn rate 1 — бюджет кончится ровно к концу периода; burn rate 14,4 — за 2 дня.
Пример правил:
| окна | burn rate | реакция |
|---|---|---|
| 1 ч и 5 мин | > 14,4 | разбудить: за час сгорело 2% бюджета |
| 6 ч и 30 мин | > 6 | разбудить |
| 3 дня и 6 ч | > 1 | тикет |
Короткое окно в паре подтверждает, что проблема ещё продолжается, — алерт быстро гаснет после устранения.
Гигиена алертов:
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto