Логи, метрики и трассировка, SLO и алерты — как видеть, что происходит с сервисом.
Практика. Перевести логи сервиса в JSON с trace_id и уровнем.
Практика. Добавить в сервис метрики Prometheus, трассировку OpenTelemetry и дашборд в Grafana; найти по трассе самый медленный участок запроса.
Практика. Определить SLO для двух эндпоинтов, настроить алерты по burn rate и проверить их на учебном инциденте.
Prometheus сам опрашивает (pull) эндпоинты /metrics целей, найденных через service discovery, и хранит временные ряды. Типы: counter — только растёт (запросы, ошибки), смотрят…
Приложения пишут структурированные логи (JSON) в stdout; агент на узле (Fluent Bit, Vector, Promtail) собирает их, добавляет метаданные (под, namespace, сервис) и отправляет в…
Алерт должен означать «пользователям плохо или скоро будет плохо, и человеку нужно действовать». Будить по симптомам (ошибки, задержки, доступность глазами пользователя), а не по…
Распределение задержек сильно скошено: большинство запросов быстрые, но есть длинный хвост. Среднее его прячет, а p95/p99 показывает, что видят самые невезучие пользователи.
Метрики — дешёвые агрегаты для алертов и трендов; логи — подробности событий; трейсы — путь одного запроса через сервисы.
Мониторинг отвечает на заранее известные вопросы (дашборды и алерты под известные отказы). Наблюдаемость — свойство системы отвечать на непредусмотренные вопросы по её телеметрии.
Чем наблюдаемость отличается от мониторинга, три сигнала и что каждый умеет, RED и USE, почему среднее врёт, взрыв кардинальности, SLI/SLO/error budget и алерты на симптомы.
На живом собеседовании sotto слышит вопрос интервьюера и показывает короткий ответ и план. Оставьте контакт — пришлём доступ и промокод.
sotto