Получить доступ

Как обычно организуют хранение метрик на длинном горизонте?

MiddleБазы временных рядов
Ещё спрашивают так:
  • Как хранить метрики на годы?
Коротко

Многоуровневое разрешение: секунды — за последние дни, минуты — за месяцы, часы — за годы, затем удаление по политике хранения.

  • Downsampling — агрегаты при переходе на грубый уровень
  • Retention на каждом уровне
  • Старые уровни — в дешёвом объектном хранилище (Thanos, Mimir)

А ещё Перцентили за длинный период — из гистограмм, а не усреднением

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Логика проста: детализация нужна для разбора недавнего инцидента, а для годового тренда достаточно часовых агрегатов. Хранить всё в полном разрешении означает платить за данные, которые никто не запросит, — а объёмы у метрик растут линейно и быстро. Поэтому настраивают прореживание и срок хранения, часто автоматически через непрерывные агрегаты, которые пересчитываются по мере поступления данных. Практический нюанс, о котором стоит сказать: агрегировать нужно осознанно — среднее по часу скрывает всплески, поэтому вместе с ним обычно сохраняют максимум и перцентили, иначе аномалии исчезнут из истории.

Что хотят услышать

  • Уровни разрешения и сроки.
  • Агрегаты и удаление.
  • Дешёвое долгое хранилище — плюс.

Частые ошибки

  • Хранить только среднее и потерять всплески.
  • Откладывать настройку срока хранения до исчерпания диска.

Проверьте себя

Один верный вариант. Подумайте, потом откройте ответ.

Показать варианты и ответ
  • ✓Свежие данные хранят в полном разрешении, старые агрегируют до более крупных интервалов, а совсем старые удаляют по политике хранения
  • ✗Все данные хранят в исходном разрешении неограниченно долго
  • ✗Старые данные переносят в реляционную базу без изменений
  • ✗Данные старше суток удаляют целиком

Что спросят дальше

  • Почему при прореживании важно сохранять перцентили и максимум?
  • Что такое непрерывные агрегаты?

Разбор темы

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем