Метки времени идут с регулярным шагом, значения меняются плавно — хранят разности (delta-of-delta для времени, XOR соседних значений для чисел), которые занимают считаные биты.
А ещё Prometheus, VictoriaMetrics, InfluxDB используют похожие приёмы
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Если точки идут через равные промежутки, разность между соседними метками постоянна, и разность этих разностей почти всегда равна нулю — такие последовательности упаковываются исключительно плотно. Значения метрик тоже меняются плавно, поэтому вместо полного числа хранят его отличие от предыдущего. На реальных данных это даёт сжатие в разы по сравнению с обычным хранением, что критично при миллионах точек в секунду. Важно не путать это со снижением точности: сжатие здесь без потерь, а вот прореживание старых данных — отдельный осознанный приём для экономии места на длинном горизонте.
Один верный вариант. Подумайте, потом откройте ответ.
Чем особенны time-series, модель measurement/tags/fields, сжатие и chunking, downsampling/retention и когда хватит обычной БД.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto