Сервис принимает 100 млн сообщений в сутки по 1 КБ. Сколько примерно места потребуется за год и какой множитель забывают чаще всего?

Расчёт: 100 млн сообщений × 1 КБ = 10¹¹ байт = 100 ГБ в сутки. За год × 365 ≈ 36,5 ТБ. Реплик обычно три (Kafka, Cassandra, HDFS, облачные диски) — ~110 ТБ.

Множители, которые забывают:

• репликация — ×2–3;
• индексы — для активно индексируемых таблиц сопоставимы с данными;
• служебные данные — заголовки строк, метаданные, фрагментация;
• бэкапы и снимки;
• рост — нагрузка через год не та же, что сейчас.

И один уменьшающий: сжатие — текст и JSON сжимаются в 3–10 раз, колоночные хранилища — ещё лучше.

Что делать с ответом:

• 100 ТБ в год не помещаются в одну базу — нужно партиционирование по времени и, вероятно, шардирование;
• старые данные читают редко — переносить в дешёвое объектное хранилище (S3-совместимое) или колоночный формат;
• определить срок жизни данных (TTL): часто сообщения старше 90 дней никому не нужны;
• оценить пропускную способность записи: 100 ГБ в сутки ≈ 1,2 МБ/с в среднем — немного, но пики выше.