Что делать с горячими ключами, на которые приходится непропорционально большая нагрузка?

Хеширование делит ключи равномерно, но не нагрузку: если один ключ получает 30% запросов, его узел получает минимум 30%. Примеры: популярный товар на распродаже, пост знаменитости, глобальный счётчик, конфигурация, которую читает каждый запрос, крупный клиент в мультитенантной базе.

Горячее чтение:

• локальный кэш в памяти сервиса с коротким TTL (секунды) — запросы к горячему ключу вообще не доходят до общего кэша. Caffeine, словарь с TTL; согласованность — в пределах TTL;
• реплики ключа — хранить копии под key#1 … key#N на разных узлах кэша и читать случайную. Запись обновляет все копии;
• CDN и кэш на краю для публичных данных;
• объединение запросов (request coalescing, single flight) — при промахе один запрос идёт в базу, остальные ждут его результат.

Горячая запись:

• шардированный счётчик — лайки поста храним в N подсчётчиках likes:post#k, инкремент — в случайный, чтение — сумма. N выбирают по нагрузке, можно увеличивать динамически для горячих;
• агрегирование — копить инкременты в памяти или очереди и писать пачками раз в секунду;
• очередь вместо прямой записи — сглаживает пики, если результат не нужен мгновенно;
• остаток товара — разбить остаток на части по узлам (как бакеты токенов) или резервировать пачками.

Перекос в шардировании:

• вынести крупного клиента в отдельный шард (справочник);
• составной ключ: (tenant_id, user_id) вместо tenant_id;
• для временных рядов — добавить к ключу случайную «соль» из небольшого числа значений, а при чтении опрашивать все варианты.

Лента и знаменитости (celebrity problem). Обычно пост раскладывают в ленты подписчиков при публикации (fan-out on write). Для аккаунта с десятками миллионов подписчиков это миллионы записей на один пост. Гибрид: посты знаменитостей не раскладываются, а подмешиваются в ленту при чтении (fan-out on read).

Обнаружение: метрики нагрузки по шардам, сэмплирование ключей, count-min sketch для топа ключей, redis-cli --hotkeys, логи медленных запросов.

import random
N = 16
def incr_like(r, post_id):
    r.incr(f"likes:{post_id}#{random.randrange(N)}")     # запись размазана по 16 ключам

def likes(r, post_id):
    return sum(int(v or 0) for v in r.mget([f"likes:{post_id}#{i}" for i in range(N)]))