Популярный ключ истёк — сотни запросов разом идут в базу. Защита: разброс TTL, пересчёт в один поток (single flight), выдача устаревшего с фоновым обновлением.
А ещё Одинаковый TTL у всех горячих ключей — прямая причина давки
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Давка возникает из-за совпадения двух условий: ключ популярен и промахивается одновременно у многих клиентов. Разброс времени жизни разводит истечение во времени и стоит одну строку кода — это минимальная обязательная мера. Пересчёт в один поток решает задачу точнее: первый запрос берёт блокировку и идёт в базу, остальные ждут результат или получают предыдущее значение, поэтому источник получает ровно один запрос независимо от числа клиентов. Выдача устаревшего значения с фоновым обновлением обычно лучше всего для пользователя: ответ приходит немедленно, а свежесть подтягивается асинхронно. Одинаковое время жизни для всех горячих ключей — прямая причина проблемы: тысячи ключей истекают в одну секунду и дают базе согласованный залп. Стоит помнить и о смежных сценариях: запросы к несуществующим ключам всегда идут мимо кэша, поэтому кэшируют и отрицательный результат, а при полной недоступности кэша спасает уже не кэш, а ограничение конкурентных обращений к базе.
Несколько верных вариантов. Подумайте, потом откройте ответ.
Кэш как размен согласованности на задержку, hit rate и слои, стратегии чтения и записи, инвалидация и гонка с записью, stampede и лавина, вытеснение и горячие ключи, CDN и ключ кэша.
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto