В цепочке из трёх сервисов каждый повторяет неудачный вызов до трёх раз. Нижний сервис кратковременно деградировал. Чем это закончится?

Каждый уровень повторяет вызов следующего, поэтому число запросов, доходящих до нижнего сервиса, растёт как произведение попыток по уровням. Именно в момент деградации, когда ёмкости не хватает, нагрузка вырастает на порядок — и сервис, который мог бы восстановиться за секунды, не выходит из отказа, пока клиенты не перестанут повторять. Усугубляет ситуацию отсутствие разброса пауз: клиенты, получившие ошибку одновременно, повторяют тоже одновременно и бьют залпами. Правильная схема такова: повторять на одном уровне, обычно ближайшем к клиенту или на границе системы, а остальным уровням возвращать ошибку сразу; использовать экспоненциально растущую паузу со случайным разбросом; ограничивать долю повторов бюджетом (например, не более нескольких процентов от основного трафика), чтобы повторы никогда не могли удвоить нагрузку; уважать указание сервера подождать при превышении лимита; и ставить предохранитель, который при массовых ошибках вообще прекращает попытки. Увеличение числа попыток только усиливает проблему, а ускорения ответа повторы не дают — они добавляют задержку.