Получить доступ

Как Python управляет памятью — подсчёт ссылок и сборщик мусора?

MiddleВнутреннее устройство
Ещё спрашивают так:
  • Когда в Python освобождается объект?
  • Зачем модуль gc, если есть подсчёт ссылок?
Коротко

В CPython основной механизм — подсчёт ссылок: у каждого объекта счётчик, и когда он падает до нуля, объект освобождается сразу. Циклические ссылки (a ссылается на b, b на a) счётчик не обнулят — их находит циклический сборщик модуля gc, работающий по поколениям.

  • sys.getrefcount показывает счётчик (на 1 больше — сам аргумент)
  • Поколения 0, 1, 2: молодые проверяются чаще
  • __del__ вызывается непредсказуемо при циклах — ресурсы закрывают через with

А ещё PyPy и другие реализации используют трассирующие сборщики без подсчёта ссылок

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Подсчёт ссылок. Присваивание, добавление в список, передача в функцию увеличивают счётчик; выход из области видимости, del, удаление из контейнера — уменьшают. Ноль — память возвращается немедленно, и вызывается __del__. Поэтому в CPython файл, открытый без with, обычно закрывается сразу после потери последней ссылки — но полагаться на это нельзя.

Проблема циклов:

a = []; b = [a]; a.append(b)
del a, b      # счётчики по 1 — объекты недостижимы, но живы

Циклический сборщик просматривает контейнеры (списки, словари, объекты классов), вычитает ссылки внутри группы и находит те, на которые никто извне не ссылается. Работает по поколениям: новые объекты — в поколении 0; переживший проверку переходит в следующее. Сборка запускается по порогам числа выделений (gc.get_threshold()).

Практика:

  • gc.collect() — принудительно; gc.disable() иногда используют в высоконагруженных сервисах (Instagram отключал и замораживал — gc.freeze() — чтобы copy-on-write после fork не копировал страницы);
  • утечки ищут через tracemalloc и objgraph;
  • циклы с участием объектов, держащих ресурсы, разрывают через weakref.

Что хотят услышать

  • Подсчёт ссылок как основной механизм.
  • Почему нужен циклический сборщик.
  • Поколения.
  • Инструменты поиска утечек.

Частые ошибки

  • «В Python есть только сборщик мусора, как в Java».
  • Освобождать ресурсы в __del__.

Что спросят дальше

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем