Как объяснить предсказание модели — важность признаков и SHAP?

Зачем объяснять: доверие бизнеса, требования регуляторов (отказ в кредите нужно объяснить), отладка модели — подозрительно важный признак часто означает утечку данных.

Методы:

• коэффициенты линейной модели — при масштабированных признаках;
• impurity-based importance в деревьях — быстро, но смещена к непрерывным признакам и признакам с многими значениями;
• permutation importance — падение метрики на валидации после перемешивания признака; модель-агностично;
• SHAP — вклад каждого признака в конкретный прогноз; для деревьев есть быстрый точный алгоритм (TreeSHAP); графики summary и waterfall;
• partial dependence — как прогноз зависит от признака в среднем.

Ловушки:

• коррелированные признаки: удаление одного почти не меняет качество, и оба выглядят неважными;
• важность ≠ причинно-следственная связь: для решений «что изменить, чтобы улучшить метрику» нужны эксперименты или causal-методы.