Что такое кросс-валидация и как правильно валидировать модель на временных данных?

Зачем. Одно случайное разбиение даёт шумную оценку: повезло с тестом — метрика завышена. K-fold использует все данные и для обучения, и для проверки, и показывает разброс метрики между частями.

Виды:

• k-fold (обычно k = 5 или 10);
• stratified — для классификации, особенно при редком классе;
• group — когда у одного объекта несколько строк (сессии пользователя, снимки одного пациента), иначе модель «узнаёт» объект;
• time series split — каждое следующее окно проверки позже обучающих данных.

Временные данные:

обучение: [янв-март]        проверка: [апр]
обучение: [янв-апр]         проверка: [май]
обучение: [янв-май]         проверка: [июнь]

Иногда между обучением и проверкой делают зазор (gap), если целевая переменная становится известна с задержкой.

Где ещё ошибаются: нормализацию и отбор признаков делают на всех данных до разбиения — это утечка; правильно — внутри каждого фолда (Pipeline в sklearn).