Получить доступ

Как вы проводите разведочный анализ данных (EDA)?

JuniorОсновы машинного обучения
Ещё спрашивают так:
  • С чего начать работу с новым датасетом?
Коротко

Цель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и целевой переменной, связи между признаками и с целевой, время (тренды, сезонность, сдвиги), подозрения на утечку. Итог — список гипотез и решений по очистке и признакам, а не сотня графиков.

  • Сначала понять, как данные собирались и что означает каждая колонка
  • Баланс классов и распределение целевой — определяют метрику и валидацию
  • Слишком сильная связь признака с целевой — проверить на утечку

А ещё Хорошая практика — записывать находки и решения, чтобы их можно было повторить

Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.

Подробно

Шаги:

  1. Обзор: df.info(), df.describe(), примеры строк, уникальные значения категорий.
  2. Качество: доля пропусков по колонкам и их причина, дубли, невозможные значения (возраст 200, отрицательная цена).
  3. Одномерный анализ: гистограммы, логарифмическая шкала для длинных хвостов.
  4. Связи: корреляции, графики признак — целевая, группировки.
  5. Время: динамика, сезонность, изменения в сборе данных.
  6. Выводы: что чистить, какие признаки строить, какая валидация.

Ловушки: признаки, известные только после события; смена логики сбора данных в середине периода; выводы по малым группам.

Что хотят услышать

  • Системный порядок от структуры к связям.
  • Качество данных и понимание их происхождения.
  • Выводы для моделирования, включая утечки.

Связанные вопросы

Закрытая бета

Подсказки на собеседовании — в реальном времени

sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.

  • Промокод на 2 часа — сверх пробных 30 минут
  • Программа для Windows — скачать сразу, войти — через Яндекс ID или VK ID
  • Прямая связь с разработчиком: что улучшить — сделаем