Линейная регрессия предсказывает число как взвешенную сумму признаков, веса подбираются минимизацией среднеквадратичной ошибки. Логистическая регрессия — это классификация: ту же взвешенную сумму пропускают через сигмоиду и получают вероятность класса от 0 до 1; обучают на логистической функции потерь (log loss).
А ещё Нелинейности добавляют признаками: взаимодействия, полиномы, бинирование
Так подсказку видит пользователь sotto на живом собеседовании — за пару секунд, пока вы думаете вслух.
Линейная регрессия: ŷ = w₀ + w₁x₁ + … + wₙxₙ. Веса находят аналитически (нормальное уравнение) или градиентным спуском, минимизируя MSE. Предположения: линейная зависимость, независимые ошибки; выбросы сильно влияют на результат.
Логистическая регрессия: p = σ(w·x), где σ(z) = 1 / (1 + e⁻ᶻ). Сигмоида превращает любое число в вероятность. Функция потерь — log loss: сильно штрафует уверенные ошибки. Граница решений линейна.
Интерпретация: при росте признака на единицу шансы (p / (1 − p)) умножаются на e^w. Поэтому модель популярна там, где решение нужно объяснить: кредитный скоринг, медицина.
Почему с неё начинают. Это быстрый и понятный baseline: если бустинг выигрывает у логистической регрессии всего пару процентов, сложность может не окупиться.
Многоклассовый случай — softmax вместо сигмоиды или схема «один против всех».
sotto слышит вопрос интервьюера и показывает короткий ответ и план, как в блоке «Коротко». Оставьте контакт — пришлём доступ и промокод.
sotto