Логістична регресія

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Логістична регресія або логіт регресія англ. logit modelстатистичний регресійний метод, що використовується у випадку коли пояснювана змінна може набувати тільки двох значень (чи, більш загально, скінченну множину значень).

Визначення логістичної моделі[ред.ред. код]

Логістична функція: \Lambda(x) = \frac{1}{1 + e^{-x}}.

Нехай є деяка випадкова величина Y,\, що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних x = (1, x_1, \ldots , x_n)^T. Залежність Y,\, від x_1, \ldots , x_n. можна визначити ввівши додаткову змінну y*, де y^* = \theta^T x = \theta_0 + \theta_1 x_1 + \ldots + \theta_n x_n + \varepsilon. Тоді:

Y = \begin{cases}0 & y^* \le 0\\ 1 & y^* > 0 \end{cases}

При визначенні логістичної моделі стохастичний доданок \varepsilon вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних x^* = x_1^*, \ldots , x_n^*. одержується відповідне значення y^* і ймовірність того, що Y = 1 рівна:

p(Y = 1) = p (y^* > 0) = p (\theta^T x^*  + \varepsilon > 0) = p (\varepsilon > - \theta^T x^*) = p (\varepsilon \le \theta^T x^*) = \Lambda(\theta^T x^*).

Передостання рівність випливає з симетричності логістичного розподілу, \Lambda позначає логістичну функцію — функцію розподілу логістичного розподілу:

\Lambda(x) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}}

Таким чином для конкретного значення x^i випадкова величина Y^i,\, має розподіл Бернуллі:  Y^i \ \sim B(1,\Lambda(\theta^T x^i)).

Логіт-модель задовольняє наступну умову:

\ln \frac{p(1|X)}{1-p(1|X)}= \ln \frac{p(1|X)}{p(0|X)} = b_0+b_1x_1+...+b_Jx_J

Оцінка параметрів[ред.ред. код]

Оцінка параметрів \theta_0, \theta_1, ... \theta_n на основі деякої вибірки \!(x^{(1)}, Y^{(1)}), ... (x^{(m)}, Y^{(m)}), де x^{(i)} \in \mathbb{R}^n — вектор значень незалежних змінних, а Y^{(i)} \in \{0,1\} — відповідне їм значення Y як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри \theta, що максимізують значення функції правдоподібності на вибірці:

\hat{\theta} = \mbox{argmax}_{\theta} L(\theta) = \mbox{argmax}_{\theta} \prod_{i=1}^{m} \Pr\{Y=Y^{(i)} | x=x^{(i)}\}.

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

\log L(\theta) = \sum_{i=1}^m \log \Pr\{Y=Y^{(i)} | x=x^{(i)}\}
    = \sum_{i=1}^m Y^{(i)} \log \Lambda(\theta^T x^{(i)}) + (1 - Y^{(i)}) \log (1 - \Lambda(\theta^T x^{(i)})).

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.

Див. також[ред.ред. код]

Література[ред.ред. код]

  • Alan. Agresti: Categorical Data Analysis. Wiley-Interscience, Nowy Jork, 2002. ISBN 0-471-36093-7.
  • T. Amemiya: Advanced Econometrics. Harvard University Press, 1985. ISBN 0-674-00560-0.
  • N. Balakrishnan: Handbook of the Logistic Distribution. Marcel Dekker, Inc., 1991. ISBN 978-0-8247-8587-1.
  • William H. Green: Econometric Analysis, fifth edition. Prentice Hall, 2003. ISBN 0-13-066189-9.
  • Hosmer, David W., Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed.. New York; Chichester, Wiley. ISBN 0-471-35632-8.
  • Kleinbaum D.G., Logistic regression. A self-learning text, Springer-Verlag, 1994.