Логістична регресія

Логістична регресія або логіт регресія англ. logit model — статистичний регресійний метод, що використовується у випадку коли пояснювана змінна може набувати тільки двох значень (чи, більш загально, скінченну множину значень).

Визначення логістичної моделі

Логістична функція: $\Lambda(x) = \frac{1}{1 + e^{-x}}$.

Нехай є деяка випадкова величина $Y,\,$ що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних $x = (1, x_1, \ldots , x_n)^T.$ Залежність $Y,\,$ від $x_1, \ldots , x_n.$ можна визначити ввівши додаткову змінну y*, де $y^* = \theta^T x = \theta_0 + \theta_1 x_1 + \ldots + \theta_n x_n + \varepsilon.$ Тоді:

$Y = \begin{cases}0 & y^* \le 0\\ 1 & y^* > 0 \end{cases}$

При визначенні логістичної моделі стохастичний доданок $\varepsilon$ вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних $x^* = x_1^*, \ldots , x_n^*.$ одержується відповідне значення $y^*$ і ймовірність того, що $Y = 1$ рівна:

$p(Y = 1) = p (y^* > 0) = p (\theta^T x^* + \varepsilon > 0) = p (\varepsilon > - \theta^T x^*) = p (\varepsilon \le \theta^T x^*) = \Lambda(\theta^T x^*).$

Передостання рівність випливає з симетричності логістичного розподілу, $\Lambda$ позначає логістичну функцію — функцію розподілу логістичного розподілу:

$\Lambda(x) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}}$

Таким чином для конкретного значення $x^i$ випадкова величина $Y^i,\,$ має розподіл Бернуллі: $Y^i \ \sim B(1,\Lambda(\theta^T x^i)).$

Логіт-модель задовольняє наступну умову:

$\ln \frac{p(1|X)}{1-p(1|X)}= \ln \frac{p(1|X)}{p(0|X)} = b_0+b_1x_1+...+b_Jx_J$

Оцінка параметрів

Оцінка параметрів $\theta_0, \theta_1, ... \theta_n$ на основі деякої вибірки $\!(x^{(1)}, Y^{(1)}), ... (x^{(m)}, Y^{(m)})$, де $x^{(i)} \in \mathbb{R}^n$ — вектор значень незалежних змінних, а $Y^{(i)} \in \{0,1\}$ — відповідне їм значення $Y$ як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри $\theta$, що максимізують значення функції правдоподібності на вибірці:

$\hat{\theta} = \mbox{argmax}_{\theta} L(\theta) = \mbox{argmax}_{\theta} \prod_{i=1}^{m} \Pr\{Y=Y^{(i)} | x=x^{(i)}\}.$

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

$\log L(\theta) = \sum_{i=1}^m \log \Pr\{Y=Y^{(i)} | x=x^{(i)}\} = \sum_{i=1}^m Y^{(i)} \log \Lambda(\theta^T x^{(i)}) + (1 - Y^{(i)}) \log (1 - \Lambda(\theta^T x^{(i)})).$

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.

Див. також

• Логістичний розподіл

Література

• Alan. Agresti: Categorical Data Analysis. Wiley-Interscience, Nowy Jork, 2002. ISBN 0-471-36093-7.
• T. Amemiya: Advanced Econometrics. Harvard University Press, 1985. ISBN 0-674-00560-0.
• N. Balakrishnan: Handbook of the Logistic Distribution. Marcel Dekker, Inc., 1991. ISBN 978-0-8247-8587-1.
• William H. Green: Econometric Analysis, fifth edition. Prentice Hall, 2003. ISBN 0-13-066189-9.
• Hosmer, David W., Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed.. New York; Chichester, Wiley. ISBN 0-471-35632-8.
• Kleinbaum D.G., Logistic regression. A self-learning text, Springer-Verlag, 1994.