Логіт

Графік logit(x) на інтервалі від 0 до 1, де основою логарифму є e.

У статистиці функція ло́гіт (англ. logit, [ˈloʊdʒɪt] LOH-jit, від англ. logistic unit) — це квантильна функція(інші мови), що відповідає стандартному логістичному розподілу. Вона має багато застосувань в аналізі даних та машинному навчанні, особливо в перетвореннях даних.

Математично логіт — це обернення стандартної логістичної функції $\sigma (x)=1/(1+e^{-x})$ , тому логіт визначають як

\operatorname {logit} p=\sigma ^{-1}(p)=\ln {\frac {p}{1-p}}\quad

для

\quad p\in (0,1).

Через це логіт також називають логарифмі́чними ша́нсами (англ. log-odds), оскільки він дорівнює логарифму шансів ${\frac {p}{1-p}}$ , де $p$ — це ймовірність. Таким чином, логіт є функцією, що відображує ймовірності з інтервалу $(0,1)$ у дійсні числа на інтервалі $(-\infty ,+\infty )$ ,^[1] подібно до функції пробіта.

Визначення

Якщо $p$ — це ймовірність, то $p /(1 - p)$ — відповідні шанси; $logit$ імовірності — це логарифм шансів, тобто

\operatorname {logit} (p)=\ln \left({\frac {p}{1-p}}\right)=\ln(p)-\ln(1-p)=-\ln \left({\frac {1}{p}}-1\right)=2\operatorname {atanh} (2p-1).

Основа використовуваної функції логарифма не має великого значення в контексті цієї статті, допоки вона більша за 1, але найчастіше використовують натуральний логарифм з основою $e$ . Вибір основи відповідає вибору логарифмічної одиниці(інші мови) для значення: основа 2 відповідає шеннону, основа $e$ — нату, а основа 10 — гартлі; ці одиниці зокрема застосовують в інформаційно-теоретичних інтерпретаціях. Для кожної основи функція логіт набуває значень між від'ємною та додатною нескінченністю.

«Логістичну» функцію будь-якого числа $\alpha$ задають як обернення $logit$ :

\operatorname {logit} ^{-1}(\alpha )=\operatorname {logistic} (\alpha )={\frac {1}{1+\exp(-\alpha )}}={\frac {\exp(\alpha )}{\exp(\alpha )+1}}={\frac {\tanh({\frac {\alpha }{2}})+1}{2}}

Різниця між $logit$ 'ами двох імовірностей є логарифмом співвідношення шансів ( $R$ ), що дозволяє спростити запис правильного поєднання співвідношень шансів лише додаванням та відніманням:

\ln(R)=\ln \left({\frac {p_{1}/(1-p_{1})}{p_{2}/(1-p_{2})}}\right)=\ln \left({\frac {p_{1}}{1-p_{1}}}\right)-\ln \left({\frac {p_{2}}{1-p_{2}}}\right)=\operatorname {logit} (p_{1})-\operatorname {logit} (p_{2})\,.

Ряд Тейлора для функції логіта задає наступний вираз:

\operatorname {logit} (x)=2\sum _{n=0}^{\infty }{\frac {(2x-1)^{2n+1}}{2n+1}}.

Історія

Для пристосування методів лінійної регресії до області, де виходом є значення ймовірності $(0,1)$ , а не будь-яке дійсне число $(-\infty ,+\infty )$ , розглядали декілька підходів. У багатьох випадках такі зусилля зосереджували на моделюванні цієї задачі шляхом відображення інтервалу $(0,1)$ у $(-\infty ,+\infty )$ , з наступним виконанням лінійної регресії над цими перетвореними значеннями.^[2]

1934 року Честер Іттнер Блісс(інші мови) використав для виконання цього відображення інтегральну функцію нормального розподілу й назвав свою модель пробітом (англ. probit), скороченням від англ. "probability unit" (укр. одиниця ймовірності). Проте це є обчислювально витратнішим.^[2]

1944 року Джозеф Берксон(інші мови) використав логарифм шансів і назвав цю функцію логітом (англ. logit), скороченням від англ. "logistic unit", за аналогією до пробіту:

Я використовую цей термін [логіт] для $\ln p/q$ за прикладом Блісса, який назвав аналогічну функцію, лінійну за $x$ для нормальної кривої, «пробітом».
Оригінальний текст (англ.)
I use this term [logit] for $\ln p/q$ following Bliss, who called the analogous function which is linear on $x$ for the normal curve 'probit'.
— Джозеф Берксон (1944)^[3]

Логарифм шансів широко використовував Чарлз Сандерс Пірс (наприкінці XIX століття).^[4] 1949 року Джордж Альфред Барнард(інші мови) запровадив загальновживаний термін логарифмічні шанси (англ. log-odds);^[5]^[6] логарифмічні шанси події це логіт імовірності цієї події.^[7] Барнард також запропонував термін лоди (англ. lods) як абстрактний вигляд англ. "log-odds",^[8] але зазначив, що «на практиці слід зазвичай використовувати термін „шанси“, оскільки він знаніший у повсякденному житті».^[9]

Використання та властивості

Логіт у логістичній регресії є окремим випадком функції зв'язку в узагальненій лінійній моделі(інші мови): він є канонічною функцією зв'язку(інші мови) для розподілу Бернуллі.
В абстрактнішому сенсі логіт є натуральним параметром(інші мови) для біноміального розподілу, див. Експоненційне сімейство § Біноміальний розподіл(інші мови).
Функція логіта є від'ємною похідною від функції бінарної ентропії(інші мови).
Логіт також є центральним елементом імовірнісної моделі моделі Раша для вимірювання, яку, серед іншого, застосовують у психологічному та освітньому оцінюванні.
Обернену до логіта функцію (тобто, логістичну функцію) іноді також називають функцією expit.^[10]
В епідеміології рослинних захворювань логістична, ґомпертцева та мономолекулярна моделі сукупно відомі як моделі річардсонового сімейства.
Функцію логарифмічних шансів імовірностей часто використовують в алгоритмах оцінювання стану^[11] через її числові переваги в разі малих імовірностей. Замість множення дуже малих чисел із рухомою комою, для обчислення спільної ймовірності (в логарифмічних шансах) імовірності в логарифмічних шансах можливо просто підсумовувати.^[12]^[13]

Порівняння з пробітом

Порівняння функції логіта з масштабованим про́бітом (тобто оберненою ІФР нормального розподілу), яке порівнює $\operatorname {logit} (x)$ з ${\tfrac {\Phi ^{-1}(x)}{\,{\sqrt {\pi /8\,}}\,}}$ , що забезпечує однакові нахили в початку координат за $y$ .

Тісно пов'язані з функцією $logit$ (і логітовою моделлю) функція $probit$ і про́бітова модель(інші мови). Як $logit$ , так і $probit$ — це сигмоїдні функції з областю визначення між 0 і 1, що робить їх квантильними функціями(інші мови), тобто оберненими до інтегральних функцій розподілів імовірності (ІФР). Насправді $logit$ є квантильною функцією(інші мови) логістичного розподілу, а $probit$ — квантильною функцією нормального розподілу. Функцію пробіт позначують через $\Phi ^{-1}(x)$ , де $\Phi (x)$ — це ІФР стандартного нормального розподілу:

\Phi (x)={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{x}e^{-y^{2}/2}dy.

Як показано на графіку праворуч, функції $logit$ і $probit$ надзвичайно подібні за умови масштабування функції $probit$ так, щоб її нахил у точці $y = 0$ відповідав нахилу функції $logit$ . У результаті пробітові моделі(інші мови) іноді використовують замість логітових моделей, оскільки для певних задач (наприклад, у теорії відгуку завдання) їх втілення простіше.^[14]

Див. також

Сигмоїдна функція — обернена до логіта
Дискретний вибір(інші мови): бінарний логіт, багатозначний логіт, умовний логіт, вкладений логіт, змішаний логіт, розгорнутий логіт, порядковий логіт
Обмежена залежна змінна(інші мови)
Логітовий аналіз у маркетингу(інші мови)
Багатозначний логіт(інші мови)
S-подібна крива(інші мови), має схожу форму
Перцептрон
Пробіт — інша функція з тими же областями визначення та значень, що й логіт
Рідітне оцінювання(інші мови)
Перетворення даних (статистика)
Арксинус (перетворення)
Модель Раша

Примітки

↑ Logit/Probit (PDF) (англ.).
↑ ^а ^б Cramer, J. S. (2003). The origins and development of the logit model (PDF) (англ.). Cambridge UP. Архів оригіналу (PDF) за 19 вересня 2024.
↑ Berkson, 1944, с. 361, виноска 2.
↑ Stigler, Stephen M. (1986). The history of statistics : the measurement of uncertainty before 1900 (англ.). Cambridge, Massachusetts: Belknap Press of Harvard University Press. ISBN 978-0-674-40340-6.
↑ Hilbe, Joseph M. (2009), Logistic Regression Models (англ.), CRC Press, с. 3, ISBN 9781420075779.
↑ Barnard, 1949, p. 120.
↑ Cramer, J. S. (2003), Logit Models from Economics and Other Fields (англ.), Cambridge University Press, с. 13, ISBN 9781139438193.
↑ Barnard, 1949, p. 120,128.
↑ Barnard, 1949, p. 136.
↑ R: Inverse logit function (англ.). Архів оригіналу за 6 липня 2011. Процитовано 18 лютого 2011.
↑ Thrun, Sebastian (2003). Learning Occupancy Grid Maps with Forward Sensor Models (PDF). Autonomous Robots (англ.). 15 (2): 111—127. doi:10.1023/A:1025584807625. ISSN 0929-5593. S2CID 2279013.
↑ Styler, Alex (2012). Statistical Techniques in Robotics (PDF) (англ.). с. 2. Процитовано 26 січня 2017.
↑ Dickmann, J.; Appenrodt, N.; Klappstein, J.; Bloecher, H. L.; Muntzinger, M.; Sailer, A.; Hahn, M.; Brenk, C. (1 січня 2015). Making Bertha See Even More: Radar Contribution. IEEE Access (англ.). 3: 1233—1247. Bibcode:2015IEEEA...3.1233D. doi:10.1109/ACCESS.2015.2454533. ISSN 2169-3536.
↑ Albert, James H. (2016). Logit, Probit, and other Response Functions. Handbook of Item Response Theory (англ.). Т. Two. Chapman and Hall. с. 3—22. doi:10.1201/b19166-1. ISBN 978-1-315-37364-5.

Berkson, Joseph (1944). Application of the Logistic Function to Bio-Assay. Journal of the American Statistical Association(інші мови) (англ.). 39 (227 (вересень)): 357—365. doi:10.2307/2280041. JSTOR 2280041.
Barnard, George Alfred (1949). Statistical Inference. Journal of the Royal Statistical Society. B (англ.). 11 (2): 115—139. doi:10.1111/j.2517-6161.1949.tb00028.x. JSTOR 2984075.

Посилання

Which Link Function — Logit, Probit, or Cloglog? 12.04.2023 (англ.)

Література

Ashton, Winifred D. (1972). The Logit Transformation: with special reference to its uses in Bioassay. Griffin's Statistical Monographs & Courses (англ.). Т. 32. Charles Griffin. doi:10.2307/2345009. ISBN 978-0-85264-212-2.

[1] Logit/Probit (PDF) (англ.).

[Cramer2003-2] а ^б Cramer, J. S. (2003). The origins and development of the logit model (PDF) (англ.). Cambridge UP. Архів оригіналу (PDF) за 19 вересня 2024.

[FOOTNOTEBerkson1944с._361,_виноска_2-3] Berkson, 1944, с. 361, виноска 2.

[4] Stigler, Stephen M. (1986). The history of statistics : the measurement of uncertainty before 1900 (англ.). Cambridge, Massachusetts: Belknap Press of Harvard University Press. ISBN 978-0-674-40340-6.

[5] Hilbe, Joseph M. (2009), Logistic Regression Models (англ.), CRC Press, с. 3, ISBN 9781420075779.

[FOOTNOTEBarnard1949120-6] Barnard, 1949, p. 120.

[7] Cramer, J. S. (2003), Logit Models from Economics and Other Fields (англ.), Cambridge University Press, с. 13, ISBN 9781139438193.

[FOOTNOTEBarnard1949120,128-8] Barnard, 1949, p. 120,128.

[FOOTNOTEBarnard1949136-9] Barnard, 1949, p. 136.

[10] R: Inverse logit function (англ.). Архів оригіналу за 6 липня 2011. Процитовано 18 лютого 2011.

[11] Thrun, Sebastian (2003). Learning Occupancy Grid Maps with Forward Sensor Models (PDF). Autonomous Robots (англ.). 15 (2): 111—127. doi:10.1023/A:1025584807625. ISSN 0929-5593. S2CID 2279013.

[12] Styler, Alex (2012). Statistical Techniques in Robotics (PDF) (англ.). с. 2. Процитовано 26 січня 2017.

[13] Dickmann, J.; Appenrodt, N.; Klappstein, J.; Bloecher, H. L.; Muntzinger, M.; Sailer, A.; Hahn, M.; Brenk, C. (1 січня 2015). Making Bertha See Even More: Radar Contribution. IEEE Access (англ.). 3: 1233—1247. Bibcode:2015IEEEA...3.1233D. doi:10.1109/ACCESS.2015.2454533. ISSN 2169-3536.

[14] Albert, James H. (2016). Logit, Probit, and other Response Functions. Handbook of Item Response Theory (англ.). Т. Two. Chapman and Hall. с. 3—22. doi:10.1201/b19166-1. ISBN 978-1-315-37364-5.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]