Баєсова лінійна регресія

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Ба́єсова ліні́йна регре́сія в статистиці — це підхід до лінійної регресії, в якому статистичний аналіз застосовується в контексті баєсового висновування. Якщо помилки регресійної моделі мають нормальний розподіл і якщо розглядається певна форма апріорного розподілу, то для апостеріорного розподілу ймовірності параметрів моделі доступні точні результати.

Налаштування моделі[ред.ред. код]

Розгляньмо стандартну задачу лінійної регресії, в якій для ми вказуємо умовну ймовірність для заданого вектора провісників :

де є вектором завдовжки , а є незалежними однаково розподіленими випадковими величинами з нормальним розподілом:

Це відповідає такій функції правдоподібності:

Розв'язком звичайних найменших квадратів[en] є оцінка вектора коефіцієнтів за допомогою псевдообернення Мура-Пенроуза:

де є матрицею плану[en] , кожен з рядків якої є вектором провісників , а є вектором-стовпцем .

Це є частотним підходом, що передбачає наявність достатньої кількості вимірювань, щоби сказати щось суттєве про . За баєсового ж підходу дані надаються з додатковою інформацією у вигляді апріорного розподілу ймовірності. Ці апріорні переконання про параметри поєднуються з функцією правдоподібності даних згідно з теоремою Баєса для отримання апостеріорного переконання про параметри та . Це апріорне може мати різний функціональний вигляд в залежності від області визначення та інформації, що доступна апріорі.

Зі спряженими апріорними[ред.ред. код]

Спряжений апріорний розподіл[ред.ред. код]

Для довільного апріорного розподілу може не існувати аналітичного розв'язку задачі пошуку апостеріорного розподілу. В цьому розділі ми розглянемо так зване спряжене апріорне[en], для якого апостеріорний розподіл може бути виведено аналітично.

Апріорне є спряженим[en] до функції правдоподібності, якщо вона має такий самий функційний вигляд по відношенню до та . Оскільки логарифмічна правдоподібність є квадратичною в , логарифмічна правдоподібність переписується так, що правдоподібність стає нормальною в . Запишімо

Логарифмічна правдоподібність тепер переписується як

де

та

де є кількістю коефіцієнтів регресії.

Це підказує такий вигляд апріорного:

де є оберненим гамма-розподілом[en]

У записі, запропонованому в статті про обернений гамма-розподіл[en], це є густиною розподілу з та з та як апріорних значень та відповідно. Рівносильно, це також може бути описано як зважений обернений розподіл хі-квадрат[en],

Далі густина умовного апріорного є нормальним розподілом,

У записі нормального розподілу густина умовного апріорного є

Апостеріорний розподіл[ред.ред. код]

Із вже визначеним апріорним, апостеріорний розподіл може бути виражено як

За певного переформулювання[1] апостеріорне може бути переписано так, що апостеріорне середнє вектора параметрів може бути виражено в термінах оцінки найменших квадратів та апріорного середнього , де підтримка апріорного вказується матрицею точності апріорного

Для підтвердження того, що дійсно є апостеріорним середнім, квадратні члени в експоненті може бути переформульовано як квадратичну форму[en] в .[2]

Тепер апостеріорне може бути виражено як добуток нормального розподілу на обернений гамма-розподіл[en]:

Отже, апостеріорний розподіл може бути параметризовано таким чином.

де ці два множники відповідають густинам розподілів та , з їхніми параметрами, що задаються як

Це може інтерпретуватися як баєсове навчання, де параметри уточнюються відповідно до наступних рівнянь.

Свідчення моделі[ред.ред. код]

Свідчення моделі є ймовірністю даних за заданої моделі . Воно також відоме як відособлена правдоподібність, а також як передбачувана апріорна густина. Тут модель визначається функцією правдоподібності та апріорним розподілом параметрів, тобто, . Свідчення моделі фіксує одним числом, наскільки гарно така модель пояснює ці спостереження. Свідчення моделі баєсової лінійної регресії, представлене в цьому розділі, може застосовуватись для порівняння конкурентних лінійних моделей баєсовим порівнянням моделей. Ці моделі можуть відрізнятися як кількістю та значеннями змінних-провісників, так і своїми апріорними параметрами моделі. Складність моделі вже враховано свідченням моделі, оскільки воно відособлює параметри інтегруванням над усіма можливими значеннями та .

Цей інтеграл може бути обчислено аналітично, а розв'язок представлено наступним рівнянням.[3]

Тут позначає гамма-функцію. Оскільки ми обрали спряжене апріорне, то відособлену правдоподібність також може бути легко обчислено розв'язанням наступного рівняння для довільних значень та .

Зауважте, що це рівняння є ні чим іншим, як переформулюванням теореми Баєса. Підставлення формул для апріорного, правдоподібності та апостеріорного, та спрощення отримуваного виразу ведуть до аналітичного виразу, наведеного вище.

Інші випадки[ред.ред. код]

Виводити апостеріорний розподіл аналітично в загальному випадку може бути неможливо або непрактично. Проте можливо наближувати апостеріорне методом приблизного баєсового висновування, таким як вибірка Монте-Карло[4] або варіаційні баєсові методи[en].

Особливий випадок називається гребеневою регресією[en].

Схожий аналіз може виконуватись для загального випадку багатовимірної регресії, і його частина забезпечує баєсову оцінку коваріаційних матриць[en]: див. багатовимірну баєсову лінійну регресію[en].

Див. також[ред.ред. код]

Примітки[ред.ред. код]

  1. Проміжні кроки цього обчислення може бути знайдено в O'Hagan (1994) на початку розділу про лінійні моделі.
  2. Проміжні кроки є в Fahrmeir et al. (2009) на С. 188.
  3. Проміжні кроки цього обчислення можна знайти в O'Hagan (1994) на С. 257.
  4. Carlin and Louis(2008) and Gelman, et al. (2003) пояснюють, як використовувати вибіркові методи для баєсової лінійної регресії.

Джерела[ред.ред. код]

Посилання[ред.ред. код]