Регресійний аналіз

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Регресі́йний ана́ліз — розділ математичної статистики, присвячений методам аналізу залежності однієї величини від іншої. На відміну від кореляційного аналізу не з'ясовує чи істотний зв'язок, а займається пошуком моделі цього зв'язку, вираженої у функції регресії.

Регресійний аналіз використовується в тому випадку, якщо відношення між змінними можуть бути виражені кількісно у виді деякої комбінації цих змінних. Отримана комбінація використовується для передбачення значення, що може приймати цільова (залежна) змінна, яка обчислюється на заданому наборі значень вхідних (незалежних) змінних. У найпростішому випадку для цього використовуються стандартні статистичні методи, такі як лінійна регресія. На жаль, більшість реальних моделей не вкладаються в рамки лінійної регресії. Наприклад, розміри продажів чи фондові ціни дуже складні для передбачення, оскільки можуть залежати від комплексу взаємозв'язків множин змінних. Таким чином, необхідні комплексні методи для передбачення майбутніх значень.

Регресійні моделі[ред. | ред. код]

До регресійної моделі відносяться наступні параметри і змінні:

  • Невідомі параметри, що позначаються як , і які задають скаляри або вектор.
  • Незалежні змінні, .
  • Залежна змінна, .

У різних сферах застосування, може використовуватися різна термінологія замість понять залежних незалежних змінних.

Регресійна модель співвідносить до функції по і .

Наближення зазвичай формалізують як . Для проведення регресійного аналізу необхідно визначити форму функції . Іноді форма функції основана на знаннях про взаємовідношення між і і не покладається на дані. Якщо таких знань немає, обирають гнучку або зручну форму для визначення .

Припустимо, що вектор невідомих параметрів має довжину . Для здійснення регресійного аналізу необхідно надати інформацію про залежну змінну :

  • Якщо спостерігали точок даних у формі , де , більшість класичних методів регресійного аналізу не можна виконати: оскільки система рівнянь, що визначає регресійну модель є недовизначеною, в ній не достатньо даних для відновлення .
  • Якщо спостерігалося точно точок даних, а функція є лінійною, рівняння можна розв'язати точно, а не наближено. Задача спрошується до вирішення множини з рівнянь із невідомими (елементами , які мають унікальне рішення за умови що лінійно незалежні. Якщо не є лінійною, рішення може не існувати, або може існувати багато рішень.
  • Найбільш типовою ситуацією є випадок, де спостерігають точок даних. В такому випадку, існує достатньо інформації з даних, для того щоб оцінити унікальні значення які в деякому розумінні підходять найкраще, а регресійна модель у застосування до даних може розглядатися як перевизначена система для .

В останньому випадку, регресійний аналіз надає засоби для:

  1. Знаходження рішення щодо невідомих параметрів які будуть, наприклад, мінімізувати відстань між виміряними і прогнозованими значеннями залежної змінної (що відомо як метод найменших квадратів).
  2. При певних статистичних припущеннях, регресійний аналіз використовує надлишок інформації для надання статистичної інформації про невідомі параметри і передбачені значення залежних змінних .

Необхідна кількість незалежних вимірювань[ред. | ред. код]

Розглянемо регресійну модель, яка має три невідомі параметри, , , і . Припустимо, що експериментатор провів 10 вимірювань всі при точно однаковому значенні вектору незалежних змінних (який містить незалежні змінні , , і ). У такому випадку, регресійний аналіз не дозволяє визначити унікальний набір оцінених значень для трьох невідомих параметрів; експериментатор не надав достатньо інформації. Найкраще що можна зробити це оцінити середнє значення стандартного відхилення залежної змінної . Аналогічним чином, вимірювання при двох різних значеннях дозволило б мати достатньо даних для регресії із двома невідомими, але не з трьома і більше невідомими.

Якщо експериментатор виконав вимірювання при трьох різних значеннях вектору незалежних змінних , тоді регресійний аналіз поверне унікальний набір оцінок для трьох невідомих параметрів у .

У випадку із загальною лінійною регресією, вищенаведене твердження є еквівалентним вимозі, що матриця повинна бути невиродженою.

Коли кількість вимірювань, , є більшим ніж кількість невідомих параметрів, , а виміряні похибки мають нормальний розподіл тоді надлишок інформації, що міститься у вимірюваннях використовують щоб зробити статистичне передбачення щодо невідомих параметрів. Цей надлишок інформації називають степенями свободи[en] регресії.

Задачі регресійного аналізу[ред. | ред. код]

  1. Визначення ступеня детермінованості варіації критеріальної (залежної) змінної предикторами (незалежними змінними).
  2. Прогнозування значення залежної змінної за допомогою незалежної.
  3. Визначення внеску окремих незалежних змінних у варіацію залежної.

Регресійний аналіз не можна використовувати для визначення наявності зв'язку між змінними, оскільки наявність такого зв'язку і є передумова для застосування аналізу.

Припущення[ред. | ред. код]

До класичних припущень[en], що лежать в основі регресійного аналізу, відносяться:

Виконання цих умов достатньо аби оцінка найменших квадратів буде мати бажані властивості; зокрема, ці припущення означатимуть, що оцінки параметрів будуть незміщеними, конзистентними, і ефективними[en] у класі лінійних незміщених оцінок. Варто відмітити, що фактичні дані вимірювань дуже рідко задовольняють припущенням. Таким чином, метод використовують навіть коли припущення не правдиві. Відхилення від даних припущень, іноді використовують як міру того, наскільки корисною є дана модель. Багато з цих припущень можуть бути пом'якшені при більш ширшому трактуванні. У результатах статистичного аналізу як правило наводять результати тестів вибіркових даних та методологію щодо відповідності і вживаності моделі.

Алгоритм регресійного аналізу[ред. | ред. код]

Нехай у точках xn незалежної змінної x отримані виміри Yn. Потрібно знайти залежність середнього значення величини від величини х, тобто , де a — вектор невідомих параметрів . Функцію називають функцією регресії. Звичайно припускають, що є лінійною функцією параметрів а, тобто має вигляд:

(1),

де  — задані функції.

У цьому випадку матрицю називається регресійною матрицею.

Для визначення параметрів звичайно використовують метод найменших квадратів, тобто оцінки визначають із умови мінімуму функціонала:

і з мінімуму функціоналу: для корельованих вимірів з кореляційною матрицею R.

Як функції при невеликих звичайно служать степеневі функції . Часто використовують ортогональні й нормовані поліноми на множині :

.

У цьому випадку легко знайти оцінку :

.

Звідси випливає, що обчислення не залежить від обчислення інших .

Популярне використання як сплайнів , які мають дві основні властивості:

  1.  — поліном заданого степеня;
  2. відмінний від нуля в околі точки .

При пошуку функції регресії у вигляді (1) природно виникає питання про кількість членів I у сумі (1). При малому значенні I не можна досягти гарного опису , а при великому — великі статистичні помилки функції регресії.

Інтерполяція і екстраполяція[ред. | ред. код]

По середині, показана пряма, що є результатом інтерполяції - збалансована середина між точками над і під прямою. Пунктиром показано дві лінії екстремумів. Перша крива показує оцінені значення. Зовнішні криві показують передбачення нових вимірювань[1].

Регресійні моделі передбачають значення змінної Y на основі заданих значень змінних X. Процедура підбору параметрів моделі з використанням передбачення на основі вибірки даних в межах діапазону її значень відомо як інтерполяція. Передбачення за межами діапазону значень даних відомо як екстраполяція. Виконання екстраполяції тісно залежить від регресійних припущень. Чим далі екстраполяція поширюються від даних, тим більшою буде відхилення моделі від реальних значень.

При виконанні екстраполяції, як правило рекомендують, передбачені значення слід супроводжувати довірчим інтервалом прогнозування, який задає міру невпевненості. Такі інтервали мають тенденцію значно розширюватися коли значення незалежної величини (або величин) виходять за межі діапазону, що покривали дані спостереження. З цієї та інших причин не можна бездумно використовувати дані екстраполяції.[2]

Однак, такі інтервали не покривають усієї множини можливих помилок моделювання, що можуть виникнути: зокрема, припущення існування певної форми залежності між величинами Y і X. Якісно проведений регресійний аналіз буде мати також оцінку того, наскільки припущена форма залежності відповідає даним спостереження, але тільки в межах діапазону значень наявних незалежних змінних. Це означає, що будь-яка екстраполяція значно залежить від припущень щодо структурної форми регресійної залежності. Не слід обирати залежність лінійності за змінними і лінійність за параметрами лише з міркувань зручності розрахунків, для побудови моделі слід залучати всі доступні знання. Якщо відомо, що залежні змінні не можуть вийти за межі певного діапазону значень, це може стати корисним при виборі моделі – навіть якщо в отриманій вибірці не має значень близьких до таких меж. Вплив цього кроку на вибір правильної форми функції для регресії може бути досить важливим, якщо передбачається екстраполяція. Як мінімум, це може запевнити що будь-яка екстраполяція на основі підібраної моделі буде "реалістичною" (або відповідає тому, що відомо).

Регресійний аналіз в Excel/Calc[ред. | ред. код]

MS Excel має можливості для розрахунку коефіцієнту регресії. Для цього потрібно додатково встановити «Пакет аналізу» в надбудовах.

Див. також[ред. | ред. код]

  1. Rouaud, Mathieu (2013). Probability, Statistics and Estimation. с. 60. 
  2. Chiang, C.L, (2003) Statistical methods of analysis, World Scientific. ISBN 981-238-310-7 - page 274 section 9.7.4 "interpolation vs extrapolation"