Метод найменших квадратів

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до: навігація, пошук

Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.

Результат підгонки сукупності спостережень (червоним) квадратичною функцією (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі а лише щодо своїх параметрів які треба визначити для отримання найкращого результату

Мотиваційний приклад[ред.ред. код]

Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)

В результаті досліду, отримали чотири точки даних: і (позначені червоним). Ми хочемо знайти лінію , яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа і , які приблизно розв'язують надвизначену лінійну систему

чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.

Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції

Мінімум визначають через обчислення часткової похідної від щодо і і прирівнюванням їх до нуля

Це приводить нас до системи з двох рівнянь і двох невідомих, які звуться нормальними рівняннями. Якщо розв'язати, ми отримуємо

І рівняння є рівнянням лінії, яка підходить найбільше. Мінімальна сума квадратів похибок є

Використання квадратичної моделі[ред.ред. код]

Важливо, у методі лінійних найменших квадратів ми не обмежені використанням лінії як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель . Ця модель все ще лінійна в сенсі параметру , отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:

Часткові похідні щодо параметрів (цього разу лише одного) знов обчислені і прирівняні до 0:

і розв'язані

що призводить до визначенння найбільш підходящої моделі

Лінійний випадок[ред.ред. код]

Одна незалежна змінна[ред.ред. код]

Нехай маємо лінійну регресію зі скалярною змінною x:

а також вибірку початкових даних розміру M. Тоді

Множинна регресія (випадок багатьох незалежних змінних)[ред.ред. код]

Для надлишково-визначеної системи m лінійних рівнянь з n невідомими

чи в матричній формі запису:

зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:

Такий розв'язок завжди існує і він є єдиним:

хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.

Виведення формули[ред.ред. код]

Значення досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:

де використано позначення

Також виконуються рівності:

Підставляючи вирази для залишків і їх похідних одержимо рівність:

Дану рівність можна звести до вигляду:

або в матричній формі:

Числові методи для обчислення розв'язку[ред.ред. код]

Якщо матриця є невиродженою та додатноозначеною, тобто має повний ранг, тоді система може бути розв'язана за допомогою розкладу Холецького , де  — верхня трикутна матриця.

Розв'язок отримаємо в два кроки:

  1. Отримаємо з рівняння
  2. Підставимо і отримаємо з

В обох випадках використовуються властивості трикутної матриці.

Статистичні властивості[ред.ред. код]

Одним із найважливіших застосувань лінійного МНК є оцінка параметрів лінійної регресії. Для заданого набору даних будується модель:

або в матричній формі:

де:

В цих формулах  — вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а  — вектор випадкових змінних.

У класичній моделі множинної лінійної регресії приймаються такі умови:

тобто випадкові змінні є гомоскедастичними і між ними відсутня будь-яка залежність.

Для такої моделі оцінка одержана методом найменших квадратів володіє властивостями:

  • Незміщеність. Оцінка є незміщеною, тобто Справді:
  • Коваріаційна матриця оцінки рівна:
Це випливає з того, що і
  • Ефективність. Згідно з теоремою Гауса — Маркова оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
  • Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці до безмежності при збільшенні розміру вибірки.
  • Якщо додатково припустити нормальність змінних то оцінка МНК має розподіл:

В математичному моделюванні[ред.ред. код]

Нехай ми маємо вибірку початкових даних . Функція  — невідома.

Якщо ми знаємо приблизний вигляд функції , то задамо її у вигляді функціоналу , де  — невідомі константи.

Нам потрібно мінімізувати відмінності між та . Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках і її мінімізують (тому метод так і називається):

Коефіцієнти в яких така міра мінімальна знаходять з системи:

Джерела[ред.ред. код]

  • Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
  • Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. — 432 с. ISBN 5-238-00305-6
  • Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
  • Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall


Статистика Це незавершена стаття зі статистики.
Ви можете допомогти проекту, виправивши або дописавши її.