Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.
Мотиваційний приклад[ред. | ред. код]
Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)
Нехай в результаті деякого досліду отримано чотири
точки даних:
і
(на малюнку ліворуч позначені червоним). Потрібно знайти пряму
, яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа
і
, які приблизно розв'язують надвизначену лінійну систему

чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.
Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції
![{\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})=&\left[6-(\beta _{1}+1\beta _{2})\right]^{2}+\left[5-(\beta _{1}+2\beta _{2})\right]^{2}\\&+\left[7-(\beta _{1}+3\beta _{2})\right]^{2}+\left[10-(\beta _{1}+4\beta _{2})\right]^{2}.\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/9934d861231924f8ef7b0aa505fa2df785e9a965)
Мінімум визначають через обчислення часткової похідної від
щодо
і
і прирівнюванням їх до нуля


Це приводить нас до системи з двох рівнянь і двох невідомих, які називаються нормальними рівняннями. Роз'язком СЛАР будуть

,
звідки отримуємо
, що є рівнянням прямої, яка проходить найближче до поданих чотирьох точок. Мінімальна сума квадратів похибок є
Результат підгонки сукупності спостережень

(червоним)
квадратичною функцією 
(синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі

а лише щодо своїх параметрів

які треба визначити для отримання найкращого результату
Використання квадратичної моделі[ред. | ред. код]
Важливо, що у методі лінійних найменших квадратів ми не обмежені використанням прямої як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель
.[1] Ця модель все ще лінійна в сенсі параметру
, отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:

Часткові похідні щодо параметрів (цього разу лише одного) так само обчислюються і прирівнюються до 0:
Розв'язок отриманого рівняння:
що призводить до визначення найбільш підходящої моделі
Одна незалежна змінна[ред. | ред. код]
Нехай маємо лінійну регресію зі скалярною змінною x:

а також вибірку початкових даних
розміру M.
Тоді

Множинна регресія (випадок багатьох незалежних змінних)[ред. | ред. код]
Для надлишково-визначеної системи m лінійних рівнянь з n невідомими

чи в матричній формі запису:

зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:

Такий розв'язок завжди існує і він є єдиним:

хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.
Значення
досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:

де використано позначення
Також виконуються рівності:

Підставляючи вирази для залишків і їх похідних одержимо рівність:

Дану рівність можна звести до вигляду:

або в матричній формі:

Числові методи для обчислення розв'язку[ред. | ред. код]
Якщо матриця
є невиродженою та додатноозначеною, тобто має повний ранг, тоді система може бути розв'язана за допомогою розкладу Холецького
, де
— верхня трикутна матриця.

Розв'язок отримаємо в два кроки:
- Отримаємо
з рівняння 
- Підставимо і отримаємо
з 
В обох випадках використовуються властивості трикутної матриці.
Статистичні властивості[ред. | ред. код]
Одним із найважливіших застосувань лінійного МНК є оцінка параметрів лінійної регресії. Для заданого набору даних
будується модель:

або в матричній формі:

де:

В цих формулах
— вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а
— вектор випадкових змінних.
У класичній моделі множинної лінійної регресії приймаються такі умови:

![{\displaystyle \operatorname {E} [\,\varepsilon _{i}]=0.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/34d68feddb45fb823087b5c3e6d28018615f955b)
![{\displaystyle \operatorname {E} [\,\varepsilon _{i}\varepsilon _{j}]={\begin{cases}\sigma ^{2}&i=j\\0&i\neq j\end{cases}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/36fc2c8fafbc8f52e1364031273f018982ed14e2)
- тобто випадкові змінні є гомоскедастичними і між ними відсутня будь-яка залежність.
Для такої моделі оцінка
одержана методом найменших квадратів володіє властивостями:
- Незміщеність. Оцінка
є незміщеною, тобто
Справді:
![{\displaystyle \operatorname {E} [\,{\hat {\beta }}]=\operatorname {E} {\Big [}(X'X)^{-1}X'(X\beta +\varepsilon ){\Big ]}=\beta +\operatorname {E} {\Big [}(X'X)^{-1}X'\varepsilon {\Big ]}=\beta +{\Big [}(X'X)^{-1}X'\varepsilon {\Big ]}\operatorname {E} (\varepsilon )=\beta }](https://wikimedia.org/api/rest_v1/media/math/render/svg/08a15972f47abdfa9fefe48e2b511272b4be97bd)
- Коваріаційна матриця оцінки
рівна:
![{\displaystyle \operatorname {Var} [\,{\hat {\beta }}\,]=\sigma ^{2}(X'X)^{-1}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c2bb3e8d534b1efb74f065379ea7b59220ef9a9a)
- Це випливає з того, що
і

- Ефективність. Згідно з теоремою Гауса — Маркова оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
- Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці
до безмежності при збільшенні розміру вибірки.
- Якщо додатково припустити нормальність змінних
то оцінка МНК має розподіл:

В математичному моделюванні[ред. | ред. код]
Нехай ми маємо вибірку початкових даних
. Функція
— невідома.
Якщо ми знаємо приблизний вигляд функції
, то задамо її у вигляді функціоналу
, де
— невідомі константи.
Нам потрібно мінімізувати відмінності між
та
. Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках
і її мінімізують (тому метод так і називається):

Коефіцієнти
в яких така міра мінімальна знаходять з системи:

- ↑ Повне квадратне рівняння у загальному випадку має три ненульові коефіцієнти і має вигляд
- Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
- Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
- Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
- Метод найменших квадратів // Вища математика в прикладах і задачах / Клепко В.Ю., Голець В.Л.. — 2-ге видання. — К. : Центр учбової літератури, 2009. — С. 358. — 594 с.
- Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
- Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. — 432 с. ISBN 5-238-00305-6
- Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
- Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall
| В іншому мовному розділі є повніша стаття Least squares (англ.). Ви можете допомогти, розширивши поточну статтю за допомоги перекладу з англійської.
- Дивитись автоперекладену версію статті з мови «англійська».
- Перекладач повинен розуміти, що відповідальність за кінцевий вміст статті у Вікіпедії несе саме автор редагувань. Онлайн-переклад надається лише як корисний інструмент перегляду вмісту зрозумілою мовою. Не використовуйте невичитаний і невідкорегований машинний переклад у статтях української Вікіпедії!
- (англ.) Google's machine translation is a useful starting point for translations, but translators must revise errors as necessary and confirm that the translation is accurate, rather than simply copy-pasting machine-translated text to the Ukrainian Wikipedia.
- Не перекладайте текст, який видається недостовірним або низької якості. Якщо можливо, перевірте текст за посиланнями, поданими в іншомовній статті.
- Докладні рекомендації: див. Вікіпедія:Переклад.
|