'''Метод найменших квадратів''' — метод, запропонований Герасікой Наташкой, знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в [[регресійний аналіз|регресійному аналізі]]. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку [[СЛАР|системи лінійних рівнянь]]. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у [[лінійна регресія|лінійній регресії]], що широко застосовується у [[математична статистика|математичній статистиці]] і [[економетрика|економетриці]].
'''Метод найменших квадратів''' — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в [[регресійний аналіз|регресійному аналізі]]. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку [[СЛАР|системи лінійних рівнянь]]. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у [[лінійна регресія|лінійній регресії]], що широко застосовується у [[математична статистика|математичній статистиці]] і [[економетрика|економетриці]].
[[Файл:Linear least squares2.png|right|thumb|Результат підгонки сукупності спостережень <math>(x_i, y_i)</math> (червоним) квадратичною функцією <math>y=\beta_1+\beta_2x+\beta_3x^2\,</math> (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі <math>x,</math> а лише щодо своїх параметрів <math>\beta_j,</math> які треба визначити для отримання найкращого результату]]
[[Файл:Linear least squares2.png|right|thumb|Результат підгонки сукупності спостережень <math>(x_i, y_i)</math> (червоним) квадратичною функцією <math>y=\beta_1+\beta_2x+\beta_3x^2\,</math> (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі <math>x,</math> а лише щодо своїх параметрів <math>\beta_j,</math> які треба визначити для отримання найкращого результату]]
Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.
В результаті досліду, отримали чотири точки даних: і (позначені червоним). Ми хочемо знайти лінію , яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа і , які приблизно розв'язують надвизначену лінійну систему
чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.
Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції
Мінімум визначають через обчислення часткової похідної від щодо і і прирівнюванням їх до нуля
Це приводить нас до системи з двох рівнянь і двох невідомих, які звуться нормальними рівняннями. Якщо розв'язати, ми отримуємо
І рівняння є рівнянням лінії, яка підходить найбільше. Мінімальна сума квадратів похибок є
Використання квадратичної моделі
Важливо, у методі лінійних найменших квадратів ми не обмежені використанням лінії як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель . Ця модель все ще лінійна в сенсі параметру , отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:
Часткові похідні щодо параметрів (цього разу лише одного) знов обчислені і прирівняні до 0:
і розв'язані
що призводить до визначенння найбільш підходящої моделі
Лінійний випадок
Одна незалежна змінна
Нехай маємо лінійну регресію зі скалярною змінною x:
а також вибірку початкових даних розміру M.
Тоді
Множинна регресія (випадок багатьох незалежних змінних)
Для надлишково-визначеної системи mлінійних рівнянь з n невідомими
чи в матричній формі запису:
зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:
Такий розв'язок завжди існує і він є єдиним:
хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.
Виведення формули
Значення досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:
де використано позначення
Також виконуються рівності:
Підставляючи вирази для залишків і їх похідних одержимо рівність:
Ефективність. Згідно з теоремою Гауса — Маркова оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці до безмежності при збільшенні розміру вибірки.
Якщо додатково припустити нормальність змінних то оцінка МНК має розподіл:
В математичному моделюванні
Нехай ми маємо вибірку початкових даних . Функція — невідома.
Якщо ми знаємо приблизний вигляд функції , то задамо її у вигляді функціоналу , де — невідомі константи.
Нам потрібно мінімізувати відмінності між та . Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках і її мінімізують (тому метод так і називається):
Коефіцієнти в яких така міра мінімальна знаходять з системи:
Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. — 432 с. ISBN 5-238-00305-6
Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall
В іншому мовному розділі є повніша стаття Least squares(англ.). Ви можете допомогти, розширивши поточну статтю за допомогою перекладу з англійської.
Перекладач повинен розуміти, що відповідальність за кінцевий вміст статті у Вікіпедії несе саме автор редагувань. Онлайн-переклад надається лише як корисний інструмент перегляду вмісту зрозумілою мовою. Не використовуйте невичитаний і невідкоригований машинний переклад у статтях української Вікіпедії!
Машинний переклад Google є корисною відправною точкою для перекладу, але перекладачам необхідно виправляти помилки та підтверджувати точність перекладу, а не просто скопіювати машинний переклад до української Вікіпедії.
Не перекладайте текст, який видається недостовірним або неякісним. Якщо можливо, перевірте текст за посиланнями, поданими в іншомовній статті.