Мінімум визначають через обчислення [[часткова похідна|часткової похідної]] of <math>S(\beta_1, \beta_2)</math> щодо <math>\beta_1</math> і <math>\beta_2</math> і прирівнюванням їх до нуля
Мінімум визначають через обчислення [[часткова похідна|часткової похідної]] від <math>S(\beta_1, \beta_2)</math> щодо <math>\beta_1</math> і <math>\beta_2</math> і прирівнюванням їх до нуля
Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.
У висліді досліду, отримали чотири точки даних: і (позначені червоним). Ми хочемо знайти лінію , яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа і , які приблизно розв'язують надвизначену лінійну систему
чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.
Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції
Мінімум визначають через обчислення часткової похідної від щодо і і прирівнюванням їх до нуля
Це приводить нас до системи з двох рівнянь і двох невідомих, які звуться нормальними рівняннями. Якщо розв'язати, ми отримуємо
І рівняння є рівнянням лінії, яка підходить найбільше. Мінімальна сума квадратів похибок є
Використання квадратичної моделі
Важливо, у методі лінійних найменших квадратів ми не обмежені використанням лінії як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель . Ця модель все ще лінійна в сенсі параметру , отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:
Часткові похідні щодо параметрів (цього разу лише одного) знов обчислені і прирівняні до 0:
і розв'язані
що призводить до вислідної найпідхожої моделі
Лінійний випадок
Одна незалежна змінна
Нехай маємо лінійну регресію зі скалярною змінною x:
а також вибірку початкових даних розміру M.
Тоді
Множинна регресія (випадок багатьох незалежних змінних)
Для надлишково-визначеної системи mлінійних рівнянь з n невідомими
чи в матричній формі запису:
зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:
Такий розв'язок завжди існує і він є єдиним:
хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.
Виведення формули
Значення досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:
де використано позначення
Також виконуються рівності:
Підставляючи вирази для залишків і їх похідних одержимо рівність:
Ефективність. Згідно з теоремою Гауса — Маркова оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці до безмежності при збільшенні розміру вибірки.
Якщо додатково припустити нормальність змінних то оцінка МНК має розподіл:
В математичному моделюванні
Нехай ми маємо вибірку початкових даних . Функція — невідома.
Якщо ми знаємо приблизний вигляд функції , то задамо її у вигляді функціоналу , де — невідомі константи.
Нам потрібно мінімізувати відмінності між та . Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках і її мінімізують (тому метод так і називається):
Коефіцієнти в яких така міра мінімальна знаходять з системи:
Джерела
Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. - 432 с. ISBN 5-238-00305-6
Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall