Метод, минимизирующий норму (3.5), называют методом наименьших квадратов (МНК). Оценивание коэффициентов регрессии с помощью МНК.
В силу допущений теоремы Гаусса-Маркова на возможные значения оценок не наложены какие-либо ограничения, и тогда минимум Q может быть получен приравниванием нулю производных
от Q по неизвестным оценкам bj. Подставив (3.4) в (3.5), получим
N
Q =^(yu— bi fiu— b2 flu—…— bkfku)1После дифференцирования этого выражения по искомым
u =1
оценкам и приравнивания нулю первых производных получается система уравнений:
3Q
db1
dQ
dbi
dQ
Sbk
N
bk fku)f1u=°, bkfku)f2u=0,
bk fku)fku~°.
■2 Ъ(Уи— b1 f1u— b2 f2u
U =1
N
■2 Y(yu— b1 f1u— b2 f2u u =1
N
■2 Y(yu— b1 f1u— b2 f2u u =1
Очевидным образом она преобразуется к виду
b1 Xf u+ b2^,fuJ2u+•••+ bkX 1u ku X 1u u
и =1 u =1 u =1 u =1
b srJ J +b Y ,2 Y J J =VJ У ,
1 X 1u 2u 1 / v J2 u^—^ bk/ , 2u ku X 2u u
u =1 u =1 u =1 u =1
b srJ J +b Y f f ^ ^ A V J 2 ^J y —
l X iu ku 2 XJ2u Jku+—+ bk X ku X ku u
u =1 u =1 u =1 u =1
Полученная система относительно искомых оценок [b^ называется нормальной системой урав-
N , _ N _ N
нений. Для упрощения формы ее записи введем обозначения: gii=XJit^ ’ХX iu ju X iu u
