Технологическое прогнозирование

Скачать в pdf «Технологическое прогнозирование»


Идея    регуляризации    состоит    в    следующем.    При    плохой


обусловленности    информационной    матрицы    МНК    оценки


T -1 T


b=(F F) F у неустойчивы и обычно очень велики, так как диагональные члены матрицы близки по значениям к диагональным. Для их стабилизации предлагается при решении системы нормальных уравнений вместо матрицы F F использовать матрицу (F F+rI) FTy, где r — малое положительное число. Тогда оценки br=(F F+rI) F у называются регуляризованными оценками, а r — параметром регуляризации. Вычислительная реализация данной процедуры чрезвычайно проста, так как требует просто добавления числа r к диагональным членам матрицы.


Если рассмотреть математическое ожидание обоих выражений, выясняется, что регуляризо-


T    1


ванные оценки являются смещенными и смещение их равно: £(br)-P=-r(F F+rI) р. Следует обратить внимание на то, что смещение зависит как от параметра регуляризации r, так и от неизвестных истинных значений коэффициентов регрессии р. Последнее составляет основную трудность анализа, которая сводится к оптимальному выбору значения параметра регуляризации. Проблема состоит в том, что за счет сме-щения удается достичь уменьшения квадратичной ошибки оценок. Можно показать,    что квадратичная ошибка оценок состоит из двух компонентов:


k    k


M (r)=Z(brr Pi) = yi(r) + У2 (r) . Первая составляющая yi(r)= a ^ (^ /(^i+r) ), где    — собст-


i=1    i=1


T


венные числа матрицы F F. Эта величина равна сумме дисперсий оценок коэффициентов. Анализ последнего выражения показывает, что это есть функция, убывающая с ростом r.


Второй член



У2(г)=Х [ai2/((Vr)+l)2]



, где a — некоторые функции от истинных значений


коэффициентов. Можно показать, что Y2(r) равна квадрату смещения оценок регрессионных коэффициентов.


Из анализа указанных выражений очевидно что с ростом параметра регуляризации сумма дисперсий оценок коэффициентов монотонно убывает, в то время как квадрат смещения оценок монотонно растет. Очевидно, что квадратичная ошибка оценки имеет минимум при yi = у2 (рис. 3.6).

Скачать в pdf «Технологическое прогнозирование»