Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»

Рисунок 4. Качественная зависимость априорной и эмпирической составляющих формулы Байеса. Чем больше данных — тем точнее можно выбрать проверяемую гипотезу


Действительно, чем больше данных — тем точнее может быть проверены следствия конкурирующих гипотез, и, следовательно, тем точнее будет выбор наилучшей.


Следовательно, при стремлении количества данных к бесконечности, последним членом можно пренебречь. Это приближение:


max log p(n|d) ^ minj- log p(d|n )}


получило название принципа максимального правдоподобия (Фишер) и характерно для т.н. параметрической статистики, в которой модель представляет собой семейство решений с небольшим и фиксированным набором параметров.


Отрицательный логарифм вероятности имеет смысл эмпирической ошибки при подгонке данных с помощью имеющихся в моделе свободных параметорв.


Например, в задаче аппроксимации функций обычно предполагается, что данные порождаются некоторой неизвестной функцией, которую и надо восстановить, но их “истинные” значения искажены случайным гауссовым шумом. Таким образом, условная вероятность набора данных


jx»,y»j для модели jy(x»,w)j, зависящей от настраиваемых параметров w, имеет


гауссово распределение:


p(dn ) = П р(у°1 )


а


P@yaN) exp


Отрицательный логарифм, таким образом, пропорционален сумме квадратов, и аппроксиация функции сводится к минимизации среднеквадратичной ошибки:


minj- ln P(9|N)}    ( — у(xa, N))


Принцип минимальной длины описания (minimum description length)


В случае нейросетевого моделирования число параметров как правило велико, более того, размер сети как правило соотносится с объемом обучающей выборки, т.е. число параметров зависит от числа данных. В принципе, как отмечалось далее, взяв достаточно большую нейросеть, можно приблизить имеющиеся данные со сколь угодно большой точностью. Между тем, зачастую это не то, что нам надо. Например, правильная аппроксимация зашумленной функции по определению должна давать ошибку — порядка дисперсии шума.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»