Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


В качестве функции активации промежуточных нейронов используется гиперболический тангенс, так что их состояния изменяются в интервале [-1,1]. В то же время, функцией активации выходных нейронов является функция Ферми (состояния в интервале [0,1]). Обозначим через


г/, (7 = 1,2) — состояния выходных нейронов при предъявлении на вход сети вектора


признаков к -го объекта хк. Будем считать, что этот объект правильно классифицирован сетью, если


тах|ок — tk < ц ,


где:    tk = 1 если хк е А и tk = 1 если хк е В , а 0 < щ < 0.5. В остальных случаях


tk =0.


Минимизируемая функция ошибки должна не только направлять процесс обучения в сторону правильной классификации всех объектов обучающей выборки, но и делать малыми значения многих связей в сети, чтобы облегчить процесс их прореживания. Подобную технологию — путем добавления к функции ошибки специально подобранных штрафных членов — мы уже разбирали в Главе 3. В методе NeuroRule функция ошибка включает два слагаемых


Е = Е0 + е @ , где


Е = -Z Zlog о‘ + (11‘) log(l — оО))


к i


функция взаимной энтропии, минимизация которой происходит быстрее, чем минимизация среднеквадратичной ошибки. Штрафная функция


„    хЧ- (К)2


1    1 + К)2    1 + К)2


уже фигурировала в Главе 3.


Здесь Nh — число нейронов в скрытом слое, viv — величина связи, между j -м входным и / -м скрытым нейронами w(» — вес связи между / -м скрытым и i -м выходным нейронами.


Использование регуляризирующего члена ЕА приводит к дифференциации весов по величинам, уменьшая большинство, но сохраняя значения некоторых из них. Обучение сети производится методом обратного распространения ошибки.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»