Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


Правило обучения Хебба


Правило обучения отдельного нейрона-индикатора по-необходимости локально, т.е. базируется только на информации непосредственно доступной самому нейрону — значениях его входов и выхода. Это правило, носящее имя канадского ученого Хебба, играет фундаментальную роль в нейрокомпьютинге, ибо содержит как в зародыше основные свойства самоорганизации нейронных сетей.


Согласно Хеббу (Hebb, 1949), изменение весов нейрона при предъявлении ему г-го примера пропорционально его входам и выходу:


ДмА = j}yTxTj , или в векторном виде: Awr = rjyTxT.



Если сформулировать обучение как задачу оптимизации, мы увидим, что обучающийся по нейрон стремится увеличить амплитуду своего выхода:





где усреднение проводится по обучающей выборке |х ]. Вспомним, что обучение с учителем,


напротив, базировалось на идее уменьшения среднего квадрата отклонения от эталона, чему соответствует знак минус в обучении по дельта-правилу. В отсутствие эталона минимизировать нечего: минимизация амплитуды выхода привела бы лишь к уменьшению чувствительности выходов к значениям входов. Максимизация амплитуды, напротив, делает нейрон как можно более чувствительным к различиям входной информации, т.е. превращает его в полезный индикатор.


Указанное различие в целях обучения носит принципиальный характер, т.к. минимум ошибки i?(w) в данном случае отсутствует. Поэтому обучение по Хеббу в том виде, в каком оно описано выше, на практике не применимо, т.к. приводит к неограниченному возрастанию амплитуды весов.


Правило обучения Ойа


От этого недостатка, однако, можно довольно просто избавиться, добавив член, препятствующий возрастанию весов. Так, правило обучения Ойа:


Aw] = ijyT{x] — yTw^j, или в векторном виде: Awr= 7jyT{xTтw),

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»