Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


Простейшим усовершенствованием метода скорейшего спуска является введение момента ц , когда влияние градиента на изменение весов накапливается со временем:


Awr=-ц    +цAwr


dw


Качественно влияние момента на процесс обучения можно пояснить следующим образом. Допустим, что градиент меняется плавно, так что на протяжении некоторого времени его изменением можно пренебречь (мы находимся далеко от дна оврага). Тогда изменение весов можно записать в виде: т.е. в этом случае эффективный темп обучения увеличивается, причем существенно, если момент ц=. Напротив, вблизи дна оврага, когда направление градиента то и дело меняет


знак из-за описанных выше осцилляций, эффективный темп обучения замедляется до значения близкого к г]:


77    дЕ


1 + ц dw

Рисунок 6. Введение инерции в алгоритм обучения позволяет адаптивно менять скорость обучения


Дополнительное преимущество от введения момента — появляющаяся у алгоритма способность преодолевать мелкие локальные минимумы. Это свойство можно увидеть, записав разностное уравнение для обучения в виде дифференциального. Тогда обучение методом скорейшего спуска будет описываться уравненем движения тела в вязкой среде: dw/dr = — rjcE/dw . Введение момента соответствует появлению у такого гипотетического тела инерции, т.е. массы ц : jud2w/dr2 + (l- jujdw/dr — -г/cE/tdw . В итоге, «разогнавшись», тело может по


инерции преодолевать небольшие локальные минимумы ошибки, застревая лишь в относительно глубоких, значимых минимумах.


Одним из недостатков описанного метода является введение еще одного глобального настроечного параметра. Мы же, наоборот, должны стремиться к отсутствию таких навязываемых алгоритму извне параметров. Идеальной является ситуация, когда все параметры обучения сами настраиваются в процессе обучения, извлекая информацию о характере рельефа функции ошибки из самого хода обучения. Примером весьма удачного алгоритма обучения является т.н. RPROP (от resilient — эластичный), в котором каждый вес имеет свой адаптивно настраиваемый темп обучения.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»