Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»



w


a



» м’0, и пропорциональна величине малых весов,


M’J < it,, . Соответственно, на больших штрафная функция практически не сказывается, тогда как малые веса экспоненциально затухают.


Таким образом, происходит эффективное вымывание малых весов (weights elimination), т.е. прореживание малозначимых связей. Противоположная методика предполагает, напротив, поэтапное наращивание сложности сети. Соответствующее семейство алгоритмов обучения называют конструктивными алгоритмами.


Конструктивные алгоритмы


Эти алгоритмы характеризуются относительно быстрым темпом обучения, поскольку разделяют сложную задачу обучения большой многослойной сети на ряд более простых задач, обычно -обучения однослойных подсетей, составляющих большую сеть. Поскольку сложность обучения пропорциональна квадрату числа весов, обучение “по частям” выгоднее, чем обучение целого:


X =(@ X ГX-


Для примера опишем так называемую каскад-корреляционную методику обучения нейросетей. Конструирование сети начинается с единственного выходного нейрона и происходит путем добавления каждый раз по одному промежуточному нейрону (см. Рисунок 10).

Рисунок 10. Каскад-корреляционные сети: добавление промежуточных нейронов с фиксированными весами (тонкие линии).


Эти промежуточные нейроны имеют фиксированные веса, выбираемые таким образом, чтобы выход добавляемых нейронов в максимальной степени коррелировал с ошибками сети на данный момент (откуда и название таких сетей). Поскольку веса промежуточных нейронов после добавления не меняются, их выходы для каждого значения входов можно вычислить лишь однажды. Таким образом, каждый добавляемый нейрон можно трактовать как дополнительный признак входной информации, максимально полезный для уменьшения ошибки обучения на данном этапе роста сети. Оптимальная сложность сети может определяться, например, с помощью валидационного множества.


Литература


Bishop С.М. Neural Networks and Pattern Recognition. Oxford Press. 1995.


Fausett, L.V. Fundamentals of Neural Networks: Architectures, Algorithms and Applications. Prentice Hall, 1994.


Hertz, J., Krogh, A., and Palmer, R. Introduction to the Theory of Neural Computation. Addison-Wesley, 1991.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»