Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


потребуется ~ PW операций метода back-propagation), можно попасть из любой точки в минимум за один шаг. На этой стратегии построены методы вторго порядка (метод Ньютона).


Альтернативная стратегия — найти требуемые ~ PW2 параметров за ~ W шагов метода первого порядка, затратив на каждом шаге Р W операций. Именно такую скорость сходимости (~ W итераций) имеют лучшие алгоритмы первого порядка (например, метод сопряженного градиента). В обоих случаях оптимистическая оценка сложности обучения сети (т.к. она


получена для простейшего из всех возможных — квадратичного — рельефа) составляет ~ Р W1 операций.


Оптимизация размеров сети


В описанных до сих пор методах обучения значения весов подбиралось в сети с заданной топологией связей. А как выбирать саму структуру сети: число слоев и количество нейронов в этих слоях? Решающим, как мы увидим, является выбор соотношения между числом весов и числом примеров. Зададимся поэтому теперь следующим вопросом:


■ Как связаны между собой число примеров Р и число весов в сети W ?


Ошибка аппроксимации


Рассмотрим для определенности двухслойную сеть (т.е. сеть с одним скрытым слоем). Точность аппроксимации функций такой сетью, как уже говорилось, возрастает с числом нейронов скрытого слоя. При Н нейронах ошибка оценивается как 0(/H^j. Поскольку число выходов сети не превышает, а как правило — много меньше числа входов, основное число весов в двухслойной сети сосредоточено в первом слое, т.е. W ~ Hd. В этом случае средняя ошибка аппроксимации выразится через общее число весов в сети следующим образом:


°dlW)_


где d — размерность входов.


Наши недостатки, как известно — продолжения наших достоинств. И упомянутая выше универсальность персептронов превращается одновременно в одну из главных проблем обучающихся алгоритмов, известную как проблема переобучения.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»