Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


RPROP стремится избежать замедления темпа обучения на плоских “равнинах” ландшафта функции ошибки, характерного для схем, где изменения весов пропорциональны величине градиента. Вместо этого RPROP использует лишь знаки частных производных по каждому весу.


+ h


О,



hwl = <


сЕт/cWy > О cE’/cWy < О else


Величина шага обновления — своя для каждого веса и адаптируется в процессе обучения:


h = |h‘, <*’/а.., •    jaw,, > о


v hT1с®*IW •    < О


Если знак производной по данному весу изменил направление, значит предыдущее значение шага по данной координате было слишком велико, и алгоритм уменьшает его в rf < 1 раз. В противном случае шаг увеличивается в rf > 1 раз для ускорения обучения вдали от минимума.


Мы не затронули здесь более изощренных методов обучения, таких как метод сопряженного градиента, а также методов второго порядка, которые используют не только информацию о градиенте функции ошибки, но и информацию о вторых производных. Их разбор вряд ли уместен при первом кратком знакомстве с основами нейрокомпьютинга.


Вычислительная сложность обучения


Ранее при обсуждении истории нейрокомпьютинга мы ссылались на относительную трудоемкость процесса обучения. Чтобы иметь хотя бы приблизительное представление о связанных с обучением вычислительных затратах, приведем качественную оценку вычислительной сложности алгоритмов обучения.


Пусть как всегда W — число синаптических весов сети (weights), а Р — число обучающих примеров (patterns). Тогда для однократного вычисления градиента функции ошибки дЕ/сМ требуется порядка Р W операций. Допустим для простоты, что мы достаточно близки к искомому минимуму и можем вблизи этого минимума аппроксимировать функцию ошибки


квадратичным выражением Е = (w — w„ Y н(w — wl Здесь Н — W х Wматрица вторых производных в точке минимума w,. Оценив эту матрицу по локальной информации (для чего

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»