Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


hwl = ц @хг — w..


Описанный выше базовый алгоритм обучения на практике обычно несколько модифицируют, т.к. он, например, допускает существование т.н. мертвых нейронов, которые никогда не выигрывают, и, следовательно, бесполезны. Самый простой способ избежать их появления -выбирать в качестве начальных значений весов случайно выбранные в обучающей выборке входные вектора.


Такой способ хорош еще и тем, что при достаточно большом числе прототипов он способствует равной «нагрузке» всех нейронов-прототипов. Это соответствует максимизации энтропии выходов в случае соревновательного слоя. В идеале каждый из нейронов соревновательного слоя должен одинаково часто становились победителем, чтобы априори невозможно было бы предсказать какой из них победит при случайном выборе входного вектора из обучающей выборки.


Наиболее быструю сходимость обеспечивает пакетный (batch) режим обучения, когда веса изменяются лишь после предъявления всех примеров. В этом случае можно сделать приращения не малыми, помещая вес нейрона на следующем шаге сразу в центр тяжести всех входных векторов, относящихся к его ячейке. Такой алгоритм сходится за 0(I) итераций.


Кластеризация и квантование


дЕ


Записав правило соревновательного обучения в градиентном виде: (Aw) = —77——, легко


оw


убедиться, что оно минимизирует квадратичное отклонение входных векторов от их прототипов — весов нейронов-победителей:


е=*!„к —<1


Иными словами, сеть осуществляет кластеризацию данных: находит такие усредненные прототипы, которые минимизируют ошибку огрубления данных. Недостаток такого варианта кластеризации очевиден — «навязывание» количества кластеров, равного числу нейронов. В идеале сеть сама должна находить число кластеров, соответствующее реальной кластеризации векторов в обучающей выборке. Адаптивный подбор числа нейронов осуществляют несколько более сложные алгоритмы, такие, например, как растущий нейронный газ.


Идея последнего подхода состоит в последовательном увеличении числа нейронов-прототипов путем их «деления». Общую ошибку сети можно записать как сумму индивидуальных ошибок каждого нейрона:

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»