Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»

@=ve


— w.



2


Естественно предположить, что наибольшую ошибку будут иметь нейроны, окруженные слишком большим числом примеров и/или имеющие слишком большую ячейку. Такие нейроны и являются, в первую очередь, кандидатами на «почкование» (см. Рисунок 10).


Рисунок 10. Деление нейрона с максимальной ошибкой в «растущем нейронном газе».


Соревновательные слои нейронов широко используются для квантования данных (vector quantization), отличающегося от кластеризации лишь большим числом прототипов. Это весьма распространенный на практике метод сжатия данных. При достаточно большом числе прототипов, плотность распределения весов соревновательного слоя хорошо аппроксимирует реальную плотность распределения многомерных входных векторов. Входное пространство разбивается на ячейки, содержащие вектора, относящиеся к одному и тому же прототипу. Причем эти ячейки (называемые ячейками Дирихле или ячейками Вороного) содержат примерно одинаковое количество обучающих примеров. Тем самым одновременно минимизируется ошибка огрубления и максимизируется выходная информация — за счет равномерной загрузки нейронов.


Сжатие данных в этом случае достигается за счет того, что каждый прототип можно закодировать меньшим числом бит, чем соответствующие ему вектора данных. При наличии т прототипов для идентификации любого из них достаточно лишь log, т бит, вместо bd бит описывающих произвольный входной вектор.


Оценка вычислительной сложности обучения


В этой главе мы рассмотрели два разных типа обучения, основанные на разных принципах кодирования информации выходным слоем нейронов. Логично теперь сравнить их по степени вычислительной сложности и выяснить когда выгоднее применять понижение размерности, а когда — квантование входной информации.


Как мы видели, алгоритм обучения сетей, понижающих размерность, сводится к обычному обучению с учителем, сложность которого была оценена ранее. Такое обучение требует ~ PW2 операций, где W — число синаптических весов сети, а Р — число обучающих примеров. Для однослойной сети с d входами и т выходными нейронами число весов равно W ~ dm и сложность обучения С можно оценить как С, ~ Pd2m2 = Pd4/К2 , где К = djm — коэффициент сжатия информации.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»