Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


Наиболее естественной выглядит и чаще всего используется на практике двоичное кодирование типа «п^-п», когда имена п категорий кодируются значениями п бинарных


нейронов, причем первая категория кодируется как (l,0,0,… ,о), вторая, соответственно —


(од,о,…,о) и т.д. вплоть до л-ной: (о,ОД…л). (Можно использовать биполярную


кодировку, в которой нули заменяются на 1″.) Легко убедиться, что в такой симметричной кодировке расстояния между всеми векторами-категориями равны.


Такое кодирование, однако, неоптимально в случае, когда классы представлены существенно различающимся числом примеров. В этом случае, функция распределения значений переменной крайне неоднородна, что существенно снижает информативность этой переменной. Тогда имеет смысл использовать более компактный, но симметричный код п —> т, когда имена п классов кодируются т -битным двоичным кодом. Причем, в новой кодировке активность кодирующих нейронов должна быть равномерна: иметь приблизительно одинаковое среднее по примерам значение активации. Это гарантирует одинаковую значимость весов, соответствующих различным нейронам.30


В качестве примера рассмотрим ситуацию, когда один из четырех классов (например, класс с,) некой категориальной переменной представлен гораздо большим числом примеров, чем остальные: Р, » Р2 ~ Р, ~ Р4. Простое кодирование п —> п привело бы к тому, что первый нейрон активировался бы гораздо чаще остальных. Соответственно, веса оставшихся нейронов имели бы меньше возможностей для обучения. Этой ситуации можно избежать, закодировав четыре класса двумя бинарными нейронами следующим образом: с, = (О,О), с2 = (l,0), с3= (ОД), с4= (l,l) , обеспечивающим равномерную «загрузку» кодирующих нейронов.


Отличие между входными и выходными переменными


В заключении данного раздела отметим одно существенное отличие способов кодирования входных и выходных переменных, вытекающее из определения градиента ошибки:


дЕ


т- =    . А именно, входы участвуют в обучении непосредственно, тогда как выходы —

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»