Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


Учет второго члена формулы (1) позволяет наложить необходимые ограничения на сложность модели, подавляя, например, излишнее количество настроечных параметров. Смысл совместной оптимизации эмпирической ошибки и сложности модели дает принцип минимальной длины описания.


Согласно этому принципу следует минимизировать общую длину описания данных с помощью модели и описания самой модели. Чтобы увидеть это перепишем формулу (1) в виде:


minj- log P(d|N)- log P@N)} = m in {описание ошибки + описание модели}


Первый член, как мы убедились, есть эмпирическая ошибка. Чем она меньше — тем меньше бит потребуется для исправления предсказаний модели. Если модель предсказывает все данные точно, длина описания ошибки равна нулю. Второй член имеет смысл количества информации, необходимого для выбора конкретной модели из множества с априорным распределением вероятностей P@N).


Очень сильный результат теории индуктивного вывода, принадлежащий Рисанену, ограничивает ожидаемую ошибку модели на новых данных степенью сжатия информации с помощью этой модели. Чем меньше описанная выше суммарная длина описания, тем надежнее предсказания такой модели.


Этот вывод пригодится нам позднее — для выбора оптимального размера нейросетей. Пока же предположим, что цель обучения сформулирована — имеется подлежащий минимизации


функционал ошибки i?(w) = E^xa ,ya,y(xa, w)j , зависящий от всех настроечных весов


нейросети. Наша ближайшая задача — понять каким образом можно найти значения этих весов, минимизируещие такой функционал.


Градиентное обучение многослойных персептронов


Г радиептное обучение


Наиболее общим способом оптимизации нейросети является итерационная (постепенная) процедура подбора весов, называемая обучением, в данном случае — обучением с учителем,


поскольку опирается на обучающую выборку примеров |хв,у“}, например — примеров правильной классификации.


Когда функционал ошибки задан, и задача сводится к его минимизации, можно предложить,

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»