Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


В методе ранней остановки обучение прекращается в момент, когда сложность сети достигнет оптимального значения. Этот момент оценивается по поведению во времени ошибки валидации. Рисунок 8 дает качественное представление об этой методике.

Рисунок 8. Ранняя остановка сети в момент минимума ошибки валидации (штрих-пунктирная кривая). При этом обычно ошибка обучения (сплошная кривая) продолжает понижаться.


Эта методика привлекательна своей простотой. Но она имеет и свои слабые стороны: слишком большая сеть будет останавливать свое обучение на ранних стадиях, когда нелинейности еще не успели проявиться в полную силу. Т.е. эта методика чревата нахождением слабо-нелинейных решений. На поиск сильно нелинейных решений нацелен метод прореживания весов, который, в отличае от предыдущего, эффективно подавляет именно малые значения весов.


Прореживание связей


Эта методика стремится сократить разнообразие возможных конфигураций обученных нейросетей при минимальной потере их аппроксимирующих способностей. Для этого вместо колоколообразной формы априорной функции распределения весов, характерной для обычного обучения, когда веса “расползаются” из начала координат, применяется такой алгоритм обучения, при котором функция распределения весов сосредоточена в основном в “нелинейной” области относительно обльших значений весов (см. Рисунок 9).


4


о


W


W

Рисунок 9. Подавление малых значений весов в методе прореживания связей


Этого достигают введением соответствующей штрафной составляющей в функционал ошибки. Например, априорной функции распределения:





имеющую максимум в вершинах гиперкуба с wJ ~ vr0, соответствует штрафной член


K„„„,=- log P(N) = ЯI


в функционале ошибки. Дополнительная составляющая градиента




dw„


исчезающе мала для больших весов,

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»