Нейрокомпьютинг и его применения в экономике и бизнесе

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»


Приближение среднего поля


Поскольку динамика состояний стохастических нейронов является вероятностной, можно интересоваться только средней активностью, или же ожидаемыми значениями их состояний


W = ( + 1)( f (К )} + (-1)( {(_К)


В силу нелинейности функции Ферми усреднение ее затруднительно, но в приближении среднего поля (/(/г)) = /((/г)) можно получить следующую замкнутую систему уравнений.


1_е-гМ    (


WSJ



1 + е


s,) =-^ттт = tanh@?( К)) = tanh ^


J


Фазовые переходы


На простом примере можно убедиться, что свойства сети критическим образом зависят от температуры [3 1. Действительно, если величины всех синаптических связей положительны и


равны между собой: /Wy = ,V 1 (такая система эквивалентна ферромагнетику), то все уравнения системы сводятся к одному


44 = (s) = tanh(@(S) ■


Решение этого уравнения зависит от крутизны наклона функции гиперболического тангенса в начале координат (см. Рисунок 5). При высокой температуре (Г > 1, /? < 1) уравнение имеет только тривиальное решение st ~ 0. Это означает, что состояния всех нейронов беспорядочно флуктуируют, принимая с равной вероятностью значения ± 1.


Рисунок 5. Иллюстрация к характеру решений уравнения среднего поля в приближении высокой и низкой температур.


Однако, при снижении температуры ниже точки Кюри Тс 1 в системе происходит фазовый переход, при котором тривиальное решение становится неустойчивым, а у уравнения среднего поля появляется еще два устойчивых нетривиальных решения ± S0.


Такое поведение характерно и для общего случая. Мы увидим далее, что в модели Хопфилда свойства ассоциативного запоминания и вызова образов проявляются в некоторой области температуры и дополнительного параметра — степени загрузки памяти. Вне этой области система переходит в неупорядоченное состояние.

Скачать в pdf «Нейрокомпьютинг и его применения в экономике и бизнесе»