Нейрокомпьютерные системы




Обучение сети Хопфилда методом проекций


Лучшие результаты, чем при использовании правила Хебба, можно получить, если для обучения использовать псевдоинверсию. В основе этого подхода лежит предположение, что при правильно подобранных весах каждый поданный на вход сети вектор вызывает генерацию самого себя на выходе сети. В матричной форме это можно представить в виде

 \begin{align*} WX = X, \end{align*}

где

W
- матрица весов сети размерностью
N \times N
, а
X
- прямоугольная матрица размерностью
N \times p
, составленная из
p

обучающих векторов

x^{(i)}, i=1,2,\ldots, p
. Решение такой линейной системы уравнений имеет вид

 \begin{align*} W=XX^+, \end{align*}

где знак + обозначает псевдоинверсию.

Если обучающие векторы линейно независимы, последнее выражение можно упростить и представить в виде

 \begin{equation} W=X(X^TX)^{-1}X^T. \end{equation}

(2)

Здесь псевдоинверсия заменена обычной инверсией квадратной матрицы

X^TX
размерностью
p \times p
.

Выражение (2) можно записать в итерационной форме, не требующей расчета обратной матрицы. В этом случае (2) принимает вид итерационной зависимости от последовательности обучающих векторов

x^{(i)}
,
i=1,2, \ldots p
:

 y^{(i)}=(W^{(i-1)}- E)x^{(i)},\\

W^{(i)}=W^{(i-1)} -(y^{(i)} y^{(i)T)}/( y^{(i)T} y^{(i)})

при начальных условиях

W^{(0)}=0
. В результате предъявления
p
векторов матрица весов сети принимает значение
W=W^{(p)}
. Описанный здесь метод называется методом проекций. Применение его увеличивает максимальную емкость сети Хопфилда до
N - 1
. Увеличение емкости обусловлено тем, что в методе проекций требование ортогональности векторов заменено гораздо менее жестким требованием их линейной независимости.

Модифицированный вариант метода проекций - метод

\Delta
-проекций — градиентная форма алгоритма минимизации. В соответствии с этим методом веса подбираются с помощью процедуры, многократно повторяемой на всем множестве обучающих векторов:

 \begin{align*} W\leftarrow W+(h/N)(x^{(i)} - Wx^{(i)})x^{(i)T}, h \in (0.7, 0.9). \end{align*}

Обучающие векторы предъявляются многократно вплоть до стабилизации значений весов.




Содержание  Назад  Вперед