Нейрокомпьютерные системы




Сокращение числа выходов в адаптивном линейном сумматоре (путь "снизу вверх")


Рассмотрим адаптивный линейный сумматор, вычисляющий линейную функцию

F(x,w) = w_0 + (x,w)
.

Решим задачу о сокращении числа выходных сигналов. Рассмотрим определение значимости по изменению выходного сигнала. Заметим, что:

 \begin{align*} \partial F/ \partial w_0 = 1,\quad \partial F/ \partial w_{{i|\chi = \chi}^p} = x_i^p ,\quad \partial F/ \partial w_{i}|_{\chi = \chi^p} = w_i, i = 1, \ldots, N. \end{align*}

Уничтожить

i
-й выходной сигнал можно двумя способами:

  • заменой параметра
    w_i
    на 0;
  • заменой
    x_i
    на постоянную величину не зависящую от
    p
    .

В последнем случае получаем новую функцию

 \begin{align*} F_{1i} = w_0 + x_i^0 w_i + \sum_{j=1,j\neq i}^N x_j w_j \end{align*}

Такое преобразование означает, что одновременно с уничтожением

i
-й выходной связи
w_0
приобретает новое значение:

 \begin{align*} w_0:= w_0 + x_i^0 w_i. \end{align*}

При этом можно добиться меньшего изменения

F(x,w)
, чем просто при приравнивании
w_i
к нулю. Поэтому остановимся на замене
i
-го выходного сигнала на постоянную величину
x_i^0
. Значение этой постоянной определим исходя из минимизации изменения
F(x^p,w)
. Минимизация этого изменения, вычисленного в евклидовой норме, дает:

 \begin{align*} x_i^0 = (1/n)\sum_{p=1}^n x_i^p \end{align*}

Таким образом, оптимальной является замена

x_i
на его среднее значение по исходной выборке. В обозначениях теории вероятностей:

 \begin{align*} x_i^0 = M(x_i),\chi(x_i) = n^{1/2} w_i \sigma(x_i). \end{align*}

где

\sigma(x_i)
- среднеквадратичное отклонение от
x_i^0
на выборке
\{x^p\}
.

Значимость замены оценивается как

 \begin{align*} \chi(x_i) =|w_i| \sigma(x_i). \end{align*}

При исключении сигналов по одному, они сортируются в соответствии со значениями

\chi(x_i)
и отбрасываются (заменяются средним) сначала те, что соответствуют меньшим
\chi(x_i)
. Заметим, что поэтому путь "снизу вверх" универсален, но не оптимален. В частности, для сумматоров и других элементов, линейных по параметрам (например, квадратичных сумматоров), существует учитывающий все корреляции путь исключения "сверху вниз" с ортогонализацией. Далее ограничимся оценкой значимости по изменению выходного сигнала.




Содержание  Назад  Вперед