Нейрокомпьютерные системы




Партан-методы


Для исправления недостатков наискорейшего спуска разработаны итерационный и модифицированный партан-методы.

Итерационный партан-метод (

k
-партан) строится следующим образом. В начальной точке
w^0
вычисляется градиент оценки
E
и делается шаг наискорейшего спуска - для этого используется одномерная оптимизация. Далее снова вычисляется градиент
E
и выполняется спуск (т.е. перемещение в направлении антиградиента), и описанный процесс повторяется
k

раз. После

k
шагов наискорейшего спуска получаем точку
w^k
и проводим одномерную оптимизацию из
w^0
в направлении
s = w^k - w^0
с начальным шагом
\alpha = 1
. После этого цикл повторяется.

Модифицированный партан-метод требует запоминания дополнительных параметров. Он строится следующим образом. Из

w^0
делается два шага наискорейшего спуска. Получаем
w^1
и
w^2
. Далее выполняем одномерную оптимизацию в направлении
w^2 - w^0
. Получаем
w^3
. Далее выполняется наискорейший спуск из
w^3
. Получаем
w^4
. Выполняем одномерную оптимизацию из
w^2
в направлении
w^4 - w^2
. Получаем
w^5
и~т.д. Таким образом, четные
w^{2k}
получаем наискорейшим спуском из
w^{2k-1}
, нечетные
w^{2k+1}
- одномерной оптимизацией из
w^{2k-2}
в направлении
s = w^{2k} - w^{2k-2}
(начальный шаг
\alpha = 1
). Как показала практика, модифицированный партан-метод в задачах обучения работает лучше, чем
k
-партан.




Содержание  Назад  Вперед