Нейрокомпьютерные системы




Выбор направления минимизации


Пусть задано начальное значение вектора параметров

w^0
и вычислена функция оценки
E=E(w^0)
. Процедура одномерной оптимизации дает приближенное положение минимума
e(x)=E(w^0+xs)
(вообще говоря, локального).

Наиболее очевидный выбор направления

s
для одномерной оптимизации - направление антиградиента
E
:

 \begin{align*} s = -\nabla E. \end{align*}

Выберем на каждом шаге это направление, затем проведем одномерную оптимизацию, потом снова вычислим градиент

E
и т.д. Это - метод наискорейшего спуска, который иногда работает хорошо. Но неиспользование информации о кривизне функции оценки (целевой функции) и резкое замедление минимизации в окрестности точки оптимального решения, когда градиент принимает очень малые значения, часто делают алгоритм наискорейшего спуска низкоэффективным.

Другой способ - случайный выбор направления

s
для одномерной оптимизации. Он требует большого числа шагов, но зато предельно прост — ему необходимо только прямое функционирование сети с вычислением оценки.




Содержание  Назад  Вперед