Нейрокомпьютерные системы

       

Учет ограничений при обучении


Для параметров сети возможны ограничения простейшего вида:

Они вводятся из различных соображений: чтобы избежать слишком крутых или, наоборот, слишком пологих характеристик нейронов, чтобы предотвратить появления слишком больших коэффициентов усиления сигнала на синапсах и т.п.

Учесть ограничения можно, например, методом штрафных функций либо методом проекций:

  • Использование метода штрафных функций означает, что в оценку

    добавляется штрафы за выход параметров из области ограничений. В~градиент

    вводятся производные штрафных функций.
  • Проективный метод означает, что если в сети предлагается изменение параметров
    и
    для некоторых
    выходит за ограничения, то следует положить

Практика показывает, что проективный метод не приводит к затруднениям. Обращение со штрафными функциями менее успешно. Далее будем считать, что ограничения учтены одним из методов, и будем говорить об обучении как о безусловной минимизации.



Содержание раздела