Нейрокомпьютерные системы

       

Оценка способности сети решить задачу


В данном разделе рассматриваются только сети, все элементы которых непрерывно зависят от своих аргументов. Предполагается, что все входные данные предобработаны так, чтобы все входные и выходные сигналы сети лежали в диапазоне приемлемых входных сигналов

.

Нейронная сеть вычисляет некоторую вектор-функцию

от входных сигналов. Эта функция зависит от параметров сети. Обучение сети состоит в подборе такого набора параметров сети, чтобы величина

была минимальной (в идеале равна нулю), здесь

- множество аппроксимируемых функций. Для того, чтобы нейронная сеть могла хорошо приблизить заданную таблично функцию
, необходимо, чтобы реализуемая сетью функция
при изменении входных сигналов с

на

могла изменить значение с
на
. Очевидно, что наиболее трудным для сети должно быть приближение функции в точках, в которых при малом изменении входных сигналов происходит большое изменение значения функции. Таким образом, наибольшую сложность будет представлять приближение функции
в точках, в которых достигает максимума выражение
Для аналитически заданных функций величина

называется константой Липшица. Исходя из этих соображений, можно дать следующее определение сложности задачи.

Сложность аппроксимации таблично заданной функции

, которая в точках
принимает значения
, задается выборочной оценкой константы Липшица, вычисляемой по формуле:

(1)

Оценка (1) является оценкой константы Липшица аппроксимируемой функции снизу.

Константа Липшица сети вычисляется по следующей формуле:

Для того, чтобы оценить способность сети заданной конфигурации решить задачу, необходимо оценить константу Липшица сети и сравнить ее с выборочной оценкой (1). В случае

сеть принципиально не способна решить задачу аппроксимации функции
. Однако из
еще не следует утверждение о способности сети аппроксимировать функцию



Содержание раздела