Нейрокомпьютерные системы

       

Работа сети АРТ


Решение задачи классификации с помощью АРТ содержит следующие этапы: инициализация, распознавание, сравнение, поиск, обучение.

1. Инициализация.

а) выбираем параметр

, исходя из требуемой детальности классификации;

б) создаем сеть в памяти. Количество нейронов должно быть достаточным, чтобы запомнить все ядра классов (до

). Изначально все нейроны слоя распознавания считаются "невыделенными", их веса приравниваются к одинаковым небольшим значениям:

где

- некоторая константа (обычно
). Веса в слое сравнения также выбираются одинаковыми, равными единице:
.

Такой выбор весов обеспечивает остановку поиска на невыделенном нейроне, если нет подходящих выделенных нейронов, и правильное обучение.

2. Распознавание.

а) предъявляем вектор

на входе. До этого момента
и выход слоя распознавания равен нулю:
.

б) у вектора

есть ненулевые компоненты, поэтому
становится равным единице, т.к.
. Сигнал

"подпитывает" нейроны слоя сравнения и

без изменений проходит через слой сравнения:
.

в) весовые коэффициенты

имеют смысл нормированных ядер классов. В слое распознавания активируется несколько нейронов, но благодаря латеральному торможению остается один нейрон с выходом
, а остальные тормозятся.
- номер выигравшего нейрона.

3. Сравнение.

а) выход

приводит к
, что снимает "подкачку" нейронов в слое сравнения. Весовые коэффициенты
имеют смысл ненормированных двоичных ядер классов. На вход слоя сравнения передается один ненулевой выход слоя распознавания,
. Эта единица умножается на весовые коэффициенты, давая в сумме сигнал

Порог всех нейронов равен 2, поэтому выход слоя сравнения равен

Следовательно, выход слоя сравнения на этом этапе - логическое произведение входного сигнала и двоичного ядра класса из слоя сравнения.

б) модуль сброса вычисляет второй критерий сходства (первый - максимум произведения (

) в слое распознавания). Если количества единиц в векторе
и векторе
близки, то сходство считается хорошим и выносится решение о принадлежности вектора
к классу
.


4. Поиск.

а) если критерий сходства не выполняется, схема сброса вырабатывает сигнал
, который тормозит нейрон
в слое распознавания. Сигнал
остается равным 1 до окончания данной классификации. Выход нейрона
становится равным 0, а, следовательно, и весь вектор
. Сигнал
становится равным нулю и вектор
снова проходит через слой сравнения без изменений, вызывая новый цикл поиска (шаги 2в-3б), пока критерий сходства не будет удовлетворен.

При соответствующем выборе начальных значений весов
поиск всегда закончится на нераспределенном нейроне слоя распознавания. Для него будет выполнен критерий сходства, т.к. все веса
равны 1. Если все нейроны выделены и критерий сходства не выполняется, следует аварийная остановка либо расширение сети введением нового нейрона в слое распознавания и новых входов в слое сравнения.

5. Обучение.

Независимо от того, найден ли на этапе поиска распределенный нейрон или нераспределенный, обучение протекает одинаково. Корректируются лишь веса выигравшего нейрона
в слое распознавания и веса
для всех
в слое сравнения.

Различают быстрое и медленное обучение. При быстром обучении коррекции весов имеют вид:



где
- константа.

Веса в слое сравнения - двоичные:
.

В результате такого алгоритма обучения ядра
изменяются, несущественные компоненты обнуляются в процессе обучения. Если какая-то компонента вектора
стала нулевой на какой-то итерации обучения, она никогда не вернется к единице. В этом проявляется асимметрия АРТ по отношению к значениям 0 и 1. Эта асимметрия имеет серьезные отрицательные последствия для модели, приводя к деградации ядер классов в случае зашумленных входных векторов.

Медленное обучение меняет ядра малыми коррекциями:



где
мало и характеризует скорость обучения.

В результате каждой итерации обучения ядра меняются незначительно.

Видно, что веса
в любой момент времени могут быть однозначно рассчитаны через веса
, таким образом, кодирование информации о ядрах в АРТ в рассмотренной модели является избыточным в смысле расхода памяти.


Содержание раздела