 |
 |
 |
 |
|
 |
 |
что пороговая величина этого элемента ? = 0,75. Согласно правилу активации Мак-Каллока — Питтса,
для того чтобы суммарный входной уровень превысил данную величину порога и тем самым
инициировал выход (Y), должны быть активными оба входа (X1 = Х2 = 1). Тот же самый элемент может
быть преобразован в логический элемент ИЛИ снижением порога до величины менее 0,50 или
повышением веса входов до величины более 0,75. Наконец, для полноты логической системы, можно
сконструировать оператор НЕ путем инвертирования правила активации, так что когда суммарный
входной уровень превышает величину порога, элемент, который бы в противном случае инициировался
(Y = 1), будет выключаться (Y = 0). Это инвертированное правило активации может быть записано как:
Y = 1, если не ? (V
i
X
i
) > ?, тогда Y = 0.
Синаптическая фасилитация
Истоки правил обучения для сетей кроются в идее, сформулированной впервые в общих чертах
Хеббом. Коротко говоря, он применил старый закон смежности к уровню нейронной активности и
утверждал, что синаптическая передача будет получать выигрыш в эффективности всякий раз, когда
пресинаптическая активность оказывается смежной по времени с постсинаптической активностью. На
рис. 2 приведен пример хеббовского элемента. Этот хеббовский элемент имеет две входные связи. Один
вход (X
i
), наз. здесь «сигнальным» входом («cue» input), не обладает изначально весом связи и,
следовательно, не способен активизировать элемент. Др. вход (Х
0
), обычно наз. «обучающим» входом
(«teacher» input), имеет фиксированный большой вес (V
0
= 1), позволяющий активизировать элемент и
вызвать «ответный» выход («response» output). При совмещении во времени обоих входов, сигнальный
вход будет обеспечивать пресинаптическую активность (X
i
), а обучающий вход будет вызывать
постсинаптическую активность (Y). В мат. терминах, изменение веса связи
(?V
i
) выражается в виде
произведения двух уровней активности. Это правило обучения может быть записано как ?V
i
= сХ
i
Y, где
с — коэффициент пропорциональности (0 < с < 1).
Рис. 2. Хеббовский адаптивный элемент, в котором X
i
— уровень сигнального входа, V
i
—
адаптивный вес связи, Х
0
— уровень обучающего входа, a Y — уровень выходной реакции
Если по хеббовскому правилу научение находится в строгой зависимости от смежности уровней
активации, согласно др. правилам научение зависит от ошибки в способности веса сигнального входа
соответствовать обучающему входу. Одно из наиболее часто используемых правил этого рода известно
под разными наименованиями: правило допустимой ошибки (дельта), правило Ресколы — Вагнера (the
Rescorla — Wagner rule), правило Видроу —
Хоффа (the Widrow — Hoff rule)
и правило наименьших
средних квадратов (least-mean squares rule). При наличии множества одновременных сигнальных
входов это правило может быть записано как ?V
i
= с (V
0
X
0
—
? [V
i
X
i
]) X
i
. Анализ этого правила
показывает, что когда суммарный вход (? [V
i
X
i
]) существенно отличается от активации, вызываемой
обучающим входом (V
0
X
0
), это приводит к резкому изменению веса связи каждого подходящего входа
(?V
i
). И наоборот, когда это различие мало, изменение также будет малым.
Правило исправления ошибок (error-correction rule) оказывается более сложным, чем хеббовское
правило смежности, однако имеет 3 осн. преимущества при моделировании ассоциативного обучения.
1. Самоограничивающиеся приращения. Тогда как правило смежности порождает веса связи, к-
рые растут линейно, правило исправления ошибок является самоограничивающимся. Эта его
особенность производит отрицательное ускорение, к-рое можно наблюдать в большинстве кривых
научения.
2. Обратимость. Правило смежности продуцирует только положительные приращения в
научении, тогда как правило исправления ошибок порождает не только положительные, но и
отрицательные приращения (или затухание). В частности, в правиле смежности, отсутствие
обучающего входа (Х
0
)
исключает любые приращения, но при этом не влечет эффекта затухания. В
свою очередь, в правиле исправления ошибок, отсутствие обучающего входа означает, что вычитаемый
