 |
 |
 |
 |
|
 |
 |
член уравнения принимает отрицательные значения (-? [V
i
X
i
]), тем самым производя понижение веса
связи (V
i
). Т. о., правило исправления ошибок может отслеживать изменения прогнозируемого значения
«сигнального» входа для определенного «обучающего» входа.
3. Избирательность. Когда имеется множество сигналов, хеббовское правило смежности
применяется независимо к каждому входу. В отличие от него, правило исправления ошибок
предполагает, что изменение ассоциативной силы для каждого входа зависит от результирующей
ошибки по всем активным входам. Напр., если определенный набор сигнальных входов уже приобрел
высокие веса, то тогда разность членов (V
0
X
0
—
? [V
i
X
i
]) будет приближаться к нулю и тем самым
препятствовать приобретению веса дополнительными, одновременно действующими сигналами. Т. о.,
избыточные сигналы будут эффективно подавляться. Кроме того, если ни одни из сигнальных входов не
обладает предварительным преимуществом, общий вес связи будет распространяться на все
одновременно действующие сигнальные входы. В результате, элемент может «настраиваться» так, что
он будет активизироваться только определенной конфигурацией входов, а не к.-л. одним из этих
входов.
Основные архитектуры
Несмотря на то что материалом для строительных блоков нейронных сетей являются отдельные
элементы, мн. из эмерджентных свойств сети определяются архитектурой их взаимосвязей.
Существуют 2 осн. архитектуры, встречающиеся в большинстве моделей, а именно, сети, содержащие
множество слоев элементов, и сети, в к-рых выходы возвращаются в качестве входов в сеть.
Многослойные сети
Пример простой многослойной сети приведен на рис. 3. Эта сеть имеет два входа (A, В), каждый
из к-рых проецируется на два элемента (X, R). Элемент X, находящийся между событиями на входе и
выходным элементом наз. скрытым элементом. Эта небольшая сеть содержит пять модифицируемых
связей, а именно A-Х, A-R, В-Х, B-R и X-R.
Рис. 3. Конфигурация многослойной сети, подчиняющейся правилу исключающего ИЛИ
Многослойные сети сыграли решающую роль в разрешении вопросов репрезентации стимула и
формирования понятий, вызывавших трудности у традиционных психол. теорий и однослойных
сетевых моделей. В частности, многослойные сети обеспечивают базис для обучения произвольному
отображению (arbitrary mapping)
входных паттернов стимулов в выходные паттерны реакций.
Ключевая проблема оказалась связанной с нелинейными отображениями. При таком отображении,
желаемая реакция на определенное сочетание входов не является аддитивной функцией реакций на
отдельные входы. Примером простейшего нелинейного отображения является правило исключающего
ИЛИ. Правило исключающего ИЛИ требует реакции на каждый из двух входов, предъявляемых по
отдельности, но не на их совместное появление. Напр., мн. люди обнаруживают следование правилу
исключающего ИЛИ в своих вкусовых предпочтениях. Человек может с удовольствием есть лакрицу,
но отказываться есть картофель с лакричной приправой. Если бы отдельные отображения стимул —
реакция являлись строго аддитивными, картофель с лакричной приправой съедался бы с большим
удовольствием.
Вообще говоря, можно преобразовать нелинейную задачу в линейную, постулируя особый вход
для совместного появления осн. стимульных входов. Однако, когда число осн. входов увеличивается,
эта тактика приводит к бурному росту числа особых входов. Более общее решение заключается во
введении механизма обучения, к-рый формирует специализированные кодировки совместных входов по
мере возникновения такой необходимости. Многослойные сети обладают этой способностью. Коротко
говоря, установление подходящих весов связей от стимульных входов к скрытым элементам создает
блоки, специализированные для конкретной комбинации входов. Связи между скрытыми элементами и
выходными элементами обеспечивают отображение этих специализированных блоков в соотв.
