Обучение нейронной сети.

Одно из важнейших свойств нейроподобной сети - способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Обучение основано на увеличении силы связи (веса синопса) между одновременно активными нейронами. Таким образом, часто используемые связи усиливаются, что объясняет феномен обучения путем повторения и привыкания. Математически это правило можно записать так:

(1.5)

где wij(t) и wij(t+1) - значение связи от i-го к j-му нейрону соответственно до и после его изменения, a - скорость обучения. В настоящее время существует множество разнообразных обучающих правил (алгоритмов обучения). Некоторые из них приведены ниже.

«

Back

propagation

» (алгоритм обратного распространения ошибки).

Этот алгоритм является обобщением одной из процедур обучения простого персептрона, известной как правило Уидроу - Хоффа (или дельта-правило), и требует представления обучающей выборки. Выборка состоит из набора пар образов, между которыми надо установить соответствие, и может рассматриваться как обширное задание векторной функции, область определения которой - набор входных образов, а множество значений - набор выходов.

Перед началом обучения связям присваиваются небольшие случайные значения. Каждая итерация процедуры состоит из двух фаз. Во время первой фазы на сеть подается входной вектор (образ) путем установки в нужное состояние входных элементов. Затем входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход - выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидную нелинейность вида (1.4).

Полученный выходной вектор сравнивается с требуемым. Если они совпадают, обучения не происходит. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основании этой информации об ошибке производится модификация связей с обобщенным дельта-правилом.

Обучение без «воспитателя».

Обучение без «воспитателя» возможно например в сетях адаптивного резонанса (параграф 2.1.3.). Происходит сравнение входного образа с имеющимися в памяти сети шаблонами. Если нет подходящего шаблона, с которым можно было бы отождествить исследуемый образ, то создается новый шаблон, содержащий в себе этот входной образ. В дальнейшем новый шаблон используется наравне с другими.

Другое по теме

Метод двойной стандартной добавки.
Метод заключается в том, что к анализируемому раствору добавляются 2 порции стандартного раствора. Величина этих порций одинакова. По результатам измерений вычисляется параметр R = D E2 / D E1 , где D E1 - разность между потенциалом электродов в анализируемом растворе, и в растворе после первой добавки; D E2 - разност ...

Научное объяснение, его структура и основные разновидности. Предсказание
Объяснение – важнейшая функция чел познания, в частности научного исследования, состоящая в раскрытии сущности изучаемого объекта. В реальной практике исследования О. осуществяется путем показа того, что объясняемый объект подчиняется определенному закону. Теор познания различает структурные объяснения, отвеч на вопрос ...