Модели нейронных сетей.

,(2.1)

где pi - вероятность нахождения i-го блока в единичном состоянии;

P (x) - сигмоидная функция (рис. 1.2. б);

T - параметр, аналогичный температуре. При T®0 это правило переходит в правило срабатывания детерминированных элементов (1.3), а при повышении температуры увеличивается вероятность перехода системы в состояние с большей энергией.

Обучение машины Больцмана описано в параграфе 2.2.

Сети с латеральным торможением.

Карты признаков Кохонена. Обычно в качестве входных образов в моделях ассоциативной памяти используются некоторые внутренние представления сенсорной информации, прошедшей, как считается, необходимую предобработку. Один из нейросетевых вариантов такой переработки предложен Кохоненом. Его алгоритм формирует одно- или двумерную карту «карту» признаков путем нелинейного «сплющивания» многомерного сигнального пространства. При этом предполагается, что такое отображение должно сохранять топологические отношения, существующие между входными сигналами.

Структура нейронной сети, в которой реализуется формирование карт признаков, приведена на рис. 2.1. Нейроны, имеющие сигмоидную характеристику, расположены в виде одно- и двумерного слоя слоя по аналогии со слоистым строением коры. На каждый нейрон поступают два вида связей: mij, которые интерпретируются как связи от сенсорных входов или из других областей, и wjk - латеральные связи от нейронов одного слоя, характер которых зависит от расстояния между нейронами. Функция взаимодействия нейронов одного слоя имеет вид «мексиканской шляпы» (рис. 2.2.), что соответствует некоторым нейробиологическим данным. Близко расположенные нейроны возбуждают друг друга, с увеличением расстояния возбуждение сменяется торможением, а затем опять появляются слабые возбуждающие связи, которые по-видимому, выполняют ассоциативные функции и в данной модели не используются.

Эффект наличия латеральных связей с радиусом действия порядка размеров сети проявляется в следующем. Если на каждый нейрон подать (например, через связи от сенсорных входов mij) имеющий небольшой максимум случайный сигнал Si, то в процессе релаксации сети осуществляется повышение его контрасности. В результате вокруг первоначального максимума образуется «пузырек» выходной активности нейронов (рис. 2.3.).

Рис. 2.3.

Входные сигналы полностью определяют процесс самоорганизации сети, т.е. в ней реализован алгоритм обучения без учителя. Латеральные связи wjk в модели считаются постоянными, и все адаптивные эффекты происходят только в матрице входных связей М. Подробнее процесс обучения рассмотрен в параграфе 2.2.

Теория адаптивного резонанса. Пожалуй, одна из самых развитых и продуманных с биологической точки зрения концепций нейросетевой обработки информации предложена в работах Гроссберга. Ее стержнем является модель нейронной сети и алгоритмы теории адаптивного резонанса, которая была разработана в начале 70-х годов и детализирована в 80-х.

Нейронная система теории адаптивного резонанса способна обучаться распознаванию образов различной степени сложности. Она относит входной образ к одному из классов в зависимости от того, на какой образ из запомненных образов он больше всего похож. Если входной образ не соответствует ни одному из запомненных, создается новый класс путем его запоминания. Если найден образ, с определенным «допуском» соответствующий входному, то он модифицируется так, чтобы стать еще больше похожим на входной.

Другое по теме

Большой взрыв
По современным представлениям, состояние расширяющейся Вселенной в прошлом (около 13 млрд. лет назад), когда ее средняя плотность в огромное число раз превышала нынешнюю. Периодом Большого взрыва условно называют интервал времени от 0 до нескольких сот секунд. В самом начале этого периода вещество во Вселенной приобрело кол ...

Формирование понятия “фермент” в школьном курсе биологии и связь с школьным курсом химии
Одним из фундаментальных понятий, как биологии,так и химии является понятие “фермент”.Изучение ферментов имеет большое значение для любой области биологии,а также для многих отраслей химической,пищевой и фармацевтической промышленности,занятых производством биологически активных веществ для медицины и народного хозяйств ...