Модель адаптивного нейрона

 

!..тантра-т .. я я, от- ч; ", " -, ОПИСАНИЕ

ИЗОВРЕ Ппия

К АВТОРСКОМУ СВИДЕТМЬСТВУ

Союз Советских

Социапистических

Республик >765823 (61) Дополнительное к авт. свид-ву— (51)М К 3 (22) Заявлено 150878 (21) 2655391/18-24

G 06 G 7/60 с присоединением заявки ¹(23) Приоритет -—

Государственный комитет

СССР но делам изобретений н открытий

Опубликовано 2309,80, Бюллетень № 35

Дата опубликования описания 2309,80 (53) УДК 681.ззз (088,8) (72) Автор изобретения

В, В. Редин (71) Заявитель Таганрогский радиотехнический институт им. В.Д. Калмыкова (54) МОДЕЛЬ АДАПТИВНОГО НЕЙРОНА

Наиболее близким техническим решением к изобретению является моцель

15 адаптивного нейрона, содержащая управляющий вход, который подключен к первому входу первого блока временного суммирования, к входу независи.мой переменной выходного интегратора к2О и к первому входу блока адаптации, н и входов, каждый из которых подключен к первому входу соответствующего блока моделирования синапса, выход кото.рого соединен с соответствующим вхо25 дом первого блока пространственного, суммирования, выход которого подключен к второму входу первого блока временного суммирования, выход которого соединен с пряьым входом .блока сравнеЗО ния с порогом, а его выход подключен

Изобретение относится к бионике и вычислительной технике и может быть использовано в качестве элемента. адаптивных нейронных сетей, для моделирования биологических процессов, в- устройствах распознавания образов, а также-в качестве структур, предназначенных для решения систем алгебраических уравнений, дифференциальных уравнений, задач исследования операций, краевых задач теории поля .

Из ве стно устройство, моделирующее адаптивные свойства нервных клеток, содержащее блоки моделирования синан са, адаптивный сумматор, схему сравнения, преобразователь напряжения в частоту, блок управления синапсом, формирователь выходных сигналов, бло формирования порога, блок управления реФистивным элементом, находящимся. в блоке моделирования синапса, цепь адаптации, по выходному сигналу, содержащую 1-й интегратор, источник питания и цепь, моделирующую увеличение активности нейроподобного элемента в зависимости от частоты его возбуждения, построенную на первом и втором интеграторах 11 .

Однако устройства, основанные на элементах аналоговой техники имею г слишком малую стабильность параметров, особенно в зависимости от времени и температуры, а устранение этого значительно увеличивает стоимость элемента. Кроме того, такие элементы

1при их совместной работе с ЭВМ, тре1О буют дополнительных дорогостоящих преобразователей ан алого-цифровогб и цифроаналогового типа.

76582 3 к входу подинтегральной фун кции выХодного интегратора, ныход которого является выходом модели (2). Кроме этого, модель содержит цифровые сумматоры, интеграторы и ряд специальных управляющих входов, Согласно современным представлениям нервной клетке приписывается изве, стная автономность, выражающаяся в оптимизации энергетических процессов и в пластичности, которую связывают с изменением весов синапсов в процессе жизнедеятельности нервной клетки.

На формирование пластических изменений в синапсах оказывает влияние выходная активность самого нейрона.Полагают, что обратная связь в нейроне 15 может управлять скоростью пластических изменений н синапсах в зависимости не только от внешней активности синапсов, обусловленной внешними для нейрона ноздействиями, но и от выход- Щ ной активности нейрона. Степень участия каждого синапса при этом определяется величиной постсинаптического потенциала, генерируемого данным синапсом н момент возникновения ответа.

Легко видно, что подобные свойства не нашли свои отражения s известной модели нейрона, Другой погрешностью модели является большое количество специальных входов..

Цель изобретения — повышение точности моделирования, Достигается это тем, что в модель .адаптивного нейрона, содержащую первый блок временного суммирования ; первый вход которого псдключен к управляющему входу модели, соединенному с входом .независимой переменной выходного интегратора и первым входом блока адаптации, блок моделирования синапса, выход которого соединен с 4Q соответствующим входом первого блока пространственного суммирования, выход которого подключен к второму входу первого блока временнога суммирования, выход которого соединен с первым входом блока сравнения, а выход последнего подключен к входу под9нтегральной функции выходного интегратора, выход которога является выходом модели, нведены два блока управления пластичностью, блок коррекции, нторой блок пространственного суммирования, второй блок временного суммирования и блоки умножения, первые входы которых соединены с соответствующими входами мбдели, управляющий вход которой 55 подключен к первому входу второго блока .временного суммирования ныход которого соединен с вторым входом

; блока сравнения и с .входом.первого . блока управления пластичностью, вы- щ хад которого подключен к первому. входу блока коррекции и к вторым входам блоков умножения, выходы которых подключены соответственно к входам второго блока прастранствен- ф5 ного суммирования, выход которого соедин ен с н торым н ходом н торо го блока временного суммирования, выход первого блока временного: суммирования подключен к второму входу блока коррекции, выход которого соединен с вторым входом блока адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управления пластичностью, . выход которого соединен с вторыми входами блоков моделирования синапса, Кроме того, блок управления пластичностью содержит первый интегратор, вход независимой переменной которого подключен к входу блока управления пластичностью, выход первого интегратора подключен к входу независимой переменной второго интегратора, выход которого соединен с входом подинтегральной функции первого интегратора, с инверсным входом подинтегральной функции второго интегратора и с выходом блока управления пластичностью. Помимо этого. блок коррекции содержит первый интегратор, вход независимой переменной которого подключен к перному нходу блока и к входу подинтегральной функции второго интегратора, Выход которого соединен с одним входом первого сумматора, другой вход .которого подключен к выходу первого интегратора, вход падинтегральной функции которого соединен с входом независимой переменной второго интегратора и с вторым входом блока коррекции; выход перного сумматара подключен к входу независимой переменной третьего интегратора и к входу подюнтегральной функции четвертого интегратора, выход которого еоединен с одним входом второго сумматора, а его другой вход подключен к ныходу третьего интегратора, вход пощннтегральнай функции которого соединен с входом независимой переменной четвертого интегратора и с третьим входом блока коррекции, выход второго сумматора подключен к выходу блока коррекции.

Каждый, блок умножения и каждый блок моделирования синапса состоит из

4-х цифровых интеграторов и двух цифровых сумматоров, соединенных так, что вход независимой переменной первого интегратора соединен с вторым входом. блока, а вход подинтегральной функции соединен с первым входом бло ка, вход неэанисимой переменной второго интегратора соединен с первым входом блока, а вход подинтегральной функции соедйнен с вторым входом блока, первый и второй входы первого сумматора соединены соответственно с выходами первого и второго интегратора, вход независимой переменной третьего интегратора соединен с выходом первого сумматора, а вход подинтег765823 рапьной функции соединен с первым . входом блока, вход независимой переменной четвертого интегратора соеди- нен с первым входом блока, а зход подинтегральной функцик соединен с выходом первого сумматора, первый и 5 второй входы второго сумматора соединены соответственно с выходами третьего и четвертого интеграторов, выход второго сумматора соединен с выходом блока, каждый иэ блоков вре- g менного суммирования и блок адаптации состоит иэ трех цифровых интеграторов и одного цифрового сумматора, соединенного так, что входы неэави— симой перемэнной первого и второго интеграторов подключены к первому входу блока, вход подйнтегральной функции первого интегратора соединен с вторым входом блока, инверсный вход подинтегральной функции второго интегратора соединен с выходом третьего интегратора, являющимся выходом блока, первый и второй входы сумматора соединены соответственно с выходами первого и второго интеграторов, а выход этого сумматора соеди- 2 нен с входом независимой переменной третьего интегратора, а регистр под мнтегральной функции которого занесена соответствующая постоянная величин а.

Сущность изобретения заключается в том, что в модель введена обратная связь между выходом, первого блока, временного суммирования и вторылм входами блоков моделирования синапса, З5 образованная последовательно соединенными блоком коррекции, блоком адаптации и вторым блоком управления пластичностью. При неизменной интенсивности входного воздействия эта связь обеспечивает адаптацию нейрона по выходу, заключающуюся в устранении отклонения величины сигнала на выходе первого блока временного суммирования от величины порога путем изменения весов синапсов > т.е, за счет активного обучения нейрона. Оптимизация энергетических процессов в нейроне заключается в .обеспечении в режиме адаптации минимума целевых функций и осуществляется эа счет соответствующего изменения величины порога. Требуемую величину порога вырабатывают последовательно соединенные второй блок пространственного суммирования, второй блок временного суммирования и первый блок управления пластичностью, выход которого соединен с вторыми входами блока перемножения, С выхода второго блока управления плас- 60 тичностью в блок коррекции вводится величина обратная величине порога.

Выход второго блока временного суммирования, вырабатывающего значение величины порога, соединен с инверс- g5 ным входом блока сравнения с порогом, эа счет чего осуществляется плавное падение частоты выдачи приращений на выходе устройства и режиме адаптации.

Блок коррекции обеспечивае получение по текущим значениям сигнала на выходе блока адаптации и отношения величины сигнала на выходе первого блока временного суммирования к величине порога управляющего воздействия отрабатываемого блоком адаптации со, скоростью, определяемой постоянной времени блока адаптации.

Выходной сигнал блока адаптации преобразуется вторым блоком управления пластичностью в величину ему обратную, которая и изменяет вес синапсов.

На чертеже дана схема моделирова-. ния адаптивного нейрона, Она содержит входы устройства 1, 1 ... ° 1„, вход 2, управляющий изменением длительности периода возбуждения, блок адаптации 3, первый блок 4 пространственного суммирования первый блок 5 временного суммирования, блок 6 сравнения, выходной интегратор 7 выход устройства 8, блоки 9«

9 ...9„моделирования синапса,,второй блок 10 пространственного суммирования, второй блок 11 временного суммирования, первый блок 12 управления пластичностью, блоки 13,, 13 .,13

2 перемножения, первый вход 141 и второй вход 15„соответствующего блока

13„, блок коррекции 16, имеющий первый вход 17 второй вход 18, и третий вхсд 19, второй блок 20 управления пластичностью, первый вход 21„и второй вход 221 соответствующего блока 9,, первый интегратор 23 и второй интегратора 24 блока 20, первый интегратор 25, второй интегратор 26, первый сумматор 27, третий интегратор 28, четвертый интегратор 29, второй сумматор 30 блока 16, первый интегратор 31. âòîðîé интегратор 32, первый сумматор 3Q третий интегратор 34, чет вертый интегратор 35, и второй сумматор 36„блока 9„, первый интегратор 37, второй интегратор 38, третий интегратор 39 и сумматор 40 блока 3.

Функционирование устройства осуществляется следующим образом. Пусть в i-ом также на входы 1„, 1 ...1„пбданы соответствующие приращения Ах1, а в блоки 3, 11,5 и 7 подано с входа

2 приращение gt, которое, будучи умноженным в интеграторе 37 на содержимое его регистра под интегральной функции (у О/Ц,), и сложенным в сумматоре

40 с приращением yt, умноженным: в интеграторе 38 на содержимое его регистра подюнтегральной функции ;, и умноженным в интеграторе 39 на содержащуюся в его регистре пощунтеграль765823 ной функции величину 1/Г« дает на выходе блока 3 приращение и;.ЯЬф.„а - „, и 1

АналоГично, приращение М,будучи умноженным в первых интеграторах блоков

11 и 5 на содержимое иэ регистров подинтегральных функций 9! .«и 9 «соответственно и сложенным в сумматорах блоков с приращением dt умноженным во ()

2-х интеграторах блоков на содержимое их регистров подинтегральных функций -Оо,j-f и-0 - соответственно и умноженным в 3-х интеграторах на величину

1/ «дает на выходных блоках 11 и

5 приращения

ЛП „ f/ (Х,, Qt — ц,,- д );

=1/ („, Ь регистрах под нтегральных функций интегратора 38 блока 3 и 2-х интегра- 2О торов блоков 11 и 5 будут накоплены соответственно новые значения. величйн -у, -П „, -U; . На выходе 8 устройства будет выдано приращение

П „ц„д = макс (О «(U o ),И,юЯ .Приращенйе ду«поступив на вход независимой переменной интегратора 23 и будучи умноженным на хранящиеся в его. регистре поджнтегральной функции значение 1/у; 1 дает на выходе приращение

1/у;, g у, которое, будучи умноженным ЗО на величину -„—,, хранимую в регистре 1 подинтегральной функции интегратора

24«дает на его выходе приращение

4 ф-"-- Я-.;) д, «которое поступит н а

% входы 22 .... 22„и соответствующих 35 блоков 9„, на входы 21, ° .. 21„, которых поступили соответствующие приращения д ху . Приращениед1/у, будучи умноженным в соответствующем интеграторе 31 на содержимое его регистра поц .нтегральной функции и сложенным в соответствующем сумматоре .33 с

:приращением дх „,умноженным в йнтегра:торе 32, на содержимое его регистра подинтегральной функции, дает на выходе соответствующего сумматора 33 приращение веса синапса

5О которое, будучи умноженным в соответст-, вующем интеграторе 34«на содержимое ,его регистра подь нтегральной функции .и сложенным в соответствующем сумматоре 361 с приращением входного сигнала 55 умноженным в интеграторе 35> на содержимое его регистра подннтеграль. ной функции, дает на выходе соответствующего сумматора 36> приращения постсинаптического потенциала, 46 П.,=д()(" " =) -. aq> . х .

К этому момент в регистрах подунтегральных функций соответствующих интеграторов 31,, 32, «34,, 35, будут накоплены соответственно значения х", 41«

1/у,, х;, $, . Приращения bV просуммированные блоком 4, дают на его вйходе приращение Ьч,, которое, поступив в блок 5, вызывает накопление в нем значения V = V + ЬЧ; котоРое и хранится в нем до начала нового (i+3 ) -го такта, вызываемого новой подачей приращения gt.

Одновременно с этими процессами приращение ау; поступает с выхода блока 3 на вход 19 блока коррекции

16, где будучи умноженным в интегра-. торе 29 на содержимое его регистра подинтегральной функции и сложенным в сумматоре 30 с прира

/U щением д1 — «умноженным в интеграторе

Uoi

28 на содержимое его регистра подинтегральной функции дает на выходе

«И сумматора 30 приращение д(1 g „);,которое поступив в блок 3, вызывает в нем накопление значения (g U ),, хранимого до поступления следующего такта.

Приращение порога д0 „,поступив на вход блока 12, вызывает на его выходе по аналогии с блоком 20 прираще1

« ниед —,. При этом в 1 и 2-м интегра"л торах олока 12 будут накоплены соотвественно значения 1/Оо и -1)Ц ° Приращение А о, поступает на входы 15 ...15

- 1-, а соответствующих блоков 13,на входы

14 ... 14, которых поступили состветсвуюцие приращения Ах" . По аналоЛ гии с блоком 9 на выходе блока 13 появляется приращение % i x,"úд",с+Р1,х Л.

При этом в регистрах под(«интегральных функций 1,2« 3 и 4-ro интеграторов блока 13 накопятся соответственно зн ачения

Блок 10, просуммировав поступившие íà его вход рнращения AQ<, дает на выходе приращение ЕМ/;=-.R.ЛЯд, «котоа=1 рое поступив в блок 11, вйзывает накопление в нем величины %/;«которая и хранится здесь до нового такта, Кроме того, приращение д„- .поступает

1 на вход 17 блока коррекций, на вход

18 которого поступает приращение д0 из блоку 5, в результате чего приращение Ьо °,будучи умноженным в интеграторе 25 на содержимое его регистра под нтегральной функции и сложенным в сумматоре 27 с приращением 6U; умноженным в интеграторе 26 на содержимое регистра подднтегральной функции дает на выходе сумматора 27 приращение Ь(ц ), которое поступает на вход и независимой переменной интегратора

28. После выдачи блоком 16 выходного прйращения в регистрах подйнтегральных функций интеграторов 25,26,28

765823

10 и 23 и 4-ro интегратора блока 13, 1-го интегратора блока 12 в 1-м такте.

Этот алгоритм вытекает иэ следующей системы уравнений Шеннона: и 29 с азываются накопленными значения О,,„-, ;,(-, ), соответственно.

/Q \

Приращейие лЦ;, hUa, поступив соответственно на прямой и инверсный входы блока 6, вызывают на его выходе появление приращения h(U-Uo)„ которое поступив s выходной интегратор

7, вызывает накопление в нем значения (U- Up ), которое и хранится до .наступления следующего такта, Разностный алгоритм работы модели записывается следующим образом.

dy — (q — 1К- <@.)

Ц

Г Vo и О=1(Е{мсК вЂ” ЦД и

dan=7 доз с)Ч -x Дс +q,.Ä»

= . "1

М .М с(0 =1/Е{ФМ.-Ц Ж)

t1

С(%= Е de)>

3=1 с(< =» р +р. Д». (3 p. -- Х, Д- - д»1

3 3 Ua uo 4

» = ()о ьУ;= ((l — „1 " > -.а ) дц=-(ч,,at-и;, ас) (ll

b,М = аМ"

ii i<=»i 4"%й " дс -.=х-. 6,-.+ —.а»-1 й1 1 М 3l (М у2 1

4 ЦО т 1 4 ;-1 ОО,(-1 Ч

ЬФ„=, Е аале)" 3=1

Ьф, -. = Х - А —,+ — Ах

I ж="й Рй % ""ъ

ы/ —.= — ац .1 ц „- ц, о,ь, O,(-1

Эта система уравнений в свою оче-. редь вытекает иэ следующей систеьы:

j тау(а+у-у — =о

Ц

Ио

JU 7 Х

1-+U- - — — =о п

i Х -(цо д= 3

Ч вЂ” +U;- =а ДФ, цо

;„ ; ь"„, Ñ ;;,ьЩ ц;„ приращения на выходе соответственно блоков 3,5,4,9 сум1 атора.331блоков 20 11 10 13

Р У Р I

2 первого сумматора соответствующих блоков 13 „в 1-м такте 1 величина периода возбужденного на входе 2у 45 приращение входного сигнала j входа в i-м такте содержимое регистров подинтегральной функции соответсвенно интегратора

39 и трех интегратород блоков 5 и 11у содержимое регистров подинтегральных функций интеграторов 37, 38-го и второго интеграторов блока 56,интегратора 24, 1 и 2-.го интеграторов олока

ll 2-го интегратора блока

12 в 1-ом такте содержимое регистров под- бо интегральных функций,соответственно интеграторов

31, 34,, 1 и 3-го интеграторов блока 13, 35 (вес j-ro синапса) 32> 65 где ь®,Ац

<®i M м

При условии постоячства входного воздействия и ЫТ система имеет реше" ние которое с течением времени приводит к достаточной точности к равенству U = Uo = у = . х.

Для модели нейрона- можн построить целевые функции, соответствующие принципу наименьшего взаимодействия Эх "

kl7,Ú С,и принципу оптимального воздействия

F =Iu-u, ;ß и-ч (gй. ) у ц - 1

pip q. 1

" 1) 9ii l l

"1lUa i.l

Все они имеют минимум при значениях переменных, соответствующих решению системы дифференциальных уравнений, ь; аь ь а,», аи ж4-ЗЧ а -0 пРи U Llo=÷ =×= =÷-,х

Я»

Х ° ie

41| 11> . }

Ъ ° Л.

44 цо„

Так модель нейрона, функционирующая по приведенному выае разностному алгоритму, стремится с течением времени к самому наиниэшему энергети765823

12 вескому состоянию, какое только возможно при данной постоянной величине входного воздействия путем соответствующего изменения синаптических весов. За счет того, что - Ц на выходе нейрона осуществляется плавное уменьшение частоты выдачи приращений, т.е, осуществляется так называемая частотная адаптация нейрона к входному воздействию постоянной интенсивности, Со™ещение в одной модели несколь= ких функций, выполняемых параллельно и одновременно, и.расширение Функциональных воэможностей делает модель более эффективной при пользовании . в устройствах моделирования биологических процессов. Использование циф- ровых интеграторов и сумматоров во всех без исключения частях модели повышает точность моделирования новых функций и повышает технологичность устройства. Повышению техноло- 20 гии служит и единообразие большого .количества достаточно сложных объединений элементов модели.

Формула изобретения 25. 1.Модель адаптивного нейрона, содержащая первый блок временного суммиро- вания, первый вход которого подключен к управляющему входу модели, соединенному с входом независимой переменной выходного интегратора и йервыф входом блока адаптации, блок моделирования синапса, выход которого соединен с соответcтвующим входом пеРвого блока пространственного суммирова- 3> ния, выход которого подключен к второму входу первого блока временного сумькрования, выход которого соединен с первым входом блока сравнения, выход которого подключен к входу под- 40 интегральной функции выходного интег ратора, выход которого является выхо-", дом модели, а т л и ч а в щ а и с я тем,.что, с целью повышения. точности моделирования, в нее введены два бло- 4$ ка управления пластичностью блок коррекции, второй блок пространствеи ного суммирования, второй блок временного суммирования и блоки умножения, цервые входи .которых соединены с соответствующими входами модели, управляющий вход которой подключен к первому входу второго блока speменного суммирования, выход которого соединен со вторым входом блока срав".у нения и со входом перзого блоха уп-.- равления пластичностью, выход которого подключен к первому входу блока коррекции и к вторым входам блоков умножения, выходы которых подключены соответственно к входам второго блока пространственного суммирования, выход которого соединен с вторым входом второго блока временного суммирования, выход первого блока временного суммирования подключен к второму входу блока коррекции, выход которо— го соединен с вторым входом блока адаптации, выход которого подключен к третьему входу блока коррекции и к входу второго блока управления пластичностью, выход которого соединен с вторыми входами блоков моделирования синапаа.

2. Модель по п.1, о т л и ч а ющ а я с я тЬм, что блок управления пластичностью содержит первый интегратор, вход независимой переменной которого подключен к входу блока управления пластичностью, выход первого интегратора подключен к входу неза-, висимой переменной второго интег-ратора, выход которого соединен с входом подынтегральной Функции первого интегратора,с инверсным входом подынтегральной функции второго интегратора и с выходом блока управления пластичностью.

3. Модель по п.1, о т л и ч а ю— щ а я с я тем, что блок коррекции содержит первый интегратор, вход независимой переменной которого подключен к .первому входу блока и к входу подйнтегральной функции второго интегратора, выход которого соединен с одним входом первого сумматора,другой вход которого подключен к выходу первого интегратора, вход подынтегральной функции которого соединен с входом независимой переменной второго интегратора и с вторым входом блока коррекции, .выход первого сумматора подключен к входу независимой переменной- третьего интегратора .и к входу подннтегралъной Функции четвертого интегратора, выход которого соединен с одним входом второго сумматора, другой вход которого подключен к выходу третьего интегратора, вход под итегральной Функции которого соединен с входом независимой переменной четвертого интегратора и с третьим входом блока коррекции, выход второго сумматора подключен к выходу блока коррекции.

Источники информации, принятые во внимание при экспертизе

1..Авторское свидетельство,СССР

М 512478, кл. G 06 G 7/60 1974 ° -,.

2. Авторское свидетельство СССР по заявке 2520500/18-24, кл. G 06 6 7/60 (прототип) .

7á5823

Составитель А. Яицков

Техред М.Рейвес

Редактор Е, Гончар

Корректор М. Коста

Филиал ППП Патент, г. Ужгород, ул. Проектная, 4

Заказ б 511/46 тираж 7.51 Подпи снсе

ВНИИПИ Государственного комитета СССР по делам изобретений и открытий

113035, Москва, Ж-35, Раушская наб,, д. 4/5