Устройство для моделирования нейроподобной сети
Изобретение относится к вычислительной технике и может быть использовано в устройствах обработки, анализа и распознавания образов, в параллельных нейрокомпьютерах, в системах управления интеллектуальными роботами. Цель изобретения - повышение точности моделирования действия нейроподобной сети путем минимизации вероятности ошибок, ускорения процесса счета и самообучения сети. Поставленная цель достигается тем, что при генерации сигнала команды формируют сигнал доверия, используя суммы преобразованных координат поступившего входного сигнала, перед суммированием каждую координату входного сигнала сравнивают с ее порогом исходного решения. Устройство содержит распределитель импульсов, элементы И, детектор исходных решений, состоящий из вычислителей оценок математического ожидания, дисперсии и порога, двух элементов И, ключей и компараторов, блок формирования команд, состоящий из трех элементов И, двух групп ключей, двух групп вычислителей оценок условных вероятностей, вычислителя оптимального множества и порога, двух компараторов, сумматора по модулю два, двух сумматоров и инвертора. 5 ил.
Изобретение относится к вычислительной технике и может быть использовано для создания элементов нейроподобных сетей в устройствах распознавания образов, в системах управления интеллектуальными роботами, в параллельных нейрокомпьютерах, в низкоскоростных и высокоскоростных модемах передачи дискретных сигналов связи, а также в специализированных банковских и биржевых аппаратно-программных вычислительных комплексах.
Известны нейроподобные сети, содержащие процессорные элементы с бинарными входами, жесткой пороговой функцией. Настройка весовых коэффициентов межсоединений производится по правилам Хеббиана. Оптимальное решение после суммирования входных сигналов и сравнения с порогом требует многократной пробы с различными значениями синаптических весов, длительного обучения. Известен способ моделирования нейроподобной сети "с обратным прогоном", основанный на вычислении отклонений значений сигналов на входных процессорных элементах от эталонных в обратном "прогоне" этих отклонений до породивших их элементов, с целью коррекции ошибки и распознавания "зашумленного" образа [1] Однако, большой массив нейроподобных элементов, задействованных в приеме большого количества входных сигналов, затрудняет и удлиняет время получения оптимального решения и достоверного выходного сигнала системы в связи с вероятностью ошибок в результате помех и шумов. Проблему оптимального решения при обработке входных сигналов может решить их предварительная классификация и селекция. Наиболее близким техническим решением, принятым за прототип, является способ моделирования целенаправленной деятельности нейрона и устройство для его осуществления [2] Известный способ включает прием и преобразование многомерных входных сигналов, суммирование их координат, модификацию порога сигнала на основании использования оценок событий в связи с поступившим входным сигналом, запоминание фактов генерации сигнала команды и получение сигналов теста и генерацию сигнала команды при превышении суммы координат величины порога. При реализации способа, основанного на приеме сигналов, суммировании их координат и генерации команды по достижению порога, модифицируют сумму координат входного сигнала на основе использования прошлого опыта и команду генерируют, если модифицированная сумма координат превзошла модифицированный порог. Причем имеются четыре варианта определения прогноза для модификации порога и пять вариантов для модификации суммы координат. Однако, реализация известного способа связана с большим объемом памяти, задействованным в сети, так как информационная емкость запоминающих блоков возрастает в геометрической прогрессии при увеличении числа координат входного сигнала. Кроме этого, время счета увеличивается, так как по сигналу блока управления считывается содержимое ячеек памяти запоминающих блоков. Известны нейроподобные сети из элементов с бинарными входами, используемые для моделирования нейрона [3] Каждый элемент сети содержит преобразователи входных многомерных сигналов, соединенные с умножителями синаптических весов, выходы которых соединены с сумматором координат сигналов, выход сумматора соединен с компаратором порога. Однако, известное устройство требует сложной процедуры подбора синаптических весов на этапе обучения нейроподобной сети. Кроме этого, сами процедуры значительно изменяются в зависимости от архитектуры сети (с прямыми, с многослойными, с симметричными связями). Кроме этого, вычисление произведений элементов входного вектора на их синаптические веса требует значительного времени. Ускорение процесса счета можно достичь в структурах, обеспечивающих автоматическое самообучение системы, путем обратного регулирования порога генерации сигнала команды, в зависимости от прогноза информационного значения ближайших следствий входного сигнала. Наиболее близким техническим решением, принятым за прототип, является устройство для моделирования целенаправленной деятельности нейрона, содержащее двоичные счетчики, запоминающие блоки, мультиплексоры, сумматоры, вычитатели, блоки определения вероятности и критерия достоверности, коммутации и управления [2] Устройство содержит два информационных входа, первый из которых предназначен для приема многомерных входных сигналов, а второй для приема сигнала теста, один выход Y выход сигнала команды, входной двоичный счетчик, группу запоминающих блоков, два мультиплексора, блок элементов И, два триггера, сумматоры, два вычитателя, блоки определения вероятностей, блок критерия достоверности, два регистра, блок коммутации, блок управления и дешифратор. Известное устройство позволяет расширить функциональные возможности за счет увеличения объема запоминающих устройств, при этом упрощаются связи между нейроподобными элементами в сети. Модификация порога сигнала осуществляется за счет использования оценок событий в связи с поступившим входным сигналом, запоминания фактов генерации сигнала команды и получения сигнала теста. Модификация суммы координат входного сигнала осуществляется за счет использования прошлого опыта, и команду генерируют, если модифицированная сумма координат превзошла модифицированный порог. Однако, в известном устройстве задействован большой объем элементов памяти, увеличивающийся в геометрической прогрессии при увеличении размерности входного сигнала, увеличивается время счета, так как оно расходуется на считывание адресов группы запоминающих блоков, на расчет значения критерия в блоке достоверности. Единая задача, на решение которой направлена единая группа изобретений, заключается в повышении точности моделирования действия нейроподобной сети путем минимизации вероятности ошибок, ускорении процесса счета и самообучения сети, в расширении сферы использования сети. Указанная единая техническая задача решена тем, что в способе моделирования нейроподобной сети, включающем прием многомерных входных сигналов, преобразование координат поступившего входного сигнала по оценкам их математических ожиданий, дисперсий и условных вероятностей исходных решений, нахождение суммы преобразованных координат поступившего входного сигнала, сравнение с порогом, определяемым по значениям оценок условных вероятностей исходных решений всех координат входного сигнала и заданным коэффициентом отношения ошибок первого и второго рода, и генерацию сигнала команды при превышении суммы преобразованных координат входного сигнала величины порога, причем, с целью расширения функциональных возможностей при моделировании нейроподобной сети и снижения вероятности ошибок при генерации сигнала команды формируют сигнал доверия, используя суммы преобразованных координат поступившего входного сигнала, перед суммированием каждую координату входного сигнала сравнивают с ее порогом исходного решения, определяемым по формуле:


причем все оценки математических ожиданий, дисперсий и условных вероятностей исходных решений определяются по значениям координат предшествующих входных сигналов с учетом условия наличия или отсутствия тестового сигнала. Указанная единая техническая задача решена также тем, что устройство для моделирования нейроподобной сети, содержащее ключи, сумматоры, компараторы, распределитель импульсов, вычислители, включает детектор исходных решений, содержащий ключи входных сигналов, соединенные с вычислителями дисперсии, математического ожидания и порогов исходных решений на каждый вход, и блок формирования команд, включающий блок входных ключей и сумматоры, соединенные с компараторами оптимального решения с выходами компараторов детектора исходных решений, при этом блок входных ключей соединен с вычислителями условных вероятностей, соединенных с двумя вычислителями оптимальных множеств и порогов. Заявленная группа изобретений соответствует требованию единства изобретения, поскольку предложенное устройство предназначено для использования способа моделирования нейроподобной сети, и оба объекта направлены на решение одной и той же задачи, с получением единого технического результата. Технический результат, полученный при реализации предложенных способа и устройства, заключается в следующем:
нейроподобная сеть включает минимально необходимое количество нейроподобных элементов для решения поставленной задачи;
устройство при работе обеспечивает автоматизированный процесс самообучения системы без привлечения дополнительных программ и устройств, что расширяет сферу использования нейроподобных сетей;
увеличивается быстродействие нейроподобной сети в связи с уменьшением элементов в сети, увеличением их быстродействия и сокращением числа связей между ними;
предложение может быть использовано в банковских операциях: прогнозирование риска займов; в промышленности: анализ геологической информации, неисправности оборудования, управление процессами, обработка высокоскоростных и низкоскоростных сигналов, обработка радарных сигналов. Примеры реализации способа подтверждают соответствие предложенного технического решения критерию изобретения "промышленная применимость". Проведенный авторами поиск по патентным и научно-техническим источникам не выявил аналогов для способа и устройства заявленной группы, характеризуемой признаками, идентичными по своим свойствам и полученному результату в своей совокупности существенным признакам известных технических решений в данной области хозяйства, что позволяет считать предложение заявителя соответствующим критерию изобретения "изобретательский уровень". При сравнении предложения заявителя с прототипом выявило, что предложенное устройство отличается новой операцией индивидуальной обработки входных сигналов перед суммированием, с использованием новой математической зависимости и критерия минимизации верхней границы ошибок, и что оно содержит детектор исходных решений, включающий вычислитель дисперсий для входных сигналов и вычислитель порогов для каждого исходного решения. Устройство отличается также тем, что оно содержит блок формирования команд, включающий вычислители условных вероятностей, оптимальных множеств и порогов, соединенных ключами с сумматором и детектором исходных решений, что позволяет считать предложение заявителя соответствующим критерию изобретения "новизна". Суть изобретения заключается в том, что при обработке входных сигналов производится замена множества значений реальных сигналов на оптимальное множество цифровых величин, оптимальное по условию соответствия множества своим плотностям распределения условных вероятностей. Для выполнения этого условия и для формирования порога оптимального решения используется новый критерий минимизации связанных верхних границ ошибок первого и второго рода. Для реализации способа вводится индивидуальная обработка входных сигналов до их суммирования. Перед суммированием каждая координата преобразованного входного сигнала сравнивается со своим порогом индивидуального решения Ci. Если Xi>Ci, то Ii принимает значение 1, если Xi


Оценки условных дисперсий и математических ожиданий, используемые в формуле, определяются при получении тестового сигнала. Тестовый сигнал в количестве от 1 до m приходит на входы устройства в виде двоичной последовательности "0" и "1", при этом "1" соответствует наличию образа во входном сигнале, а "0" его отсутствию. Если тестовый сигнал, m-й по счету, равен 1, то соответствующая ему очередная реализация входного сигнала Xmi используется для пересчета значений оценок математического ожидания и дисперсии по формулам:


где Q(m) поправка временного ряда. Параметр Q определяет скорость обновления оценок условных математических ожиданий и дисперсий при их определении по тестовому сигналу. При условии, что m-й тестовый сигнал равен 0, очередная реализация входного сигнала Xmi используется для пересчета оценок условных математических ожиданий и дисперсий по аналогичным формулам


Диапазон допустимых значений оценок математических ожиданий и дисперсий определяется точностью вычислительных устройств. После получения n исходных решений I1-In, соответствующих полученному n-мерному входному сигналу, в устройстве вычисляются две суммы случайных величин

которые сравниваются со своими значениями порогов. В результате обработки исходных решений определяются два решения b1 и b0 по правилам





Решение r является сигналом команды (фиг.3). Решение d является сигналом доверия решению r. В случае совпадения значений сигналов b1 и b0 (оба равны "0" или "1") сигнал команды r, совпадающий по значению с сигналом b1, подтверждается единичным значением сигнала доверия d. При несовпадении сигналов b1 и b0 сигнал доверия d своим нулевым значением запирает сигнал команды r устройства в нейроподобной сети (фиг.4). Определение значений элементов оптимального множества a1(K1), a2(K1). an(K1) производится в результате решения системы уравнений:

где

Эта система уравнений решается методом простых итераций. Оценки условных вероятностей исходных решений, используемые в системе уравнений, определяются при получении тестового сигнала. Если тестовый сигнал, m-й по счету, равен 1, то соответствующее ему очередное значение исходного решения Ii(m) используется для пересчета значения оценки условной вероятности P(Ii/1) i-ой координаты входного сигнала

при условии, что m-й тестовый сигнал равен 0, очередное значение исходного решения I(m) используется для пересчета значения оценки условной вероятности P(Ii/0) i-ой координаты входного сигнала

Диапазон допустимых значений оценок условных вероятностей исходных решений определяется точностью вычислительного устройства. Затем определяется порог полученного оптимального множества для заданного значения соотношения ошибок первого и второго рода K по формуле

Элементы оптимального множества a1(K0), a2(K0), an(Kn) вычисляются таким же способом. При этом коэффициенты соотношения ошибок 1 и 2 рода берут K1=K и K0=1/K. Выражения (8) и (11) определяют первый режим работы вычислителей элементов оптимального множества и порога блока формирования команд. Он основан на математической операции определения минимума n-мерной функции и позволяет управлять соотношением ошибок первого и второго рода. Второй режим работы вычислителей элементов оптимального множества и порога предназначен для обеспечения максимальной достоверности сигнала команды на выходе блока формирования команд, которая обеспечивается при бесконечном увеличении коэффициента соотношения ошибок первого и второго рода (K__




Второй режим работы вычислителей оптимального множества и порога не содержит математической операции определения минимума n-мерной функции. Третий режим работы вычислителей оптимального множества и порога определяется системой уравнений (14). Он так же, как и второй режим, не содержит математической операции определения минимума n-мерной функции и не позволяет управлять соотношением ошибок первого и второго рода сигнала команды.

Все три режима вычислителей оптимального множества и порога не требуют существенных схемных изменений, так как производят одинаковые математические операции с оценками условных вероятностей исходных решений. Существо изобретения заключается также в том, что в устройстве для осуществления предложенного способа сформированы детектор исходных решений и блок формирования команд. В детекторе исходных решений производится замена поступающих на входы информационных сигналов на двузначные значения 1 или 0 в результате их сравнения со значениями индивидуальных порогов, вычисленными по формуле (16). Сигналы индивидуальных решений в блоке формирования команд, поступая на блоки ключей 381-38n и 421-42n (фиг.3), управляют поступлением сигналов значений элементов оптимальных множеств в сумматоры. Значения элементов оптимального множества (ai) определяются по формулам (8). Данные значения после суммирования сравниваются с порогами оптимальных решений. При этих операциях происходит процесс обучения сети, включающий индивидуальную настройку устройства после прихода каждого тестового сигнала. Тестовый сигнал управляет работой вычислителей дисперсии, математического ожидания и условных вероятностей. Вычислители, в конечном счете, определяют элементы оптимальных множеств и порог оптимального решения. По сравнению с известными техническими решениями предложенное устройство исключает этап коррекции после обучения нейросети, что позволяет использовать результаты работы нейроподобной сети и на этапе обучения. Благодаря этому расширяется сфера использования устройства. Коэффициенты соотношения ошибок первого и второго рода нейроподобных элементов позволяют управлять распространением входных сигналов по нейросети. В свою очередь значение функционала Z, получаемое в вычислителе оптимального множества блока формирования команд, выявляет нейроподобные элементы сети с недостоверными сигналами команд на выходе. Эти свойства обеспечивают формирование нейроподобной сети с минимальным для решаемой задачи количеством нейроподобных элементов, а также позволяют автоматизировать процесс самообучения нейросети. По сравнению с известными техническими решениями в предложенном устройстве отсутствует перемножение координат входного сигнала на синаптический вес, что увеличивает быстродействие нейроподобной сети (3). На фиг. 1 приведена структурно-функциональная схема устройства для моделирования нейроподобной сети; на фиг.2 функциональная схема детектора исходных решений; на фиг.3 функциональная схема блока формирования команд; на фиг. 4 структурная схема однолинейной нейроподобной сети; на фиг.5 - структурная схема пирамидальной нейроподобной сети. Устройство моделирования нейроподобной сети (фиг.1) содержит два управляющих элемента И. Элемент 1 с входами 21.2e и выходом 3. Управляющий элемент 4 с входами 51.5e и выходом 6. Линия тестовых сигналов соединяют входы 7 с детектором исходных решений 8 и с блоком формирования команд 9, который имеет выход 10 для сигнала команды и выходы 111 и 112 для сигналов доверия. Распределитель импульсов 12 своими выходами 13-16 соединен с управляющими элементами 1 и 4, с детектором исходных решений и блоком формирования команд 9 и имеет вход 17 для сигнала тактовой частоты. Информационные входы X1, X2,Xn детектора исходных решений 8 соединены с блоком ключей 181.18n (фиг.2) Управляющие элементы 19 и 20 своими входами соединены с линией сигналов управления работой вычислителей 3 и линией тестовых сигналов 7, а выходами соединены с вычислителями оценок математических ожиданий и дисперсий 211,21n и 241,24n. Выходы 221,22n, 231,23n, 251,25n, 261,26n вычислителей соединены с входами вычислителей порогов исходных решений 271,27n, которые подключены к вторым входам блока компараторов 281, 28n. Выходы компараторов I1,In соединены с блоком формирования команд 9, включающим элементы управления 29 и 30 (фиг.3). Входы этих элементов соединены с линией сигналов управления работой вычислителей 3 и линией тестовых сигналов 7. Выход элемента 29 соединен с входами вычислителей 311,31n оценок условных вероятностей, а выход элемента 30 соединен с входами вычислителей оценок условных вероятностей 331,33n. Выходы вычислителей оценок условных вероятностей 321,32n и 341,34n соединены с входами вычислителей оптимального множества и порога 35 и 39. Вычислитель 35 своими выходами 36 и 371,37n соответственно соединен с компаратором 441 и через блок ключей 381,38n с сумматором 431. Вычислитель порога 39 своими выходами 401,40n через блок ключей 421,42n соединен с сумматором 432, а выходом 41 соединен с компаратором 442. Сумматоры 431 и 432 через компараторы 441 и 442 соединены с элементами управления 45 и 46. Элемент 46 соединен с инвертором 47. Элемент 46 является сумматором по модулю 2. Входы вычислителя 311,31n и 331,33n соединены с линиями сигналов коэффициентов обновления статистических оценок Q и сигналов исходных значений статистических оценок S. Элемент 45 имеет выход 10 сигналов команд, сумматор 46 и инвертор 47 имеют выходы 111 и 112 сигналов доверия








Формула изобретения
РИСУНКИ
Рисунок 1, Рисунок 2, Рисунок 3, Рисунок 4, Рисунок 5