Устройство обучения искусственной нейронной сети (варианты)

Полезная модель относится к искусственным нейронным сетям (ИНС), предназначенным для решения задач классификации, а именно к устройствам их обучения, и обеспечивает создание универсального переносного устройства для обучения разнообразных ИНС на основе знаний экспертов. Устройство генерирует с помощью генератора псевдослучайных чисел необходимое число обучающих векторов входных сигналов ИНС и создает визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами. Устройство содержит следующие существенные части: управляющий процессор с набором команд, генератор псевдослучайных чисел, генератор визуальных образов, банк данных изображений, блок памяти, дисплей, клавиатуру, манипулятор графического интерфейса, блок обучения нейросети, интерфейсы для подключения к обучаемой нейросети, аккумуляторную батарею. Перечисленные элементы устройства размещаются в едином компактном корпусе, патентуемое устройство снабжено настраиваемым программным обеспечением. Устройство подключается к обучаемой ИНС с помощью имеющихся интерфейсов и обеспечивает осуществление процесса обучения на основе знаний эксперта, путем коррекции вектора синаптических весов нейронов. Описаны возможные реализации патентуемого устройства (варианты).

1 н. и 9 з.п. ф-лы, 2 ил.

Область техники, к которой относится полезная модель.

Полезная модель относится к компьютерным системам, основанным на биологических моделях, более точно - к искусственным нейронным сетям (ИНС), предназначенным для решения задач классификации, а именно - к устройствам их обучения.

Уровень техники и предпосылки создания полезной модели.

ИНС представляют собой программные и/или аппаратные реализации, построенные по принципу организации и функционирования сетей нервных клеток живых организмов. Это понятие возникло при попытке смоделировать процессы, протекающие в мозге человека и животных.

Нейронные сети базируются на концепции взаимосвязанных нейронов и представляют собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Каждый нейрон ИНС имеет дело с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим нейронам. Будучи соединенными в достаточно большую сеть, такие нейроны вместе способны решать сложные задачи, в частности, задачи классификации [1].

В ИНС нейроны содержат значения данных, каждое из которых влияет на значение присоединенного нейрона согласно связям с заданными весами и на то, отвечает ли сумма связей с каждым конкретным нейроном заданному порогу.

Определяя надлежащие веса синаптических связей (процесс называется обучением), ИНС может добиться эффективного решения задач классификации. Возможность обучения - одно из главных преимуществ нейронных сетей. Известно [2], что такие компьютерные задачи, как задачи классификации, хорошо решаются именно методами машинного обучения.

Один из способов машинного обучения это «обучение с учителем» («supervised learning»), в ходе которого ИНС обучается с помощью примеров «стимул-реакция» (наборов пар, состоящих из обучающих векторов u(n) и эталонных сигналов d(n)). Между обучающими векторами и эталонными сигналами («стимул-реакция») может существовать некоторая зависимость, но она неизвестна. Известна только конечная совокупность прецедентов - пар «стимул-реакция», называемая обучающей выборкой. На основе этих данных требуется так настроить синаптические веса ИНС w(n), чтобы по завершении процесса обучения ИНС могла корректно классифицировать поступающие на ее вход сигналы, в том числе и те, которые отсутствовали в обучающей последовательности.

Одной из популярных моделей ИНС является нейронная сеть, называемая персептрон [3]. На фиг. 1 представлена структура персептрона, в которой можно выделить собственно персептрон и блок его обучения.

Задача персептрона заключается в классификации вектора входных сигналов ИНС u(n)=[u₁, , u_N]^T в смысле отнесения его к одному из двух классов (при числе классов M=2), обозначаемых символами L₁ и L₂. Персептрон относит вектор u(n) к классу L₁, если выходной сигнал y(n) принимает значения 1 и, к классу L₂, если выходной сигнал y(n) принимает значение -1. После этого персептрон разделяет N-мерное пространство входных векторов u(n) на два полупространства, разделяемые (N-1)-мерного гиперплоскостью.

Блок обучения персептрона корректирует веса синаптических связей w(n) по мере обучения в соответствии со следующим алгоритмом.

Разность d(n)-y(n) в формуле (1) является ничем иным, как погрешностью (n) между эталонным (заданным) сигналом d(n) и фактическим выходным сигналом y(n), а параметр при 0<<1 - это шаг коррекции.

Обучение других моделей ИНС способом «обучение с учителем», в целом, происходит аналогично описанному выше. Под «ИНС» в дальнейшем будет обозначаться любая искусственная нейронная сеть, предназначенная для решения задач классификации и поддающаяся обучению путем коррекции вектора синаптических весов нейронов.

Так же известны способы обучения ИНС, в которых обучающие векторы формируют на основе знаний эксперта, например, метод «КЛАРА» («КЛАссификация Реальных Альтернатив»), реализованный с использованием исполняемой на персональном компьютере программы [4].

В другом способе обучения ИНС [5] эксперт последовательно определяет классы исследуемых объектов L_j(n), к которым относятся сгенерированные генератором псевдослучайных чисел обучающие векторы входных сигналов ИНС u(n) и созданные визуальные образы, наглядно описывающие объекты, задаваемые обучающими векторами. Затем эксперт записывает обучающие векторы u(n) и эталонные сигналы d_j(n), соответствующие классам L_j(n) объектов, к которым, по его мнению, относятся сгенерированные вектора, в виде пар <u(n), d _j(n)> на материальный носитель. И подает эти пары с материального носителя на входы ИНС для ее обучения методом «обучение с учителем», путем коррекции вектора синаптических весов нейронов w(n) ИНС в соответствии с формулой (1) с шагом коррекции до завершения обучения.

Для осуществления этих и подобных им способов обучения ИНС требуется использование множества таких разнородных специфических объектов, как генератор псевдослучайных чисел, генератор наглядных визуальных образов, компьютерный монитор, принтер, бумажная распечатка, сканер и т.д.

Так же при обучении ИНС широко используются исполняемые на компьютере программы, которые реализуют генератор псевдослучайных чисел с помощью стандартных функций (например, Randomize и Random() языка программирования «Паскаль»), а визуальные образы выводят на монитор персонального компьютера [4, 5].

Описанные выше программные и аппаратные средства можно рассматривать в качестве аналогов патентуемой полезной модели, так как они предназначены для обучения ИНС, а, следовательно, относятся к средствам схожего с патентуемым устройством назначения.

Однако, указанные средства не относятся к устройствам. Для реализации метода «КЛАРА» используется компьютерная программа [4], а для обучения ИНС по способу обучения, описанному в [5] используется система, состоящая из системного блока компьютера, осуществляющего генерацию псевдослучайных чисел, компьютерного монитора, принтера, сканера и т.д.

Данные аналоги имеют недостатки, устраняемые патентуемой полезной моделью. Например, отсутствует универсальность используемых для обучения ИНС программных и аппаратных средств, а именно;

- для обучения конкретной ИНС используется специфическое программное и аппаратное обеспечение, которое не подходит для обучения другой ИНС, даже если решаемые ими задачи схожи;

- приходится долго перенастраивать и переконфигурировать оборудование при изменении требуемых параметров обучения ИНС;

- используемое при обучении ИНС оборудование громоздко, не является переносным, компактным или мобильным.

Указанные средства не характеризуются свойствами универсальности и переносимости, присущими предлагаемой полезной модели, не предназначены для получения, заявленного в полезной модели технического результата. Поэтому, они приняты заявителем за аналоги предлагаемого устройства, но не могут быть классифицированы как прототип.

В результате проведенного заявителем патентно-информационного поиска не удалось обнаружить более близкие средства для обучения разнообразных ИНС на основе знаний экспертов, реализованные в виде универсального компактного переносимого устройства. Это свидетельствует о том, что совокупность существенных признаков по заявляемой полезной модели неизвестна из уровня техники и полезная модель не имеет прототипа.

Раскрытие полезной модели

Технической задачей, решаемой патентуемой полезной моделью, является создание универсального переносного устройства для обучения разнообразных ИНС на основе знаний экспертов.

Поставленная техническая задача достигается тем, что устройство содержит следующие существенные части:

- управляющий процессор с набором команд;

- генератор псевдослучайных чисел;

- генератор визуальных образов;

- банк данных изображений;

- блок памяти;

- дисплей;

- клавиатуру;

- манипулятор графического интерфейса;

- блок обучения нейросети;

- интерфейсы для подключения к обучаемой нейросети;

- аккумуляторную батарею.

А также тем, что перечисленные элементы устройства размещаются в едином компактном корпусе.

И тем, что патентуемое устройство снабжено легко настраиваемым программным обеспечением.

Устройство подключается к обучаемой нейронной сети с помощью имеющихся интерфейсов и обеспечивает осуществление процесса обучения ИНС на основе знаний эксперта, путем коррекции вектора синаптических весов нейронов. После окончания обучения устройство отключают от ИНС, и оно не влияет на процесс ее дальнейшего функционирования.

При необходимости повторного обучения или дообучения ИНС устройство вновь может быть подключено к обучаемой нейронной сети в любой момент времени.

Краткое описание чертежей

Полезная модель поясняется двумя фигурами графических материалов.

На фигуре 1 показана структура ИНС типа персептрон, в которой пунктиром выделены собственно персептрон и блок его обучения.

На фигуре 2 показана блок-схема существенных частей предпочтительной реализации патентуемого устройства и обучаемая ИНС, с которой оно взаимодействует.

На фигуре 2 использованы следующие обозначения: 1 - патентуемое устройство обучения ИНС, 2 - блок памяти, 3 - блок обучения нейросети, 4 - генератор псевдослучайных чисел, 5 - управляющий процессор с набором команд, 6 - генератор визуальных образов, 7 - банк данных изображений, 8 - клавиатура, 9 - дисплей, 10 - манипулятор графического интерфейса.

Под номерами 11, 12, 13 показаны интерфейсы для подключения к обучаемой ИНС: 11 - выход для подачи обучающих входных сигналов u(n) в обучаемую ИНС, 12 - выход для коррекции вектора синаптических весов нейронов обучаемой ИНС w(n), 13 - вход для считывания выходных сигналов обучаемой ИНС y(n).

Также на фигуре 2 показана обучаемая ИНС 14, к которой подключается патентуемое устройство.

Осуществление полезной модели.

Патентуемая полезная модель в своей предпочтительной реализации представляет собой компактное переносное устройство на энергоэффективном процессоре архитектуры «ARM», работающее под управлением операционной системы «Linux», со встроенным жидкокристаллическим дисплеем, манипулятором графического интерфейса в виде сенсорной панели (тачпад), кнопочной QWERTY-клавиатурой, блоком памяти на твердотельном накопителе (SSD, «solid-state drive»), интерфейсом Mini-USB для подключения к внешним устройствам.

В данной реализации устройства генератор псевдослучайных чисел выполняется при помощи обращения к встроенному в управляющий процессор аппаратному источнику энтропии.

Генератор визуальных образов взаимодействует с базой данных файлов фотографий, хранимых в графическом формате «JPEG» (банк данных изображений). Существует возможность изменения банка данных изображений, путем их пополнения через имеющиеся интерфейсы устройства, удаления, редактирования и т.д.

Патентуемое устройство снабжено легко настраиваемым интуитивно понятным программным обеспечением, поддерживающим реализацию его основных функций и согласованное взаимодействие блоков. Существует программная возможность настройки параметров работы основных блоков устройства.

Энергообеспечение устройства осуществляется встроенной аккумуляторной батареей «Li-ion», подзаряжаемой от сети электропитания.

Обучаемая искусственная нейронная сеть может быть представлена, как в своей чисто аппаратной реализации, так и в виде компьютерного файла (например, dll-библиотеки, «dynamic-link library»), хранимого в памяти совместимого накопителя информации (например, на flash-накопителе).

Патентуемое устройство обучения искусственной нейронной сети (1) при выполнении наиболее популярной программы обучения работает следующим образом (здесь и в дальнейшем упоминаются ссылки на фиг.2).

При необходимости обучения ИНС (14) к ней подключают патентуемое устройство при помощи имеющихся интерфейсов (11, 12, 13), включают устройство, выбирают необходимую программу обучения и запускают ее выполнение.

Эксперт на основе имеющейся информации при помощи клавиатуры (8) и манипулятора (10) вводит в устройство информацию о необходимом числе обучающих векторов, указывает диапазон изменения входных сигналов ИНС, указывает параметры векторов, описывающих наиболее типичных представителей каждого из исследуемых классов объектов и т.д.

Закончив ввод, эксперт запускает выбранную программу обучения ИНС. Управляющий процессор (5) в соответствии с выбранной программой генерирует с помощью генератора псевдослучайных чисел (4) необходимое число обучающих векторов входных сигналов ИНС.

Взаимодействуя с генератором визуальных образов (6), управляющий процессор (5) создает на основе изображений, хранимых в банке данных изображений (7), визуальные образы, наглядно описывающие объекты, задаваемые сгенерированными обучающими векторами.

Далее, управляющий процессор (5) последовательно демонстрирует эксперту на дисплее (9) сгенерированные обучающие векторы и визуальные образы. А также выводит на дисплей (9) возможные классы, к одному из которых может относиться каждый из сгенерированных обучающих векторов и визуальных образов.

Эксперт на основе своих знаний и информации выводимой на дисплей (9) выносит решение о принадлежности каждого вектора к одному из возможных классов и, используя клавиатуру (8) и манипулятор (10) вводит в устройство результаты своего решения.

Управляющий процессор (5) записывает в блок памяти (2) сгенерированные обучающие векторы и эталонные сигналы, соответствующие классам объектов, к которым, по мнению эксперта, относятся сгенерированные вектора, в виде пар «стимул-реакция».

Закончив формирование необходимого для обучения ИНС числа обучающих векторов управляющий процессор (5) подает сигнал блоку обучения нейросети (3) о начале процесса непосредственного обучения ИНС (14).

Получив сигнал блок обучения нейросети (3) считывает из блока памяти (2) записанные пары «стимул-реакция», подает обучающие векторы на входы обучаемой ИНС через выход (11) и считывает выходные сигналы обучаемой ИНС через вход (13). Сравнивая выходные сигналы обучаемой ИНС с соответствующими эталонными сигналами, получаемыми из блока памяти (2), блок обучения нейросети (3) вычисляет погрешность между эталонным сигналом и фактическим выходным сигналом ИНС и корректирует через выход (12) вектор синаптических весов нейронов ИНС (14) в соответствии с формулой (1) с шагом коррекции до завершения процесса обучения.

Закончив обучение, блок (3) передает информацию о его результатах (включая статистические данные) на управляющий процессор (5), который выводит их на дисплей (9).

Эксперт, работающий с устройством (1), получив подтверждение об успешном окончании обучения ИНС, выключает патентуемое устройство и отсоединяет его от ИНС (14).

Если обучение ИНС закончилось неудачно (информация об этом выводится на дисплей (9)) или его результаты по каким-то причинам не устраивают эксперта, то он может повторно инициировать процесс обучения, дав соответствующую команду управляющему процессору (5) через имеющиеся средства ввода - клавиатуру (8) и манипулятор (10).

При этом имеется возможность обнулить все синаптические веса ИНС (14) через выход (12) или установить им требуемые начальные значения.

Логика работы блоков устройства, заложенная в них, может быть реализована, как с использованием только аппаратных средств, так и с привлечением программных средств. Конкретный тип логики, используемый в том или ином блоке устройства, не оказывает принципиального влияния на работу устройства. Достижение технического результата также не зависит от типа реализации логики работы отдельных блоков полезной модели.

В других возможных реализациях патентуемого устройства (варианты) могут использоваться следующие технические решения, также подпадающие под объем патентной защиты данной полезной модели.

Интерфейсы устройства для подключения к обучаемой ИНС реализованы на основе беспроводной технологии блютус («Bluetooth»).

Блок памяти полезной модели может представлять собой накопитель на жестких магнитных дисках («винчестер»).

Вариант патентуемого устройства в генераторе псевдослучайных чисел в качестве источника энтропии использует тепловой шум, обусловленный тепловым движением носителей заряда в проводнике, индуцирующем на концах проводника флуктуирующую разность потенциалов.

В качестве манипулятора графического интерфейса может использоваться трекбол.

Функции дисплея, клавиатуры и манипулятора может исполнять сенсорный экран, реагирующий на прикосновения, с выводимыми на него курсором манипулятора и экранной клавиатурой.

Функции клавиатуры и/или манипулятора может выполнять проекционная клавиатура, представляющая собой оптическую проекцию клавиатуры и/или манипулятора на какую-либо поверхность, на которой производятся касания виртуальных клавиш.

Банк данных изображений может содержать непродолжительные по времени последовательности сменяемых кадров (видеоклипы), а генератор визуальных образов и дисплей предназначаться для работы с такими файлами.

Банк данных изображений может быть заполнен компьютерными файлами, хранящими информацию о трехмерных изображениях (стереоизображениях) визуальных образов, генератор визуальных образов предназначаться для работы с такими файлами, а дисплей реализован на основе 3Д-технологий (стереодисплей), позволяющих демонстрировать объемные визуальные образы за счет стереоскопического эффекта.

Дисплей также может быть реализован в виде аэрозольного экрана («free-space display»), проецирующего визуальные образы в объеме свободного пространства, заполненном аэрозольной смесью.

Перечисленные выше возможные реализации патентуемого устройства (варианты) обеспечивают получение одного и того же заявленного технического результата.

Библиографические данные источников информации.

1. Искусственная нейронная сеть [Электронный ресурс]. URL: http://ru.wikipedia.org/wiki/Искусственная_нейронная_сеть (дата обращения: 05.12.2013);

2. Пури С. Обучение сверточных нейронных сетей на графических процессорах // Патент РФ, RU 2424561 С2; опубликован 20.07.2011 г;

3. Рутковская Д. Нейронные сети, генетические алгоритмы и нечеткие системы: пер. с польск. И.Д. Рудинского / Д. Рутковская, М Пилиньский, Л. Рутковский / - М.: Горячая линия - Телеком, 2006;

4. Кочин Д.Ю. Построение баз экспертных знаний для интеллектуальных обучающих систем // Автореферат диссертации на соискание ученой степени канд. техн. наук по специальности 05.13.01. - Москва, 2006;

5. Цуриков А.Н. Способ обучения искусственной нейронной сети // Вестник Ростовского государственного университета путей сообщения. - Ростов-на-Дону, 2012. - 4 (48). - С.91-95.

1. Устройство обучения искусственной нейронной сети, подключаемое к обучаемой нейронной сети с помощью имеющихся интерфейсов и обеспечивающее осуществление процесса обучения нейросети на основе знаний эксперта, путем коррекции вектора синаптических весов нейронов, снабженное настраиваемым программным обеспечением, характеризующееся свойствами универсальности и переносимости, содержащее следующие существенные части, размещенные в едином компактном корпусе: управляющий процессор с набором команд, генератор псевдослучайных чисел, генератор визуальных образов, банк данных изображений, блок памяти, дисплей, клавиатуру, манипулятор графического интерфейса, блок обучения нейросети, интерфейсы для подключения к обучаемой нейросети, аккумуляторную батарею, при этом связи между вышеуказанными частями устройства организованы так, что информационные входы/выходы управляющего процессора соединены с соответствующими выходами/входами генератора псевдослучайных чисел, генератора визуальных образов, блока памяти, блока обучения нейросети, при этом информационный выход управляющего процессора соединен с входом дисплея, а информационные входы управляющего процессора соединены с выходами клавиатуры и манипулятора графического интерфейса, также информационный выход банка данных изображений соединен с входом генератора визуальных образов, а информационный выход блока памяти соединен с входом блока обучения нейросети, указанный блок обучения нейросети также соединен со следующими интерфейсами для подключения к обучаемой нейросети: выходом для подачи обучающих входных сигналов в нейросеть, выходом для коррекции вектора синаптических весов нейронов обучаемой нейросети и входом для считывания выходных сигналов обучаемой нейросети, при этом электропитание от аккумуляторной батареи поступает к каждому из перечисленных блоков устройства для осуществления энергообеспечения их работы.

2. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что интерфейсы устройства для подключения к обучаемой нейросети реализованы на основе беспроводной технологии «блютус» («Bluetooth»).

3. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что блок памяти полезной модели представляет собой накопитель на жестких магнитных дисках («винчестер»).

4. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что в генераторе псевдослучайных чисел в качестве источника энтропии используется тепловой шум, обусловленный тепловым движением носителей заряда в проводнике, индуцирующем на концах проводника флуктуирующую разность потенциалов.

5. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что в качестве манипулятора графического интерфейса используется трекбол.

6. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что функции дисплея, клавиатуры и манипулятора исполняет сенсорный экран, реагирующий на прикосновения, с выводимыми на него курсором манипулятора и экранной клавиатурой.

7. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что функции клавиатуры и/или манипулятора выполняет проекционная клавиатура, представляющая собой оптическую проекцию клавиатуры и/или манипулятора на какую-либо поверхность, на которой производятся касания виртуальных клавиш.

8. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что банк данных изображений содержит непродолжительные по времени последовательности сменяемых кадров (видеоклипы), а генератор визуальных образов и дисплей сконфигурированы для работы с такими файлами.

9. Устройство обучения искусственной нейронной сети по п.1, отличающееся тем, что банк данных изображений заполнен компьютерными файлами, хранящими информацию о трехмерных изображениях (стереоизображениях) визуальных образов, генератор визуальных образов сконфигурирован для работы с такими файлами, а дисплей реализован на основе 3Д-технологий (стереодисплей), позволяющих демонстрировать объемные визуальные образы за счет стереоскопического эффекта.

10. Устройство обучения искусственной нейронной сети по п.9, отличающееся тем, что дисплей реализован в виде аэрозольного экрана («free-space display»), проецирующего визуальные 3Д-образы в объеме свободного пространства, заполненном аэрозольной смесью.