Способ и устройство определения координат объектов
Владельцы патента RU 2550811:
Общество с ограниченной ответственностью "Специальный Технологический Центр" (RU)
Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "ВОЕННАЯ АКАДЕМИЯ СВЯЗИ имени Маршала Советского Союза С.М. Буденного" Министерства обороны Российской Федерации (RU)
Группа изобретений относится к области радиотехники и может быть использована для определения местоположения объектов угломерно-дальномерным способом группой беспилотных летательных аппаратов (БПЛА). Достигаемый технический результат - обеспечение одновременного эффективного обнаружения и распознавания заданных объектов на основе видеоизображений, поступающих с борта нескольких БПЛА. Технический результат достигается благодаря формированию эталонных вектор-контуров заданных объектов в совокупности с их первыми n членами свертки автокорреляционных функций (АКФ) с последующим распознаванием обнаруженных объектов на основе выборочного (двухэтапного) анализа АКФ и взаимнокорреляционной функции. Устройство определения координат объектов, реализующее способ, содержит M идентичных БПЛА, в составе двигательной установки, автопилота, блока видеонаблюдения, запоминающего устройства, блока навигации БПЛА, контроллера, рулевого привода, первого приемо-передающего модуля, аэродинамических рулей и передающего модуля и наземного пункта управления в составе первого и второго блоков управления, а также выполненных M-канальными первого и второго устройств обработки и отображения информации, второго приемо-передающего модуля, приемного модуля, второго запоминающего устройства и устройства распознавания. Перечисленные средства определенным образом соединены между собой. 2 н.п. ф-лы, 21 ил.
Заявляемые объекты объединены единым изобретательским замыслом, относятся к области радиотехники, а именно к пассивной локации и могут быть использованы в навигационных, пеленгационных, и др. средствах для визуального обнаружения и определения координат объектов с летно-подъемных средств (ЛПС).
Известен способ по пат. РФ №2458407, МПК G08B 25/10, обеспечивающий наведение видеокамеры на объект, положение которого в абсолютной системе координат с центром в точке размещения видеокамеры известно в этот момент времени, определяют ориентацию видеокамеры в системе координат видеокамеры, на основе определенной ориентации видеокамеры и положения объекта рассчитывают поворот системы координат видеокамеры в абсолютной системе координат. Полученные результаты используются для пересчета координат наблюдаемого объекта. Однако названный способ реализуется на земной поверхности и обладает малым радиусом действия. Кроме того, низкая точность аналога также ограничивает его применение. Последнее связано с тем, что в кадре видеокамеры наблюдаются не только заданный объект, но и смежные с ним предметы, что затрудняет точное визирование видеокамеры. Аналогичными недостатками обладают и способы по пат. РФ №2251712 и пат. РФ №2154284.
Известен способ по пат. РФ 2323851, МПК B64C 31/06. Аналог предполагает использование беспилотного летательного аппарата (БПЛА) в совокупности с видеокамерой. Аналог обеспечивает фотографирование земной поверхности под управлением наземного поста.
Основные недостатки данного аналога состоят в том, что он не обеспечивает измерение координат объектов, а для принятия решения о фотографировании необходим оператор поста управления.
Известен способ по пат. РФ №2465613, МПК G01S 3/14. Он предполагает установку под фюзеляжем ЛПС видеокамеры, определение ориентации видеокамеры и антенной системы (АС) пеленгатора относительно борта ЛПС, а в процессе полета постоянное через заданный интервал времени определение местоположения ЛПС и его ориентации, а при обнаружении заданного источника радиоизлучения (ИРИ) определение его пространственно-информационных параметров с учетом пространственной ориентации видеокамеры, АС и собственно ЛПС путем последовательного перехода из одной системы координат в другую.
Способ-аналог позволяет с помощью видеокамеры и радиопеленгатора повысить точность определения местоположения ИРИ.
Способу также присущ недостаток, связанный с относительно низкой точностью определения координат объектов. Практический интерес, как правило, представляет не сам ИРИ, а объект, на котором (или в котором) он размещается. В ситуации, когда ИРИ на объекте находится в выключенном состоянии, прототип теряет свою работоспособность. Кроме того, ИРИ часто выносят за пределы объекта, что также усугубляет ситуацию. Низкая точность определения координат объясняется тем, что в кадре видеокамеры одновременно наблюдается большая площадь земной поверхности, много превышающая площадь объекта, что и влечет за собой ошибки измерений.
Наиболее близким по технической сущности является способ определения координат объектов по пат. №2513900, МПК G01S 13/46, B64C 31/06.
Способ-прототип заключается в том, что на подготовительном этапе на борту летно-подъемного средства (ЛПС) под фюзеляжем устанавливают и фиксируют видеокамеру, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (kk, lk, ζk), где kk, lk, ζk - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (Blps, Llps, Hlps), где
Благодаря учету местоположения объекта в кадре видеокамеры в прототипе достигается более точное измерение вектора направления на объект. Возможность последующего усреднения результатов оценивания по кадрам и учет особенности рельефа местности способствуют дальнейшему повышению точностных характеристик способа.
Однако прототипу присущ недостаток, связанный с необходимостью участия оператора наземного поста управления в своевременном принятии решения о необходимости измерения координат конкретного объекта из их совокупности на кадре. Данная ситуация еще более усугубляется при необходимости одновременного управления несколькими БПЛА, например четырьмя (см. "Орлан-10". http://bla-orlan.ru/default/catalog/bla/irlan-10.html), что влечет за собой пропуски и ошибочные решения.
Известны устройства по Пат. РФ №2251712, МПК G01S 5/02; Пат. РФ №2359288, МПК G01S 5/02. Аналоги обеспечивают определение координат объектов с помощью оптико-электронных средств. Однако им присущ недостаток: они размещаются на земной поверхности, в следствии чего обладают маленьким радиусом действия.
Известна система наблюдения за земной поверхностью с беспилотным летательным аппаратом по Пат. РФ №2323851, МПК B64C 31/06.
Прототип содержит затягивающую лебедку, БПЛА и наземный пункт управления (НПУ), причем БПЛА состоит из контроллера, рулевого привода, аэродинамических рулей, автопилота, двигательной установки, блока видеонаблюдения и первого приемо-передающего модуля с соответствующими связями, а наземный пункт управления выполнен содержащим блок управления, второй приемо-передающий модуль и устройство обработки и отображения информации с соответствующими связями.
Аналог предназначен для получения фотоснимков земной поверхности с высоты порядка 100 метров. Однако устройство не обеспечивает измерение координат видимых объектов из-за отсутствия высокоточной системы навигации БПЛА и высокоточной системы определения направления на него.
Наиболее близким по своей технической сущности к заявляемому устройству определения координат объектов является устройство по пат. РФ №2513900, МПК B64C 31/6.
Устройство-прототип состоит из беспилотного летательного аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательная установка, группа информационных входов которого соединена с третьей группой информационных выходов контроллера, первый приемо-передающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для формирования команд управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления.
Устройство-прототип обеспечивает высокую точность измерения координат объекта благодаря учету местоположения объекта в кадре видеокамеры, возможностью усреднения результатов оценивания по совокупности кадров и учету особенностей рельефа местности.
Однако прототипу присущ недостаток, связанной с недостаточной пропускной способностью, что негативно сказывается на эффективности принимаемых решений по распознаванию обнаруженных объектов, что еще более усугубляется при одновременной работе с несколькими БПЛА.
Целью заявляемых технических решений является разработка способа и устройства определения координат объектов, обеспечивающих повышение пропускной способности за счет более эффективного обнаружения и распознавания заданных объектов на основе видеоизображений, поступающих с борта нескольких БПЛА, путем реализации процедур "компьютерного зрения".
Поставленная цель достигается тем, что в известном способе определения координат объектов, заключающемся в том, что на подготовительном этапе на борт ЛПС устанавливают и фиксируют видеокамеру для обзора нижней полусферы, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (kk, lk, ζk), где kk, lk, ζk - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (Blps, Llps, Hlps), где
с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (kk, lk, ζk) путем последовательного умножения значений
Благодаря новой совокупности признаков в заявляемом способе обеспечивается одновременное эффективное распознавание заданных объектов на основе видеоизображений от нескольких БПЛА без участия оператора наземного пункта управления благодаря формированию эталонных вектор-контуров объектов в совокупности с их первыми n членами свертки АКФ с последующим распознаванием обнаруженных объектов на основе выборочного двухэтапного (грубого и точного) анализа их АКФ и ВКФ, что позволяет существенно повысить пропускную способность.
Поставленная цель в заявляемом устройстве достигается тем, что в известном устройстве, состоящем из первого беспилотного летающего аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательная установка, группа информационных входов которой соединена с третьей группой информационных выходов контроллера, первый приемо-передающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для формирования команд управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления, дополнительно используют M-1 идентичных с первым БПЛА, M=2, 3 …, , а в НПУ дополнительно введены второе запоминающее устройство и устройство распознавания, выполненные M-канальными, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления, первая группа информационных входов соединена с группой информационных выходов второго запоминающего устройства, вторая группа информационных входов соединена с группой информационных выходов приемного модуля, выполненного M-канальным, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства, группа информационных входов которого является входной шиной НПУ, вторая группа информационных выходов устройства распознавания является второй выходной шиной наземного пункта управления, группа информационных выходов второго устройства обработки и отображения информации - первой выходной шиной НПУ, при этом первое и второе устройства обработки и отображения информации и второй приемопередающий модуль выполняют M-канальными.
Перечисленная новая совокупность существенных признаков за счет того, что вводятся новые элементы и связи позволяет достичь цели изобретения: обеспечить одновременное эффективное обнаружение и распознавание заданных объектов на основе видеоизображений без участия оператора наземного поста управления.
Заявляемые объекты поясняются чертежами, на которых показаны:
на фиг. 1 обобщенный алгоритм определения координат объекта;
на фиг. 2 обобщенная структурная схема устройства определения координат объекта;
на фиг. 3 вариант формирования библиотеки эталонных описаний объектов;
на фиг. 4 инвариантность относительного сдвига начала отсчета при использовании комплексного вектор-контура для эталонного описания объекта;
на фиг. 5 обобщенный алгоритм распознавания объекта;
на фиг. 6 алгоритм выделения вектор-контуров объектов;
на фиг. 7 алгоритм сравнения обнаруженных вектор-контуров с эталонными описаниями;
на фиг. 8 алгоритм нахождения координат объекта (B, L, H)j в географической системе координат по одному кадру;
на фиг. 9 алгоритм нахождения координат объекта (B, L, H)j в географической системе координат по серии кадров;
на фиг. 10 алгоритм работы второго блока управления;
на фиг. 11 структурная схема второго устройства обработки и отображения информации;
на фиг. 12 структурная схема седьмого вычислителя;
на фиг. 13 алгоритм работы седьмого вычислителя по определению вектора направления на объект в системе координат видеокамеры;
на фиг. 14 алгоритм работы восьмого вычислителя;
на фиг. 15 структурная схема блока обработки видеоизображения;
на фиг. 16 алгоритм работы блока обработки видеоизображения;
на фиг. 17 алгоритм работы шестого вычислителя;
на фиг. 18 алгоритм работы девятого вычислителя;
на фиг. 19 алгоритм работы третьего блока управления;
на фиг. 20 структурная схема устройства распознавания;
на фиг. 21 алгоритм работы блока определения координат центра вектор-контура.
Невозможность выполнения оператором функции своевременного распознавания объектов на видеоизображениях, одновременно поступающих от нескольких БПЛА предопределило необходимость автоматизации данного процесса. Анализ своевременного уровня развития теории и практики решения подобных проблем свидетельствует о необходимости существенных материальных и временных затрат, что во многих случаях ограничивает распознавание видеообразов (см. Компьютерное зрение. Современный подход. Девид Формайт, Жан Понс. - М.:"Вильямс", 2004. - 928 с.). Основной акцент в предлагаемом техническом решении сделан на сокращении временных затрат на поиск и классификацию заданных объектов.
Реализация заявляемого способа поясняется следующим образом. На подготовительном этапе под фюзеляжем ЛПС устанавливают видеокамеру и фиксируют ее ориентацию. Измеряют ориентацию видеокамеры в трех плоскостях принятых в авиации как крена kk, тангажа lk и склонения ζk. Измеряют и запоминают коэффициенты дисторсии B1, B2, B3 объектива видеокамеры.
Формируют и запоминают библиотеку эталонных описаний заданных объектов (см. фиг. 3). Последние должны отвечать следующим требованиям:
обеспечивать точное сравнение обнаруженного контура с эталонным описанием объектов;
предоставлять возможность быстрого получения эталонных описаний контуров, близких к обнаруженному;
обеспечивать быструю дискриминацию контуров, точно не принадлежащих к заданным объектам.
Этим требованиям отвечает комплексный контур-вектор Г={γ0, γ1, …, γk-1} где γi=xi-xi-1+i(yi-yi-1). Такое представление объекта Oi инвариантно относительно сдвига начала координат, а преобразование поворота и масштаба изображения Oi эквивалентны операции умножения и повороту каждого элементарного вектора из состава комплексного вектора-контура (см. фиг. 4). Каждый класс объектов Oi предлагается задавать набором эталонных контуров
В процессе одновременного полета нескольких ЛПС по определенным маршрутам с помощью видеокамер осуществляют поиск заданных объектов. Получаемая видеоинформация от всех БПЛА совместно с навигационными параметрами одновременно передается на пункт управления. Изображения, получаемые на видеокамерах содержат как правило много высокочастотных шумов из-за высоких значений коэффициента усиления ISO, нагрева матрицы, артефактов сжатия JPEG и др., наличие которых негативно сказывается на выделение контуров объектов. Для борьбы с шумами (см. фиг. 6) используют размытие с применением функции Гаусса в качестве весовой функции (см. Fisher, Perkins Walker end Wolfart Spatial Filters-Laplacian of Gaussian, 2003)
где x(m, n) - входное изображение, y(m, n) - выходное изображение, а r - радиус размытия. Чем больше шума на изображении в силу разных причин, тем больше радиус r следует выбирать.
Большая глубина цвета изображения позволяет различать незначительные цветовые переходы, но также сильно увеличивает пространство для алгоритмов классификации. Для увеличения скорости работы алгоритма распознавания глубину цвета изображения уменьшают без потери информации о контурах и переходах. Это достигается с помощью самоорганизующейся карты Кохонена (см. Т. Kohonen. Self-Organizing Maps. - 3. ed. - New York: Springer, 2001. - 502 p.). Нейронные сети Кохонена SOM позволяют подстраиваться под различные условия съемки без участия оператора и обеспечивают кластеризацию многомерных вектор-контуров.
Для поиска границ (выделения контуров объекта) используют оператор Собеля (см. Харкевич А.А. Спектральный анализ. - М.: Физматгиз, 1963 - 432 с.), представляющий собой дискретный дифференциальный оператор, вычисляющий приблизительное значение градиента в каждой точке. Используемая при этом маска применения имеет вид
С помощью последней сворачивают исходное изображение для вычисления приближенных значений производных по горизонтали Gx и вертикали Gy
где Y - исходное изображение, * - обозначает двумерную операцию свертки. В каждой точке изображения приблизительное значение величины градиента можно вычислить используя выражение
В результате применения оператора Собеля выделяют элементы контуров (отрезки). С этой целью используют все особые точки (точки перегиба) и каждая пара соседних точек образует отрезок. При этом отрезки слишком малой и слишком большой длины исключают из рассмотрения.
После выделения множества отрезков находят все замкнутые контура. В начале строится граф, причем вершины, находящихся на расстоянии меньше заданного значения ∈ отожествляется. Далее полученный граф упрощается:
удаляются кратные ребра;
удаляются вершины степени один и инцидентные им ребра (процесс повторяется пока существуют вершины степени один), так как они не могут быть частью замкнутого контура.
Для выполнения операции сравнения найденный контур должен иметь размерность, соответствующую используемой в базе эталонов. Реализацию этого требования осуществляют следующим образом. Исходный контур Гизм={γ0, γ1, …, γk′-1} размерностью k′≠k преобразуется в вектор-контур Nизм={n0, n1, …, nk-1} размерности k. При этом возможны две ситуации, когда k′>k и k′<k. В первой из них (k′>k) используется преобразование
В ситуации, когда k′<k, выполняется интерполяция в соответствии с выражением
ni=γj·(1-Q)+γj+1·Q,
где I=i·k/k′; j=I, Q=I-j.
Непосредственно сравнение контуров Гэт и Nизм осуществляют при помощи взаимнокорреляционной функции (см. Введение в контурный анализ и его приложения к обработке изображений и сигналов. Под. ред. Фурман Я.А. - М.: Физматлит, 2003 - 592 с.).
где
Вычисление ВКФ является трудоемкой операцией (f(k2·m), где m - количество эталонов), k - количество элементарных векторов в составе вектор-контура, поэтому требуется некоторый дескриптор контура, который позволяет быстро (k2·D, D∈[4, 5]) выбрать достаточно близкие эталоны и вычислить ВКФ только для них. В качестве такого дескриптора используют вейвлетную свертку Уолша автокорреляционной функции
После выбора наиболее близких пяти-шести эталонов осуществляют точный анализ путем нахождения ВКФ в соответствии с (6) и поиск τmax в соответствии с (7). В случае, если τmax превышает заданное (пороговое) значение, принимается решение об обнаружении j-го объекта, с последующим определением координат центра объекта на кадре в пикселях
Все последующие этапы предлагаемого способа аналогичны соответствующим этапам способа-прототипа. Полученные координаты
где ,
,
F - фокусное расстояние объектива видеокамеры, пересчитанное в пиксели матрицы (кадра), (cx, cy)T - координаты центра матрицы в пикселях, B1, B2, B3 - измеренные коэффициенты дисторсии объектива (см. Szeliski, Richard. Computer: Algorithms and Applications. -Sprintger, 2010). Произведя переобозначение
где . Вектор
Таким образом, обозначив получаем уравнение, решением которого является искомый вектор
Численное значение вектора
Направление на j-й объект
Координаты ЛПС , измеренные в момент времени ti, преобразуют в геоцентрическую систему координат:
В первом преобразовании вектора направления на j-й объект
где,
,
.
На следующем этапе в нормальной системе координат осуществляют преобразование скорректированного вектора направления на j-й объект с целью учета ориентации ЛПС относительно земной поверхности и положения ЛПС в пространстве, что позволяет получить уточненное значение вектора направления на j-й объект
. Переход через эту систему координат продиктован тем, что в ней измеряются углы ориентации ЛПС. Получение вектора направления на источник
где ,
,
.
Уточненные значения азимута
Здесь вектор
Для нахождения расстояния между ЛПС и j-м объектом d(H0)ij необходимо учесть шарообразный характер поверхности Земли. Иначе, данная задача может быть интерпретирована как нахождение расстояния d(H0)ij, на котором
где D - дискриминант квадратного уравнения:
Нормальная система координат, в которой на данном этапе находится уточненный вектор
где ,
.
На этом завершается первый этап измерений.
На следующем этапе результаты вычислений угла места
Координаты объекта на "круглой" Земле в геоцентрической системе координат по направлению и расстоянию на высоте H0 по аналогии с прототипом находят с помощью выражения:
Переход от (19) к более удобной географической системе координат
широта ,
где ;
долгота
При малых значениях
При выполнении пороговых условий
Результаты вычислений координат
Повышение точности определения координат объектов
В этом случае для каждого кадра серии вычисляют координаты объекта интереса
Запишем координаты j-го объекта в пикселях на l-м кадре
где µl+1 - матрица проективного преобразования из l-го кадра в l+1-й.
Определяется взаимным расположением видеокамер в l-й и l+1-й позициях и имеет вид:
.
Определение значения матрицы µl+1 выполняют следующим образом. При помощи алгоритма SURF (см. Herbert Bay, Andreas Ess, Tinne Tnytelaars, Luc Van Gool. SURF: Speeded Up Robust Features. - Computer Vision and Image Understanding (CVIU), Vol. 110, №3, 2008, p. 346-359) осуществляют поиск наборов контрастных точек на двух изображениях
При обнаружении P пар соответствующих друг другу точек
На практике число P достаточно велико по сравнению с минимально необходимым для решения данной системы. Однако среди найденных соответствий контрастных точек могут быть ошибочные совпадения. Данная проблема устраняется при помощи алгоритма RANSAC (см. Martin A. Fischler and Robert С.Bolles (June 1981). Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Comm. of the ACM24 (6):381-395. doi: 10.1145/358669.358692). Алгоритм запускается на фиксированное число итераций, на каждой из которых из n найденных соответствий выбирается s случайных пар. Из выбранных пар получают систему из 2s линейных уравнений, которая решается методом наименьших квадратов. Для полученного решения считается невязка на всем наборе из 2n уравнений. После выполнения фиксированного числа итераций в качестве µ выбирается наилучшее решение.
Таким образом, найдя матрицу проективного преобразования между соседними кадрами становится возможным нахождение координат объекта
Таким образом, в предлагаемом способе определения координат одновременно в M каналах обработки (по числу БПЛА) осуществляют прием видеоизображений контролируемой зоны совместно с информацией о телеметрии БПЛА, обнаружение и распознавание заданных объектов и определение их координат без участия оператора наземного пункта управления, что существенно увеличивает пропускную способность способа и его эффективность. Следует отметить, что полностью не исключается участие оператора НПУ в процессе функционирования системы. Последний в состоянии контролировать качество выполняемой задачи. В отдельных случаях при управлении одним-двумя БПЛА он может взять на себя управление процессами обнаружения и распознавания объектов в соответствии с алгоритмами в способе-прототипе.
Устройство определения координат объектов, содержащее M идентичных БПЛА 11-1M и наземный пункт управления 2, причем каждый БПЛА 11-1M выполнен содержащим последовательно соединенные контроллер 1.6, рулевой привод 1.7 и аэродинамические рули 1.9, автопилот 1.2, группа информационных входов которого соединена с второй группой информационных выходов контроллера 1.6, первая группа информационных входов которого соединена с группой информационных выходов автопилота 1.2, двигательная установка 1.1, группа информационных входов которой соединена с третьей группой информационных выходов контроллера 1.6, первый приемо-передающий модуль 1.8, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера 1.6, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля 1.8, последовательно соединенные блок видеонаблюдения 1.3, первое запоминающее устройство 1.4 и передающий модуль 1.10, блок навигации БПЛА 1.5, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства 1.4, а НПУ 2 выполнен содержащим последовательно соединенные первый блок управления 2.1, второй M-канальный приемо-передающий модуль 2.2 и первое M-канальное устройство обработки и отображения информации 2.6, последовательно соединенные M-канальный приемный модуль 2.3, второй блок управления 2.9 и второе M-канальное устройство обработки и отображения информации 2.4, группа информационных выходов которого является первой выходной шиной 2.5 наземного пункта управления 2, последовательно соединенные второе запоминающее устройство 2.7 и M-канальное устройство распознавания 2.8, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления 2.9, вторая группа информационных выходов является второй выходной шиной 2.11 наземного пункта управления 2, вторая группа информационных входов соединена с группой информационных выходов приемного модуля 2.3, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства 2.7, группа информационных входов которого является входной шиной НПУ 2.
Заявляемое устройство определения координат объектов работает следующим образом (см. фиг. 2). На подготовительном этапе на БПЛА 11-1M под фюзеляжем устанавливают блоки видеонаблюдения 1.31-1.3M соответственно. В качестве последних может быть использована видеокамера EVS (см. Мегапиксельные сетевые камеры EVS. http://www.evs.ru/prod.php?gr=313). С помощью второго блока управления 2.9 (в качестве последнего может быть использован ноутбук, работающий в соответствии с алгоритмом, представленном на фиг. 10) задают исходные данные:
ориентацию видеокамеры относительно борта (kk, lk, ζk);
измеренные коэффициенты дисторсии объектива видеокамеры B1, B2, B3;
пороговые значения Δβ, Δd и Δδ;
количество итераций при решении уравнения перехода от координат объекта в кадре (xr, yr)T к вектору направления на него
число итераций расчета в алгоритме RANSAC;
цифровая карта района измерений с граничными характеристиками рельефа местности.
Кроме того, определяют классы объектов, подлежащих распознаванию. Например, к их числу могут относиться легковые автомобили, грузовые автомобили, самолеты и т.д. При необходимости возможна более глубокая детализация: марка автомобиля, самолета и т.д.
Описание классов объектов осуществляют с помощью комплексных вектор-контуров (ВК). Г={γ0, γ1, …, γk-1}, где γi=xi-xi-1+i(γi-γi-1). Такое представление инвариантно относительно сдвига, а преобразования поворота и масштаба изображения эквивалентны умножению и повороту каждого элементарного вектора ВК (см. фиг. 4). Получение эталонных ВК
Управление взлетом, полетом и посадкой БПЛА 11-1M осуществляют с первого автоматизированного рабочего места (АРМ) наземного пункта управления 2, состоящего из первого блока управления 2.1, второго приемопередающего модуля 2.2 и первого устройства обработки и отображения информации 2.6. По аналогии с прототипом данную операцию осуществляют по первому радиоканалу на частотах 0,9-0,92 МГц с использованием модулей 1.8m и 2.2. Сигналы управления блока 2.1 через модули 2.2 и 1.8m поступают на вход контроллера 1.6m. Далее с выхода блока 1.6m они следуют на группу входов двигательной установки 1.1m и через рулевой привод 1.7m на аэродинамические рули 1.9m.
Сигнал управления, поступающий на вход блока 1.1m, обеспечивает включение/выключение двигателя, изменение скорости вращения винта и др. С помощью команд, подаваемых на аэродинамические рули 1.9m через блок 1.7m, изменяют углы наклона крыльев, конфигурацию их поверхности и другие параметры управления движением БПЛА 11-1M.
Автопилот 1.2m обеспечивает необходимую стабилизацию положения БПЛА 11-1M в пространстве на заданной блоком 2.1 высоте, парирование ветровых возмущений, движение по заданному маршруту и т.д. Воздействие автопилота 1.2 на двигательную установку 1.1m и через рулевой привод 1.7m - на аэродинамические рули 1.9m осуществляется через контроллер 1.6m. Последний формирует по исходным данным блока 1.2m необходимые команды управления функциональным узлам БПЛА 11-1M.
Непосредственное участие в измерении координат объектов на борту БПЛА 11-1M принимают блок видеонаблюдения 1.3m, первое запоминающее устройство 1.4m, блок навигации БПЛА 1.5m и передающий модуль 1.10m, а в наземном пункте управления 2 - второе автоматизированное рабочее место в составе приемного модуля 2.3, второго устройства обработки и отображения информации 2.4, второго блока управления 2.9, второго запоминающего устройства 2.7 и устройства распознавания 2.8. Следует отметить, что блоки 2.3, 2.4, 2.7 и 2.8 выполняют M канальными.
При наличии данных о положении и ориентации БПЛА 1m существует возможность в оперативном режиме обнаруживать, распознавать и принимать решение на определение координат объектов (см. фиг. 1). Изображение, полученное блоком видеонаблюдения 1.3m (IP камерой EVS), в цифровом формате передают на НПУ 2 с помощью блоков 1.10m и 2.3m в диапазоне 2,4 ГГц на соответствующей БПЛА 1m частоте. Скорость передачи информации составляет 4 Мбит/с.При пересылке данных в формате JPEG возможна передача двух-четырех кадров высокого разрешения в секунду или десяти-двенадцати кадров низкого разрешения в секунду при поддерживаемом разрешении 1600×1200 или 640×480 (для камеры EVS) соответственно. Одновременно видеоинформация со всех находящихся в воздухе БПЛА передается на НПУ2. Обнаружение, распознавание и определение координат объектов осуществляют на втором автоматизированном рабочем месте (блоки 2.3, 2.4, 2.7, 2.8 и 2.9) в соответствующих m-ных каналах обработки, на которые и подают видеопоток с блоков 1.3m в реальном масштабе времени (см. фиг. 1 и 5). Получаемое БПЛА 1m изображение позволяет с помощью блоков 2.7m и 2.8m обнаружить заданные объекты и выполнить операцию по их распознаванию в соответствии с выражениями (1)-(7), ас помощью блока 2.9 с формировать команду на местоопределение обнаруженного объекта соответствующему m-му каналу обработки 2.4m блока 2.4m. Благодаря данным телеметрии БПЛА 1m и положению объекта на текущем кадре m-й канал блока 2.4m в состоянии с некоторой погрешностью рассчитать географические координаты интересующего объекта. Распараллеливание выполнения операций обнаружения, распознавания и определения координат объектов по источникам видеосигналов (в качестве последних выступают БПЛА) обеспечивает сокращение временных затрат на их выполнение.
В функции блока 1.4m входит совместная запись кадров видеоизображения с блока 1.3m и соответствующих им навигационных данных БПЛА 1m с выхода блока 1.5m.
Все функциональные элементы и блоки предлагаемого устройства, широко освещены в литературе и серийно выпускаются.
В качестве БПЛА 11-1M целесообразно использовать серийно выпускаемый ООО "Специальный Технологический Центр" город Санкт-Петербург БПЛА "Орлан 10" (см. http://bla-orlan.ru/default/catalog/ orlan10.html).
Масса полезной нагрузки БПЛА составляет 5 кг, способ старта - с разборной катапульты, приземление - на парашюте. Воздушная скорость БПЛА 90-150 км/ч, максимальная продолжительность полета - 16 часов, максимальная дальность - 600 км, максимальная высота - 5 км.
Блок видеонаблюдения 1.3 может быть реализован с помощью цифровой IP видеокамеры EVS. Блок навигации 1.5 может быть реализован в соответствии с пат. РФ №2371733 или пат. РФ №2374659.
Одновременное управление БПЛА 11-1M "Орлан-10" реализуют с первого АРМ по низкоскоростным дуплексным каналам связи на частотах 900-920 МГц в режиме псевдослучайной перестройки рабочей частоты. По этим каналам (тракты 1.81-1.8M и блок 2.2 соответствующих БПЛА) осуществляют задание маршрута полета, высоту полета и порядок облета: проход на высоте или барражирование и т.д. Управляющая информация формируется с помощью блока 2.1 для всех БПЛА 11-1M. В качестве блока 2.1 может использоваться ноутбук.
Видеоизображения объектов на НПУ 2 с борта БПЛА 11-1M одновременно поступают по высокоскоростным симплексным каналам на частотах 2000-2500 МГц на второе АРМ. Скорость передачи информации в каждом канале составляет 4 Мбит/с. Дальность связи зависит от высоты полета и местных условий и в среднем составляет 100-130 км. С помощью второго АРМ осуществляют обнаружение, распознавание и определение координат заданных объектов без участия оператора. В ситуациях, когда функционирование заявляемого устройства затруднено (заданные объекты трудно различимы с фоном, например находятся в лесу и т.п.) предусмотрено управление системой оператором с помощью блока 2.9 по описанному в прототипе алгоритму.
Второе устройство обработки и отображения информации 2.4 (см. фиг.11) содержащее M идентичных каналов 2.41-2.4M, предназначено для определения координат объектов (решение о измерении принимает устройство распознавания 2.8, а формирование команды осуществляет второй блок управления 2.9), реализации операций в соответствии с выражениями (8)-(22), представления результатов измерений в заданной форме. Каждый канал 2.4m выполнен аналогично соответствующему блоку устройства-прототипа и содержит первый вычислитель 1.m, второй вычислитель 2.m, третий вычислитель 3.m, четвертый вычислитель 4.m, пятый вычислитель 5.m, шестой вычислитель 6.m, седьмой вычислитель 7.m, первый блок памяти 8.m, генератор синхроимпульсов 9.m, восьмой вычислитель 10.m, девятый вычислитель 11.m, блок коммутации 12.m, блок обработки изображения 13.m, третий блок управления 14.m, второй блок памяти 15.m, блок усреднения координат 16.m, блок сравнения 17.m и блок индикации 18.m.
Работу второго устройства обработки и отображения информации 2.4 рассмотрим на примере одного из каналов 2.4m.
На подготовительном этапе с помощью блока управления 2.9 (в качестве последнего может быть использован ноутбук, работающий в соответствии с алгоритмом, представленном на фиг.10) задаются исходные данные:
ориентация видеокамеры относительно борта (kk, lk, ζk);
измеренные коэффициенты дисторсии объектива видеокамеры B1, B2, B3;
пороговые значения Δβ, Δd и Δδ;
количество итераций при решении уравнения перехода от координат объекта в кадре (xr, yr)T к вектору направления на него
число итераций расчета в алгоритме RANSAC;
цифровая карта района измерений с граничными характеристиками рельефа местности.
В процессе работы видеоизображение считывается блоками 2.8m, 2.9 и 12.m. При обнаружении m-ным каналом распознавания блока 2.8 за данного объекта информация о нем с выхода блока 2.8m и преобразованная в блоке 2.9 поступает на первую группу информационных входов m-ного канала седьмого вычислителя 7.m в виде координат
Одновременно информация о пространственном положении БПЛА (Blps, Llps, Hlps)i, а также
Результаты вычислений
Значения скорректированного вектора
Уточненное значение вектора направления на j-й объект
Для измерения d(H0)ij значение
На следующем этапе работы заявляемого устройства осуществляют преобразование вектора
Назначение шестого вычислителя 6.m состоит в определении координат точки пересечения вектора
Одновременно (с блоком 4.m) в блоке 10.m в два этапа осуществляют определение координат j-го объекта с заданной точностью. Данную операцию выполняют совместно с блоком управления 14.m и блоком памяти 15.m. На подготовительном этапе в блок памяти 15.m записывают цифровую карту рельефа местности района измерений. Данная операция выполняется с помощью блока 2.9 по первой группе информационных входов блока 2.4. Одновременно по этой же шине в блок управления 14.m задают граничные значения матрицы высот (Ba, La) и (Bb, Lb) и количество точек разбиения J, а в блок 10.m - количество шагов сканирования по вектору
Геоцентрические координаты j-го объекта далее поступают на информационные входы девятого вычислителя 11.m. В блоке 11.m выполняют преобразование геоцентрических координат в географические
Результаты вычислений с выхода блока 11.m поступают на первую группу информационных входов коммутатора 12.m.
Решение о том, какие координаты пойдут на вход блока 16.m (приблизительные
При возникновении ситуации, при которой отсутствует информация о рельефе местности и
При оценке координат по одному или по первому кадру видеоизображения объекта на выходе блока 13.m отсутствует управляющий сигнал. В блоке 16.m операция усреднения не выполняется, а значения координат j-го объекта поступают на вход блока индикации 18.m и далее на первую выходную шину 2.5 совместно со временем ti обнаружения объекта. Кроме того, результаты измерений сохраняются в его буферной памяти. На этом заканчивается этап работы устройства по одному кадру видеоизображения.
На следующем этапе (на очередном кадре) с помощью блока анализа видеоизображения 13.m выполняют анализ поступившего кадра на предмет наличия в нем изображения заданного j-го объекта. Алгоритм работы устройства меняется при обнаружении в последующем кадре наблюдаемого ранее j-го объекта. В этом случае осуществляют многократное (по числу кадров с изображением объекта) измерение его координат с последующим их усреднение в блоке 16.m, что позволяет существенно повысить точность измерений. Основным элементом, реализующим эти измерения, является блок обработки изображения 13.m. Если блоком 13.m на очередном кадре j-й объект не обнаружен, результаты измерений его усредненных координат остаются неизменными, поступают на информационные входы блока индикации 18.m и далее на первую выходную шину 2.5.
При обнаружении j+1-го объекта все вышеназванные операции повторяются.
Блок 13.m предназначен для решения следующих задач (см. фиг. 15 и 16):
поиска контрастных точек на изображении методом SURF;
вычисления характеристик контрастных точек методом BRIEF;
сравнения с контрастными точками предыдущего кадра и принятие решения о присутствии заданного объекта в текущем кадре;
при повторном обнаружении заданного объекта - для формирования управляющего сигнала блоку 16.m о необходимости усреднения результатов измерений;
формирования матрицы проективного преобразования методом RANSAC с последующим уточнением координат
Данные функции блок 13.m выполняет в соответствии с выражениями (22) и (23). В случае принятия решения блоком 13.m о том, что в очередном l+1-м кадре присутствует изображение j-го объекта, ранее присутствовавшее на l-м кадре, последний формирует управляющий сигнал блоку 16.m. В результате координаты объекта, полученные на l+1-м кадре запоминаются совместно с результатами, полученными на 1-м кадре. Далее в блоке выполняется операция усреднения координат по двум кадрам, а результаты высвечиваются в блоке индикации 18.m. Наличие j-го объекта во всех последующих кадрах приводит к очередному измерению его координат
Первый 1.m, второй 2.m, третий 3.m, четвертый 4.m, пятый 5.m и седьмой 7.m вычислители предназначены для определения истинного вектора направления на j-й объект
Шестой 6.m, восьмой 8.m и девятый 11.m вы числители реализуются аналогично соответствующим блокам в пат. РФ №2458360, опубл. 10.08.2012 г. Шестой вычислитель 6.m предназначен для определения координат точки пересечения вектора
Реализация блока 6.m трудностей не вызывает. Может быть реализован на постоянных запоминающих устройствах К541 и К500 сериях микросхем. Алгоритм работы приведены на фиг.17.
Восьмой вычислитель 10.m предназначен для определения местоположения объекта с заданной точностью в геоцентрической системе координат
Девятый вычислитель 11.m предназначен для преобразования геоцентрических координат объекта
Третий блок управления 14.m предназначен для преобразования части вектора
Блок обработки изображения 13.m (см. фиг. 14 и 15) свои функции выполняет в соответствии с выражениями (22) и (23). Блок 13.m содержит последовательно соединенные блок поиска контрастных точек 23.m, блок вычисления характеристик контрастных точек 24.m, блок памяти 27.m, блок анализа 25.m, формирователь исходных данных 26.m, блок статистической обработки 29.m, умножитель 30.m и делитель 31.m, группа информационных выходов которого является первой группой информационных выходов блока обработки изображения 13.m, первая группа информационных входов которого соединена с группой информационных входов блока поиска контрастных точек 23.m, а вторая группа информационных входов соединена со второй группой информационных входов умножителя 30.m, вторая группа информационных выходов блока вычисления характеристик контрастных точек 24.m соединена со второй группой информационных входов блока анализа 25.m, и датчик случайных чисел 28.m, группа информационных выходов которого соединена со второй группой информационных входов блока статистический обработки 29.m, а синхровходы всех блоков с 23.m по 31.m объединены и соединены с входом синхронизации блока обработки изображения 13.m.
Видеоизображение с соответствующей m-ной группы информационных выходов блока 2.3m поступает на группу информационных входов блока поиска контрастных точек 23.m. В функцию блока 23.m входит реализация известного алгоритма SURF. Обнаруженные контрастные точки на l+1-м кадре с описанием их взаимного местоположения поступают на группу входов блока вычисления характеристик контрастных точек 24.m, которые находят в соответствии с алгоритмом BRIEF. В задачу последнего входит вычисление битовых векторов (наборов бит), описывающих распределение яркости изображения в окрестности данной контрастной точки (xr, yr)T.
Характеристики контрастных точек с описанием их взаимного местоположения одновременно поступают на группы входов блока памяти 27.m (для использования в следующем кадре) и блока анализа 25.m. В функции блока 25.m входит сравнение изображений на предыдущем 1-м (поступившем с выходов блока 27.m) с текущем l+1-м кадрах. Данную операцию выполняют по контрастным точкам: их взаимному местоположению на кадрах и характеристикам. Описание совпадающих пар контрастных точек из l-го и l+1-го кадров поступают на группу информационных выходов формирователя исходных данных 26.m. Блок 26.m обеспечивает преобразование полученных блоком 25.m данных к виду, необходимому для нормальной работы блока 29.m.
Блок статистической обработки 29.m предназначен для решения системы уравнений (16). Данную функцию блок 29.m выполняет на основе известного алгоритма RANSAC и данных, поступающих на его первую группу информационных входов с группы выходов блока 26.m. В процессе работы используют последовательность случайных чисел, формируемых блоком 28.m. Решение названной системы уравнений позволяет определять коэффициенты искомой матрицы проективного преобразования.
В блоке 30.m осуществляют умножение найденной блоком 29.m матрицы проективного преобразования на вектор координат объекта на l-м кадре
Блок 13.m может быть реализован на микропроцессорной сборке с достаточным быстродействием (см. Шевкоплес Б.В. Микропроцессорные структуры. Инженерные решения: Справочник. - 2-е изд., перераб. и доп. - М.: Радио и связь, 1990. - 512 с.), в которой реализован алгоритм, приведенный на фиг. 16.
Реализацию функций блоков 6.m - 17.m целесообразно осуществить с помощью второго сигнального процессора (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html).
Кроме того, второе устройство обработки и отображения информации 2.4 может быть реализован на многоядерном персональном компьютере. В качестве минимальных требований каждому из каналов обработки можно определить следующее: процессор Core i5 2000 МГц, 1 ГБ оперативной памяти, 200 МБ свободного пространства на жестком диске. Программная составляющая: операционная система Windows ХР SP2 и выше, библиотека .NetFrameWork 4.0, цифровая карта местности с информацией о рельефе и формате, совместимом с картами "Группы "Панорама".
Многоканальное (M-канальное) устройство распознавания реализуется в соответствии со структурной схемой, приведенной на фиг. 20. Оно предназначено для обнаружения и распознавания в видеопотоке заданных объектов и определение их координат в системе координат видеокамеры. Устройство распознавания содержит генератор синхроимпульсов 32, мультиплексер 48 и M идентичных каналов распознавания 2.81-2.8M, группы информационных входов которых являются второй группой информационных входов устройства распознавания 2.8, первые группы информационных выходов соединены с соответствующими группами информационных входов мультиплексера 48, группа информационных выходов которого является первой группой информационных выходов устройства распознавания 2.8, вторые группы информационных выходов каналов распознавания 2.81-2.8M являются второй группой информационных выходов устройства распознавания и второй выходной шиной 2.11 наземного пункта управления, вторые группы информационных входов каналов распознавания 2.81-2.8M являются первой группой информационных входов устройства распознавания 2.8, входы синхронизации каналов распознавания 2.81-2.8M объединены и соединены с тактовым входом мультиплексера 48 и с выходом генератора синхроимпульсов 32, группы адресных выходов каналов распознавания 2.81-2.8M являются группами адресных выходов устройства распознавания 2.8, а каждый канал распознавания 2.81-2.8M содержит последовательно соединенные шумоподовитель 35, блок поиска границ контуров 36, блок нормирования 37, вычислитель автокорреляционной функции 38, вычислитель свертки 39, коррелятор 40, первый блок памяти 41, первый блок поиска максимума 42, второй блок памяти 43, и коммутатор 34, вторая группа информационных входов которого соединена с группой информационных выходов счетчики импульсов 56, счетный вход которого является входом синхронизации канала распознавания 2.81-2.8M, выход обнуления соединен со входом управления коммутатора 34, группы информационных выходов которого является группой адресных выходов канала распознавания 2.81-2.8M, последовательно соединенный вычислитель взаимнокорреляционной функции 44, второй блок поиска максимума 45, блок сравнения 46 и блок определения координат центра вектор-контура 47, причем группа информационных выходов блока нормирования 37 соединена со второй группой информационных входов вычислителя ВКФ 44, первая группы информационных входов которого соединена со второй группой информационных входов коррелятора 40 и является второй группой информационных входов канала распознавания 2.81-2.8M, первая группа информационных входов блока определения координат центра вектор-контура 47 соединена с группой информационных выходов блока поиска границ контуров 37, а вторая группа информационных входов блока 47 соединена с группой информационных выходов шумоподавителя 35, вторая группы информационных выходов блока сравнения 46 является второй группой информационных выходов канала распознавания 2.81-2.8M, а входы синхронизации шумоподавителя 35, блока поиска границ контуров 36, блока нормирования 37, вычислителя автокорреляционной функции 38, вычислителя свертки 39, коррелятора 40, первого и второго блоков памяти 41 и 43 соответственно, первого 42 и второго 45 блоков поиска максимума, вычислителя ВКФ 44, блока сравнения 46 и блока определения координат центра вектора-контура 47 объединены и соединены с счетным входов счетчика импульсов 33.
Работу устройства распознавания 2.8 рассмотрим на примере работы одного из каналов 2.81. Видеопоток от первого БПЛА 11 по каналу связи через блоки 1.101 и 2.31 поступает на вход первого 2.81 канала распознавания (на вход шумоподавителя 35.1). В функции блока 35.1 входит подавление высокочастотного шума путем размытия по Гауссу (см. выражение (1)) в качестве весовой функции и уменьшение глубины цвета. Полноцветные изображения для увеличения эффективности обработки переводят из цветового пространства RGB в HSV. Далее в обработке изображения применяют самоорганизующиеся карты Кохонена (нейтронные сети Кохонена).
Преобразованный видеопоток с выхода блока 35.1 поступает на группу информационных входов блока поиска границ контуров 36.1. В последнем, для поиска границ объекта на изображении используют оператор Собеля (см. Харкевич А.А. Спектры и анализ. - М.: Физматгиз, 1963. - 432 с.). Представляет собой дискретный дифференциальный оператор, вычисляющий приближенное значение градиента цвета в каждой точке (см. выражения (2)-(4)). После применения оператора Собеля выделяют элементарные составляющие (отрезки) контуров с последующим поиском замкнутых контуров.
Найденное в блоке 36.1 описание комплексного вектор-контура Гизм={γ0, …, γk-1] поступает на информационные входы блока нормирования 37.1. Блок 37.1 предназначен для приведения вектор-контура Гизм к размерности, соответствующей используемой в базе эталонов в устройстве 2.71. Данную операцию в блоке 37.1 выполняют в соответствии с выражением (5).
На следующем этапе работы устройства 2.8 значение отнормированного вектор-контура Nизм поступает на группу информационных входов вычислителя автокорреляционной функции 38.1 и далее на вычислитель свертки 39.1. С помощью блока 38.1 находят АКФ вектор-контура Nизм в соответствии с выражением
Найденное в блоке 39.1 значение свертки
Порядок определения адреса записи в блок 41.1 следующий. С приходом импульса генератора 32.1 на счетный вход счетчика импульсов 33.1 содержимое последнего увеличивается на единицу. На выходе блока 33.1 формируется кодовая комбинация, соответствующая его содержимому, которая через коммутатор 34.1 поступает на адресный вход соответствующего блока памяти 2.71 устройства 2.7. Эталонное описание вектор-контура
В результате в блоке 40.1 выполняется операция в соответствие с выражением:
С поступлением очередного синхроимпульса блока 32 на управляющий вход первого блока памяти 41.1 с его информационных выходов снимается информация о значении ηi+1 и адресе ячейки памяти, в которую это значение было записано. Названные величины поступают на группу информационных входов первого блока поиска максимума 42.1. В его функцию входит выбор заданного числа эталонных описаний, например четырех или пяти, с наибольшими значениями η. Соответствующие им адреса ячеек памяти блока 41.1 с приходом очередного импульса блока 32 записываются в блок 43.1.
После обнуления счетчика 33.1 и переключения коммутатора 34.1 адреса ячеек памяти с максимальными значениями η с группы выходов блока 43.1 через блок 34.1 последовательно поступают на адресные входы блока 2.71. В результате наиболее близкие эталонные значения вектор-контуров
В функции блока 44.1 входит нахождение значения ВКФ τ(n) двух вектор-контуров
С приходом очередного импульса блока 32 значение τ(n) поступает на группу информационных входов второго блока поиска максимума 45.1. В его функцию входит определение эталонного вектор-контура, которому соответствует максимальное значение ВКФ τmax в соответствии с выражением (7). Найденное в блоке 45.1 τmax следует на группу информационных входов блока сравнения 46.1. На подготовительном этапе задается пороговый уровень τmax в соответствии с критерием Неймана-Пирсона (см. А.А. Горелик Методы распознавания: Учебн. Пособие для ВУЗов по специальности «Автоматизированные системы обработки информации и управления», 2004 г.). При выполнении пороговых условий τmax≥τпор принимается решение об обнаружении заданного объекта, соответствующего эталонному описанию с максимальным значением ВКФ τmax. Со второй группы информационных выходов блока 46.1 на вторую выходную шину 2.11 НПУ поступает информация о номере эталонного описания обнаруженного объекта. При необходимости, данные о номере эталонного описания объекта преобразуют в непосредственную информацию об объекте.
Кроме того, на первом выходе блока 46.1 формируется сигнал (импульс), свидетельствующий об обнаружении заданного объекта. Последний поступает на вход управления блока определения координат 47.1. На первую группу его информационных входов поступают данные о найденных границах вектор-контура с группы информационных выходов блока 36.1, а на вторую группу информационных входов - обработанный в блоке 35.1 видеокадр. В функцию блока 47.1 входит на основе полученного видеокадра и данных о границах вектор-контура обнаруженного объекта определить его координаты центра в координатах (пикселях) видеокамеры.
При повторном заполнении счетчика 33.1 импульсами генератора 32 на выходе обнуления последнего формируется импульс, который обнуляет счетчик 33.1 и переводит коммуникатор 34.1 в исходное состояние. В результате канал распознавания 2.81 готов к новому циклу работы. Аналогичные процессы протекают во всех M каналах устройства распознавания 2.8.
Координаты обнаруженного объекта поступают на соответствующую группу информационных входов мультиплексора 48. В функции последнего входит объединение информационных потоков от всех каналов распознавания 2.81-2.8M с сохранением их идентификационных признаков. С группы информационных выходов блока 48 результаты обнаружения и идентификации объектов с координатами их центров (в системе координат видеокамеры)поступают на группу информационных входов второго блока управления 2.9. Синхронизацию работы всех элементов устройства 2.8 обеспечивают импульсы генератора 32.
Реализация элементов устройства 2.8 известна и трудностей не вызывает. Помехоподавитель 35 предназначен для подготовки входного видеоизображения для автоматической обработки. В первую очередь в его задачу входит минимизировать влияние шума в соответствии с выражением (1) и сложного фона. Полноцветные изображения с помощью блока 35 переводят в цветовое пространство HSV. Блок 35 может быть реализован с помощью микропроцессора IDT-C6 класса Pentium компании Integrated Device Technology Inc.
В функции блока 36 входит выделение границ контуров (см. выражение (2)-(4)) на основе оператора Собеля. Может быть реализован на микропроцессоре Intel 80×86 (см. Ватутин Э.И., Мирошниченко С.Ю., Титов B.C. Программная оптимизация оператора Собеля с использованием SIMD-расширителей процессоров х86 // Телекоммуникации, 2006 г. - №6 с. 12-16).
Блок нормирования 37 предназначен для приведения обнаруженного вектор-контура Nизм к заданной размерности (см. выражение (5)). Может быть реализован совместно с блоком 36 на микропроцессоре Intel 80×86, (см. Леусенко А.Е., Шемаров А.И. Устройство адаптивного масштабирования процессора быстрого преобразования Фурье // Автоматика вычисл. техн. - Минск, вып. 14. - с. 90-92)).
Реализацию функций блоков 35, 36 и 37 целесообразно осуществить с помощью сигнального процессора TMS320c6416 (см. TMS320c6416: http://focus/ti/com/docs/prod/folders/print/TMS320c6416.html). Алгоритм работы TMS320c6416 приведен на фиг.6.
Вычислитель АКФ 38, корректор 40 и вычислитель ВКФ 44 имеют сходное функциональное назначение и предполагают близкую техническую реализацию. Могут быть реализованы на базе универсальных микропроцессоров К1810 (см. Залмансон Л.А. Преобразование Фурье, Хаара и их применение в управлении, связи и других областях, - М.: Наука. Гл. ред. физ.-мат.лит., 1989 г. - 496 с.; Пискаревский Н.Н. Анализатор взаимно-корреляционной функции // Метрология. - 1974 г. - №4, с. 37-43).
Вычислитель свертки 39 предназначен для получение вейвлеты Уолша АКФ вектор-контуров
Первый 41, второй 43 блоки памяти представляют собой буферные запоминающие устройства, реализация которых известна (см. Большие интегральные схемы запоминающих устройств: Справочник / А.Ю. Горденов и др. - М.: Радио и связь, 1990 г. - 512 с.).
Реализация блока определения координат центра вектор-контура 47 известна и трудностей не вызывает. На группы его информационных входов поступают предварительно подготовленное видеоизображение с группы информационных выходов блока 35 и вектор-контур Nизм обнаруженного объекта с группы выходов блока 36. Определение координат центра вектор-контура Nизм осуществляют в случае прихода на управляющий вход блока 47 сигнала о том, что обнаруженный объект относится к классу заданных объектов. Последний поступает с выхода блока 46. С его поступлением на первом этапе определяют центр вектор-контура как геометрической фигуры на основе поиска ее центра тяжести. Для этого используется видеоинформация, поступаемая с выхода блока 36. На следующем этапе осуществляют привязку найденного вектор-контура Nизм с обработанным видеоизображением кадра, поступающим с выхода блока 35. Далее определяют координаты центра вектора-контура в пикселях. Отсчет осуществляют от верхнего левого угла кадра. Блок 47 может быть реализован на универсальном микропроцессоре КР580, алгоритм работы которого приведен на фиг. 21.
Мультиплексер 48 предназначен для поочередного подключения групп информационных выходов каналов распознавания 2.81-2.8M к первой группе информационных выходов устройства распознавания 2.8. Реализация мультиплексеров известна и широко освещена в литературе. Особенностью блока 48 является то, что он по входу управления дополнен счетчиком импульсов, обеспечивающим его управление. Может быть реализована на микросхемах КМОП серий, например К561КП1. Аналогично может быть реализован коммутатор 34. Отличие состоит в том, что на входе управления микросхемы К561КП1 дополнительно ставится триггер. В качестве блока 32 может быть использован генератор прямоугольных импульсов РН-&72 или SG633 (см. www, digit-el.сот).
Второе запоминающее устройство 2.7 выполняется M-канальным по числу БПЛА 11-1M для обеспечения независимой работы каналов распознавания 2.81-2.8M. На подготовительном этапе в каждый блок памяти 2.71-2.7M записывают одну и ту же библиотеку эталонных описаний заданных объектов.
Приемный модуль 2.3 содержит M идентичных приемных трактов, аналогичных приемному тракту 2.3 в устройстве-прототипе. Выходы блоков 2.31-2.3M подключают к соответствующим каналам устройств 2.41-2.4M, 2.81-2.8M и 2.9.
Второй блок управления 2.9 обеспечивает прием данных о координатах объектов в системе координат видеокамеры с группы информационных выходов устройства 2.8 одновременно от всех БПЛА 11-1M преобразование полученной информации к виду, необходимому для нормальной работы устройств 2.4 (формирование команд на определение координат), распределение сформированных команд по соответствующим каналам устройства 2.4. Кроме того, оператор НПУ 2 в состоянии визуально контролировать порядок прохождения команд на местоопределение объектов и в необходимых случаях вмешиваться в этот процесс. Данная ситуация возникает в тех случаях, когда заданные объекты едва различимы на общем фоне кадра (например объекты находятся в лесу под деревьями). В этом случае блок 2.9 работает по алгоритму, предложенному в устройстве - прототипе. Для обеспечения ввода видеоинформации от блока 2.3 на входе устройства управления 2.9 дополнительно используется мультиплексер, аналогичный блоку 48. Для обеспечения управления М каналами устройства 2.4 на выходе бока 2.9 используется демультиплексер. Реализация последнего аналогична блоку 48 (см. www.plam.ru/radioel/lekcii_po_shemotehnike/p5.php).
1. Способ определения координат объектов, заключающийся в том, что на подготовительном этапе на борт летно-подъемного средства (ЛПС) устанавливают и фиксируют видеокамеру для обзора нижней полусферы, запоминают коэффициенты дисторсии объектива видеокамеры, определяют ориентацию видеокамеры относительно борта ЛПС (kk, lk, ζk), где kk, lk, ζk - соответственно углы крена, тангажа и склонения видеокамеры, задают маршрут полета ЛПС, а в процессе полета постоянно через заданный интервал времени Δt определяют местоположение ЛПС (Blps, Llps, Hlps)i, где
с учетом априорно известной ориентации видеокамеры относительно борта ЛПС (kk, lk, ζk) путем последовательного умножения значений
2. Устройство определения координат объектов, состоящее из первого беспилотного летательного аппарата (БПЛА) и наземного пункта управления (НПУ), причем БПЛА выполнен содержащим последовательно соединенные контроллер, рулевой привод и аэродинамические рули, автопилот, группа информационных входов которого соединена с второй группой информационных выходов контроллера, первая группа информационных входов которого соединена с группой информационных выходов автопилота, двигательную установку, группа информационных входов которой соединена с третьей группой информационных выходов контроллера, первый приемопередающий модуль, группа информационных входов которого соединена с четвертой группой информационных выходов контроллера, вторая группа информационных входов которого соединена с группой информационных выходов первого приемо-передающего модуля, последовательно соединенные блок видеонаблюдения, первое запоминающее устройство и передающий модуль, блок навигации БПЛА, группа информационных выходов которого соединена со второй группой информационных входов первого запоминающего устройства, а НПУ выполнен содержащим последовательно соединенные первый блок управления, предназначенный для управления взлетом, полетом и посадкой БПЛА, второй приемо-передающий модуль и первое устройство обработки и отображения информации, последовательно соединенные приемный модуль, второй блок управления, предназначенный для задания исходных данных и формирования команды на определение координат объектов, и второе устройство обработки и отображения информации, вторая группа информационных входов которого объединена с группой информационных входов второго блока управления, отличающееся тем, что дополнительно используют M-1 идентичных с первым БПЛА, M=2, 3, …, , а в НПУ дополнительно введены второе запоминающее устройство и устройство распознавания, выполненные M-канальными, первая группа информационных выходов которого соединена со второй группой информационных входов второго блока управления, первая группа информационных входов соединена с группой информационных выходов второго запоминающего устройства, вторая группа информационных входов соединена с группой информационных выходов приемного модуля, выполненного M-канальным, а группа адресных выходов соединена с группой адресных входов второго запоминающего устройства, группа информационных входов которого является входной шиной НПУ, вторая группа информационных выходов устройства распознавания является второй выходной шиной наземного пункта управления, группа информационных выходов второго устройства обработки и отображения информации - первой выходной шиной НПУ, при этом первое и второе устройство обработки и отображения информации и второй приемо-передающий модуль выполняют M-канальными.