Система управления роботизированным объектом

Полезная модель относится к робототехнике, а именно, к системам управления робот-манипуляторами посадочного модуля космического аппарата (КА) и, кроме того, может быть использована в строительстве для управления строительной техникой, при реставрации архитектурных сооружений, при проведении саперных работ, для наведения и оценки качества бурения и т.д. Система управления роботизированным объектом включает две синхронно работающие цифровые видеокамеры, компьютер с установленным на нем программным обеспечением и систему связи с роботизированным объектом. Видеокамеры размещены на расстоянии друг от друга и их оптические оси взаимно ориентированы в направлении окружающего роботизированный объект пространства. Программное обеспечение компьютера обеспечивает возможность получения трехмерного изображения окружающего объект пространства и контроля текущего положения роботизированного объекта. Система связи передает управляющие сигналы по перемещению объекта в зависимости от его текущего положения. Видеокамеры размещены стационарно и независимо от объекта. Программное обеспечение компьютера выполнено с возможностью формирования и визуализации трехмерного изображения подстилающей поверхности окружающего роботизированный объект пространства. Роботизированный объект маркирован контрольными элементами, обеспечивающими возможность однозначного определения координат его текущего положения относительно подстилающей поверхности стереограмметрическими методами с помощью видеокамер и программного обеспечения компьютера. Полезная модель позволяет упростить идентификацию текущего положения роботизированного объекта. 3 з.п. ф-лы, 2 ил.

Полезная модель относится к робототехнике, а именно, к системам управления робот-манипуляторами посадочного модуля космического аппарата (КА) и, кроме того, может быть использована в строительстве для управления строительной техникой, при реставрации архитектурных сооружений, при проведении саперных работ, для наведения и оценки качества бурения и т.д.

При управлении роботизированным объектом важно определить пространственные координаты цели и контролировать ее текущее положение в пространстве. Синхронная съемка цифровыми видеокамерами и стереофотограмметрическая обработка изображений в сочетании с автоматическим управлением позволяет с точностью до нескольких миллиметров определять координаты точки перемещения объекта и контролировать его пространственное положение. Для управления робот-манипулятором могут быть использованы линейные и угловые датчики перемещения, визуальное наблюдение, контроль по монокулярному изображению объекта, лазерное измерение дальности, монокулярная съемка сцены камерой, находящейся на объекте, а также стереосъемка поверхности и обработка изображений в ручном режиме при непосредственном участии оператора.

Из уровня техники известна система управления роботизированным объектом, включающая две размещенные на расстоянии друг от друга синхронно работающие цифровые видеокамеры, оптические оси которых взаимно ориентированы в направлении окружающего роботизированный объект пространства, компьютер с установленным на нем программным обеспечением, дающим возможность получения трехмерного изображения окружающего объект пространства и контроля текущего положения роботизированного объекта, и систему связи с роботизированным объектом, передающую управляющие сигналы по перемещению объекта в зависимости от его текущего положения (см. патент RU 2065133, кл. G01C 11/26, опубл. 10.08.1996). Недостатками известной системы управления являются низкая точность позиционирования роботизированного объекта, а также перегруженность вычислительной системы и, как следствие, малая скорость реагирования.

Задачей полезной модели является устранение указанных недостатков. Технический результат заключается в упрощении идентификации текущего положения роботизированного объекта. Поставленная задача решается, а технический результат достигается тем, что в системе управления роботизированным объектом, включающей две размещенные на расстоянии друг от друга синхронно работающие цифровые видеокамеры, оптические оси которых взаимно ориентированы в направлении окружающего роботизированный объект пространства, компьютер с установленным на нем программным обеспечением, дающим возможность получения трехмерного изображения окружающего объект пространства и контроля текущего положения роботизированного объекта, и систему связи с роботизированным объектом, передающую управляющие сигналы по перемещению объекта в зависимости от его текущего положения, видеокамеры размещены стационарно и независимо от роботизированного объекта, а сам роботизированный объект маркирован контрольными элементами, обеспечивающими возможность однозначного определения координат его текущего положения, визуализации на фоне поверхности посредством стереофотограмметрической обработки изображений с видеокамер с помощью программного обеспечения компьютера. Система управления роботизированным объектом может также включать емкость для сбора образцов, расположенную в окружающем роботизированный объект пространстве и маркированную контрольными элементами. Контрольные элементы предпочтительно выполнены в виде, по меньшей мере, двух светодиодов, расположенных на каждом подвижном элементе роботизированного объекта и/или емкости для сбора образцов. Оптические оси видеокамер предпочтительно параллельны друг другу.

На фиг.1 представлена схема определения элементов взаимного ориентирования;

на фиг.2 - предлагаемая система управления робот-манипулятором.

Управление роботизированным объектом 1 заключается в получении трехмерного изображения окружающего объект пространства и формировании управляющих сигналов по перемещению объекта в зависимости от его текущего положения. Изображение окружающего пространства получают с помощью входящих в состав системы управления двух размещенных на расстоянии друг от друга синхронно работающих цифровых видеокамер 2 и 3 и компьютера 4 с установленным на нем программным обеспечением. Видеокамеры 2 и 3 размещены стационарно и независимо от объекта 1 и образуют стереосистему. Оптические оси видеокамер 2 и 3 параллельны и ориентированы в направлении окружающего роботизированный объект пространства. Программное обеспечение компьютера 4 осуществляет стереофотограмметрическую обработку изображений с видеокамер 2 и 3, формирование и визуализирует трехмерное изображение поверхности и роботизированного объекта 1. Каждый подвижный элемент объекта 1 маркирован двумя контрольными элементами в виде светодиодов 5. Координаты текущего положения объекта 1 относительно поверхности однозначно определяют и контролируют с помощью программного обеспечения компьютера 4 на основе зарегистрированных видеокамерами 2-3 данных о положении контрольных светодиодов 5. Для осуществления управления предлагаемая система снабжена системой связи (на чертежах не показана) с роботизированным объектом, передающей управляющие сигналы по перемещению объекта 1 в зависимости от его текущего положения.

Если роботизированный объект 1 используется с целью дальнейшего детального исследования наблюдаемых предметов, в окружающем пространстве располагают емкость для сбора образцов, также маркированную контрольными светодиодами. С помощью программного обеспечения компьютера 4 контролируют текущее положение емкости для сбора образцов 6 относительно объекта 1 с помощью стереосистемы видеокамер 2 и 3. Таким образом, предлагаемая система управления позволяет выполнять автоматизированный захват предметов окружающего пространства, контролируя положение роботизированного объекта сначала относительно предмета, указанного в качестве цели, а затем, после его захвата, относительно емкости для сбора образцов.

Установленное на компьютере 4 программное обеспечение позволяет принимать, обрабатывать, визуализировать объект 1 и поверхность, по которой он перемещается в 3-х мерном режиме, а также проводить стереоскопические измерения. Контроль положения светодиодов 5 может осуществляться с субпиксельной точностью.

Основными преимуществами заявленного управления являются:

1. Возможность автоматического выполнения процедуры взаимного ориентирования снимков.

2. Наличие контрольных светодиодов непосредственно на роботизированном объекте.

3. Контроль положения объекта с точностью до долей элемента разрешения.

4. Стереоскопический режим наведения на цель.

5. Трехмерная визуализация поверхности окружающего роботизированный объект пространства и объекта.

Предлагаемая система управления работает следующим образом.

Предварительная подготовка.

С целью связи координат изображений в видеокамерах 2 и 3 с пространственной системой координат объекта 1 проводится предварительная подготовка. Для этого выполняется стереосъемка участка для работы объекта 1. Видеокамеры 2 и 3, проводящие съемку, предварительно откалиброваны (определены элементы внутреннего ориентирования) и исправлены за фотограмметрическую дисторсию.

При работе в ручном режиме выполняется процедура взаимного ориентирования видеокамер 2-3. Для этого оператор определяет координаты выбранных им контурных объектов на двух изображениях. Контурные объекты выбираются по периметру перекрытия двух изображений. Необходимо выбрать, по крайней мере, шесть точек.

В программном обеспечении также предусмотрена возможность применения автоматизированного поиска контурных объектов на изображении с использованием фильтра Харриса, который позволяет детектировать угловые перепады яркости на изображении.

По координатам выбранных объектов, используя значение базиса съемки (В) (расстояния между узловыми точками камеры), строятся уравнения компланарности:

, где

r₁ - направление на изображение контурного объекта в видеокамере 2,

r₂ - направление на изображение контурного объекта в видеокамере 3.

Кроме векторов r₁, r₂ на фиг.1 изображены

Р - контурный объект, изобразившийся на обоих снимках

S₁ - узловая точка объектива левой видеокамеры 2,

S₂ - узловая точка объектива правой видеокамеры 3.

Неизвестными в уравнениях являются: два угла наклона левой видеокамеры 2 и три угла наклона правой видеокамеры 3 относительно базисной системы координат. Ось Х базисной системы координат проходит от задней узловой точки левой видеокамеры 2 к задней узловой точке правой видеокамеры 3. Ось Z базисной системы координат перпендикулярна базису и расположена в плоскости, заданной базисом и направлением на центр снимка с видеокамеры 2. Ось Y дополняет систему координат до правой.

Система уравнений компланарности решается методом последовательных приближений по методу наименьших квадратов.

Используя формулы фотограмметрической засечки, приведенные ниже, вычисляют пространственные координаты выбранных точек контурных объектов в базисной системе координат:

, где:

, , - координаты узловой точки i-й камеры; i=2,3.

Х_Р, Y_P, Z_P - координаты точки контурного объекта.

l_i m_i , n_i - направляющие косинусы на изображение объекта i-й камеры.

Указанное управление позволяет исправлять изображения за фотограмметрическую дисторсию, провести их поворот в 3-х мерном пространстве на углы взаимного ориентирования и отобразить в стереоскопическом режиме.

В программном обеспечении реализован режим стереоизмерений. Он позволяет наводить перекрестие на выбранный объект и изменять его пространственные координаты по дальности, по вертикали и по горизонтали. Внешнее ориентирование снимков выполняется с использованием роботизированного объекта 1. Объект 1 перемещается согласно управляющим сигналам из начального положения вперед, вправо, назад и влево. Локализация изображений проводится в автоматическом режиме по положению контрольных светодиодов 5.

Затем рассчитываются пространственные координаты в базисной системе координат. Используя вертикальный и горизонтальный счетчик линейного перемещения, определяются координаты X, Y в системе координат объекта. Координата Z принимается равной нулю. Уравнения связи между координатами точек в базисной системе координат и координатами точек объекта составляются для каждой из пяти точек.

где:

X, Y, Z - координаты точки в объектовой системе координат,

Xs, Ys, Zs - координаты центра базисной системы координат,

А - матрица перехода от базисной системы координат к объектной системе координат,

t - масштабный множитель.

В результате решения построенной системы определяются элементы внешнего ориентирования для пары видеокамер 2 и 3. К ним относятся: координаты задней узловой точки снимка с левой видеокамеры 2 в системе координат объекта, три угла наклона базисной системы координат относительно системы координат объекта и масштабный множитель. После этого по вышеуказанным формулам вычисляются координаты точек цифровой модели поверхности в системе координат роботизированного объекта 1.

Выбор цели

Оператор в стереоскопическом режиме выбирает интересующее его место, в которое должен переместиться роботизированный объект 1. Фиксируются координаты на левом и правом изображении видеокамер 2 и 3 соответственно. Вычисляются координаты в базисной и объектной системе координат.

Также имеется возможность выбирать координаты на левом и правом снимках цели перемещения при отсутствии стереоотображения на персональном компьютере.

Контроль положения робот-манипулятора

Проводится регулярная съемка движущегося объекта 1 с включенными светодиодами 5 и с малым временем экспонирования, подобранным таким образом, чтобы скрыть изображение области перемещения объекта. Затем выполняется локализация изображений светодиодов 5, превышающих установленный порог и определение координат их взвешенных центров с субпиксельной точностью. Далее определяется соответствие между изображениями светодиодов, полученных правой видеокамерой 3 и левой видеокамерой 2. При этом контролируется совпадение по допустимой разности ординат на двух изображениях, по допустимой разности двух ближайших расстояний и по допустимой разности углов ориентации двух ближайших направлений.

После установки соответствия рассчитываются пространственные координаты светодиодов 5 в базисной и объектной системе координат. По этим координатам объект 1 при помощи средств OpenGL отображается в области трехмерного просмотра вместе с 3-х мерным изображением поверхности и при проведении стереоскопических измерений вместе с трансформированными и исправленными за дисторсию изображениями. Измеренные пространственные координаты движущегося объекта протоколируются.

Автоматизированная идентификация положения объекта по легко детектируемым контрольным светодиодам позволяет значительно упростить и повысить точность позиционирования, разгрузить вычислительную систему и, как следствие, увеличить скорость реагирования предлагаемой системы управления.

1. Система управления роботизированным объектом, содержащая две размещенные на расстоянии друг от друга синхронно работающие цифровые видеокамеры, оптические оси которых взаимно ориентированы в направлении окружающего роботизированный объект пространства, компьютер с установленным на нем программным обеспечением для получения трехмерного изображения окружающего объект пространства и контроля текущего положения роботизированного объекта и систему связи с роботизированным объектом, для передачи управляющих сигналов по перемещению объекта в зависимости от его текущего положения, отличающаяся тем, что видеокамеры размещены стационарно и независимо от роботизированного объекта, а сам роботизированный объект маркирован контрольными элементами, обеспечивающими возможность однозначного определения координат его текущего положения, визуализации поверхности посредством стереофотограмметрической обработки изображений с видеокамер с помощью программного обеспечения компьютера.

2. Система управления роботизированным объектом по п.1, отличающаяся тем, что включает также емкость для сбора образцов, расположенную в окружающем роботизированный объект пространстве и маркированную контрольными элементами.

3. Система управления роботизированным объектом по п.2, отличающаяся тем, что контрольные элементы выполнены в виде, по меньшей мере, двух светодиодов, расположенных на каждом подвижном элементе роботизированного объекта и/или емкости для сбора образцов.

4. Система управления роботизированным объектом по п.1, отличающаяся тем, что оптические оси видеокамер параллельны друг другу.