Устройство электронной обработки сигналов матричных фотоприемных устройств
Полезная модель (ПМ) относится к системам тепловизионного технического зрения и может использоваться для преобразования теплового изображения объектов, формируемого матричным фотоприемным устройством в стандартный черно-белый видеосигнал. Задачей предлагаемой ПМ является реализация способа коррекции неоднородности сигналов матричных фотоприемных устройств по сигналам сцены без использования опорных источников излучения. Технический результат достигается тем, что в известное устройство введены два блока буферной памяти, подключенные таким образом, что первый блок буферной памяти соединен с вторым двунаправленным входом/выходом первого блока ввода информации, а второй блок буферной памяти соединен с вторым двунаправленным входом/выходом второго блока ввода информации.
Полезная модель (ПМ) относится к системам тепловизионного технического зрения и может использоваться для преобразования теплового изображения объектов, формируемого матричным фотоприемным устройством в стандартный черно-белый видеосигнал.
Известен "Матричный тепловизор" /1/, содержащий фоточувствительный узел, включающий объектив, криостат, входное окно криостата, фотоприемную матрицу, кремниевый мультиплексор, систему охлаждения, холодный экран, электронную систему аналоговой обработки сигналов; электронный модуль, включающий в свой состав дифференциальный усилитель, аналого-цифровой преобразователь, сигнальный процессор и микросхему связи с шиной компьютера; компьютер, монитор и т.д.
Признаками аналога, совпадающими с существенными признаками заявляемой ПМ являются: дифференциальный усилитель, аналого-цифровой преобразователь, сигнальный процессор и микросхема связи с шиной компьютера. Причинами, препятствующими получению технического результата, являются низкое быстродействие и невозможность формирования видеосигнала без использования компьютера.
Известно "Устройство для обработки изображений" /2/, содержащее датчик изображения, блок выделения кадрового и строчного импульса, генератор, аналого-цифровой преобразователь, сигнальный процессор и блок управления исполнительными механизмами робота.
Признаками аналога, совпадающими с существенными признаками заявляемой ПМ являются: генератор, аналого-цифровой преобразователь, сигнальный процессор.
Причинами, препятствующими получению технического результата, являются низкое быстродействие и отсутствие оборудования для формирования видеосигнала.
Из всех известных технических решений наиболее близким является "Блок электронной обработки сигналов матричных фотоприемных устройств" /3/, содержащий восемь дифференциальных усилителей-нормализаторов входных аналоговых сигналов, восемь аналого-цифровых преобразователей, два контроллера (блока) ввода информации, генератор синхроимпульсов, процессор обработки (блок формирования) видеосигнала, видеопамять (два блока видеопамяти), цифро-аналоговый преобразователь, модуль микроконтроллера.
Признаками прототипа, совпадающими с существенными признаками заявляемой ПМ являются: восемь дифференциальных усилителей, восемь аналого-цифровых преобразователей, два блока ввода информации, блок формирования видеосигнала, два блока видеопамяти, цифро-аналоговый преобразователь, модуль микроконтроллера и генератор синхроимпульсов.
Причиной, препятствующей получению технического результата является отсутствие блоков буферной памяти, в которых накапливается промежуточная информация (несколько кадров (до 32) размером 576 * 768 пикселов), используемая при вычислении коэффициентов коррекции для коррекции неоднородности сигналов матричных фотоприемных устройств по сигналам сцены (без опорных источников). Такой способ коррекции приведен в /4/.
Задачей предлагаемой ПМ является реализация способа коррекции неоднородности сигналов матричных фотоприемных устройств по сигналам сцены без использования опорных источников излучения.
Технический результат достигается тем, что в известное устройство введены два блока буферной памяти, подключенные таким образом, что первый блок буферной памяти соединен с вторым двунаправленным входом/выходом первого блока ввода информации, а второй блок буферной памяти соединен с вторым двунаправленным входом/выходом второго блока ввода информации.
Заявляемая ПМ представлена на чертежах фиг.1 и фиг 2.
На фиг.1 приведена структурная схема устройства электронной обработки сигналов матричного фотоприемного устройства, где:
1i - дифференциальный усилитель;
2 i - аналого-цифровой преобразователь (АЦП);
3i - блок ввода информации;
4 - блок формирования видеосигнала;
5i - блок видеопамяти;
6 - цифро-аналоговый преобразователь;
7 - модуль микроконтроллера;
8 - генератор синхроимпульсов;
9i - блок буферной памяти;
10i - аналоговые входы устройства;
11 - выход сигналов синхронизации устройства;
12 - аналоговый выход видеосигнала устройства;
13 - технологический интерфейс устройства;
14 - системная шина устройства;
15 - выход генератора синхроимпульсов;
16 - выход управления блока формирования видеосигнала.
Дифференциальные усилители 1 1-18 входных сигналов предназначены для согласования уровней входных сигналов, поступающих на входы устройства 11 1-118 и входного диапазона аналого-цифровых преобразователей 21-28.
АЦП 21-28 выполняют преобразование аналоговых входных сигналов в цифровой вид. С выходов АЦП данные поступают на входы блоков ввода информации 31-32.
Блоки ввода информации 31-32 выполняют формирование пикселов изображения, осуществляя при этом коррекцию неоднородности изображения матричного фотоприемного устройства (МФПУ), и передают их через блок формирования видеосигнала 4 в блоки видеопамяти 51 и 52. Блоки ввода информации реализованы на программируемых интегральных схемах фирмы Xilinx.
Блок формирования видеосигнала 4 формирует в цифровом виде видеосигнал (в соответствии с ГОСТ 7845-92) на основе информации, хранящейся в блоках видеопамяти 51 и 52. Кроме того, блок формирования видеосигнала управляет записью в блоки видеопамяти информации от блоков ввода информации и формирует сигналы синхронизации МФПУ (выход синхронизации устройства 11), а также управляет началом работы блоков ввода информации, подавая сигналы запуска с выхода управления 16. Блок формирования видеосигнала также реализован на программируемой интегральной схеме фирмы Xilinx.
В блоках видеопамяти 51 и 52 накапливаются и временно хранятся пикселы формируемого изображения.
Цифро-аналоговый преобразователь 6 выполняет преобразование цифрового видеосигнала в аналоговый, который поступает на аналоговый выход устройства 12.
Модуль микроконтроллера 7 обеспечивает взаимодействие между устройством электронной обработки сигналов МФПУ и технологическими устройствами (персональной ЭВМ и/или пультом управления), изменяя режимы работы устройства ("основной", "калибровка" - вычисление корректирующих коэффициентов, "технологический") и позволяя иметь доступ ко всем адресуемым регистрам и памяти. Доступ к адресуемым регистрам и различным блокам памяти (видеопамяти 51 и 5 2, буферной памяти 91 и 92, внутренней памяти корректирующих коэффициентов, являющихся внутренней памятью блоков ввода информации) осуществляется по системной шине устройства 14. Кроме того, микроконтроллер формирует корректирующие коэффициенты, реализуя алгоритм, приведенный в /4/. Взаимодействие между устройством электронной обработки сигналов МФПУ и технологическими устройствами осуществляется через технологический интерфейс 13, включающий в свой состав последовательный интерфейс RS-232 (интерфейс с персональной ЭВМ) и интерфейс с пультом управления.
Генератор синхроимпульсов 8 формирует опорную синхросерию (поступающую на выход 15), на основании которой формируются все внутренние синхросигналы устройства.
Блоки буферной памяти 91 и 92 в режиме "калибровка" накапливают информацию о сцене, которая используется для формирования пары корректирующих коэффициентов для каждого фоточувствительного элемента МФПУ.
На фиг.2 приведена структурная схема блока ввода информации, где:
17 - схема формирования пикселов;
18 - схема замены дефектных элементов МФПУ;
19 - буферная схема;
20 - первый блок памяти коэффициентов коррекции;
21 - второй блок памяти коэффициентов коррекции;
22 - схема формирования адреса;
23 - мультиплексор выбора блока памяти;
24 - схема коррекции пикселов;
25 - схема управления и синхронизации;
26 - буферная схема;
27 - буферная схема;
28 - внутренняя шина;
29i - входы данных;
301 - линии данных второго двунаправленного входа/выхода блока ввода информации;
302 - линии адреса второго двунаправленного входа/выхода блока ввода информации;
303 - линии записи/чтения второго двунаправленного входа/выхода блока ввода информации;
31 - выход данных;
32 - первый двунаправленный вход/выход;
33 - вход запуска;
34 - вход синхронизации;
35 - выход синхронизации.
Схема формирования пикселов 17, используя данные, поступающие по входам данных 291(5)-294(8) от четырех АЦП, формирует пиксел тепловизионного изображения.
Схема замены дефектных элементов МФПУ 18 позволяет в процессе формирования очередного пиксела исключать отсчеты АЦП, полученные от дефектных элементов МФПУ, и заменять их соседними.
Буферная схема 19 разделяет системную шину устройства 14 и внутреннюю шину 28 блока ввода информации.
Первый блок памяти коэффициентов коррекции 20 хранит коэффициенты коррекции К1. Второй блок памяти коэффициентов коррекции 21 хранит коэффициенты коррекции К2. Каждый блок памяти хранит 144 коэффициента.
Схема формирования адреса 22 служит для формирования адресов блоков памяти коэффициентов коррекции в "основном" режиме работы и блока буферной памяти при накоплении информации о сцене в режиме "калибровка". Адрес блока буферной памяти поступает на входы блока буферной памяти по линиям адреса 302 второго двунаправленного входа/выхода блока ввода информации.
Мультиплексор выбора блока памяти 23 обеспечивает передачу содержимого любого из блоков памяти коэффициентов коррекции по внутренней шине 28 блока ввода информации и системной шине устройства 14 в модуль микроконтроллера 7.
В схеме коррекции 24 выполняется коррекция пикселов тепловизионного изображения.
Схема управления и синхронизации 25 формирует сигналы управления и синхронизации необходимые для обеспечения работы блока ввода информации во всех режимах работы устройства.
На вход запуска 33 от блока формирования видеосигнала 4 с выхода 16 поступает сигнал запускающий работу блока ввода информации, на вход синхронизации 34 приходит синхросерия от генератора синхроимпульсов 8 (с выхода 15). Сигнал с выхода синхронизации 35 обеспечивает синхронизацию работы АЦЛ. Кроме того, сигналы поступающие от схемы 25 на линию записи/чтения 303 второго двунаправленного входа/выхода блока ввода информации управляют режимами работы (запись, чтение, хранение) блока буферной памяти 9.
Буферная схема 26 разделяет однонаправленную выходную шину данных схемы формирования пиксела 17 и двунаправленную линию данных 301 второго двунаправленного входа/выхода блока ввода информации, а буферная схема 27 разделяет двунаправленную линию данных 301 и внутреннюю шину 28 блока ввода информации
Первый двунаправленный вход/выход 32 соединен с системной шиной устройства 14.
Перед описанием работы устройства рассмотрим алгоритм формирования пикселов изображения.
МФПУ имеет в своем составе восемь линеек фоточувствительных элементов (ФЧЭ) (А, В, С, D, Е, F, G, Н) по 144 элемента в каждой. МФПУ сканирует изображение слева направо, при этом, каждая из восьми линеек ФЧЭ регистрирует освещенность в вертикальном столбце изображения и преобразует его в напряжение выходного сигнала Uвых. .
Ввод изображения в БЭО осуществляется полукадрами.
За один проход сканирующего устройства МФПУ в видеопамять вводится полукадр изображения (четный или нечетный), содержащий 288 строк.
Ввод полукадра представляет собой последовательность 768 периодов (циклов) опроса строки, каждый из которых, в свою очередь, содержит 144 такта опроса линеек ФЧЭ. Информация от одноименных i-ых элементов выводится параллельно, а для опроса всех элементов линеек необходимо использовать 144 такта. При этом в каждом i-ом такте могут формироваться одновременно два пиксела изображения SABCD(i, j) и SEFGH (i, j) в соответствии с выражениями:
где SABCD(i, j) и S EFGH(i, j) - пикселы, формируемые элементами Ai Вi, Сi, Di и элементами Е i, Fi, Gi, Нi соответственно;
A(i, j), B(i, j), C(i, j), D(i, j), E(i, j), F(i, j), G(i, j), H(i, j) - значения сигналов, полученных от ФЧЭ при регистрации освещенности точек сканируемого изображения с координатами (i, j).
Сигналы с каждой группы элементов (A i, Вi Сi Di) и (Е i, Fi, Сi Нi) суммируются и таким образом формируют пикселы SABCD и SEFGH .
Учитывая топологию МФПУ, сумма сигналов от группы ФЧЭ А, В, С, D при j-ом периоде опроса (j=1
768) на i-ом такте (i=1144) формирует элемент изображения (4i-3)-й строки изображения j-го столбца, а сумма сигналов от группы ФЧЭ Е, F, G, Н на 1-ом такте формирует элемент изображения (4i-1)-й строки, j-го столбца.
Кроме того, необходимо учитывать то обстоятельство, что когда линейка Н фоточувствительных элементов будет находиться в области сканируемого изображения, остальные линейки ФЧЭ еще не подойдут к этой области. Вследствие используемой топологии матрицы ФЧЭ, в тот момент, когда линейка элементов А будет находиться на левом крае области сканируемого изображения линейка В пройдет через эти фрагменты изображения на три цикла опроса строки раньше, линейка С - на шесть циклов раньше, линейка D - на девять циклов раньше, линейка Е - на двенадцать, линейка F - на пятнадцать, линейка G - на восемнадцать и линейка Н - на двадцать один цикл опроса строки раньше.
Таким образом, выражение для формирования пикселов видеоизображения можно записать в следующем виде:
где
SABCD (i, j) и S EFGH(I, J) - пикселы видеоизображения, формируемые одновременно (в одном i-ом такте);
A(i, j, t)H(i, j, t-21T) - сигналы, используемые в момент времени t для формирования элементов видеоизображения;
Т - длительность цикла опроса каждого столбца сканируемого изображения.
Учитывая временные задержки при прохождении различными линейками ФЧЭ через одни и те же фрагменты сканируемого изображения становится очевидным, что для формирования 768 столбцов изображения необходимо использовать 21+768 циклов опроса строк. При этом, в первых двадцати одном циклах собирается информации от линеек ФЧЭ А, В, С, D, Е, F, G, H, а в двадцать втором цикле начнут формироваться два пиксела первых двух строк (1-ой и 3-ей) и первого столбца.
Реализация выражений (2) выполняется в схемах формирования пикселов 17 блоков ввода информации 3 1 и 32. Причем, пиксел SABCD(I, J) формируется в блоке 31, а пиксел SEFGH(I, J) - в блоке 32.
Для обеспечения возможности использования МФПУ с отдельными неисправными ФЧЭ необходимо иметь возможность исключения из выражений (2) сигналов от неисправных ФЧЭ и подачи на входы четырехвходовых сумматоров ABCD и EFGH сигналов от соседних исправных элементов. Например, при отказе ФЧЭ A(i, j) на входы сумматора ABCD можно подать следующие сигналы:
SABCD=2B(i, j, t-3T)+C(i, j, t-6T)+D(i, j, t-9T).
Такая замена выполняется в схеме формирования пикселов 17 под управлением от схемы замены дефектных элементов МФПУ 18.
С целью устранения неоднородности сигналов МФПУ возникает необходимость коррекции формируемых пикселов изображения. Алгоритм коррекции неоднородности изображения выглядит следующим образом:
где:
Sк(I, J) - скорректированный сигнал (пиксел изображения);
S(I, J) - сигнал (пиксел изображения) до коррекции;
К1(I, J) и К2(I, J) - корректирующие коэффициенты (I, J)-го элемента МФПУ.
Реализация формулы (3) выполняется в схеме коррекции пикселов 24.
Формирование корректирующих коэффициентов выполняется во время периодического выполнения калибровок МФПУ. Каждая калибровка (формирование корректирующих коэффициентов) содержит два основных этапа:
- накопление сигналов сцены за некоторый интервал времени Т;
- вычисление корректирующих коэффициентов.
Специально для выполнения калибровок МФПУ в устройстве предусмотрен режим работы "калибровка". В этом режиме накопление сигналов сцены выполняется в блоках буферной памяти 91 и 92, а вычисление корректирующих коэффициентов - в модуле микроконтроллера 8.
Рассмотрим работу устройства.
В "основном" режиме работы устройство постоянно опрашивает фоточувствительные элементы МФПУ, формируя аналоговый видеосигнал тепловизионного изображения. На основе оцифрованной аналоговой информации, поступающей на аналоговые входы 101-108 устройства, в блоках ввода информации 31 и 32 каждый такт опроса МФПУ формируются два пиксела тепловизионного изображения в соответствии с выражениями (2) и (3). При этом сигналы с линеек ФЧЭ А, В, С и D поступают, соответственно, на входы устройства 101, 102, 103, и 104 , а сигналы с линеек Е, F, G и Н - на входы 105, 10 6, 107, и 108.
Пикселы тепловизионного изображения формируются парами и последовательно передаются в блоки видеопамяти 51 и 52 через блок формирования видеосигнала 4. Передача пикселов из блоков ввода информации в видео память осуществляется по очереди - в начале передается пиксел SABCD(I, J), а затем - SEFGH(I, J) и т.д. Такт передачи пикселов в блок формирования видеосигнала 4 в 2 раза меньше, чем такт опроса МФПУ. Блоки ввода информации своими выходами данных объединены друг с другом с использованием "третьего состояния".
Блок формирования видеосигнала 4, используя содержимое блоков видеопамяти, постоянно формирует видеосигнал в цифровом виде, который поступает на вход цифро-аналогового преобразователя 6 и преобразуется в аналоговый (выход 12 устройства). При этом пикселы одного полукадра изображения считываются из одного блока видеопамяти, а пикселы другого полукадра записываются в другой блок видеопамяти.
Сигналы управления с выхода 16 блока формирования видеосигнала позволяют осуществлять синхронизацию взаимодействия между блоками 31, 32, и 4, а сигналы с выхода 11 синхронизируют работу блока 4 и МФПУ. Таким образом, блок формирования видеосигнала осуществляет общесистемную синхронизацию работы всего устройства.
Модуль микроконтроллера 7 периодически (по своей программе) обращается по системной шине 14 в блоки 31, 32 и 4 задавая режим "калибровка". В этом режиме запрещается запись формируемых пикселов в блоки видеопамяти 51 и 52 и блок формирования видеосигнала 4 только считывает их содержимое (при этом на экран телевизионного монитора выводится одно и то же изображение). Блоки ввода вывода 31, и 32 формируют пикселы изображения и одновременно начинают сбор информации о сцене. При этом сформированные (не скорректированные) пикселы изображения с выхода схемы 17 через буфер 26 по линиям данных 301 поступают на входы/выходы данных блока буферной памяти. Одновременно, по линиям адреса 302 и по линиям записи/чтения 303 на входы памяти подаются адреса и сигналы записи. Таким образом, в блоки буферной памяти 91 и 92 записывается информация, на основании которой вычисляются коэффициенты коррекции. После окончания сбора информации модуль микроконтроллера 7 разрешает запись пикселов в видеопамять и начинает вычисление коэффициентов коррекции в соответствие с алгоритмом /4/, обращаясь в блоки буферной памяти 91 и 92.
После вычисления коэффициентов коррекции К1 и К2 модуль микроконтроллера 7 снова запрещает запись пикселов в блоки видеопамяти 51 и 52 и переписывает коэффициенты коррекции в блоки памяти коэффициентов коррекции 21 и 22 обоих блоков ввода информации 31 и 32. После записи новых коэффициентов коррекции модуль микроконтроллера 7 разрешает запись пикселов в блоки видеопамяти, режим "калибровка" завершается и устройство переходит в "основной" режим работы.
Устройство работает в "технологическом" режиме, когда к нему подключены технологическая персональная ЭВМ и/или технологический пульт управления. Модуль микроконтроллера 7 периодически опрашивает технологический интерфейс 13 и в случае обнаружения любого технологического устройства переходит в "технологический" режим работы. В этом режиме содержимое всех блоков памяти и адресуемых регистров устройства может быть считано в технологическую ПЭВМ. Кроме того, переход из "технологического" режима в режим "калибровка" выполняется по командам с технологического пульта управления или технологической ПЭВМ. Обратный переход (из режима "калибровка" в "технологический") выполняется под управлением модуля микроконтроллера 7.
"Технологический" режим предназначен для отладки устройства.
Источники информации
1. Матричный тепловизор. Патент РФ 
2152138, МПК H04N 5/33, опубл. 27.06.2000 г.
2. Устройство для обработки изображений. Патент РФ 2251735, МПК G06K 9/46, опубл. 10.05.2005 г.
3. Катаев О.В. и др. Блок электронной обработки сигналов матричных фотоприемных устройств // Искусственный интеллект, 3, 2006 г., с.48-56.
4. Способ коррекции неоднородности матричных фотоприемных устройств. Патент РФ 2298884, МПК H04N 5/33, опубл. 10.05.2007 г.
Устройство электронной обработки сигналов матричных фотоприемных устройств, содержащее восемь дифференциальных усилителей, восемь аналого-цифровых преобразователей, первый и второй блоки ввода информации, блок формирования видеосигнала, первый и второй блоки видеопамяти, цифроаналоговый преобразователь, модуль микроконтроллера и генератор синхроимпульсов, подключенный выходом к входам синхронизации первого и второго блоков ввода информации, блока формирования видеосигнала и модуля микроконтроллера, первый двунаправленный вход/выход которого является технологическим интерфейсом устройства, а второй двунаправленный вход/выход соединен с системной шиной устройства, подключенной к первым двунаправленным входам/выходам первого и второго блоков ввода информации и к первому двунаправленному входу/выходу блока формирования видеосигнала, первый выход которого является выходом синхронизации устройства, а второй выход соединен с входом цифроаналогового преобразователя, выход которого является аналоговым выходом видеосигнала устройства, аналоговые входы которого подключены к входам дифференциальных усилителей, выходы которых связаны с входами аналого-цифровых преобразователей, которые своими выходами подключены к входам данных первого и второго блоков ввода информации таким образом, что первые четыре аналого-цифровых преобразователя подключены к первому блоку ввода информации, а остальные четыре аналого-цифровых преобразователя подключены к второму блоку ввода информации, выходы данных блоков ввода информации соединены между собой и подключены к входу данных блока формирования видеосигнала, который вторым и третьим двунаправленными входами/выходами соединен с первым и вторым блоками видеопамяти соответственно, выходом управления соединен с входами запуска первого и второго блоков ввода информации, выходы синхронизации которых подключены к входам синхронизации аналого-цифровых преобразователей таким образом, что выход синхронизации первого блока ввода информации соединен с входами синхронизации первых четырех аналого-цифровых преобразователей, а выход синхронизации второго блока ввода информации подключен к входам синхронизации остальных четырех аналого-цифровых преобразователей, отличающееся тем, что в устройство введены два блока буферной памяти, подключенные таким образом, что первый блок буферной памяти соединен с вторым двунаправленным входом/выходом первого блока ввода информации, а второй блок буферной памяти соединен с вторым двунаправленным входом/выходом второго блока ввода информации.
