Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов
Полезная модель относится к формирователям сигналов изображения с микросканированием, в которых она обеспечивает коррекцию неоднородности и дефектов ИК-матричного фотоприемного устройства и упрощает формирование выходного изображения. Задачей полезной модели является построение устройства с параллельной процедурой накопления градиентов, ускоряющей процесс формирования изображения. Результат достигается заменой в известном устройстве блока последовательного накопления градиентов на блок параллельного накопления градиентов, накопление выходного изображения в котором осуществляется в течение числа итераций, соизмеримого с числом пикселов выходного изображения, а качество изображения не уступает изображению, формируемому в прототипе последовательной схемой накопления.
Заявляемая полезная модель относится к формирователям сигналов изображения (ФСИ) с микросканированием, в которых она предназначена для коррекции неоднородности и дефектов элементов матричного фотоприемного устройства (ФПУ) инфракрасного диапазона спектра.
Прототипом заявляемой модели является полезная модель [патент RU 128010 U1]. Прототип содержит последовательно расположенные объектив, микросканер, фотоприемное устройство, аналого-цифровой преобразователь (АЦП), формирователь градиентов входных сигналов, двумерный накопитель градиентов. Отличие заявляемой модели состоит в том, что двумерный накопитель градиентов в прототипе заменен в на двумерный параллельный накопитель градиентов.
Суть двумерного накопления в прототипе состоит в том, что скорректированное значение одного, произвольно выбранного пиксела выходного кадра - так называемого нулевого пиксела, принимается равным нулю, а значения остальных пикселов находятся последовательно, начиная с ближайшего окружения нулевого, суммированием значений уже найденных, скорректированных, пикселов с градиентами, связующими найденные пикселы с определяемым в текущий момент.
Эта схема накопления последовательная - скорректированные значения пикселов определяются друг за другом, пока не будут последовательно найдены скорректированные значения всех пикселов. Если под итерацией понимать определение очередного пиксела, то общее число последовательных итераций совпадает с числом пикселей в кадре, и время выполнения процедуры пропорционально числу пикселей.
Повторение последовательной процедуры накопления, начиная с других нулевых пикселов, и попиксельное сложение результатов процедур, улучшает итоговый результат. Предел улучшения наступает при повторении процедуры, начиная с каждого из пикселов.
Однако, время обработки при этом становится пропорционально квадрату числа пикселов (4-й степени линейного размера матрицы), что существенно ограничивает возможность применения модели на матрицах больших форматов. Введение элементов параллелизма в процедуре - одновременного вычисления на каждой итерации нескольких последующих пикселов, для которых множества исходных пикселов не пересекаются, снижает порядок сложности до 3-й степени линейного размера матрицы.
Повторы последовательной процедуры улучшают результат, в сравнении с исходным уровнем обработки - выполнением одноразовой последовательной процедуры, Но возрастает, пропорционально числу повторов, сложность реализации.
Задачей предлагаемой полезной модели является построение устройства с параллельной процедурой накопления градиентов, ускоряющей время формирования изображения.
Задача решается тем, что формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов содержит последовательно расположенные объектив, микросканер, фотоприемное устройство, аналого-цифровой преобразователь (АЦП), формирователь градиентов входных сигналов, двумерный параллельный накопитель градиентов, сигналы с ФПУ поступают на АЦП, сигналы с АЦП поступают на формирователь градиентов входных сигналов, сигналы с формирователя градиентов подают на двумерный параллельный накопитель градиентов, кадры скорректированного изображения снимают с выхода двумерного параллельного накопителя градиентов.
Сущность полезной модели поясним описанием работы устройства.
Блок-схема устройства заявляемой модели приведена на фиг. 1, где 1 - сцена; 2 - микросканер; 3 - матричное фотоприемное устройство; 4 - аналого-цифровой преобразователь; 5 - формирователь градиентов; 6 - двумерный параллельный накопитель градиентов; 7 - скорректированное изображение; 8 - объектив.
Устройство работает следующим образом. Пояснение даем на примере микросканирования по 4-м направлениям.
Микросканер, как и в прототипе, осуществляет четырехпозиционную траекторию микросканирования: 4-м очередным сдвигам изображения сцены относительно матрицы фотоприемного устройства на полпиксела - вправо, вниз, влево и вверх соответствуют 4 очередных сдвиговых кадра изображения с выхода фотоприемного устройства. К очередным 4-м сдвиговым кадрам с фотоприемного устройства получают и бессдвиговый кадр, когда сцена через объектив и микросканер проецируется на фотоприемное устройство без сдвига.
Формируются очередные 4 градиентных кадра, как попиксельные разности очередных 4-х сдвиговых кадров относительно основного -бессдвигового кадра, Двумерным параллельным накоплением очередных 4-х градиентных кадров формируется очередной выходной кадр.
Математическая модель нейронной схемы накопления градиентов заключается в следующем (обозначения соответствуют обозначениям в прототипе).
Формирование из градиентов очередного (t=1, 2, 
) выходного 
кадра изображения осуществляется последовательным выполнением Nit итераций, it=0, 1, 2, , Nit, it - номер итерации:
- полагается 
, значения всех пикселов выходного изображения устанавливаются в 0;
- последовательно, для it=1, 2, , Nit, выполняется процедура:
определяется значение каждого элемента (n,m) выходного изображения 
на итерации it, как сумма:
где {n+,m+} - множество соседних элементов (n,ш) - элемента;
V{п+,m+} - число соседних элементов;
dSn,m/n+,m+ - градиент сигнала по направлению от элемента (n,m) к (n+,m+)-элементу;
dSn+,m+/n,m - градиент сигнала по направлению от элемента (n+,m+) к (n,m)-элементу.
Соответствующая формуле (1) схема накопления приведена на фиг. 2.
На фиг. 3 приведена модифицированная схема. Изображен фрагмент схемы - в области (n,m)-элемента.
Модифицированная схема построена с учетом приведения (1) к виду,
где величину dSn,m называем градиентом (n,m)-элемента,
На фиг. 3 числа у связей означают веса входов сумматоров.
Реализация схем осуществляется на основе ПЛИС (программируемых логических интегральных схем), настраиваемых на структуру схемы накопления. Входами ПЛИС являются градиенты, выходное изображение - на выходах накапливающих сумматоров. Каждая вычислительная итерация осуществляется в течение такта работы ПЛИС - в результате такта все накапливающие сумматоры изменяют свое значение в соответствии с (2), имеется в виду модифицированная схема накопления.
Качество изображения растет с увеличением числа итераций и стремится к пределу улучшения при числе итераций, соизмеримых с числом элементов матрицы.
Фиг. 4 показывает зависимость качества изображения от числа итераций, для матрицы 256×256 элементов. Удовлетворительное качество достигается при 10000 итераций.
На фиг. 5 показаны 2 изображения, сформированное параллельной схемой (слева, за 41800 итераций) и сформированное 50 повторами работы последовательной схемы с числом тактов, равным числу элементов, 256×256=65556. Общее число тактов работы последовательной схемы равно 3276800.
Изображения получены пропусканием тепловой сцены с выхода тепловизора через модель фотоприемного устройство с последующей обработкой параллельной и последовательной схемами. Подобный эксперимент позволяет оценивать качество изображений численным критерием - корреляцией сопоставляемых изображений. Качество изображений у обеих схем обработки одинаковое: корреляция с исходной тепловой сценой у параллельной схемы составляет 0.9742, у последовательной 0.9752, но параллельная требует в 80 раз меньше тактов на обработку.
Однократное применение последовательной схемы дает корреляцию 0.9546 и занимает 65556 тактов. Для параллельной схемы этому качеству изображения соответствует обработка в течение 10000 тактов.
На фиг. 6 представлены результаты коррекции сигналов со сканирующего ФПУ 4×288, где оптико-механическая схема обеспечивает два последовательных скана изображения со сдвигом в направлении линейки на половину шага линейки МФПУ. При сканировании выборки сигналов в направлении сканирования проводятся с таким же пространственным периодом. Таким образом, массив отсчетов сигналов с формата 576×768 рассматривался как четыре матрицы микросканов формата 288×384. Из этих матриц формировались матрицы градиентов, по которым проводилась процедура коррекции с использование модифицированной схемы (фиг. 6.а) и с использованием последовательной схемы (фиг. 6.б). Для сравнения приведены результаты, полученные с применением традиционной двухточечной коррекции по опорным источникам (фиг. 6.в)
Число тактов работы параллельной схемы равно 4608. Корреляция с изображением, полученным с использованием двухточечной коррекции по опорным сигналам, составляет 0.64.
Последовательная схема строит изображение за 576×768=442368 тактов, на каждом такте определяется очередной один пиксел изображения. Корреляция с изображением по двухточечной коррекции составляет 0.56.
Параллельной схеме для получения изображения требуется в 100 раз меньше тактов, чем последовательной.
Достижение последовательной схемой качества изображения параллельной схемы требует повтора применения последовательной схемы 20×30=600 раз (каждый раз последовательная схема начинала обработку с элемента строящегося изображения в сетке элементов с интервалом 30 элементов по горизонтали и 20 по вертикали)
Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов, содержащий последовательно расположенные объектив, микросканер, фотоприемное устройство (ФГГУ), аналого-цифровой преобразователь (АЦП), формирователь градиентов входных сигналов, сигналы с ФПУ поступают на АЦП, сигналы с АЦП поступают на формирователь градиентов входных сигналов, отличающийся тем, что после формирователя градиентов входных сигналов расположен двумерный параллельный накопитель градиентов, сигналы с формирователя градиентов поступают на двумерный параллельный накопитель градиентов, кадры скорректированного изображения поступают с выхода двумерного параллельного накопителя градиентов.
РИСУНКИ
