Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов

Полезная модель относится к формирователям сигналов изображения с микросканированием, в которых она обеспечивает коррекцию неоднородности и дефектов ИК-матричного фотоприемного устройства и упрощает формирование выходного изображения

Результат достигается заменой в известном устройстве блоков обработки на формирователь градиентов входных сигналов и двумерный накопитель градиентов, включенные последовательно, сигналы с аналого-цифрового преобразователя подают на формирователь градиентов, кадры скорректированного изображения снимают с выхода двумерного накопителя градиентов.

Коррекция неоднородности и исправление дефектов основывается на том, что при накоплении градиентов сигналов в двумерном накопителе проявления в градиентах шумов неоднородности, временного шума и дефектов складываются как случайные величины, статистически не связанные с искомым изображением и мало значимые в сравнении с суммой градиентов искомого изображения.

Заявляемая полезная модель относится к формирователям сигналов изображения (ОСИ) с микросканированием, в которых она предназначена для коррекции неоднородности и дефектов элементов матричного фотоприемного устройства (ФПУ) инфракрасного диапазона спектра.

Заявляемая модель обеспечивает коррекцию по сигналам сцены, без использования источников опорных сигналов.

Аналогом предлагаемой полезной модели является обобщенная схема коррекции, представленная на рис.5 в статье [В.Н.Соляков, С.И.Жегалов, В.Г.Фетюхина «Условия и возможности коррекции неоднородности фотоприемных устройств по сигналам сцены», Прикладная физика, 2011, 2], применяемая для коррекции с использованием микросканирования по методу из статьи [В.Н.Соляков, С.И.Жегалов, В.Г.Морозова «Метод коррекции неоднородности по сигналам сцены многоэлементных фотоприемных устройств с микросканированием». Прикладная физика, 2009, 5].

Наиболее близким аналогом (прототипом) является устройство, схема которого приведена на фиг.4 в описании изобретения к патенту [RU 2349053 С1].

Примененная в прототипе траектория микросканирования четырехпозиционная (фиг.2 в том же описании): 4-м очередным сдвигам изображения сцены относительно матрицы фотоприемного устройства на полпиксела - вправо, вниз, влево и вверх соответствуют 4 очередных сдвиговых кадра изображения с выхода фотоприемного устройства. К очередным 4-м сдвиговым кадрам с фотоприемного устройства получают и бессдвиговый кадр, когда сцена через объектив и микросканер проецируется на фотоприемное устройство без сдвига.

Определение корректирующих коэффициентов происходит периодически и для каждого определения используют несколько десятков подряд следующих кадров. Для определения корректирующих коэффициентов используют все кадры - сдвиговые и бессдвиговые, корректированию подлежат только сдвиговые.

Микросканирование позволяет решить и задачу повышения пространственной разрешающей способности, посредством чересстрочного и через столбец перемежения пикселов каждых 4-х скорректированных сдвиговых кадров в один получают очередной кадр изображения с удвоенным пространственным разрешением.

Недостатком аналогов является то, что при работе с матрицами, обычно содержащими дефектные элементы, дополнительно должен присутствовать блок обнаружения дефектов, передающий найденные координаты дефектных элементов в определитель корректирующих коэффициентов и в корректор. В определителе коэффициенты для дефектных элементов не рассчитываются, а в корректоре исправление соответствующих дефектам пикселов изображения осуществляют заменой их сигналов на скорректированные сигналы ближайших к дефекту недефектных элементов.

Помимо исправления дефектов актуальна и задача упрощения реализации коррекции неоднородности и формирования выходного изображения, в частности, уменьшения объема наиболее сложных операций - умножения и деления.

Обе задачи - исправление дефектов и упрощение реализации решаются следующими изменениями в прототипе:

- определитель корректирующих коэффициентов и корректор в заявляемой модели заменяются на пару блоков: формирователь градиентов входных сигналов и двумерный накопитель градиентов, включенные последовательно, сигналы с аналого-цифрового преобразователя подают на формирователь градиентов, кадры скорректированного изображения снимают с выхода двумерного накопителя градиентов.

Блок-схема устройства заявляемой модели приведена на фиг.1, где 1 - сцена; 2 - микросканер; 3 - матричное фотоприемное устройство; 4 - аналого-цифровой преобразователь; 5 - формирователь градиентов; 6 - двумерный накопитель градиентов; 7 - скорректированное изображение; 8 - объектив.

Устройство работает следующим образом. Пояснение даем на примере микросканирования по 4-м направлениям.

Формируются очередные 4 градиентных кадра, как попиксельные разности очередных 4-х сдвиговых кадров относительно основного - бессдвигового кадра. Двумерным накоплением очередных 4-х градиентных кадров формируется очередной выходной кадр.

Суть двумерного накопления состоит в том, что скорректированное значение одного, произвольно выбранного пиксела выходного кадра - так называемого нулевого пиксела, принимается равным нулю, а значения остальных пикселов находятся последовательно, начиная с ближайшего окружения нулевого, суммированием значений уже найденных, скорректированных, пикселов с градиентами, связующими найденные пикселы с определяемым в текущий момент.

Обоснование того, что двумерное накопление обеспечивает уменьшение обусловленной неоднородностью и временным шумом накапливаемой ошибки, в сравнении с накапливаемым полезным сигналом, и как следствие, приводит к уменьшению шума в выходном сигнале, состоит в следующем.

Вначале поясним замысел градиентной коррекции, далее дадим математические оценки качества коррекции и результаты экспериментов и обработки реальных данных.

Ниже сдвиговые и бессдвиговые кадры для удобства пояснения называем микросканами.

Каждый пиксел всех градиентных кадров содержит 3 аддитивные составляющие:

- информационную (градиент потока сцены);

- шум неоднородности (градиент потока сцены, умноженный на отклонение пиксела по чувствительности относительно средней чувствительности пикселов). Проявление неоднородности по смещению удаляется из градиентов при их формировании - вычитании микросканов друг из друга, это вычитание попиксельное и в каждой разности участвует пара сигналов с одного и того же элемента;

- временной шум (разность значений временного шума соседних пикселов).

Информационная составляющая - градиент потока сцены, хотя и незначительно, меняется от микроскана к микроскану. Эта изменчивость не связана с направлениями микросканирования и влияет на результат, как составляющая шума.

Устранение неоднородности по смещению происходит при вычитании кадров, при формировании градиентных кадров.

Неоднородность по чувствительности устраняется накоплением градиентов.

Структура накопления градиентов настроена на систему сдвигов сцены и в отсутствие шумов дает истинное значение сцены. Для неизменной сцены понятие истинного значения очевидно, для меняющейся - ее среднее по очередным микросканам.

В присутствии шумов накопление градиентов дает сумму истинного значения сцены и сумму шумов.

Но так как шумы в целом не согласованы с системой сдвигов (значит, и с системой накопления), то результат их накопления случаен и по мере удаления от начального элемента накопления значимость шумов убывает в сравнении с истинным значением сцены.

Математическое обоснование заключается в следующем.

Градиент сигнала dS_n,m/n+,m+ (t) элемента ФПУ (n, m) в направлении соседнего элемента (n+, m+) равен разности отсчета S_n,m(t) основного микроскана и отсчета (n, m)-элемента S_n,m/n+,m+(t) для микроскана, соответствующего сдвигу сцены в направлении (n-, m-), когда элемент сцены (n+, m+) попадает на элемент ФПУ (n, m),

Параметр t - время, каждому отсчету соответствует набор микросканов и один выходной кадр. Так как каждый выходной кадр связан со своим набором микросканов, то параметр t из анализа можно опустить.

Перепишем (1), исходя из модели сигнала элемента -

S _n,m=A_n,m·P_n,m+B_n,m +SH_n,m

где A_n,m - чувствительность элемента;

P_n,m - поток на элементе;

B_n,m - смещение элемента;

SH_n,m - шум элемента.

Получаем,

где dP_n,m/n+,m+=P_n,m -P_n+,m+ - градиент потока на элементе (n, m) в направлении соседнего элемента (n+, m+), a dP_n+,m+() - изменение потока основного микроскана на элементе (n+, m+) за период , после которого участок сцены (n+, m+) попадает на элемент (n, m).

Потоки P_n,m и P_n+,m+ одномоментные, соответствуют отсчету одного и того же микроскана, основного.

Далее, представим чувствительности A_n,_m элементов в виде

A _n,m=A₀+dA_n,m,

где A₀ - среднее по элементам, dA_n,m - неоднородность элемента по чувствительности.

Тогда (2) можно представить в виде,

в виде суммы информационной и шумовой частей. Последняя содержит проявление геометрического и временного шума.

Для подтверждения работоспособности метода во-первых покажем, что суммирование градиентов складывает их информационные части в искомый поток, а затем - что шумы, складываясь, свое влияние уменьшают, и найдем условия, при которых это происходит.

Первое основывается на том, что множество информационных частей микросканов {A₀·dP_n,m/n+,m+ }_{n,mNM,n+,m+{n+,m+}}, где NM - множество элементов ФПУ, {n+, m+} - множество микросканов, при последовательном суммировании градиентов - от элемента к элементу, начиная с некоторого произвольно выбранного «нулевого» - всегда дает в результате искомый поток для всех элементов, смещенный на величину потока нулевого элемента. И так как смещение одинаково для всех элементов ФПУ, то это не меняет информационной сущности изображения.

Второе - уменьшение влияние шума, основывается на несвязности процессов указанных трех шумовых компонент между собой и несвязностью шумов с информационной составляющей.

Отметим, что в методе присутствует еще один существенный фактор - порядок обхода элементов ФПУ при суммировании градиентов (алгоритм накопления), определяющий характер результата.

Простейшие стратегии - переход от одного элемента к одному соседнему (по одной связи) - не позволяют уменьшить влияние шума. Только стратегии двумерного плана - от двух и более элементов (по нескольким связям) к одному последующему, позволяют уменьшать влияние шума.

На фиг.2 иллюстрируются направления и межэлементные связи микросканирования.

На фиг.2а показаны направления микросканирования при сдвиге на один пиксел (возможно и на полпиксела) - по горизонтали, вертикали и диагональные. Здесь же показывается порядок обхода элементов в окрестности нулевого. Скорректированный сигнал нулевого полагается равным нулю, далее - скорректированный сигнал первого элемента определяется по нулевому и связям первого с нулевым элементом, и т.д., пока не будут определены все элементы.

Фиг.2б иллюстрирует связи микросканирования - межэлементные потоковые соотношения, которые используются в методе. Так, у первого элемента с нулевым две связи - одну обеспечивает сдвиг микросканирования влево, другую - вправо.

Если число направлений сдвигов примем за V - объем микросканирования, то число связей элемента будет в два раза больше, для симметричных систем микросканирования - это связи влево-вправо, вверх-вниз и т.п.

Реально же для определения элемента на основании определенных предыдущих в среднем может быть использовано до половины связей. Эта граница - половина - исходит из того, что определяемый в текущий момент элемент находится на границе - множества определенных и неопределенных элементов. Фиг.2б иллюстрирует эту ситуацию на примере определения 9-го элемента.

Исходя из пояснений и определений выпишем формулу корректирования каждого последующего (n, m) элемента на основании уже определенных элементов, лежащих в окрестности определяемого - это множество обозначим {n+, m+}^K, а число связей этих элементов с (n, m)-элементом - через ,

При симметрии микросканирования число связей в два раза больше числа элементов в множестве {n+, m+} ^K.

Добавив к (4) установку для нулевого элемента , получаем общее правило коррекции.

Общее в том смысле, что не зафиксировано правило обхода элементов.

Рассмотрим, как суммирование градиентов складывает их информационные части в искомый поток.

Учитывая рекуррентность корректирования, достаточно показать, что применение (4) для текущего элемента, при условии, что предшествующие определены правильно (со смещением на величину потока нулевого элемента, дает правильный результат и для текущего.

Подставив (3) в (4), получаем, что

где - поток основного скана на нулевом элементе, - ошибка корректирования (n, m)-пиксела изображения, - ошибки корректирования предшествующих текущему пикселов.

Применяя последовательно аналогичные рассуждения по цепочкам от элементов {n+, m+} до нулевого элемента, получаем, что поток нулевого элемента равен нулю, а именно это мы и полагаем на начальном шаге корректирования, принимая скорректированный сигнал нулевого элемента равным нулю.

Второй аспект - оценивание ошибки корректирования, рассмотрим, предполагая независимость трех составляющих шума (3) между собой и от информационной составляющей.

Тогда формула для дисперсии ошибки корректирования текущего пиксела, исходя из (5), имеет вид,

Т.е., дисперсия (ошибка) текущего пиксела состоит из суммы дисперсий предшествующих пикселов, деленной на - в целом вклад суммы ошибок предшествующих в ошибку текущего элемента в среднем в раз меньше ошибки предшествующего.

А вклад в ошибку второй составляющей,

она порождается собственно на текущем элементе, оценим, разбив каждую из дисперсий ²(dE_n,m/n+,m+) и ²(dE_n+,m+/n,m) на четыре - первая равна

²(dE_n,_m/n+,_m+ )=²(A_n,m·dP_n,m/n+,m+ )+²(A_n,m·dP_n+,m+())+2·²(SH_n,m).

Вторая расписывается аналогично.

И таким образом, имеем 8 шумовых компонент, деленных на . Даже если , происходит уменьшение обусловленной текущим элементом дисперсии в 4 раза.

Анализируя совокупную дисперсию ошибки элемента, приходим к выводу, что начиная с ошибка корректирования будет уменьшаться и это уменьшение по дисперсии будет стремиться к (по величине скорректированного сигнала - к ).

В случае же , при последовательном переходе по одной связи от одного предшествующего элемента к текущему, ошибка, наоборот, будет возрастать - по дисперсии пропорционально длине пути обхода, по величине - как квадратный корень из длины.

Результаты экспериментов показали следующее.

Выполнено полунатурное численное моделирование, при котором бралась реальная тепловизионная сцена, а шумы и неоднородности моделировались.

Сцена сдвигается по направлениям микросканирования. Все микросканы сцены - основной и полученные сдвигом, пропускаются через модель матричного ФПУ с неоднородностью по чувствительности и смещению и временным шумом. Разности основного и сдвиговых отсчетов микросканов дают градиенты по соответствующим сдвигам направлениям.

Далее градиенты объединяются (накапливаются) и результат накопления считается скорректированным изображением.

Результаты представлены для параметров, значения которых соответствуют реальным системам:

- среднеквадратическое на пиксел отклонение временного шума=1.5, в отсчетах АЦП;

- среднеквадратическое на пиксел отклонение исходной сцены=14.

Отношение первого ко второму характеризует отношение «шум/сигнал». Оно порядка 9 (13/1.5) и принято таким на основе измерения реальных ФПУ.

Среднеквадратическая по элементам неоднородность по чувствительности принята 0.1. Добавлялся тренд чувствительности, в среднем по элементам равный 0.3. Среднеквадратическое на элемент отклонение смещения бралось равным 1000.

Результаты представлены на фиг.3. Они подтверждают, что градиентная коррекция устраняет неоднородность и исправляет дефекты, а результаты корректирования с увеличением числа направлений микросканирования последовательно улучшаются.

На фиг.4 показан результат для 8-кратного повторения 8N-микросканирования, в качестве результата используется сумма 8 кадров. Он показывает улучшение качества градиентной коррекции с увеличением числа повторов процедуры, каждый повтор начинает формирование с другого элемента, принятого в качестве нулевого.

Для сравнения, второй кадр на фиг.4 иллюстрирует потенциальные свойства метода, в отсутствие временного шума.

Фиг.5 иллюстрирует улучшение на примере реальных данных: коррекция по двум направлениям (вправо-вниз), по четырем (вертикали и горизонтали) и восьми - с учетом и диагональных направлений.

При этом использован только один сдвиг микросканера - вниз, все 8 направлений градиентов сформированы из пары микросканов. Диагональные градиенты получены суммированием пар горизонтальных и вертикальных, а градиенты «вверх» получались просто взятием со знаком минус градиентов «вниз», а влево - с минусом «вправо». Непосредственно из сигналов получаются только градиенты «вниз» и «вправо», а остальные шесть - это «псевдоградиенты».

Улучшение при использовании «псевдоградиентов» объясняется увеличением объема комбинирования сигналов в алгоритме накопления. При этом информационная составляющая возрастает, а влияние шумов снижается - дополнительные комбинации шумов не повторяют тех, которые были бы при использовании только пары микросканов.

Фиг.6 показывает результаты коррекции одной и той же сцены, с одинаковыми неоднородностью и временным шумом: 1-й кадр - устройством с градиентной коррекцией, 2-й - посредством устройства-прототипа (2-й кадр взят из статьи [В.Н.Соляков, С.И.Жегалов, В.Г.Морозова «Результаты практического моделирования коррекции неоднородности многоэлементных фотоприемных устройств по сигналам сцены», Прикладная физика, 2009, 5]). Оба устройства дают соизмеримое качество изображения.

Решение задачи исправления дефектов в заявляемой модели осуществляется следующим образом.

Так как каждый пиксел кадра градиента соответствует разности пикселов сдвигового и бессдвигового кадра, соответствующих одному и тому же элементу ФПУ, то для дефектных элементов составляющая полезного сигнала в градиенте близка к нулю, и значение дефектного пиксела определяется шумовой составляющей.

При накоплении вклада полезного сигнала с дефектного элемента в результат не происходит, другими словами, полезная составляющая на дефектной позиции с точностью до остающегося в скорректированном изображении шума равна полезной составляющей на ближайшей недефектной позиции. Это соответствует традиционной схеме исправления дефектов [К.О.Болтарь, Р.В.Грачев, В.В.Полунеев «Определение дефектных элементов матричных тепловизионных фотоприемников в процедуре двухточечной коррекции», Прикладная физика, 2009, 1].

Задача упрощения реализации - уменьшения числа операций умножения и деления, в заявляемой модели решается по определению - градиентная коррекция содержит только операции сложения, вычитания и деления на константу. Отсутствуют присутствующие в прототипе сложные операции - умножение и деление значений отсчетов или сумм отсчетов друг на друга.

Задача повышения разрешения при использовании градиентной коррекции решается подобным с прототипом образом. Рассмотрим случай 4-х направлений сдвигов.

Из 5-ти кадров с выхода ФПУ, 4-х сдвиговых и бессдвигового, в качестве основного принимают один из сдвиговых, например, по направлению влево. Вычтя из него последовательно оставшиеся 3 сдвиговых кадра и бессдвиговый, получают 4 градиентных кадра, из которых посредством двумерного накопления получают 1-й выходной скорректированный кадр. Затем процедуру повторяют, взяв в качестве основного сдвиговый кадр по направлению вверх, и получают 2-й выходной кадр. Далее процедуру повторяют для основного кадра, в качестве которого принимают сдвиговый кадр по направлению вправо, затем - по направлению вниз, и получают 3-й и 4-й скорректированные выходные кадры. Посредством чересстрочного и через столбец объединения 4-х выходных кадров в один получают очередной кадр изображения с удвоенным пространственным разрешением.

Для подтверждения осуществимости заявляемой модели, опишем средства реализации двух новых, в сравнении с прототипом, блоков - формирователя градиентов входных сигналов и двумерного накопителя градиентов.

Формирователь градиентов - это цифровой блок с двумя входами, на первый из которых подается очередной бессдвиговый кадр, а на другой подаются соответствующие сдвиговые кадры. На выходе блока для очередного бессдвигового кадра появляются 4 кадра градиентов - каждый из которых является попиксельной разностью соответствующего сдвигового кадра относительно бессдвигового.

Двумерный накопитель градиентов поясним примером алгоритма формирования очередного кадра выходного изображения по 4-м очередным кадрам градиентов.

Алгоритм состоит в следующем.

Исходные данные - кадры градиентов (массивы dSL - градиенты влево, dSV - градиенты вверх, dSP - градиенты вправо, dSN - градиенты вниз).

Требуется найти значения элементов (пикселей) скорректированного кадра SK.

1. Полагаем значение SK(n0,m0) произвольно выбранного элемента (n0,m0) скорректированного кадра равным нулю, SK(n0,m0)=0.

2. Определяем скорректированные элементы вниз по столбцу от (n0,m0)-элемента:

последовательно, для n=n0+l, n0+2, , до границы кадра включительно,

вычисляем SK(n,m0)=SK(n-1,m0)+(dSN(n,m0)-dSV(n-1,m0))/2.

3. Определяем скорректированные элементы вправо по строке от (n0,m0)-элемента:

последовательно, для m=m0+1, m0+2, , до границы кадра включительно,

вычисляем SK(n0,m)=SK(n0,m-1)+(dSP(n0,m)-dSL(n0,m-1))/2.

4. Определяем скорректированные элементы вверх по столбцу от (n0,m0)-элемента:

последовательно для n=n0-1, n0-2, , до границы кадра включительно,

вычисляем SK(n,m0)=SK(n+1,m0)-(dSN(n+1,m0)-dSV(n,m0))/2.

5. Определяем скорректированные элементы влево по строке от (n-,m0)-элемента:

последовательно для m=m0-1, m0-2, , до границы кадра включительно, вычисляем

SK(n0,m)=SK(n0,m+1)+(-dSP(n0,m+1)+dSL(n0,m))/2.

6. Определяем скорректированные элементы в правом нижнем углу от (n0,m0)-элемента:

последовательно для n=n0+1, n0+2, , до границы кадра включительно,

последовательно для m=m0+1, m=m0+2, , до границы кадра включительно,

вычисляем SK(n,m)=(SK(n,m-1)+(dSP(n,m)-dSL(n,m-1))/2+SK(n-1,m)+(dSN(n,m)-dSV(n-1,m))/2)/2.

7. Определяем скорректированные элементы в левом верхнем углу от (n0,m0)-элемента:

последовательно для n=n0-1, n0-2, , до границы кадра включительно,

последовательно для m=m0-1, m0-2, , до границы кадра включительно,

вычисляем SK(n,m)=(SK(n,m+1)-(dSP(n,m+1)-dSL(n,m))/2+SK(n+1,m)-(dSN(n+1,m)-dSV(n,m))/2)/2.

8. Определяем скорректированные элементы в левом нижнем углу от (n0,n0)-элемента:

последовательно, для n=n0+1, n=n0+2, , до границы кадра включительно

последовательно для m=m0-1, m=m0-2, , до границы кадра включительно

вычисляем SK(n,m)=(SK(n,m+1)-(dSP(n,m+1)-dSL(n,m))/2+SK(n-1,m)+(dSN(n,m)-dSV(n-1,m))/2)/2.

9. Определяем скорректированные элементы в левом нижнем углу от (n0,m0)-элемента:

последовательно для n=n0-1, n0-2, , до границы кадра включительно,

последовательно для m=m0+1, m0+2, , до границы кадра включительно,

вычисляем SNP(n,m)=(SNP(n,m-1)+(dSP(n,m)-dSL(n,m-1))/2+SNP(n+1,m)-(dSN(n+1,m)-dSV(n,m))/2)/2.

Формирователь сигналов изображения на основе матричного фотоприемного устройства с градиентной коррекцией неоднородности и дефектов фоточувствительных элементов, включающий объектив, микросканер, фотоприемное устройство, аналого-цифровой преобразователь, отличающийся тем, что, с целью исправления дефектов и упрощения реализации коррекции неоднородности и формирования выходного изображения, заявляемое устройство содержит блоки: формирователь градиентов входных сигналов и двумерный накопитель градиентов, включенные последовательно, сигналы с аналого-цифрового преобразователя подают на формирователь градиентов, кадры скорректированного изображения снимают с выхода двумерного накопителя градиентов.