Способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью

Изобретение относится к телевидению и может быть использовано при создании прикладных систем, в частности для пространственно-временной обработки изображений.

Наиболее близким по технической сущности к предлагаемому изобретению является способ пространственно-временной обработки изображений на основе матриц фоточувствительных приборов с зарядовой связью (патент RU 2339180. С1 20.11.2008), заключающийся в том, что производится свертка проецируемого на матрицу ФПЗС изображения с требуемой импульсной характеристикой, определяющей реализуемую пространственно-временную фильтрацию, путем дискретного накопления зарядов, фотогенерированных под воздействием проецируемого изображения в потенциальных ямах матрицы ФПЗС в сочетании с взаимным пространственным смещением изображения и матрицы ФПЗС, при этом параметры перемещения определяются частотными характеристиками реализуемого пространственно-временного фильтра, время накопления в каждой точке пространства изменяется пропорционально величине отсчетов импульсной характеристики реализуемого пространственно-временного фильтра в зависимости от вида фильтрации, а между накоплениями осуществляется пауза на время, необходимое для обеспечения постоянства временного интервала между циклами накопления, также дополнительно измеряется освещенность проецируемого изображения, в зависимости от величины освещенности формируется сигнал, который управляет длительностью стадии дискретного накопления зарядов Т_{н i,s}, в соответствии с формулой:

где ΔU_пов - изменение поверхностного потенциала под управляющим электродом ПЗС; С_ох - емкость окисла ПЗС, α_i,s - отсчеты импульсной характеристики размерностью i по пространству и s по времени, для которых должно выполняться условие $${\displaystyle \sum {}_{i=1}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}}}=1$$ , η - коэффициент, введение которого позволяет не учитывать изменение ширины обедненной области при уровне заполнения ям, близком к максимальному, η=0,5…0,7; Ф - уровень освещенности проецируемого на ФПЗС изображения; q - заряд электрона; Т_пр - коэффициент пропускания светового потока через многослойное покрытие; η_ф - квантовый выход внутреннего фотоэффекта; α - коэффициент поглощения в материале подложки; x_ос - ширина обедненной области; L_п - диффузионная длина электрона.

Недостатком данного способа является снижение возможностей пространственно-временной обработки из-за ограничения $${\displaystyle \sum {}_{i=1}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}=1}}$$ , обусловленного введением адаптации к изменению освещенности сцены.

Техническим результатом предлагаемого изобретения является выполнение пространственно-временной обработки изображения одновременно с его формированием, обеспечивающей выделение неподвижных и движущихся слабоконтрастных объектов на нестационарном фоне, при обеспечении адаптации к уровню освещенности без каких-либо ограничений на значения отсчетов импульсной характеристики.

Указанный технический результат достигается тем, что в известном способе пространственно-временной обработки изображений на основе матриц ФПЗС, заключающемся в пространственно-временной обработке изображения в виде свертки изображения, проецируемого на матрицу фоточувствительных приборов с зарядовой связью (ФПЗС), с импульсной характеристикой реализуемого пространственно-временного фильтра (ПВФ), путем дискретного накопления фотогенерированных в потенциальных ямах матрицы ФПЗС зарядов, в сочетании с взаимным пространственным смещением изображения и матрицы ФПЗС, при этом параметры перемещения определяются частотными характеристиками реализуемого ПВФ, время накопления в каждой точке пространства изменяется пропорционально величине отсчетов импульсной характеристики ПВФ в зависимости от вида фильтрации, а между накоплениями осуществляется пауза на время, необходимое для обеспечения постоянства временного интервала между циклами накопления, измерении освещенности проецируемого изображения и управлении длительностью дискретного накопления зарядов в соответствии с измеренным уровнем освещенности, свертка осуществляется на двух матрицах ФПЗС, при этом на первой производится свертка изображения с положительными $${\alpha }_{i,s}^{+}$$ отсчетами импульсной характеристики ПВФ при сохранении их временного положения, а на второй - с отрицательными $${\alpha }_{i,s}^{-}$$ отсчетами, формируют разность сигналов с выходов ФПЗС как общего выходного, при этом длительность дискретного накопления зарядов в ФПЗС определяют следующим образом:

, ,

где k - постоянный коэффициент пропорциональности; $${\alpha }_{i,s}^{+}={\alpha }_{i,s}$$ , если α_i,s>0, и $${\alpha }_{i,s}^{+}=0$$ , если α_i,s≤0; $${\alpha }_{i,s}^{-}=\left|{\alpha }_{i,s}\right|$$ , если α_i,s<0, и $${\alpha }_{i,s}^{-}=0$$ , если α_i,s≥0; α_i,s - отсчеты импульсной характеристики; b - коэффициент нормировки, причем $$b={\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}$$ , если $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}\ge {\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}$$ , и $$b={\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}$$ , если $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}>{\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}$$ ; Ф - уровень освещенности проецируемого на ФПЗС изображения.

Сущность предлагаемого способа поясняется следующим.

Выражение (1) Т_{н i,s}, приведенное в прототипе, можно записать как

Из него следует, что на одной матрице нельзя выполнить свертку с отсчетами разного знака из-за неотрицательности Ф и k, а также физических ограничений ФПЗС (возможно накопление зарядов только одного знака).

Ограничение $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}=1}}$$ , приведенное в прототипе, обеспечивает корректную работу системы адаптации к уровню освещенности сцены только при неотрицательных значениях отсчетов импульсной характеристики. В этом случае, согласно выражению (1), суммарное время накопления будет равно максимально возможному Т_{н max}.

Таким образом, прототип, кроме заявленного ограничения $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}=1}}$$ , содержит скрытое ограничение α_i,s≥0.

Заявленное ограничение не осуществимо в ряде алгоритмов, например в алгоритмах выделения контуров [Методы компьютерной обработки изображений / под ред. В.А. Сойфера - 2-е изд., испр. - М.: ФИЗМАТЛИТ, 2003. - 784 с., с. 198-200], где ограничение $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}}}$$ принципиально должно быть равно нулю. Скрытое ограничение более существенно, оно исключает реализацию большого числа алгоритмов обработки изображений, имеющих отрицательные значения отсчетов импульсной характеристики.

Для реализации положительных и отрицательных отсчетов импульсной характеристики фильтра используются две матрицы ФПЗС. В этом случае длительности стадий дискретного накопления зарядов в ФПЗС определяются следующим образом:

, .

Максимальное время накопления в ФПЗС равно сумме всех времен накопления и поэтому будет определяться наибольшим из двух значений $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}$$ или $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}$$ .

С учетом значения коэффициента нормировки b получим, что $$T_{н\max }=\frac{k}{Ф}$$ .

Если сравнить выражения (1) и (2), то видно, что

.

Полученное таким образом значение k можно использовать как ориентировочное из-за большого разброса значений η=0,5…0,7.

Точное значение коэффициента пропорциональности k определяется экспериментально из условия того, что в ФПЗС за время накопления Т_{н max} при уровне освещенности Ф происходит формирование изображения с максимальным диапазоном яркостей без переполнения потенциальных ям.

Обратная зависимость Т_{н max} и, соответственно, $${Т}_{нi,s}^{+}$$ и $${Т}_{нi,s}^{-}$$ от уровня Ф обеспечивает адаптацию предлагаемого способа к уровню освещенности без ограничений на значения отсчетов импульсной характеристики.

Способ пространственно-временной обработки изображений на основе матриц ФПЗС, заключающийся в пространственно-временной обработке изображения в виде свертки изображения, проецируемого на матрицу фоточувствительных приборов с зарядовой связью (ФПЗС), с импульсной характеристикой реализуемого пространственно-временного фильтра (ПВФ), путем дискретного накопления фотогенерированных в потенциальных ямах матрицы ФПЗС зарядов, в сочетании с взаимным пространственным смещением изображения и матрицы ФПЗС, при этом параметры перемещения определяются частотными характеристиками реализуемого ПВФ, время накопления в каждой точке пространства изменяется пропорционально величине отсчетов импульсной характеристики ПВФ в зависимости от вида фильтрации, а между накоплениями осуществляется пауза на время, необходимое для обеспечения постоянства временного интервала между циклами накопления, измерении освещенности проецируемого изображения и управлении длительностью дискретного накопления зарядов в соответствии с измеренным уровнем освещенности, отличающийся тем, что свертка осуществляется на двух матрицах ФПЗС, при этом на первой производится свертка изображения с положительными $${\alpha }_{i,s}^{+}$$ отсчетами импульсной характеристики ПВФ при сохранении их временного положения, а на второй - с отрицательными $${\alpha }_{i,s}^{-}$$ отсчетами, формируют разность сигналов с выходов ФПЗС как общего выходного, при этом длительность дискретного накопления зарядов в ФПЗС определяют следующим образом:

где k - постоянный коэффициент пропорциональности; $${\alpha }_{i,s}^{+}={\alpha }_{i,s}$$ , если α_i,s>0, и $${\alpha }_{i,s}^{+}=0$$ , если α_i,s≤0; $${\alpha }_{i,s}^{-}=\left|{\alpha }_{i,s}\right|$$ , если α_i,s<0, и $${\alpha }_{i,s}^{-}=0$$ , если α_i,s≥0; α_i,s - отсчеты импульсной характеристики; b - коэффициент нормировки, причем $$b={\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}$$ , если $$b={\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}\ge {\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}$$ , и $$b={\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}$$ , если $${\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{-}}}>{\displaystyle \sum {}_{i=0}^{i-1}{\displaystyle \sum {}_{s=0}^{s-1}{\alpha }_{i,s}^{+}}}$$ ; Ф - уровень освещенности проецируемого на ФПЗС изображения.