Способ совмещения изображений и способ сшивания изображений и устройство

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области обработки изображений, в частности, к способу для совмещения изображений и устройству, а также к способу для сшивания изображений и устройству.

Уровень техники

Во многих прикладных сценариях обработки изображений необходимы операции совмещения и сшивания изображений. С помощью операции совмещения можно получить смещение плавающего изображения (или движущегося изображения, текущего изображения) относительно опорного изображения (предыдущего изображения) как в направлении по оси абсцисс, так и оси ординат. Операция сшивания соединяет плавающее изображение и опорное изображение в единое изображение в соответствии с результатом совмещения, полученным после операции совмещения.

Например, в области применения сканирования под микроскопом, поскольку поле зрения ограничено, необходимо совмещать и сшивать несколько изображений, последовательно полученных во время перемещения зонда. Требуется, чтобы весь процесс обработки выполнялся быстро и точно. Можно использовать совмещение твердых объектов, то есть должен быть определен только компонент смещения для координатного преобразования твердого объекта.

Традиционный способ совмещения твердых объектов использует итеративный способ для оптимизации функции потерь, отражающей различие между опорным изображением и плавающим изображением, с целью получения вектора смещения. Поскольку итеративные процессы требуют большого количества вычислений, они не подходят для приложений, работающих в режиме реального времени.

Для того, чтобы исключить итеративные вычисления и быстро получить векторы смещения, был разработан способ совмещения, называемый способом пиковых коэффициентов корреляции (способ коэффициентов корреляции). Существует коэффициент корреляции между плавающим изображением с любым вектором смещения и опорным изображением. Если плавающее изображение в достаточной степени совмещено с опорным изображением, коэффициент корреляции максимален. Если поиском найдено максимальное значение коэффициентов корреляции, соответствующее всем возможным векторам смещения, то определяется соответствующее смещение, которое можно использовать для совмещения плавающего изображения. Однако этот способ подходит только для изображений, реконструированных способом фазового восстановления. Во многих сценариях применения, в частности, в области приложений для сшивания изображений в поле зрения, плавающие изображения, безусловно, будут иметь новое содержимое, которое отличается от опорного изображения. Это приведет к значительным погрешностям при использовании вышеописанного способа коэффициентов корреляции. В частности, при высокой скорости перемещения зонда микроскопа, захватывающего изображение, различие между содержимым, представленным в плавающем изображении и в опорном изображении, будет относительно велика, в результате чего будет достигнут неправильный результат совмещения, полностью отличающийся от реального смещения.

Сущность изобретения

Вышеописанные проблемы решены предложенным изобретением. Настоящее изобретение относится к способу и устройству для совмещения изображений и к способу и устройству для сшивания изображений.

В соответствии с первым аспектом настоящего изобретения предложен способ совмещения изображений, содержащий:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов; и

совмещение опорного и плавающего изображения на основании пикселя с экстремальным значением коэффициента корреляции.

Например, определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов содержит:

поиск пикселя с максимальным значением градиента в пространственном распределении градиентов в качестве пикселя с экстремальным значением градиента;

определение соответствующего пикселя в пространственном распределении коэффициентов корреляции в зависимости от положения пикселя с экстремальным значением градиента; и

нахождение пикселя с экстремальным значением коэффициента корреляции в зависимости от соответствующего пикселя в пространственном распределении коэффициентов корреляции.

Например, нахождение пикселя с экстремальным значением коэффициента корреляции в зависимости от соответствующего пикселя в пространственном распределении коэффициентов корреляции содержит:

определение пикселя, граничащего с упомянутым соответствующим пикселем в пространственном распределении коэффициентов корреляции, в качестве точки поиска; и

просмотр пикселей, граничащих с точкой поиска, и, если все граничащие пиксели меньше, чем точка поиска, принятие точки поиска за пиксель с экстремальным значением коэффициента корреляции; в противном случае, принятие наибольшего граничащего пикселя в качестве новой точки поиска для повторного поиска.

Например, определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов содержит:

поиск пикселя с максимальным значением градиента в пространственном распределении градиентов;

определение первого порогового значения градиента в зависимости от пикселя с максимальным значением градиента;

выполнение сегментации области пространственного распределения градиентов в соответствии с первым пороговым значением градиента; и

определение для каждой сегментированной области подходящего пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции, а также определение может ли упомянутый подходящий пиксель быть принят в качестве пикселя с экстремальным значением коэффициента корреляции в зависимости от градиента пикселя, который соответствует упомянутому подходящему пикселю и находится в пространственном распределении градиентов, и второго порогового значения градиента.

Например, выполнение сегментации области пространственного распределения градиентов в соответствии с первым пороговым значением градиента содержит:

выполнение последовательного сканирования пространственного распределения градиентов в соответствии с первым пороговым значением градиента, для поиска начальных пикселей, превышающих первое пороговое значение градиента; и

выполнение сегментации области в пространственном распределении градиентов в соответствии с упомянутыми начальными пикселями для получения всех сегментированных областей.

Например, выполнение сегментации области в пространственном распределении градиентов в соответствии с начальными пикселями содержит: выполнение сегментации области в пространственном распределении градиентов в соответствии с процедурой наращивания областей, принимая начальные пиксели в качестве начальной точки.

Например, определение первого порогового значения градиента в зависимости от пикселя с максимальным значением градиента содержит:

вычисление первого порогового значения градиента по формуле T₁=T_max*In, где T₁ обозначает первое пороговое значение градиента, T_max обозначает пиксель с максимальным значением градиента, а In обозначает коэффициент.

В соответствии со следующим аспектом настоящего изобретения предложено устройство для совмещения изображений, содержащее:

запоминающее устройство, выполненное с возможностью хранения программы;

процессор, выполненный с возможностью запуска программы;

причем программа, запущенная процессором, используется для выполнения следующих этапов:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственного распределения градиентов; и

совмещение опорного и плавающего изображения на основании пикселя с экстремальным значением коэффициента корреляции.

В соответствии со следующим аспектом настоящего изобретения предложен способ сшивания изображений, содержащий:

совмещение опорного и плавающего изображения в соответствии со способом совмещения изображений, описанным выше; и

сшивание опорного и плавающего изображений в соответствии с результатом совмещения.

В соответствии со следующим аспектом настоящего изобретения предложено устройство для сшивания изображений, содержащее:

запоминающее устройство, выполненное с возможностью хранения программы;

процессор, выполненный с возможностью запуска программы;

причем программа, запущенная процессором, используется для выполнения следующих этапов:

совмещение опорного и плавающего изображения в соответствии со способом совмещения изображений, описанным выше; и

сшивание опорного и плавающего изображений в соответствии с результатом совмещения.

Вышеупомянутый способ и устройство для совмещения изображений обладают высокой универсальностью и могут применяться к различным изображениям, а не только к изображениям, реконструированным способом фазового восстановления. Кроме того, способ и устройство совмещения изображений требуют небольшого объема расчетов, что гарантирует работу в режиме реального времени. Кроме того, результаты совмещения, выполненного с использованием способа и устройства для совмещения изображений, обладают повышенной точностью. Даже если содержимое плавающего изображения существенно отличается от содержимого опорного изображения, способ и устройство для совмещения изображений также позволяют получить хорошие результаты совмещения.

Вышеупомянутый способ и устройство сшивания изображений используют вышеупомянутый способ и устройство совмещения изображений, обеспечивая точное сшивание изображений в режиме реального времени.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеизложенные и другие цели, признаки и преимущества настоящего изобретения будут раскрыты более подробно на основании вариантов осуществления настоящего изобретения со ссылкой на сопроводительные чертежи. Сопроводительные чертежи используются, чтобы обеспечить дополнительное разъяснение относительно вариантов осуществления настоящего изобретения и являются частью раскрытия. Сопроводительные чертежи вместе с вариантами осуществления настоящего изобретения используются для объяснения настоящего изобретения и не носят ограничительного характера. На чертежах одинаковые ссылочные обозначения обычно относятся к одинаковым или схожим элементам или этапам.

На ФИГ. 1 схематично изображена блок-схема способа совмещения изображений согласно варианту осуществления настоящего изобретения;

На ФИГ. 2A, ФИГ. 2B и ФИГ. 2C, соответственно, приведены три изображения, которые должны быть совмещены в соответствии с вариантом осуществления настоящего изобретения;

На ФИГ. 3 показан результат пространственного совмещения после двух операций совмещения, а также сшивания изображений, приведенных на ФИГ. 2A, ФИГ. 2B и ФИГ. 2C;

На ФИГ. 4 изображено пространственное распределение коэффициентов корреляции, полученное с использованием изображений на ФИГ. 2A и ФИГ. 2C, на которых приведены, соответственно, опорное изображение и плавающее изображение для совмещения изображений;

На ФИГ. 5 показано пространственное распределение градиентов для пространственного распределения коэффициентов корреляции, показанного на ФИГ. 4;

На ФИГ. 6 схематично изображена блок-схема определения пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции согласно одному из вариантов осуществления настоящего изобретения;

На ФИГ. 7 изображены пиксели в пространственном распределении градиентов согласно одному из вариантов осуществления настоящего изобретения;

На ФИГ. 8 изображены пиксели в пространственном распределении коэффициентов корреляции, взятые за основу для расчета пространственного распределения градиентов, показанного на ФИГ. 7;

На ФИГ. 9 схематично изображена блок-схема определения пикселя с экстремальным значением градиента в пространственном распределении градиентов согласно другому варианту осуществления настоящего изобретения;

На ФИГ. 10 схематично изображена блок-схема устройства для совмещения изображений согласно варианту осуществления настоящего изобретения; и

На ФИГ. 11 показан способ сшивания изображений согласно варианту осуществления настоящего изобретения.

РАСКРЫТИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Для более наглядного представления цели, технического замысла и преимуществ настоящего изобретения ниже будет подробно раскрыт пример осуществления настоящего изобретения со ссылкой на сопроводительные чертежи. Очевидно, что раскрытые варианты осуществления приведены исключительно для примера и не представляют собой всех возможных вариантов осуществления данного изобретения; следует понимать, что настоящее изобретение не ограничивается вариантами осуществления, раскрытыми в настоящем документе, все прочие варианты осуществления настоящего изобретения, полученные специалистами в данной области техники на основе вариантов осуществления настоящего изобретения без творческой переработки, входят в защищаемый объем настоящего изобретения.

На ФИГ. 1 показан способ 100 совмещения изображений согласно одному из вариантов осуществления настоящего изобретения. Способ 100 совмещения изображений используется для совмещения опорного и плавающего изображения. Опорное изображение можно использовать в качестве базового изображения, а способ 100 совмещения изображений используется для расчета смещения плавающего изображения относительно опорного изображения. После совмещения изображений содержимое, одинаковое для опорного и плавающего изображений, будет наложено друг на друга. На ФИГ. 2A, ФИГ. 2B и ФИГ. 2C, соответственно, приведены три изображения, подлежащие совмещению. На ФИГ. 3 показан результат пространственного совмещения после двух операций совмещения, а также сшивания изображений, приведенных на ФИГ. 2A, ФИГ. 2B и ФИГ. 2C. В рамках первой операции совмещения изображение, показанное на ФИГ. 2A, является опорным изображением, а изображение, показанное на ФИГ. 2B является плавающим изображением. В рамках второй операции совмещения изображение, показанное на ФИГ. 2B, является опорным изображением, а изображение, показанное на ФИГ. 2C является плавающим изображением.

Опорное изображение и плавающее изображение могут представлять собой ряд изображений, в частности, изображений, полученных в одном режиме, то есть изображений, полученных одним и тем же устройством захвата изображений, например, изображений с одного микроскопа. Как было сказано выше, для расширения области сканирования микроскопа требуется операция сшивания в реальном времени, для чего требуется быстрое выполнение расчетов. Изображения с одного микроскопа представляют собой двумерные изображения с относительно большой площадью перекрытия соседних кадров, что повышает точность способа совмещения изображений.

Как показано на ФИГ. 1, на этапе S120 рассчитывают пространственное распределение коэффициентов корреляции между опорным и плавающим изображением.

Пространственное распределение коэффициентов корреляции, по существу, представляет собой цифровую матрицу, в которой каждый элемент отражает коэффициент корреляции смещения между опорным изображением и плавающим изображением, соответствующий данному элементу. Пространственное соотношение граничащих пикселей соответствует единичному смещению в положительном или отрицательном направлении горизонтальной или вертикальной координат между плавающим изображением и опорным изображением. Например, пространственное распределение коэффициентов корреляции можно рассчитать способом коэффициентов корреляции. Пространственное распределение коэффициентов корреляции в четыре раза превышает размер опорного изображения. Например, если опорное и плавающее изображение равны 100*200, то пространственное распределение коэффициентов корреляции равно 200*400.

В соответствии с одним из вариантов осуществления настоящего изобретения коэффициенты корреляции могут быть рассчитаны с использованием сопряженного умножения преобразований Фурье опорного и плавающего изображения и последующего обратного преобразования Фурье, при этом все возможные коэффициенты корреляции образуют пространственное распределение коэффициентов корреляции.

,

где выражает значение пикселя в точке в пространственное распределении коэффициентов корреляции, и выражает преобразование Фурье опорного и плавающего изображения, соответственно, а M и N выражают количество столбцов и строк опорного изображения, соответственно.

На этапе S140 рассчитывают пространственное распределение градиентов для пространственного распределения коэффициентов корреляции. Подобно пространственному распределению коэффициентов корреляции, пространственное распределение градиентов, по существу, представляет собой цифровую матрицу, в которой каждый элемент представляет собой градиент соответствующего положения в пространственном распределении коэффициентов корреляции.

Как было указано выше, для изображения, реконструированного способом фазового восстановления, обычно используют существующий способ коэффициентов корреляции. Как правило, если поиском найдено максимальное значение коэффициентов корреляции, соответствующее всем возможным смещениям, то определяется корректное смещение, которое можно использовать для совмещения плавающего изображения. Тем не менее, если опорное изображение и плавающее изображение не реконструированы способом фазового восстановления, максимальный коэффициент корреляции в изображении обнаруживается не в реальной точке, а на краю изображения, значительно удаленного от реального положения совмещения. На ФИГ. 4 изображено пространственное распределение коэффициентов корреляции, полученное с использованием изображений на ФИГ. 2A и ФИГ. 2C, на которых приведено, соответственно, опорное изображение и плавающее изображение для совмещения изображений. Как показано на ФИГ. 4, максимальный коэффициент корреляции имеет место на нижнем крае изображения. Важно, что рядом с реальным положением совмещения на ФИГ. 4 имеет место очень крутой пик изменения коэффициента корреляции, то есть коэффициент корреляции в этой локации резко изменяется. Поэтому экстремальное максимальное значение градиента обнаруживается вблизи реального положения совмещения в пространственном распределении градиентов для пространственного распределения коэффициентов корреляции. Тем не менее, на нижнем крае пространственного распределения коэффициентов корреляции, несмотря на проявление максимального коэффициента корреляции, изменение коэффициента корреляции не имеет крутого пика. На ФИГ. 5 показано пространственное распределение градиентов для пространственного распределения коэффициентов корреляции, показанного на ФИГ. 4, которое наглядно иллюстрирует вышеперечисленные проблемы.

В соответствии с одним из вариантов осуществления настоящего изобретения градиент коэффициента корреляции рассчитан по следующей формуле.

где выражает значение пикселя в точке пространственного распределения градиентов, то есть градиент; и выражает значение пикселя в точке пространственного распределения коэффициентов корреляции, то есть коэффициент корреляции.

На этапе S160 определяют пиксель с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов. Иными словами, на этом этапе в пространственном распределении коэффициентов корреляции определяют пиксель, соответствующий пикселю с экстремальным значением градиента.

Так как на изображение влияют различные факторы, в пространственном положении пиксель с экстремальным значением градиента в пространственном распределении градиентов может не полностью соответствовать пикселю с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции. Тем не менее, область вблизи реального положения совмещения в пространственном распределении коэффициентов корреляции можно определить по пикселю с экстремальным значением градиента в пространственном распределении градиентов. После этого можно выполнить поиск пикселя с экстремальным значением коэффициента корреляции в этой области.

На этапе S180 совмещают опорное изображение и плавающее изображение по пикселю с экстремальным значением коэффициента корреляции. После получения пикселя с экстремальным значением коэффициента корреляции можно определить положение пикселя в пространственном распределении коэффициентов корреляции. В соответствии с этим положением можно определить вектор смещения, необходимый для плавающего изображения, что завершает операцию совмещения опорного изображения и плавающего изображения.

Вышеупомянутый способ и устройство для совмещения изображений отличаются высокой универсальностью и могут применяться к различным изображениям. Кроме того, способ и устройство совмещения изображений требуют небольшого объема расчетов, что позволяет обеспечить работу в режиме реального времени. В конечном итоге, результаты совмещения, полученные с использованием способа и устройства для совмещения изображений, отличаются повышенной точностью. Даже если содержимое плавающего изображения существенно отличается от содержимого опорного изображения, способ и устройство для совмещения изображений также позволяют получить хорошие результаты совмещения.

На ФИГ. 6 схематично изображена блок-схема этапа S160 согласно одному из вариантов осуществления настоящего изобретения. Как показано на ФИГ. 6, этап S160 может содержать этапы S661, S662 и S663.

На этапе S661 выполняют поиск пикселя с максимальным значением градиента в пространственном распределении градиентов, после чего принимают его за пиксель с экстремальным значением градиента. На ФИГ. 7 изображены пиксели в пространственном распределении градиентов согласно одному из вариантов осуществления настоящего изобретения. На этом этапе выполняют просмотр пространственного распределения градиентов в целом с целью нахождения пикселя с максимальным значением градиента (пиковым значением градиента), то есть пикселя с наибольшим значением пикселя. Как показано на ФИГ. 7, пиксели в девятой строке и третьем столбце пространственного распределения градиентов обнаруживаются как пиксель с максимальным градиентом 17.1049. Найденный пиксель можно считать пикселем с экстремальным значением градиента.

На этапе S662 соответствующий пиксель в пространственном распределении коэффициентов корреляции определяют в соответствии с положением пикселя с экстремальным значением градиента, найденным на этапе S661. Пространственное распределение коэффициентов корреляции, показанное на ФИГ. 8, служит основой для расчета пространственного распределения градиентов, показанного на ФИГ. 7. Как было описано для этапа S661, положение пикселя с экстремальным значением градиента в пространственном распределении градиентов соответствует девятой строке и третьему столбцу поля градиентов, как показано на ФИГ. 8, что обозначено как «положение пикового значения градиента». Таким образом, соответствующий пиксель в пространственном распределении коэффициентов корреляции определен как пиксель в том же положении (девятая строка и третий столбец поля), а коэффициент корреляции (то есть значение пикселя), выраженный соответствующим пикселом, равен 8.4122.

На этапе S663 находят пиксель с экстремальным значением коэффициента корреляции по соответствующему пикселю в пространственном распределении коэффициентов корреляции, найденному на этапе S662. На этом этапе в пространственном распределении коэффициентов корреляции находят пиксель с экстремальным значением коэффициента корреляции вблизи соответствующего пикселя, найденного на этапе S662.

В одном из вариантов осуществления настоящего изобретения этап S663 может содержать следующие подэтапы.

Первоначально, пиксель, граничащий с соответствующим пикселем, найденным на этапе S662, определяют в качестве точки поиска, чтобы начать поиск с точки поиска.

После этого просматривают пиксели, граничащие с точкой поиска, и, если все граничащие пиксели меньше, чем точка поиска, точку поиска принимают, как соответствующую пикселю с экстремальным значением коэффициента корреляции; в противном случае наибольший граничащий пиксель принимают за новую точку поиска для повторного поиска.

В частности, пиксели, граничащие с точкой поиска, просматривают с целью нахождения пикселя, величина которого превышает величину точки поиска, и его принятия в качестве новой точки поиска. По существу, каждая точка поиска имеет четыре граничащих с ней пикселя. Если точка поиска расположена на кромке изображения, но не в его углах, например, в девятой строке и третьем столбце описанного выше изображения, то она будет иметь три граничащих с ней пикселя. Если точка поиска приходится на одном из четырех углов изображения, то она будет иметь только два граничащих с ней пикселя.

Если все пиксели, граничащие с точкой поиска, меньше точки поиска, то за точку поиска принимают пиксель с экстремальным значением коэффициента корреляции. Если среди пикселей, граничащих с точкой поиска, имеется пиксель, равный или превышающий пиксель точки поиска, то граничащие пиксели с максимальным значением пикселя будут приняты за новую точку поиска с целью повторения вышеописанного процесса просмотра до тех пор, пока не будет найден пиксель с экстремальным значением коэффициента корреляции.

В пространственном распределении коэффициентов корреляции, показанном на фигуре 8, за начальную точку поиска первым принимают пиксель в девятой строке и третьем столбце. Среди пикселей 8.4100, 8.4208 и 8.4138, граничащих с точкой поиска, наибольшим граничащим пикселем является пиксель 8.4208 над точкой поиска. Пиксель со значением 8.4208 принимают за новую точку поиска, и ее граничащими пикселями являются пиксели 8.4282, 8.4225, 8.4122 и 8.4180, наибольшим из которых является пиксель 8.4282 над новой точкой поиска. Пиксель со значением 8.4282 принимают за новую точку поиска, и повторяют вышеописанный процесс. До того, как пиксель со значением 8.4340 пикселя будет найден, граничащие пиксели 8.4321, 8.4330, 8.4303 и 8.4319 все определяют, как меньшие, чем 8.4340, то есть пиксель со значением 8.4340 является пикселем с экстремальным значением коэффициента корреляции.

В описанных выше вариантах осуществления процедура и способ нахождения пикселя с экстремальным значением коэффициента корреляции по заданным соответствующим пикселям в пространственном распределении коэффициентов корреляции отличаются простотой, интуитивной понятностью и легкостью реализации.

По существу, в соответствии со способом, раскрытым выше в этапах S661, S662 и S663, пиксель с экстремальным значением коэффициентом корреляции в пространственном распределении коэффициентов корреляции определяют по пикселю с экстремальным значением градиента в пространственном распределении градиентов, пиксель с экстремальным значением градиента ищут непосредственно во всем пространственном распределении градиентов, а пиксель с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции определяют по искомому пикселю. Способ отличается простотой, низкой загрузкой вычислительных мощностей и быстротой осуществления.

На ФИГ. 9 схематично изображена блок-схема этапа S160 согласно следующему варианту осуществления настоящего изобретения. Как показано на ФИГ. 9, этап S160 может содержать этапы S961, S962, S963 и S964.

На этапе S961 выполняют поиск пикселя с максимальным значением градиента в пространственном распределении градиентов. Операция на этом этапе аналогична предыдущему этапу S661, за исключением того, что пиксель с максимальным искомым градиентом более не принимают в качестве пикселя с экстремальным значением градиента.

На этапе S962 первое пороговое значение градиента определяют по пикселю с максимальным значением градиента.

В соответствии с одним из вариантов осуществления настоящего изобретения первое пороговое значение градиента рассчитано по следующей формуле:

T₁=T_max*In,

где T₁ выражает первое пороговое значение градиента, T_max выражает пиксель с максимальным значением градиента, а In представляет собой коэффициент.

На этапе S963 выполняют сегментацию области пространственного распределения градиентов в соответствии с первым пороговым значением градиента. Сегментация области позволяет определить возможные положения пикселя с экстремальным значением градиента. Кроме того, она может быть полезна для нахождения пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции.

В соответствии с вариантом осуществления настоящего изобретения пространственное распределение градиентов может быть сегментировано непосредственно способом пороговой сегментации в соответствии с первым пороговым значением градиента.

В следующем варианте осуществления настоящего изобретения этап S963 может содержать следующие подэтапы: сначала выполняют последовательное сканирование пространственного распределения градиентов в соответствии с первым пороговым значением градиента для поиска начальных пикселей, превышающих первое пороговое значение градиента. После этого выполняют сегментацию области в пространственном распределении градиентов по упомянутым начальным пикселям для получения всех сегментированных областей. В одном из вариантов в данном случае сегментацию области в пространственном распределении градиентов выполняют в соответствии с процедурой наращивания областей, принимая за начальную точку начальные пиксели. Процедура наращивания областей представляет собой готовую процедуру сегментации изображения, которая позволяет более точно определять возможные области пикселя с экстремальным значением градиента в пространственном распределении градиентов, а также обеспечить точность совмещения изображений.

На этапе S964 для каждой сегментированной области определяют подходящий пиксель с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции, а также возможность принятия подходящего пикселя за пиксель с экстремальным значением коэффициента корреляции в соответствии с градиентом пикселя, соответствующим подходящему пикселю и находящимся в пространственном распределении градиентов, и вторым пороговым значением градиента.

В частности, следующие операции могут выполняться для сегментированной области до тех пор, пока не будет получен пиксель с экстремальным значением коэффициента корреляции.

1)Выполняют поиск пикселя с максимальным значением градиента, так чтобы принять его за пиксель с экстремальным значением градиента. Эта операция аналогична этапу S661. Отличие между этими двумя этапами заключается в том, что на этапе S661 поиск выполняется во всем пространственном распределении градиентов, в то время как в рамках этой операции выполняется поиск только в области, сегментированной на этапе S963 в пространственном распределении градиентов. Для краткости изложения исполнение не детализировано.

2)Определяют соответствующий пиксель в пространственном распределении коэффициентов корреляции в соответствии с положением пикселя с экстремальным значением градиента.

3)Находят пиксель с экстремальным значением коэффициента корреляции по соответствующему пикселю в пространственном распределении коэффициентов корреляции, с тем чтобы принять его в качестве подходящего пикселя.

Операции 2) и 3) аналогичны, соответственно, этапам S662 и S663 и в целях краткости изложения не будут описываться повторно. Тем не менее, пиксель с экстремальным значением коэффициента корреляции, найденный на этапе S663, может быть взят за основу для совмещения опорного и плавающего изображения. Иными словами, пиксель с экстремальным значением коэффициента корреляции, найденный на этапе S663, можно непосредственно использовать для совмещения опорного и плавающего изображения. Тем не менее, в рамках этой операции, определенный пиксель с экстремальным значением коэффициента корреляции является подходящим пикселем, который еще только оценивается, как возможный стать пикселем, который, в конечном итоге, должен быть получен для совмещения опорного и плавающего изображения.

4)Определяют, может ли упомянутый подходящий пиксель быть использован для непосредственного совмещения опорного и плавающего изображения.

В частности, соответствующий пиксель в пространственном распределении градиентов определяют в соответствии с положением упомянутого подходящего пикселя с экстремальным значением в пространственном распределении коэффициентов корреляции. Изображения на ФИГ. 7 и ФИГ. 8 приведены для примера. Положение подходящего пикселя с экстремальным значением коэффициента корреляции 8.4340 в пространственном распределении коэффициентов корреляции соответствует строке 6 и столбце 4. После этого соответствующий пиксель в этом положении в пространственном распределении градиентов определяют как 2.1060. Может ли подходящий пиксель быть принят за пиксель с экстремальным значением коэффициента корреляции, определяют в соответствии с градиентом пикселя, который соответствует подходящему пикселю и находится в пространственном распределении градиентов, и вторым пороговым значением градиента, определенным по пикселю с максимальным градиентом в сегментированной области. При этом второе пороговое значение градиента можно определить по пикселю с максимальным градиентом в сегментированной области, умноженному на определенный коэффициент. Диапазон значений этого конкретного коэффициента может составлять [0,15, 0,25]. Если подходящий пиксель может быть принят за пиксель с экстремальным значением коэффициента корреляции, то опорное и плавающее изображение можно совместить по этому подходящему пикселю, то есть выполнить этап S180. Если подходящий пиксель не может быть принят за пиксель с экстремальным значением коэффициента корреляции, то выполняют поиск нового подходящего пикселя, и может ли этот новый подходящий пиксель быть принят за пиксель с экстремальным значением коэффициента корреляции определяют снова до тех пор, пока не будет получен пиксель с экстремальным значением коэффициента корреляции.

В одном из вариантов осуществления настоящего изобретения, если градиент пикселя, соответствующего подходящему пикселю, ниже второго порогового значения градиента, то подходящий пиксель принимают за пиксель с экстремальным значением коэффициента корреляции и непосредственно используют для совмещения опорного и плавающего изображения. В противном случае выполняют переход к следующей сегментированной области для повторного выполнения операций 1) - 4) до тех пор, пока не будет определен пиксель с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции.

Специалист в данной области техники может понять, что хотя вышеописанные варианты осуществления настоящего изобретения описывают определенный порядок, порядок этих этапов приведен исключительно для примера и не носит ограничительного характера.

Например, в одном из примеров на этапе S963 можно сначала найти начальный пиксель, затем получить сегментированную область посредством процедуры наращивания области, а затем выполнить этап S964 для сегментированной области. Если на этапе S964 найден пиксель с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции, то способ может перейти к этапу S180; в противном случае будет выполнен возврат к этапу S963, сканированием в пространственном распределении градиентов будет найден другой начальный пиксель, и с помощью процедуры наращивания области будет получена другая сегментированная область. Остальные операции аналогичны раскрытым выше. Данную операцию повторяют до тех пор, пока не будет определен пиксель с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции.

В другом примере на этапе S963 все сегментированные области получают сегментацией областей. На этапе S964, если пиксель с экстремальным значением коэффициента корреляции не найден в сегментированной области, выполняют переход непосредственно к следующей области до тех пор, пока не будет получен пиксель с экстремальным значением коэффициента корреляции.

Способ, раскрытый на этапе S961, этапе S962, этапе S963 и этапе S964 для определения пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в соответствии с пикселем с экстремальным значением градиента в пространственном распределении градиентов, позволяет устранить проблему, связанную с отсутствием точки с максимальным градиентом в положении реального смещения, когда качество изображения плохое или размер изображения слишком мал. В этом случае, хотя градиент коэффициента корреляции вблизи неправильного положения является наибольшим, градиент изменяется плавно, в то время как градиент вблизи реального положения изменяется резко. Поэтому в вышеуказанном способе область c большим, но плавно изменяющимся градиентом, исключается в соответствии с изменением градиента. Таким образом, положение истинного смещения в пространственном распределении коэффициентов корреляции можно спрогнозировать более обоснованно, что обеспечит точность совмещения.

В соответствии с другим аспектом настоящего изобретения предложено устройство для совмещения изображений. На ФИГ. 10 изображено устройство 1000 для совмещения изображений согласно одному из вариантов осуществления настоящего изобретения. Как показано на ФИГ. 10, устройство 1000 для совмещения изображений содержит модуль 1020 расчета коэффициентов корреляции, модуль 1040 расчета градиента, модуль 1060 определения пика коэффициента корреляции и модуль 1080 совмещения.

Модуль 1020 расчета коэффициента корреляции выполнен с возможностью вычисления пространственного распределения коэффициентов корреляции между опорным и плавающим изображением. Модуль 1040 расчета градиента выполнен с возможностью вычисления пространственного распределения градиентов в пространственном распределении коэффициентов корреляции. Модуль 1060 определения пика коэффициента корреляции выполнен с возможностью определения пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции по пикселю с экстремальным значением градиента в пространственном распределении градиентов. Модуль 1080 совмещения выполнен с возможностью совмещения опорного и плавающего изображения по пикселю с экстремальным значением коэффициента корреляции.

В одном из вариантов осуществления настоящего изобретения модуль 1060 определения пикового коэффициента корреляции содержит:

первый поисковый подмодуль, выполненный с возможностью поиска пикселя с максимальным значением градиента в пространственном распределении градиентов таким образом, чтобы его можно было принять за пиксель с экстремальным значением градиента;

определяющий подмодуль, выполненный с возможностью определения соответствующего пикселя в пространственном распределении коэффициентов корреляции в соответствии с положением пикселя с экстремальным значением градиента; и

первый подмодуль результатов поиска, выполненный с возможностью нахождения пикселя с экстремальным значением коэффициента корреляции по соответствующему пикселю в пространственном распределении коэффициентов корреляции.

В одном из вариантов осуществления первый подмодуль результатов поиска содержит: блок определения точки поиска, выполненный с возможностью определения пикселя, граничащего с соответствующим пикселем в пространственном распределении коэффициентов корреляции, в качестве точки поиска; и блок результатов поиска, выполненный с возможностью просмотра пикселей, граничащих с точкой поиска, причем если все граничащие пиксели меньше, чем точка поиска, точку поиска считают пикселем с экстремальным значением коэффициента корреляции; в противном случае для повторного поиска за новую точку поиска принимают максимальный граничащий пиксель.

В следующем варианте осуществления настоящего изобретения модуль 1060 определения пикового коэффициента корреляции содержит:

второй поисковый подмодуль, выполненный с возможностью поиска пикселя с максимальным градиентом в пространственном распределении градиентов;

второй определяющий подмодуль, выполненный с возможностью определения первого порогового значения градиента по пикселю с максимальным значением градиента;

подмодуль сегментации, выполненный с возможностью сегментации области пространственного распределения градиентов в соответствии с первым пороговым значением градиента; и

получающий подмодуль выполненный с возможностью, для каждой сегментированной области, определения подходящего пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции, а также определения, может ли упомянутый подходящий пиксель быть принят за пиксель с экстремальным значением, полученным по коэффициентам корреляции в соответствии с градиентом пикселя, соответствующим подходящему пикселю и находящимся в пространственном распределении градиентов, и вторым пороговым значением градиента.

В некоторых вариантах осуществления подмодуль сегментации содержит:

блок поиска начального пикселя, выполненный с возможностью выполнения последовательного сканирования пространственного распределения градиентов в соответствии с первым пороговым значением градиента, для поиска начальных пикселей, превышающих первое пороговое значение градиента; и

блок сегментации, выполненный с возможностью сегментации области в пространственном распределении градиентов по начальным пикселям для получения всех сегментированных областей.

В некоторых вариантах осуществления блок сегментации содержит суб-блок выполнения сегментации, выполненный с возможностью сегментации области в пространственном распределении градиентов в соответствии с процедурой наращивания областей путем принятия начальных пикселей за начальную точку.

В некоторых вариантах осуществления второй определяющий подмодуль содержит блок вычисления порогового значения, выполненный с возможностью вычисления первого порогового значения градиента по формуле T₁=T_max*In, где T₁ выражает первое пороговое значение градиента, T_max выражает пиксель с максимальным значением градиента, и In выражает коэффициент.

В другом варианте вышеупомянутое устройство для совмещения изображений может содержать запоминающее устройство и процессор. Запоминающее устройство выполнено с возможностью хранения программы, а процессор выполнен с возможностью запуска программы.

Программа используется для осуществления вышеописанного способа совмещения изображений, когда запускается процессором.

В одном из вариантов осуществления настоящего изобретения программа, запущенная процессором, используется для выполнения следующих этапов:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции по пикселю с экстремальным значением градиента в пространственном распределении градиентов; и

совмещение опорного и плавающего изображения по пикселю с экстремальным значением коэффициента корреляции.

В соответствии со следующим аспектом настоящего изобретения дополнительно предложен способ сшивания изображений. Способ сшивания изображений содержит этапы совмещения опорного и плавающего изображения в соответствии с вышеописанным способом совмещения изображений и этапы сшивания опорного и плавающего изображения в соответствии с результатом совмещения.

При осуществлении способа сшивания изображений точное позиционное соотношение между опорным изображением и плавающим изображением получают быстро с помощью операции совмещения изображений, поэтому операция сшивания изображений может быть выполнена более быстро и точно.

На ФИГ. 11 показан способ 1100 сшивания изображений согласно одному из вариантов осуществления настоящего изобретения. Как показано на ФИГ. 11, способ 1100 сшивания изображений содержит этап совмещения и этап сшивания. На этапе совмещения выполняют совмещение опорного и плавающего изображения, а на этапе сшивания плавающее изображение вставляют в макет посредством способа упрощения. Специалисту в данной области техники очевидно, что способ упрощения приведен исключительно для примера и не ограничивает варианты осуществления настоящего изобретения; допускается использование других способов слияния. Дополнительно к двум вышеуказанным этапам способ 1100 сшивания изображений может содержать другие этапы. Способ 1100 сшивания изображений подробно раскрыт ниже в сочетании с ФИГ. 11.

Сначала получают первое изображение и помещают его в центр макета. Первое изображение принимают в качестве опорного изображения. Другое изображение, примыкающее к первому изображению, получают из буфера и считают плавающим изображением. Под примыкающими изображениями обычно понимают изображения, примыкающие друг к другу в порядке получения. Раскрытый выше способ совмещения изображений используют для совмещения опорного и плавающего изображения. Далее оценивают, является ли экстремальный максимальный коэффициент корреляции, определенный способом совмещения изображений, меньше порогового значения C1 коэффициента корреляции. Если коэффициент корреляции меньше порогового значения С1 коэффициента корреляции, то это означает, что устройство сбора данных, в частности, зонд микроскопа, движется слишком быстро в процессе захвата изображения. Способ 1100 сшивания изображений может также содержать определение области наложения между опорным и плавающим изображением. Если область наложения превышает первое пороговое значение A1 области, это означает, что устройство для сбора данных движется слишком медленно в процессе захвата изображений, вследствие чего текущее плавающее изображение не содержит более значимой информации об изображении и может быть отбраковано. Если область наложения меньше второго порогового значения A2 области, это означает, что устройство для сбора данных движется слишком быстро в процессе захвата изображений. Если коэффициент корреляции больше или равен пороговому значению С1 коэффициента корреляции, и площадь наложения больше или равна второму пороговому значению A2 области и меньше или равна первому пороговому значению A1 области, то выполняют операцию сшивания, например, плавающее изображение вставляют в соответствующее положение на макете способом упрощения. В одном из вариантов осуществления после операции сшивания способ 1100 сшивания изображений может дополнительно содержать этап обновления карты движения устройства захвата изображений.

На этом этапе, например, можно определиться с тем, нужно ли начинать новую последовательность сшивания. Если будет решено начать новую последовательность сшивания, текущее плавающее изображение будет принято за новое опорное изображение и может быть помещено в центр макета. Другое изображение, примыкающее к новому опорному изображению, принимают из буфера в качестве нового плавающего изображения для повторного выполнения операций совмещения и сшивания. Если будет решено не начинать новую последовательность сшивания, существующее сшитое изображение (при наличии) может быть сохранено, и операция будет завершена.

Если устройство для сбора данных в процессе захвата изображений движется слишком быстро, качество сшивания будет невысоким, а результаты окажутся ненадежными. Если коэффициент корреляции слишком мал или площадь наложения слишком мала, невозможно выполнить точное совмещение. Поскольку относительное положение примыкающих изображений не может быть определено средствами совмещения, операция сшивания не может быть выполнена, и, как раскрыто выше, в этом случае непосредственно определяют, следует ли начинать новую последовательность сшивания. Это позволяет обойтись без лишних расчетов и повысить эффективность системы. Кроме того, способ 1100 сшивания изображений может дополнительно содержать этап инструкций, предоставляемых пользователю различными способами, что позволяет пользователю своевременно оценивать текущую ситуацию и выбирать соответствующую операцию. Например, текущее плавающее изображение отмечают границей особого цвета.

Когда устройство для сбора данных движется в процессе захвата изображений слишком медленно, операция сшивания не имеет особого смысла, так как площадь наложения примыкающих изображений очень велика. Когда устройство для сбора данных движется в процессе захвата изображений слишком медленно, операция сшивания не имеет особого смысла, так как площадь наложения примыкающих изображений очень велика. Таким образом, текущее плавающее изображение может быть отбраковано, и другое изображение из буфера может быть принято за новое плавающее изображение. Новое плавающее изображение совмещают и сшивают с опорным изображением. Это также позволяет обойтись без лишних расчетов и повысить эффективность системы.

Согласно другому аспекту настоящего изобретения предложено устройство сшивания изображений. Устройство сшивания изображений может осуществлять вышеописанный способ сшивания изображений и содержать устройства совмещения и сшивания изображений, раскрытые выше. В частности, устройство совмещения изображений используют для совмещения опорного изображения и плавающего изображений в соответствии со способом совмещения изображений. Устройство сшивания изображений выполнено с возможностью сшивания опорного и плавающего изображения в соответствии с результатом совмещения устройства для совмещения изображений.

В другом варианте вышеупомянутое устройство для сшивания изображений может содержать запоминающее устройство и процессор. Запоминающее устройство выполнено с возможностью хранения программы, а процессор выполнен с возможностью запуска программы.

В частности, программу, запущенную процессором, используют для выполнения следующих этапов:

совмещение опорного и плавающего изображения способом совмещения изображений, описанным выше; и

сшивание опорного и плавающего изображений в соответствии с выполненным совмещением.

Ознакомившись с подробным раскрытием способа совмещения изображений, устройства для совмещения изображений, а также способа сшивания изображений (см. выше), можно понять состав и результаты работы устройства для сшивания изображений. Для краткости изложения мы не будем описывать их повторно.

Кроме того, предложен носитель информации в соответствии с одним из вариантов осуществления настоящего изобретения. Программные инструкции записаны на носителе информации. Если программные инструкции запускаются компьютером или процессором, компьютер или процессор выполнен с возможностью выполнения соответствующих этапов способа совмещения или способа сшивания изображений в соответствии с одним из вариантов осуществления настоящего изобретения и используется для реализации соответствующих модулей или устройств в устройстве для совмещения изображений или устройстве сшивания изображений в соответствии с вариантами осуществления настоящего изобретения. В качестве носителя информации можно использовать, например, карту памяти смартфона, запоминающее устройство планшетного компьютера, жесткий диск персонального компьютера, постоянное запоминающее устройство (ПЗУ), стираемую программируемую память (СППЗУ), портативный компакт-диск, доступный только для чтения (CD-ROM), USB-накопитель или любое сочетание вышеупомянутых накопителей. Машиночитаемый носитель информации может представлять собой любое сочетание одного или нескольких машиночитаемых носителей информации.

Хотя примеры вариантов осуществления были приведены в данном раскрытии со ссылкой на прилагаемые чертежи, следует понимать, что эти примеры приведены исключительно для иллюстрации и не предназначены для ограничения защищаемого объема настоящего изобретения. Специалисты в данной области могут вносить различные изменения и модификации, не отклоняясь от объема и духа настоящего изобретения. Все подобные изменения и модификации предназначены для включения в защищаемый объем настоящего изобретения, как заявлено в прилагаемой формуле изобретения.

Специалистам в данной области техники может быть очевидно, что блоки и этапы процедуры в каждом примере, раскрытые в связи с раскрытыми здесь вариантами осуществления, могут быть реализованы комбинацией электронного аппаратного обеспечения или компьютерного программного обеспечения и электронного аппаратного обеспечения. Выполнение этих функций в аппаратном или программном обеспечении зависит от конкретных условий применения и конструктивных ограничений технического решения. Профессиональный технический персонал может использовать различные способы для реализации раскрытых функций в каждой области применения, не допуская выхода за рамки настоящего изобретения.

Необходимо понимать, что в некоторых вариантах осуществления настоящего изобретения раскрытое устройство и способы могут быть реализованы другими путями. Например, раскрытые выше варианты осуществления устройств раскрыты лишь схематично, в частности, разделение блоков представляет собой простое логическое разделение функций, в то время как в реальности возможны другие способы разделения, например, несколько блоков или компонентов могут быть объединены или интегрированы в другое устройство, или же некоторые признаки могут быть проигнорированы или не реализованы.

Ряд специфических деталей раскрыт в приведенном здесь описании. Тем не менее, очевидно, что варианты осуществления настоящего изобретения могут быть реализованы без этих специфических деталей. В некоторых примерах хорошо известные способы, структуры и технологии не раскрыты в подробностях, чтобы не затруднять понимание данного описания.

Также следует понимать, что для упрощения описания и понимания одного или нескольких аспектов настоящего изобретения в раскрытии приведенных вариантов осуществления различные признаки иногда объединяют в одном варианте осуществления, схеме или их раскрытии. Тем не менее, при интерпретации способа, согласно настоящему изобретению, нельзя считать, что объем заявленных признаков настоящего изобретения превышает объем, явно определенный в каждом пункте формулы. Точнее говоря, согласно соответствующим пунктам формулы, концепция настоящего изобретения заключается в том, что соответствующие технические задачи могут быть решены меньшими признаками, чем все признаки одного раскрытого варианта осуществления. Поэтому пункты формулы в соответствии с конкретным вариантом осуществления включаются в конкретный вариант осуществления, причем каждый пункт формулы сам по себе является отдельным вариантом осуществления настоящего изобретения.

Специалисту в данной области техники очевидно, что все признаки, раскрытые в данном описании (включая пункты прилагаемой формулы, реферат и чертежи), а также все процессы или блоки любого раскрытого способа или устройства могут быть объединены в любом сочетании, кроме взаимоисключающих сочетаний признаков. Если явно не указано иное, каждый признак, раскрытый в данном описании (включая пункты прилагаемой формулы, реферат и чертежи), может быть заменен альтернативным признаком, решающим такую же, эквивалентную или схожую задачу.

Более того, специалисту в данной области техники может быть очевидно, что хотя некоторые из описанных здесь вариантов осуществления включают в себя некоторые признаки, входящие в другие варианты осуществления, в отличие от других признаков, сочетание признаков различных вариантов осуществления означает, что они входят в защищаемый объем настоящего изобретения и формируют различные варианты осуществления. Например, в формуле изобретения любой из заявленных вариантов осуществления может быть использован в любом сочетании.

Каждый вариант осуществления настоящего изобретения может быть реализован аппаратными средствами, программными модулями, работающими на одном или нескольких процессорах, или сочетанием таких средств. Специалисту в данной области техники должно быть понятно, что некоторые или все функции некоторых модулей в устройстве для совмещения изображений и устройстве сшивания изображений в соответствии с одним из вариантов осуществления настоящего изобретения на практике могут быть реализованы с помощью микропроцессора или процессора цифровой обработки сигнала (DSP). Настоящее изобретение может быть также реализовано в виде программы устройства (например, компьютерной программы и компьютерного программного продукта) для выполнения части или всех раскрытых здесь способов. Такая программа для реализации настоящего изобретения может быть записана на машиночитаемом носителе или содержать один или несколько сигналов в определенной форме. Такие сигналы могут загружаться с интернет-сайтов, предоставляться на носителях сигналов или иметь любую иную форму.

Следует отметить, что вышеприведенные варианты осуществления настоящего изобретения иллюстрируют, но не ограничивают настоящее изобретение, и специалист в данной области техники может предложить альтернативные варианты осуществления, не отклоняясь от защищаемого объема изобретения в соответствии с прилагаемой формулой. В пунктах формулы любое ссылочное обозначение в скобках не может считаться ограничением пункта формулы. Слово «содержит» не исключает наличия компонентов или этапов, не указанных в пункте формулы. Слово «какой-либо», «любой» или «один», предшествующее символу, не исключает существования множества таких компонентов. Настоящее изобретение может быть реализовано с помощью аппаратных средств, содержащих несколько различных компонентов, а также с помощью компьютера с соответствующей программой. В пунктах формулы, описывающих блоки нескольких перечисленных устройств, некоторые из этих устройств могут быть реализованы посредством одного и того же аппаратного средства. Использование слов «первый», «второй» и «третий» не подразумевает какой-либо последовательности. Эти слова могут быть интерпретированы как названия.

Защищаемый объем настоящего изобретения не ограничивается вышеизложенным, касающимся определенного варианта осуществления настоящего изобретения или его описания; любой специалист в данной области техники может легко предложить варианты изменения или замены, которые следует считать входящими в защищаемый объем настоящего изобретения. Защищаемый объем настоящего изобретения соответствует защищаемому объему, описанному формулой изобретения.

1. Способ совмещения изображений, содержащий:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов, содержащее:

поиск пикселя с максимальным значением градиента в пространственном распределении градиентов в качестве пикселя с экстремальным значением градиента;

определение соответствующего пикселя в пространственном распределении коэффициентов корреляции в зависимости от положения пикселя с экстремальным значением градиента; и

нахождение пикселя с экстремальным значением коэффициента корреляции в зависимости от соответствующего пикселя в пространственном распределении коэффициентов корреляции; и

совмещение опорного и плавающего изображения на основании пикселя с экстремальным значением коэффициента корреляции.

2. Способ по п. 1, в котором нахождение пикселя с экстремальным значением коэффициента корреляции в зависимости от соответствующего пикселя в пространственном распределении коэффициентов корреляции содержит:

определение пикселя, граничащего с упомянутым соответствующим пикселем в пространственном распределении коэффициентов корреляции, в качестве точки поиска; и

просмотр пикселей, граничащих с точкой поиска, и, если все граничащие пиксели меньше, чем точка поиска, принятие точки поиска за пиксель с экстремальным значением коэффициента корреляции; в противном случае, принятие наибольшего граничащего пикселя в качестве новой точки поиска для повторного поиска.

3. Способ совмещения изображений, содержащий:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов, содержащее:

поиск пикселя с максимальным значением градиента в пространственном распределении градиентов;

определение первого порогового значения градиента в зависимости от пикселя с максимальным значением градиента;

выполнение сегментации области пространственного распределения градиентов в соответствии с первым пороговым значением градиента; и

определение для каждой сегментированной области подходящего пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции, а также определение, может ли упомянутый подходящий пиксель быть принят в качестве пикселя с экстремальным значением коэффициента корреляции в зависимости от градиента пикселя, который соответствует упомянутому подходящему пикселю и находится в пространственном распределении градиентов, и второго порогового значения градиента; и

совмещение опорного и плавающего изображения на основании пикселя с экстремальным значением коэффициента корреляции.

4. Способ по п. 3, в котором выполнение сегментации области пространственного распределения градиентов в соответствии с первым пороговым значением градиента содержит:

выполнение последовательного сканирования пространственного распределения градиентов в соответствии с первым пороговым значением градиента, для поиска начальных пикселей, превышающих первое пороговое значение градиента; и

выполнение сегментации области в пространственном распределении градиентов в соответствии с упомянутыми начальными пикселями для получения всех сегментированных областей.

5. Способ по п. 4, в котором выполнение сегментации области в пространственном распределении градиентов в соответствии с начальными пикселями содержит:

выполнение сегментации области в пространственном распределении градиентов в соответствии с процедурой наращивания областей, принимая начальные пиксели в качестве начальной точки.

6. Способ по любому из пп. 3-5, в котором определение первого порогового значения градиента в зависимости от пикселя с максимальным значением градиента содержит:

вычисление первого порогового значения градиента в соответствии с формулой T₁=T_max*In, где T₁ обозначает первое пороговое значение градиента, T_max обозначает пиксель с максимальным значением градиента, а In обозначает коэффициент.

7. Устройство для совмещения изображений, содержащее:

запоминающее устройство, выполненное с возможностью хранения программы;

процессор, выполненный с возможностью запуска программы;

причем программа, запущенная процессором, используется для выполнения следующих этапов:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов, содержащее:

поиск пикселя с максимальным значением градиента в пространственном распределении градиентов в качестве пикселя с экстремальным значением градиента;

определение соответствующего пикселя в пространственном распределении коэффициентов корреляции в зависимости от положения пикселя с экстремальным значением градиента; и

нахождение пикселя с экстремальным значением коэффициента корреляции в зависимости от соответствующего пикселя в пространственном распределении коэффициентов корреляции; и

совмещение опорного и плавающего изображения на основании пикселя с экстремальным значением коэффициента корреляции.

8. Устройство для совмещения изображений, содержащее:

запоминающее устройство, выполненное с возможностью хранения программы;

процессор, выполненный с возможностью запуска программы;

причем программа, запущенная процессором, используется для выполнения следующих этапов:

вычисление пространственного распределения коэффициентов корреляции между опорным и плавающим изображением;

вычисление пространственного распределения градиентов для пространственного распределения коэффициентов корреляции;

определение пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции в зависимости от пикселя с экстремальным значением градиента в пространственном распределении градиентов, содержащее:

поиск пикселя с максимальным значением градиента в пространственном распределении градиентов;

определение первого порогового значения градиента в зависимости от пикселя с максимальным значением градиента;

выполнение сегментации области пространственного распределения градиентов в соответствии с первым пороговым значением градиента; и

определение для каждой сегментированной области подходящего пикселя с экстремальным значением коэффициента корреляции в пространственном распределении коэффициентов корреляции, а также определение, может ли упомянутый подходящий пиксель быть принят в качестве пикселя с экстремальным значением коэффициента корреляции в зависимости от градиента пикселя, который соответствует упомянутому подходящему пикселю и находится в пространственном распределении градиентов, и второго порогового значения градиента; и

совмещение опорного и плавающего изображения на основании пикселя с экстремальным значением коэффициента корреляции.

9. Способ сшивания изображений, содержащий:

совмещение опорного и плавающего изображения в соответствии со способом совмещения изображений по любому из пп. 1-6; и

сшивание опорного и плавающего изображений в соответствии с результатом совмещения.

10. Устройство для сшивания изображений, содержащее:

запоминающее устройство, выполненное с возможностью хранения программы;

процессор, выполненный с возможностью запуска программы;

причем программа, запущенная процессором, используется для выполнения следующих этапов:

совмещение опорного и плавающего изображения в соответствии со способом совмещения изображений по любому из пп. 1-6; и

сшивание опорного и плавающего изображений в соответствии с результатом совмещения.