Устройство обработки изображений, способ обработки изображений и программа

Область техники, к которой относится изобретение

Настоящее изобретение касается устройства обработки изображений, способа обработки изображений и программы. Более конкретно, например, настоящее изобретение касается устройства обработки изображений, в котором объединяют изображения, зафиксированные несколькими камерами, установленными на автомобиле, и в котором вырабатывают те же изображения, которые можно видеть сверху автомобиля, и настоящее изобретение касается способа обработки изображений и программы.

Уровень техники

Когда с места водителя не видно состояний непосредственно впереди автомобиля, по бокам автомобиля и сзади него или подобных в направлении перемещения автомобиля, существует опасность, что автомобиль может врезаться в скрытое препятствие, которое расположено в направлении перемещения. Система предотвращения такой опасности содержит систему помощи при вождении, которая объединяет изображения, зафиксированные несколькими широкоугольными камерами, установленными спереди, сзади и на боковых сторонах автомобиля, вырабатывает виртуальное изображение, которое можно видеть сверху автомобиля, и показывает изображение в блоке показа, предусмотренном у места водителя.

При этом, изображение, которое можно видеть сверху автомобиля, называют «изображением кругового обзора», «изображением сверху», «изображением с высоты птичьего полета» и подобным образом. Далее, в этом документе, описание приведено в предположении, что изображение, которое можно видеть сверху автомобиля, является «изображением сверху».

В такой системе, желательно, чтобы камера, установленная вблизи автомобиля, фиксировала изображение насколько возможно широкой области вблизи автомобиля и, таким образом, такая камера содержит широкоугольный объектив, например, объектив типа «рыбий глаз». С использованием широкоугольного объектива камера может фиксировать изображение широкой области. Тем не менее, на изображения, зафиксированном с использованием широкоугольного объектива, имеют место искажения. В частности, известна проблема, заключающаяся в том, что в области краев изображения имеют места большие искажения.

Общая система помощи вождению, соответствующая уровню техники, выполнена для осуществления корректировки искажения зафиксированного изображения, для выработки «изображения сверху», которое можно видеть сверху автомобиля, в качестве скорректированного изображения, и для вывода выработанного изображения на блок показа.

При этом процесс корректировки изображения с целью выработки изображения сверху называют «преобразованием до изображения сверху».

Тем не менее, позиции, где на автомобиле установлены камеры, включают в себя позиции впереди автомобиля, сзади, по бокам и подобные позиции. Диапазон, в котором каждая камера способна фиксировать изображение, ограничен любой одной из следующих областей автомобиля: область впереди, область сзади, область справа и область слева. Соответственно, для выработки изображения сверху, содержащего изображение кругового обзора автомобиля, необходимо выполнить процесс объединения, направленный на соединение изображений сверху, выработанных на основе изображений, зафиксированных несколькими камерами, расположенными в различных позициях.

Тем не менее, когда выполнен процесс объединения, направленный на соединение нескольких изображений сверху, которые выработаны при осуществлении преобразования до изображения сверху для изображений, зафиксированных с использованием широкоугольного объектива, предметы в областях перехода между несколькими изображениями могут исчезнуть, не оставшись в объединенном изображении. Этим объясняется тем, что корректировка искажения осуществляется с использованием земли в качестве контрольной плоскости. Например, когда присутствует предмет (пространственный объект), расположенный выше контрольной плоскости, то предмет выходит за рамки границы перехода между изображениями, полученными после преобразования до изображения сверху, и, таким образом, его может не быть на объединенном изображении.

Например, пусть пространственный объект X, отходящий вверх от земли, которая эквивалентна контрольной плоскости при преобразовании до изображения сверху, фиксируют вблизи, по существу, границы двух изображений, изображения А и изображения В, которые являются объектами, подлежащими объединению.

Когда путем соединения скорректированных изображений (изображения сверху), полученных путем осуществления преобразования до изображения сверху для изображения А и изображения В, выработано объединенное изображение, область перехода между изображением А и изображением В подвергают процессу соединения, в котором позицию соответствия для земли, которая является контрольной плоскостью преобразования до изображения сверху, устанавливают как линию перехода. Процесс соединения изображений А и В осуществляют путем вырезания изображения снаружи линии перехода между изображениями А и В.

Когда осуществлен такой процесс соединения, может иметь место ситуация, когда пространственный объект X, зафиксированный на изображении А, оказывается снаружи изображения А относительно линии перехода, то есть в области, вырезаемой из изображения А. С другой стороны, пространственный объект X, зафиксированный на изображении В, также оказывается снаружи изображения В относительно линии перехода, то есть в области, вырезаемой из изображения В.

В результате, пространственный объект X в окрестности границы между изображениями А и В не остается в объединенном изображении. То есть, невозможно подтвердить, находится ли в объединенном изображении пространственный объект X, который является изначально существующим предметом.

Технология существующего уровня техники для решения такой проблемы описана в ПЛ 1 (не рассмотренная публикация заявки на японский патент №2007-109166). В ПЛ 1 описана конфигурация, в которой изображения, зафиксированные устройствами фиксации изображения, установленными по периферии автомобиля, так объединяют с помощью преобразования до изображения сверху, что вырабатывают и показывают объединенное изображение, которое можно видеть сверху автомобиля. В ПЛ 1 описана конфигурация, в котором два скорректированных изображения показывают с чередованием в гребенчатой форме в области, где два подлежащих объединению изображения сверху перекрывают друг друга.

Предмет, вытесняемый из изображения при преобразовании до изображения сверху, сопровождаемом корректировкой искажения, показывают в область показа, которая обладает гребенчатой формой. Таким образом, водитель, который является наблюдателем изображения, может подтвердить, что объект некоторого типа присутствует в области, и может обратить внимание на этот объект.

В ПЛ 1 описана конфигурация, в которой область, содержащая два перекрывающихся изображения сверху, показана с помощью фиксированного шаблона, в котором два изображения сверху установлены с чередованием в гребенчатой форме. Тем не менее, при преобразовании до изображения сверху с использованием земли в качестве контрольной плоскости, некорректно осуществляется преобразование пространственного объекта, показываемого в области показа, которая обладает гребенчатой формой. Таким образом, искажение остается, и исходная форма не восстанавливается. Кроме того, так как показ разъединен из-за того, что два изображения показывают с помощью гребенчатой формы, то может быть трудно побудить наблюдателя (водителя) распознать присутствие пространственного объекта, для которого возможна указанная коллизия.

Список цитируемой литературы

Патентная литература

ПЛ 1:

Не рассмотренная публикация заявки на японский патент №2007-109166

Раскрытие изобретения

Техническая задача

Желательно предложить устройство обработки изображений, в котором вырабатывают объединенное изображение, выработанное в ходе процесса объединения нескольких изображений, зафиксированных с использованием широкоугольного объектива, как изображение, на котором легко распознать реальный предмет, и в котором показывают изображение, и желательно предложить способ обработки изображений и программу.

Решение задачи

Устройство обработки изображений содержит схему, в которой принимают от первого устройства фиксации изображений данные первого изображения, содержащего область, прилегающую к автомобилю, и также принимают от второго устройства фиксации изображений данные второго изображения, содержащего прилегающую область. В схеме соединяют данные первого изображения с данными второго изображения с целью формирования данных составного изображения области перехода, по меньшей мере, части прилегающей области. Схема изменяет с течением времени соответствующие области изображения, взятые из первого устройства фиксации изображений и второго устройства фиксации изображений, что делают с целью формирования данных составного изображения области перехода.

В соответствии с другим аспектом описана автомобильная система обработки изображений, содержащая:

первое устройство фиксации изображений, установленное спереди автомобиля и выполненное для фиксации данных первого изображения с направленным вперед ракурсом относительно места водителя в автомобиле;

второе устройство фиксации изображений, установленное на некоторой стороне автомобиля и выполненное для фиксации данных второго изображения с направленным в сторону ракурсом относительно места водителя в автомобиле, и

схема выполнена для приема данных первого изображения, приема данных второго изображения, соединения данных первого изображения с данными второго изображения с целью формирования данных составного изображения области перехода между данными первого изображения и данными второго изображения, и

изменения с течением времени соответствующих областей изображения, взятых из первого устройства фиксации изображений и второго устройства фиксации изображений, что делают с целью формирования данных составного изображения области перехода, при этом

данные составного изображения области перехода, составляют, по меньшей мере, часть вида сверху автомобиля.

В соответствии с другим аспектом описана автомобильная система отслеживания, содержащая:

первое устройство фиксации изображений, установленное спереди автомобиля и выполненное для фиксации данных первого изображения с направленным вперед ракурсом относительно места водителя в автомобиле;

второе устройство фиксации изображений, установленное на некоторой стороне автомобиля и выполненное для фиксации данных второго изображения с направленным в сторону ракурсом относительно места водителя в автомобиле; схему, выполненную для

приема данных первого изображения,

приема данных второго изображения,

соединения данных первого изображения с данными второго изображения с целью формирования данных составного изображения области перехода между данными первого изображения и данными второго изображения, и

изменения с течением времени соответствующих областей изображения, взятых из первого устройства фиксации изображений и второго устройства фиксации изображений, что делают с целью формирования данных составного изображения области перехода, при этом данные составного изображения области перехода, составляют, по меньшей мере, часть вида сверху автомобиля; и

дисплей, который установлен внутри автомобиля и выполнен для показа вида сверху автомобиля, содержащего область перехода.

Полезные результаты изобретения

В соответствии с конфигурацией варианта осуществления настоящего изобретения, возможно выработать и показать изображение, которое можно видеть сверху автомобиля, указанное изображение делает легким распознавание пространственного объекта.

Более конкретно, вырабатывают несколько изображений сверху, что делают путем отдельной корректировки изображений, зафиксированных несколькими камерами, расположенными в различных позициях автомобиля, таких как спереди, сзади, с правой стороны и с левой стороны, и вырабатывают объединенное изображение путем соединения друг с другом нескольких выработанных изображений сверху. В блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена таким образом, что области показа нескольких изображений сверху, которые подлежат соединению, изменяются с течением времени. Например, первое и второе изображения, которые должны быть соединены друг с другом, устанавливают с чередованием в форме полосок и вырабатывают объединенное изображение с областью перехода, которая задана так, что позиция полосок изменяется с течением времени.

При такой конфигурации возможно выработать и показать изображение, которое можно видеть сверху автомобиля, причем указанное изображение делает легким распознавание пространственного объекта.

При этом описанные в настоящем описании свойства являются только примерами и могут быть добавлены дополнительные свойства.

Краткое описание чертежей

Фиг. 1 - вид, показывающий пример, в котором на автомобиле установлены камеры;

фиг. 2 - вид, показывающий пример изображения, зафиксированного с использованием широкоугольного объектива;

фиг. 3 - вид, показывающий преобразование до изображения сверху, которое является примером корректировки изображения, зафиксированного с использованием широкоугольного объектива;

фиг. 4 - вид, показывающий преобразование до изображения сверху, которое является примером корректировки изображения, зафиксированного с использованием широкоугольного объектива;

фиг. 5 - вид, показывающий пример изображения, зафиксированного с использованием широкоугольного объектива в случае, когда в качестве предмета изображение содержит пространственный объект;

фиг. 6 - вид, показывающий пример корректировки изображения, зафиксированного с использованием широкоугольного объектива, и показывающий преобразование до изображения сверху в случае, когда в качестве предмета изображение содержит пространственный объект;

фиг. 7 - вид, показывающий пример процесса объединения нескольких изображений сверху;

фиг. 8 - вид, показывающий пример объединенного изображения;

фиг. 9 - вид, показывающий пример, когда на объединенном изображении, основанном на изображениях сверху, исчезает пространственный объект;

фиг. 10 - вид, показывающий пример, когда на объединенном изображении, основанном на изображениях сверху, исчезает пространственный объект;

фиг. 11 - вид, показывающий объединенное изображение, выработанное в соответствии с вариантом осуществления настоящего изобретения, и показывающий пример объединенного изображения, которое показывают в блоке показа, предусмотренном у места водителя автомобиля;

фиг. 12 - вид, показывающий пример, в котором с течением времени изменяется режим показа в области перехода объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 13 - вид, показывающий вариант осуществления изобретения, в котором пространственный объект показывают в области перехода объединенного изображения в соответствии с некоторым примером настоящего изобретения;

фиг. 14 - вид, показывающий параметры, применяемые для управления показом объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 15 - вид, показывающий параметры, применяемые для управления показом объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 16 - вид, показывающий параметры, применяемые для управления показом объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 17 - вид, показывающий последовательность управления показом объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 18 - вид, показывающий пример, в котором пространственный объект показывают в области перехода объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 19 - вид, показывающий объединенное изображение, выработанное в соответствии с вариантом осуществления настоящего изобретения, и показывающий пример объединенного изображения, которое показывают в блоке показа, предусмотренном у места водителя автомобиля;

фиг. 20 - вид, показывающий вариант осуществления изобретения, в котором с течением времени изменяется режим показа в области перехода объединенного изображения в соответствии с примером настоящего изобретения;

фиг. 21 - вид, показывающий вариант осуществления изобретения, в котором пространственный объект показывают в области перехода объединенного изображения в соответствии с некоторым примером настоящего изобретения;

фиг. 22 - вид, показывающий вариант осуществления изобретения, в котором пространственный объект показывают в области перехода объединенного изображения в соответствии с некоторым примером настоящего изобретения;

фиг. 23 - вид, показывающий объединенное изображение, выработанное в соответствии с вариантом осуществления настоящего изобретения, и показывающий пример объединенного изображения, которое показывают в блоке показа, предусмотренном у места водителя автомобиля;

фиг. 24 - вид, показывающий пример, в котором с течением времени изменяется режим показа в области перехода объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 25 - вид, показывающий пример, в котором пространственный объект показывают в области перехода объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 26 - вид, показывающий пример, в котором пространственный объект показывают в области перехода объединенного изображения в соответствии с вариантом осуществления настоящего изобретения;

фиг. 27 - вид, показывающий шаблоны освещения лазером, которые являются дополнительной информацией, используемой при выработке объединенного изображения;

фиг. 28 - вид, показывающий пример структуры аппаратного обеспечения устройства обработки изображений, соответствующего настоящему изобретению;

фиг. 29 - вид, показывающий пример структуры аппаратного обеспечения устройства обработки изображений, соответствующего настоящему изобретению.

Осуществление изобретения

Далее со ссылками на приложенные чертежи будут подробно описаны устройство обработки изображений, способ обработки изображений и программа, соответствующие настоящему изобретению. При этом описание будет приведено в следующем порядке.

1. Относительно основных принципов процесса преобразования до изображения сверху и процесса выработки объединенного изображения и примера, в котором исчезает пространственный объект.

2. Относительно варианта осуществления изобретения, в котором области показа изображений динамически изменяются в области перехода объединяемого изображения.

3. Относительно последовательности управления показом в области перехода изображения.

4. Относительно примера процесса подсвечивания конкретного объекта, показываемого в области перехода.

5. Относительно примера, в котором изменяется режим показа в области перехода.

5-1. Вариант осуществления изобретения, в котором области показа с изогнутыми полосками устанавливают с чередованием (второй вариант осуществления изобретения).

5-2. Вариант осуществления изобретения, в котором перемещается граница изображения области перехода (третий вариант осуществления изобретения).

6. Относительно дополнительной информации, используемой при выработке объединенного изображения.

7. Относительно примера структуры аппаратного обеспечения устройства обработки изображений.

8. Заключение о конфигурации настоящего изобретения.

1. Относительно основных принципов процесса преобразования до изображения сверху и процесса выработки объединенного изображения и примера, в котором исчезает пространственный объект

Сначала будет приведено описание основных принципов процесса осуществления преобразования до изображения сверху для каждого изображения, зафиксированного камерами, установленными в нескольких позициях автомобиля, таких как спереди, сзади, на правой и левой сторонах, и выработки объединенного изображения путем соединения друг с другом нескольких выработанных изображений сверху, а также будет приведено описание примера, когда исчезает пространственный объект, выработанный в ходе упомянутого процесса.

На фиг. 1 показан пример, в котором на автомобиле установлены камеры.

Как показано на фиг. 1(A), в позициях спереди, сзади, на правой и левой сторонах автомобиля 10 установлены четыре камеры.

Четыре камеры, то есть камера F21, камера L22, камера R23 и камера В24, установлены соответственно спереди, слева, справа и сзади автомобиля 10.

Как показано в конфигурации камеры на фиг. 1(B), каждая из камер F21-R24 выполнена так, что содержит широкоугольный объектив, такой как, например, объектив типа «рыбий глаз», и выполнена так, что фиксирует изображения земли и пространственного объекта на земле в широком диапазоне с помощью настройки направления фиксации изображения равным направлению вниз (направление на землю).

На изображении, зафиксированном с использованием широкоугольного объектива, имеют место искажения. Со ссыпками на фиг. 2 будет описан пример изображения, зафиксированного с использованием широкоугольного объектива.

На фиг. 2(a) показана среда фиксации изображения. Предмет 31 является землей, на которой нарисован сетчатый шаблон. Широкоугольная камера 31 установлена сверху в центре над предметом 31 с целью фиксации изображений.

Камера 30 является камерой с установленным на ней широкоугольным объективом, таким как, например, объектив типа «рыбий глаз».

Пример изображения, зафиксированного в среде фиксации изображений, показанной на фиг. 2(a), является зафиксированное изображение, показанное на фиг. 2(b).

Как показано на зафиксированном изображении на фиг. 2(b), сетчатый шаблон земли на зафиксированном изображении искажен.

Искажение представляет собой такое искажение, причиной которого является фиксация изображения с использованием широкоугольного объектива.

Для выработки изображения, форма которого совпадает с формой реального объекта, путем удаления искажения зафиксированного изображения, показанного на фиг. 2(b), необходимо осуществить корректировку изображения, то есть преобразование до изображения сверху.

Ниже со ссылкой на фиг. 3 будет описан пример этого процесса корректировки.

На фиг. 3 показано зафиксированное изображение, которое совпадает с изображением с фиг. 2(b), и скорректированное изображение (изображение сверху), выработанное в ходе процесса корректировки (преобразование до изображения сверху) зафиксированного изображения.

При этом изображение, которое можно видеть сверху, называют «изображением сверху», а процесс корректировки изображения, заключающийся в преобразовании до «изображения сверху», называется «преобразованием до изображения сверху». Скорректированное изображение, показанное на фиг. 3(c), является «изображением сверху», а процесс корректировки, заключающийся в выработке скорректированного изображения из зафиксированного изображения с фиг. 3(b), является эквивалентом для «преобразования до изображения сверху».

Скорректированное изображение (изображение сверху) с фиг. 3(c) является изображением, на котором сетчатый шаблон аналогичен сетчатому шаблону предмета 31 в описанной выше среде фиксации изображения с фиг. 2(a), и является скорректированным изображением сверху, которое можно видеть сверху земли, и сетчатый шаблон земли является шаблоном, в котором восстановлена форма реального объекта.

На фиг. 4 показан пример процесса корректировки изображения, зафиксированного широкоугольной камерой, такой как камера с объективом типа «рыбий глаз», которая установлена направленной в направлении наклонно вниз. Как показано на фиг. 4(a), изображение земли, на которой нарисован сетчатый шаблон, фиксируется как предмет 31 широкоугольной камерой 30, установленной в направлении наклонно вниз. На фиг. 4(b) и 4(c) показаны соответственно зафиксированное изображение, полученное в среде фиксации изображения, показанной на фиг. 4(a), и скорректированное изображение.

Так называемое изображение со скорректированным искажением, которое преобразовано к центру зафиксированного изображения путем удаления искажения типа «рыбий глаз» с изображения, показанного на фиг. 4(b), является скорректированным изображением, показанным на фиг. 4(c).

В процессе корректировки искажения в примере, показанном на фиг. 4, из набора изображений, показанных на фиг. 4(b) и зафиксированных широкоугольной камерой 30 с наклонной позицией и отражающих перспективу благодаря осуществлению процесса корректировки искажения типа «рыбий глаз», получают предмет 31 (земля, на которой нарисован четырехугольный сетчатый шаблон) трапециевидной формы. Другими словами, во время процесса корректировки искажения, получают трапециевидное изображение, которое показано на фиг. 4(c) и на котором удалено искажение зафиксированного изображения, заключающееся в изгибе, и оставлена перспектива. Возможно осуществить процесс выполнения преобразования для зафиксированного изображения с позиции виртуальной камеры 30F, расположенной непосредственно над предметом 31, путем удаления трапециевидного искажения, остающегося на фиг. 4(C), с целью сдвига до точки расположения виртуальной камеры. Этот набор процессов осуществляют как объединенный процесс и, таким образом, получают изображение сверху для земли, которую видят наклонно.

При этом, здесь и далее описанный выше объединенный процесс преобразования, в котором преобразование искажения изображения, видимого с наклонного направления, объединяют с преобразованием до изображения сверху будем в целом называть «преобразованием до изображения сверху». Таким образом, преобразование до изображения сверху служит как процесс, включающий в себя процесс преобразования изображения, видимого наклонно сверху, до изображения, видимого сверху. Тем не менее, ниже будет опущено описание процесса, в котором изображение видно с наклонного направления.

Преобразование до изображения сверху, показанное на фиг. 3, осуществляют с использованием определенной горизонтальной плоскости в качестве контрольной плоскости. На фиг. 3 показан пример процесса преобразования, осуществляемого с использованием земли, на которой нарисован сетчатый шаблон, в качестве контрольной плоскости, и нарисованный на земле сетчатый шаблон восстанавливают с высокой степенью точности. Тем не менее, преобразование до изображения сверху, в котором установлена контрольная плоскость, обладает проблемой, заключающейся в том, что предмет, отличающийся от контрольной плоскости, проецируется в позицию, отличающуюся от его точки установки.

Ниже эта проблема будет описана со ссылкой на фиг. 5 и 6.

Аналогично описанию, приведенному выше со ссылкой на фиг. 2, на фиг. 5 показаны соответственно среда фиксации изображения и зафиксированное изображение.

Аналогично фиг. 2(a), среда фиксации изображения с фиг. 5(a) содержит землю, на которой нарисован сетчатый шаблон. Тем не менее, установлен пространственный объект 32, отходящий от земли вверх.

Широкоугольная камера 30 установлена на конечном расстоянии от земли и направлена на землю.

Аналогично описанию, приведенному выше со ссылкой на фиг. 2(b), в зафиксированном изображении с фиг. 5(b) в сетчатом шаблоне земли имеют место искажения. Более того, изображение пространственного объекта 32 также фиксируется с искажениями.

При этом чертеж является схематическим видом и искажение пространственного объекта 32 изменяется различным образом, в зависимости от его позиции и высоты.

На фиг. 6 показан пример процесса корректировки зафиксированного изображения с фиг. 6(b), то есть процесс преобразования до изображения сверху, в котором в качестве контрольной плоскости используют плоскость земли.

Как показано на скорректированном изображении (изображение сверху) с фиг. 6(c), сетчатый шаблон земли скорректирован четко. Тем не менее, остается искажение пространственного объекта 32 и, таким образом, пространственный объект показывают измененным, его форма отличается от фактической наблюдаемой формы.

Эталонное изображение, показанное на фиг. 6(d), является примером изображения сверху, которое в идеале видно с бесконечного расстояния. На этом изображении на пространственный объект 32 смотрят непосредственно сверху.

Между тем, фиг. 6 является схематическим видом и искажение, остающееся в пространственном объекте 32 после преобразования до изображения сверху, изменяется различным образом, в зависимости от позиции и высоты пространственного объекта 32.

Далее, со ссылками на фиг. 7 и 8 будет описан процесс выработки объединенного изображения путем соединения изображений, зафиксированных несколькими широкоугольными камерами, установленными на автомобиле.

На фиг. 7 показан пример областей изображений, зафиксированных четырьмя камерами, установленными на четырех поверхностях автомобиля, а именно на передней, задней, правой и левой поверхностях, упомянутые поверхности описаны при рассмотрении фиг. 1, и для выработки объединенного изображения применяют области объединения.

Область 51 фиксации изображения спереди, показанная на фиг. 7, изображает область, фиксируемую камерой F21, показанной на фиг. 1. Область 52 фиксации изображения слева изображает область, фиксируемую камерой L22, область 53 фиксации изображения справа изображает область, фиксируемую камерой R23, и область 54 фиксации изображения сзади изображает область, фиксируемую камерой В24.

Четыре скорректированных изображения (изображения сверху) вырабатывают путем осуществления преобразования до изображения сверху для этих четырех зафиксированных изображений и далее изображения сверху соединяют друг с другом с целью формирования одного объединенного изображения.

Четыре трапециевидные области, показанные пунктирными линиями на фиг. 7, являются областями (область объединения), которые выбирают из соответствующих зафиксированных изображений в качестве компонентов объединенного изображения 70. Объединенное изображение 70 вырабатывают путем соединения следующих четырех областей объединения. Четыре области, то есть (а) область 61 объединения изображения спереди, которая является частью области 51 фиксации изображения спереди, (б) область 62 объединения изображения слева, которая является частью области 52 фиксации изображения слева, (в) область 63 объединения изображения справа, которая является частью области 53 фиксации изображения справа, и (г) область 64 объединения изображения сзади, которая является частью области 54 фиксации изображения сзади, соединяют друг с другом, чтобы, таким образом, получить одно объединенное изображение 70.

Между тем, преобразование до изображения сверху осуществляют для изображений до процесса объединения. То есть, объединяют четыре изображения сверху, выработанные путем осуществления процесса преобразования до изображения сверху.

В процессе объединения вырабатывают одно объединенное изображение 70.

На фиг. 8 показан пример объединенного изображения 70. Как показано на фиг. 8, объединенное изображение 70 эквивалентно изображению, на котором на землю вблизи автомобиля смотрят сверху, над центром изображения 71 автомобиля.

При этом изображение 71 автомобиля не является изображением, зафиксированным камерой, а является предоставленным заранее псевдоизображением автомобиля, установленным для этой системы.

В блоке обработки данных, в котором вырабатывают изображения для вывода на блок показа, предусмотренный у места водителя автомобиля, выполняют процесс прикрепления изображения 71 автомобиля к изображению (изображение сверху) окружающей обстановки автомобиля, которое вырабатывают путем осуществления преобразования до изображения сверху и процесса объединения для изображения, зафиксированного камерой, что делают для выработки изображений для вывода, и показывают изображение в блоке показа.

Водитель смотрит на изображение с целью выяснения окружающей автомобиль обстановки и безопасного вождения.

Тем не менее, когда вырабатывают объединенное изображение, на котором соединены друг с другом несколько изображений сверху, существует проблема, заключающаяся в том, что объекты, расположенные на земле на границе между соседними камерами, объединяются друг с другом таким образом, что исчезают с изображений сверху.

Что касается пространственного объекта 32, описанного выше со ссылками на фиг. 5 и 6, указанное имеет место в случае, когда предмет (объект) расположен в позиции, отличной от контрольной плоскости (земли) преобразования до изображения сверху.

Пример исчезновения предмета будет описан ниже со ссылкой на фиг. 9. На фиг. 9 показан пример процесса объединения области 61 объединения изображения спереди и области 62 объединения изображения слева.

На фиг. 9(a) показана позиция пространственного объекта 32 на изображении, полученном при осуществлении преобразования до изображения сверху для изображения, зафиксированного в области 52 фиксации изображения слева и области 62 объединения изображения слева. Изображение, полученное после преобразования до изображения сверху, эквивалентно, например, скорректированному изображению (изображение сверху), которое описано выше со ссылкой на фиг. 6(c).

Как показано на фиг. 9(а), пространственный объект 32 преобразуют и проецируют в позицию, смещенную от области 62 объединения изображения слева, которая обладает трапециевидной формой.

С другой стороны, на фиг. 9(b) показана позиция пространственного объекта 32 на изображении, полученном при осуществлении преобразования до изображения сверху для изображения, зафиксированного в области 51 фиксации изображения спереди и области 61 объединения изображения спереди.

Как показано на фиг. 9(b), пространственный объект 32 также преобразуют и проецируют в позицию, смещенную от области 61 объединения изображения спереди, которая обладает трапециевидной формой.

Обладающую трапециевидной формой область 62 объединения изображения слева соединяют с обладающей трапециевидной формой областью 61 объединения изображения спереди и, таким образом, вырабатывают конечное объединенное изображение.

Получившееся в результате объединенное изображение не содержит изображение пространственного объекта 32, он исчезает.

То есть, как показано на фиг. 10, пространственный объект 32 не содержится в области 81 перехода между изображением с левой стороны и изображением спереди из объединенного изображения 70 и вырабатывают объединенное изображение 70, на котором нет пространственного объекта 70.

Таким образом, когда процесс выработки и объединения нескольких изображений сверху основан на плоскости земли, может исчезнуть пространственный объект, присутствующий в области границы между изображениями сверху.

В результате, пространственный объект не показывают в объединенном изображении, изображаемым в блоке показа у места водителя. Таким образом, водитель не сможет распознать препятствие, в результате возможно опасное вождение.

2. Относительно варианта осуществления изобретения, в котором области показа изображений динамически изменяются в области перехода объединяемого изображения

Далее, будет описана структура варианта осуществления настоящего изобретения для решения описанной выше проблемы.

В варианте осуществления настоящего изобретения осуществляют процесс динамического изменения областей показа объединяемых изображений в области перехода между изображениями.

Этот вариант осуществления изобретения будет описан со ссылкой на фиг. 11 и последующие чертежи.

На фиг. 11 изображена часть объединенного изображения, которое показывают в блоке показа, предусмотренном у места водителя автомобиля. На фиг. 11 показаны окрестности области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны, которые являются изображениями, входящими в состав объединенного изображения.

При этом, как изображение 101 спереди, так и изображение 102 с левой стороны, показанные на фиг. 11, являются изображениями после осуществления для них процесса преобразования до изображения сверху.

Изображение 101 спереди является изображением, полученным при осуществлении преобразования до изображения сверху для изображения, зафиксированного передней камерой (эквивалентной камере F, показанной на фиг. 1), установленной спереди автомобиля.

Изображение 102 с левой стороны является изображением, полученным при осуществлении преобразования до изображения сверху для изображения, зафиксированного камерой левой стороны (эквивалентной камере L, показанной на фиг. 1), установленной на левой стороне автомобиля.

В этом варианте осуществления изобретения область 103 перехода между изображением 101 спереди и изображением 102 с левой стороны обладает следующей конфигурацией.

Области показа изображения 101 спереди и изображения 102 с левой стороны устанавливают с чередованием в блоках из областей, представляющих собой прямоугольные полоски, и позиции полосок последовательно перемещают с течением времени.

Таким образом, выполняют процесс изменения областей показа изображения 101 спереди и изображения 102 с левой стороны в области 103 перехода с течением времени, то есть процесс динамического изменения областей показа.

Процесс динамического изменения областей показа будет описан ниже со ссылками на фиг. 12.

На фиг. 12 показан пример процесса изменения области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны с течением времени. Время изменяется в приведенном порядке t1, t2, t3 и t4 и на фиг. показаны состояния изменений в режиме показа области перехода в соответствующие моменты времени.

Область полосок изображения 101 спереди последовательно перемещается вверх по мере течения времени (t1->t2->t3->t4). При этом, в момент t5 времени, позиция полосок в момент t4 времени и последующие моменты времени совпадает с позицией полосок в момент t1 времени. Далее, t6, t7 и t8 установлены аналогично как t2, t3 и t4 соответственно и то же перемещение полосок повторяется.

В примере, показанном на фиг. 12, область 103 перехода между изображением 101 спереди и изображением 102 с левой стороны является прямоугольной областью. В прямоугольной области одни участки соответствуют области показа изображения 101 спереди, а другие участки соответствуют области показа изображения 102 с левой стороны. Области показа последовательно изменяются с течением времени.

В один период показа с момента t1 времени до момента t5 времени, период показа изображения 101 спереди и период показа изображения 102 с левой стороны устанавливают с чередованием во всех прямоугольных областях, образующих область 103 перехода. То есть, вся область 103 перехода соответствует области, в которой могут быть подтверждены два изображения, и изображение 101 спереди и изображение 102 с левой стороны.

Как описано выше, в области перехода двух изображений сверху, содержащихся в объединенном изображении, динамически изменяется показ областей перехода соответствующих изображений сверху, то есть с течением времени последовательно изменяются показы областей показа соответствующих изображений сверху, то есть решается проблема, описанная выше со ссылками на фиг. 9 и 10, заключающаяся в том, что пространственный объект исчезает с объединенного изображения. Так как при показе изображений с чередованием невозможно точно видеть все изображения, трудно определить опасность только при просмотре изображений. Тем не менее, линию границы пространственного объекта динамически показывают на экране благодаря последовательному и изменяющемуся перемещению границ изображений с течением времени.

То есть, в этом способе, так как вся область 103 перехода установлена равной области, в которой могут быть подтверждены два изображения, изображение 101 спереди и изображение 102 с левой стороны, область показа пространственного объекта не вырезают полностью, и динамическая линия границы перемещается, позволяя, таким образом, распознать определенный пространственный объект.

Более того, в этом способе показа, так как с течением времени изменяется режим показа области перехода, это стимулирует динамическое восприятие, что облегчает привлечение внимания путем стимулирования динамического восприятия в периферийной области зрения, несмотря на то, что водитель не смотрит прямо на объект. То есть, в области перехода кажется, что пространственный объект перемещается вдоль границы, по сравнению с другой областью (статичная область) объединенного изображения и, таким образом, область перехода служит как привлекающая внимание область. Такая привлекающая внимание область служит эффективным средством обнаружения наблюдателем (водителем) пространственного объекта, присутствующего в области перехода.

При этом предпочтительно, чтобы была предусмотрена такая конфигурации, в которой ширина полоски изображения 101 спереди и ширина полоски изображения 102 с левой стороны, которые установлены в области 103 перехода, не равны и любая из величин ширины одних полосок была установлена большей ширины других полосок. При такой конфигурации, наблюдатель может предпочтительно и визуально подтвердить любое изображение из изображения 101 спереди и изображения 102 с левой стороны в области 103 перехода, то есть изображение, в котором установлена большая ширина полоски, что делает проще и точнее подтверждение ситуаций, связанных с динамическим перемещением границы пространственного объекта.

Далее рассмотрим фиг. 13 с целью описания примера, в котором пространственный объект показывают в области перехода.

На фиг. 13 показан пример, в котором пространственный объект показывают в двух режимах показа, в момент t1 времени и момент t3 времени, из режимов показа, описанных выше со ссылкой на фиг. 12 и изображающих область перехода в моменты времени с t1 до t4. То есть, показаны примеры, на которых изображены следующие два объединенные изображения.

(а) Объединенное изображение в момент t1 времени.

(б) Объединенное изображение в момент t3 времени.

Показаны примеры, на которых объединенные изображения изображены в различные моменты времени.

Область показа пространственного объекта содержится и в области изображения спереди и в области изображения с левой стороны, которые имеют форму полосок и установлены в области перехода.

В изображении 101 спереди, пространственный объект в рамках изображения спереди изображен в области показа изображения спереди из области перехода, в которой установлена полоска. С другой стороны, также в изображении 102 с левой стороны пространственный объект в рамках изображения с левой стороны изображен в области показа изображения с левой стороны из области перехода, в которой установлена полоска.

Пространственный объект эквивалентен предмету (пространственный объект), который вырезан из описанного выше объединенного изображения с фиг. 9, и исчезает с объединенного изображения.

Как описано выше со ссылкой на фиг. 9, этот пример процесса выполнен таким образом, что оба изображения сверху, подлежащие соединению, можно видеть в области перехода между изображениями сверху без вырезания концов изображений сверху и, таким образом, возможно видеть все предметы, содержащиеся на изображениях сверху.

На фиг. 13 показаны соответственно режимы показа объединенных изображений в два разных момента времени.

(а) Объединенное изображение в момент t1 времени.

(б) Объединенное изображение в момент t3 времени.

Показаны объединенные изображения в моменты времени. Изображения, показанные в области перехода объединенного изображения в эти моменты времени, отличаются друг от друга. То есть, область показа изображения спереди отличается от области показа изображения с левой стороны и области показа пространственного объекта в соответствующих изображениях отличаются друг от друга с течением времени.

Внимание наблюдателя (водителя) склонно направляться к области изображения, где изменяется отображаемая информация, а не к статичной области, где нет изменений. Соответственно, глаза наблюдателя (водителя) склонны направляться к области перехода, где показываемая информация динамически изменяется, и, таким образом, возможно увеличить вероятность подтверждения, а не пропуска пространственного объекта, показываемого в области перехода.

3. Относительно последовательности управления показом в области перехода изображения

Далее будет приведено описание последовательности процесса управления показом области перехода, которая описана выше со ссылками на фиг. 11-13.

Описанная ниже последовательность процесса является последовательностью процесса управления показом, содержащая установку области перехода изображения, в которой два изображения сверху располагают с чередованием в области в форме полоски, и содержащая осуществление управления показом по последовательному с течением времени перемещению областей полосок изображений, расположенных в области перехода изображения.

Сначала опишем параметры, используемые в процессе управления показом, со ссылками на фиг. 14-16.

Список параметров показан на фиг. 14. На фиг. 15 и 16 показаны примеры структуры области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны и установка параметров.

Как изображение 101 спереди, так и изображение 102 с левой стороны, показанные на фиг. 15 и 16, являются изображениями сверху, для которых в качестве процесса корректировки осуществлено преобразование до изображения сверху.

Как показано на фиг. 14, в процессе управления показом области 103 перехода используются следующие параметры.

i: идентификатор полоски, идентификатор полоски любого изображения (в этом примере изображения [f] спереди) области перехода, но идентификатор первой полоски i=0.

j: идентификатор линии пикселов, формирующих изображение, идентификатор линии для каждой позиции начала полоски любого изображения (в этом примере изображения [f] спереди) области перехода, но идентификатор линии позиции начала каждой полоски j=0.

ZN: значение, характеризующее количество полосок, максимальное значение идентификатора (i) полоски, которое можно установить в области перехода изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

Wf: значение, характеризующее ширину полоски, максимальное значение идентификатора (j) линии, которое эквивалентно ширине одной полоски изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

Ws: значение, характеризующее ширину полоски, количество линий, эквивалентное ширине полоски другого изображения (в этом примере изображения [s] с левой стороны) относительно изображения (в этом примере изображения [f] спереди), в котором не установлен идентификатор i полоски.

Wf+Ws: значение, характеризующее интервал чередующихся показываемых полосок в области перехода, количество линий, которое эквивалентно интервалу полосок изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

SW: значение, характеризующее ширину сдвига полоски, количество линий сдвига полоски на один кадр изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

f: идентификатор показываемого кадра.

Управление показом области 103 перехода выполняют с использованием этих параметров.

Как показано на фиг. 15, идентификатор i полоски является идентификатором полоски любого изображения (в этом примере изображения [f] спереди) области перехода. Например, в порядке сверху вниз установлены идентификаторы i, i+1 и i+2. При этом идентификатор i полоски установлен равным 0, 1, 2, 3, …, идентификатор первой полоски равен 0.

Как показано на фиг. 16, идентификатор j линии является идентификатором, указывающим количество линий от позиции начала каждой полоски любого изображения (в этом примере изображения [f] спереди) области перехода. Тем не менее, идентификатор линии положения начала каждой полоски установлен следующим образом j=0.

При этом, как описано выше, предпочтительно, чтобы была предусмотрена такая конфигурации, в которой ширина полоски изображения 101 спереди и ширина полоски изображения 102 с левой стороны, которые установлены в области 103 перехода, не равны и в которой любая из величин ширины одних полосок, которые более эффективны при показе водителю, была установлена большей ширины других полосок.

В примере, показанном на фиг. 16, ширину полоски изображения 101 спереди устанавливают равной трем линиям, а ширину полоски (= ширина между полосками изображения спереди) изображения 102 с левой стороны устанавливают равной пяти линиям. При такой конфигурации, наблюдатель предпочтительно может подтвердить изображение 102 с левой стороны, для которого установлена большая ширина полоски в области 103 перехода, и таким образом, легче подтвердит пространственный объект.

Значение ZN, характеризующее количество полосок, является максимальным значением идентификатора (i) полоски, которое можно установить в области перехода изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

В примере, показанном на фиг. 15, справедливо соотношение ZN=4.

Значение Wf, характеризующее ширину полоски, является максимальным значением идентификатора (j) линии, которое эквивалентно ширине одной полоски изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

В примере, показанном на фиг. 16, изображена конфигурация, в которой может быть установлена полоска с такой шириной, когда идентификатор j линии равен от 0 до 2, и справедливо соотношение Wf=2.

Значение Ws, характеризующее ширину полоски, является значением, характеризующим ширину полоски и равно количеству линий, эквивалентному ширине полоски другого изображения (в этом примере изображения [s] с левой стороны) относительно изображения (в этом примере изображения [f] спереди), в котором не установлен идентификатор i полоски.

В примере, показанном на фиг. 16, справедливо соотношение Ws=5.

Значение Wf+Ws, характеризующее интервал чередующихся показываемых полосок, является значением, характеризующим интервал чередующихся показываемых полосок в области перехода, и является количеством линий, которое эквивалентно интервалу полосок изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

В примере, показанном на фиг. 16, справедливо соотношение Wf+Ws=7.

Значение SW, характеризующее ширину сдвига полоски, является количеством линий сдвига полоски на один кадр изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

В примере, показанном на фиг. 16, справедливо соотношение SW=2.

Идентификатор f показываемого кадра является идентификатором, указывающим номер показываемого кадра.

Как показано на фиг. 16, процесс сдвига полоски области перехода выполняют последовательно для блоков из одного кадра в следующем порядке: кадр f, кадр f+1, кадр f+2 и кадр f+3. Полоску перемещают в любом направлении, выбранном из направления вверх и направления вниз.

При этом, в этом примере, процесс сдвига осуществляют для блоков, состоящих из одного кадра, однако изобретение не ограничено этим вариантом. Например, процесс может быть установлен так, чтобы выполняться для блоков, состоящих из десяти кадров. При такой конфигурации, скорость перемещения полоски будет меньше.

Управление показом области 103 перехода выполняют с использованием этих параметров.

Далее со ссылками блок-схему, показанную на фиг. 17, будет описана конкретная последовательность управления показом с использованием этих параметров.

Порядок операций, показанный на фиг. 17, является порядком, иллюстрирующим последовательность процесса управления показом для отдельной области объединенного изображения, выработанного из нескольких изображений сверху.

Более конкретно, например, последовательность процесса управления показом эквивалентна последовательности управления процессом показа области 103 перехода, показанной на фиг. 15, и области изображения 102 с левой стороны, расположенной ниже области перехода. При этом управление показом для других областей также выполняют в соответствии с той же последовательностью.

Например, порядок, показанный на фиг. 17, выполняют под управлением блока обработки данных (блок управления), который осуществляет управление показом в блоке показа, который установлен в автомобиле.

Например, блок обработки данных (блок управления) содержит ЦП, осуществляющий функцию выполнения программы, и управляет процессом на основе программы, в которой записана последовательность операций обработки в соответствии с порядком, показанном на фиг. 17. Упомянутую программу хранят в памяти, на носителе информации или на подобном элементе, который является блоком хранения, доступным для блока обработки данных (блока управления). В качестве альтернативы, может быть предусмотрена такая конфигурация, в которой программу получают из внешнего сервера или подобного устройства с помощью блока связи.

Здесь и далее будут последовательно описаны процессы с этапов блок-схемы, показанной на фиг. 17.

При этом начальную установку следующих параметров осуществляют в качестве процесса до начала последовательности операций.

идентификатор полоски i=0.

идентификатор линии j=0.

После осуществления начальной установки этих параметров, выполняют процесс этапа S101 и последующие процессы.

Этап S101.

Сначала на этапе S101, j-ую линию изображения спереди выводят в качестве линии, содержащейся в области перехода объединенного изображения.

Например, процесс этапа S101 эквивалентен процессу выработки области полоски, содержащейся в изображении 101 спереди, которое показано на фиг. 15 и 16.

При этом, как описано выше, начальная установка такова: j=0. В начале выводят 0-ую линию изображения спереди. Например, это эквивалентно процессу вывода линии с j=0, которая является самой верхней линией изображения 101 спереди в кадре f, показанном на фиг. 16. То есть, процесс эквивалентен процессу получения самой верхней линии (идентификатор линии: j=0) первой полоски (идентификатор полоски: i=0) из изображения 101 спереди и выводу этой самой верхней линии.

Этап S102.

Далее, на этапе S102 выполняют процесс сравнения идентификатора j линии со значением Wf, характеризующим ширину полоски. Как описано выше, значение Wf, характеризующее ширину полоски, является максимальным значением идентификатора (j) линии, которое эквивалентно ширине одной полоски изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски. Например, в примере, показанном на фиг. 16, справедливо соотношение Wf=2.

На этапе S102 определяют, верно ли, что идентификатор j линии больше или равен значения Wf, характеризующего ширину полоски. То есть, определяют, верно ли выражение «j больше или равно Wf».

Это утверждение является процессом определения, достигает ли количество линий изображения спереди, которое выводят на этапе S101, то есть количество линий, образующих полоску изображения 101 спереди, значения Wf, характеризующего ширину полоски.

Например, когда j=2 в случае Wf=2, результат определения с этапа S102 равен Да и, таким образом, процесс переходит на этап S104.

В случае, когда j=0 или j=1 результат определения с этапа S102 равен Нет и, таким образом, процесс переходит на этап S103.

На первой стадии, так как справедливо соотношение j=0, результат определения с этапа S102 равен Нет и, таким образом, процесс переходит на этап S103.

Этап S103.

На этапе S103 выполняют процесс обновления идентификатора j линии. То есть, значение j увеличивают на единицу в соответствии с выражением обновления j=j+1.

На первой стадии, так как справедливо соотношение j=0, в процессе обновления устанавливается соотношение j=1.

После обновления параметра на этапе S103, на этапе S101 выполняют процесс, соответствующий обновленному идентификатору j линии.

То есть, когда верно соотношение j=1, первую линию изображения спереди выводят в качестве линии, содержащейся в области перехода объединенного изображения.

Цикл от этапа S101 до этапа S103 повторяется до тех пор, пока не будет верным выражение с этапа S102, то есть верно выражение «j больше или равно Wf». То есть, линию, содержащуюся в изображении 101 спереди, выводят в область 103 перехода до тех пор, пока идентификатор j линии не достигнет значения Wf, характеризующего ширину полоски.

Например, как в примере, показанном на фиг. 16, когда j=2 в случае равного 2 значения Wf, характеризующего ширину полоски, результат определения с этапа S102 равен Да и, таким образом, процесс переходит на этап S104.

Таким образом, завершена одна полоска (например, полоска с i=0) области перехода.

Этап S104.

Далее, на этапе S104 идентификатор j линии увеличивают на единицу. То есть, значение идентификатора j линии обновляют в соответствии с выражением обновления j=j+1.

При этом, сначала, когда идентификатор j линии равен 2 в случае равного 2 значения Wf, характеризующего ширину полоски, результат определения с этапа S102 равен Да и, таким образом, выполняют этап S104. После того, как установилось соотношение, когда идентификатор j линии равен 3, процесс переходит на этап S105.

Этап S105.

Далее, на этапе S105, j-ую линию изображения с левой стороны выводят в качестве линии, содержащейся в области перехода объединенного изображения.

Например, процесс этапа S105 эквивалентен процессу выработки области полоски (= области между полосками изображения 101 спереди), содержащейся в изображении 102 с левой стороны, которое показано на фиг. 15 и 16.

Когда идентификатор j линии равен 3 в случае равного 2 значения Wf, характеризующего ширину полоски, выполняют этап S105. В примере кадра f с фиг. 16, осуществляют процесс вывода данных линии изображения 102 с левой стороны как линии с j=3. То есть, выполняют процесс вывода данных линии изображения 102 с левой стороны как линии, содержащейся в области между полосками изображения 101 спереди.

Этап S106.

Далее, на этапе S106, выполняют процесс сравнения идентификатора j линии со значением, полученным сложением значения Wf, характеризующего ширину полоски, для изображения [f] спереди и значения Ws, характеризующего ширину полоски, для изображения [s] с левой стороны (Wf+Ws: значение, характеризующее интервал чередующихся показываемых полосок).

Как описано выше, значение Wf, характеризующее ширину полоски, является максимальным значением идентификатора (j) линии, которое эквивалентно ширине одной полоски изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски. Например, в примере с фиг. 16, справедливо соотношение Wf=2.

Кроме того, значение Ws, характеризующее ширину полоски, является количеством линий, эквивалентным ширине полоски другого изображения (в этом примере изображения [s] с левой стороны) относительно изображения (в этом примере изображение [f] спереди), в котором не установлен идентификатор i полоски.

При этом, в примере, показанном на фиг. 16, справедливо соотношение Ws=5.

На этапе S106, определяют, является ли идентификатор j линии большим или равным значению, полученному сложением значения Wf, характеризующего ширину полоски, и значения Ws, характеризующего ширину полоски (Wf+Ws: значение, характеризующее интервал чередующихся показываемых полосок). То есть, определяют, верно ли выражение «j больше или равно (Wf+Ws)».

Это выражение представляет процесс определения, достигает ли сумма количества линий, содержащихся в полосках, которые уже выработаны неповторяющимся процессом с этапа S101, и количества линий, содержащихся в полосках, выработанных на этапе S105, суммы значения Wf, характеризующего ширину полоски, и значения Ws, характеризующего ширину полоски (Wf+Ws: значение, характеризующее интервал чередующихся показываемых полосок).

Например, когда j=7 в случае равного 2 значения Wf, характеризующего ширину полоски и соответствующего изображению [f] спереди, и равного 5 значения Ws, характеризующего ширину полоски и соответствующего изображению [s] с левой стороны, результат определения с этапа S106 равен Да и, таким образом, процесс переходит на этап S107.

В случае, когда j равно от 3 до 6, результат определения с этапа S106 равен Нет и, таким образом, процесс возвращается на этап S104.

На первой стадии, так как справедливо соотношение j=3, результат определения с этапа S106 равен Нет и, таким образом, процесс возвращается на этап S104 для выполнения обновления параметра путем увеличения значения j на единицу, то есть j=j+1. Далее дополнительно выполняют процесс с этапа S105.

То есть, когда j равно от 3 до 7, повторно выполняют процесс с этапа S105. Например, этот процесс является процессом вывода изображений изображения 102 с левой стороны из линии с j равным от 3 до 7 кадра f, показанного на фиг. 16. То есть, этот процесс эквивалентен процессу заполнения пространства между полосками изображениями из изображения 102 с левой стороны.

Цикл от этапа S104 до этапа S106 повторяется до тех пор, пока не будет верным выражение с этапа S106, то есть верно выражение «j больше или равно (Wf+Ws)». То есть, например, как показано на фиг. 16, линию, содержащуюся в изображении 102 с левой стороны, выводят в область 103 перехода до тех пор, пока идентификатор j линии не достигнет значения суммы значения Wf, характеризующего ширину полоски, и значения Ws, характеризующего ширину полоски (Wf+Ws: значение, характеризующее интервал чередующихся показываемых полосок).

Например, как в примере, показанном на фиг. 16, когда j=7 в случае равного 2 значения Wf, характеризующего ширину полоски, и равного 5 значения Ws, характеризующего ширину полоски, результат определения с этапа S106 равен Да и, таким образом, процесс переходит на этап S107.

Когда заканчивается повторение цикла с этапов S104-S106, завершают одну область между полосками области перехода.

Этапы S107-S108.

Далее, на этапе S107 выполняют процесс сравнения идентификатора i полоски со значением ZN, характеризующим количество полосок.

Как показано на фиг. 15, идентификатор i полоски является идентификатором полоски любого изображения (в этом примере изображения [f] спереди) области перехода. Например, в порядке сверху вниз установлены идентификаторы i, i+1 и i+2. При этом идентификатор i полоски установлен равным 0, 1, 2, 3,... идентификатор первой полоски равен 0.

Значение ZN, характеризующее количество полосок, является максимальным значением идентификатора (i) полоски, которое можно установить в области перехода изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

В примере, показанном на фиг. 15, справедливо соотношение ZN=4.

На этапе S107 определяют, верно ли, что идентификатор i полоски установлен большим или равным значения ZN, характеризующего количество полосок. То есть, определяют, верно ли выражение «i больше или равно ZN».

Это является процессом определения, достигло ли количество полосок, выработанных на этапах S101-S106, определенного верхнего предела.

Например, в примере, показанном на фиг. 15, значение ZN, характеризующее количество полосок, равно 4, а количество полосок, которые могут быть установлены в области 103 перехода равно пяти. Таким образом, полоски можно устанавливать до тех пор, пока не будет выполнено соотношение идентификатор i полоски равен 4.

То есть, в случае, когда i равно от 0 до 3, результат определения с этапа S107 равен Нет и, таким образом, процесс возвращается на этап S108 для выполнения обновления параметра путем увеличения идентификатора i полоски на единицу и возврата идентификатора j линии к значению, равному 0. Далее повторяют процессы с этапов S101 -S106.

То есть, выполняют следующий процесс вывода пространств между полосками.

В примере, показанном на фиг. 15 и 16, одну область полоски вырабатывают путем вывода трех линий изображения 101 спереди, а область между полосками вырабатывают путем вывода пяти линий изображения 102 с левой стороны.

Этот процесс повторяют определенное количество раз, то есть, до тех пор, пока на этапе S107 не будет верным выражение «i больше или равно ZN».

Этот процесс повторяют, таким образом, завершая, например, конфигурацию, в которой выводят изображение в области 103 перехода, показанное на фиг. 15. То есть, завершают изображение области перехода, которое содержит повторяющуюся конфигурацию, включающую в себя три линии изображений из изображения 101 спереди и пять линий изображений из изображения 102 с левой стороны между полосками.

Этап S109.

Далее, на этапе S109 выполняют процесс последовательного прикрепления линий изображения с левой стороны к непрерывной области из области перехода объединенного изображения.

Например, этот процесс эквивалентен процессу вывода изображения 102 с левой стороны ниже области 103 перехода, показанной на фиг. 15.

Этап S110.

На этапе S110 определяют, закончился ли вывод изображения для одного кадра.

То есть, определяют, завершился ли вывод изображения 102 с левой стороны.

Когда вывод не закончен, процесс возвращается на этап S109 для последовательного вывода линий, содержащихся в изображении 102 с левой стороны.

Когда на этапе S110 определяют, что закончен вывод изображение для одного кадра, процесс переходит на этап S111.

Порядок, показанный на фиг. 17, является порядком, в котором управление показом выполняют для части объединенного изображения, то есть для вывода областей из области 103 перехода, показанной на фиг. 15, и из изображения 102 с левой стороны ниже области перехода.

Также возможно осуществить управление выводом для других областей объединенного изображения в соответствии с той же последовательностью операций путем замены установки «изображение спереди» и «изображение с левой стороны» в порядке, показанном на фиг. 17.

Этап S111.

На этапе S111 обновляют идентификатор f кадра. То есть, идентификатор f кадра увеличивают на единицу в соответствии с выражением обновления f=f+1.

Например, этот процесс эквивалентен процессу осуществления перехода от кадра f к кадру f+1, показанному на фиг. 16.

Этап S112.

На этапе S112 осуществляют процесс сдвига j-ой линии, с которой начинается показ, на заранее заданное количество линий (SW).

Здесь SW является значением, характеризующим ширину сдвига полоски, и является количеством линий сдвига полоски на один кадр изображения (в этом примере изображения [f] спереди), в котором установлен идентификатор i полоски.

В примере, показанном на фиг. 16, справедливо соотношение SW=2.

То есть, выполняют процесс сдвига линии, для которой идентификатор j линии равен 0, на две линии.

Например, в примере, показанном на фиг. 15, позиция с j=0, указывающая позицию первой линии первой полоски изображения 101 спереди, соответствует позиции самой верхней линии изображения 101 спереди в кадре f. Как в установке кадра f+1, осуществляют процесс перемещения позиции с j=0 на две линии в направлении вниз.

В результате этого процесса, сдвигают позицию, в которой находится выводимая полоска, содержащаяся в изображении 101 спереди, то есть, указанная позиция смещается на некоторое количество линий сдвига полоски.

После выполнения этого процесса сдвига, выполняют процесс этапа S101 и последующие процессы.

В результате этого процесса, например, вырабатывают и выводят изображение области перехода, содержащей конфигурацию полосок с установками кадра f+1, показанного на фиг. 15.

Когда на этапе S110 определяют, что завершен вывод изображения кадра f+1, на этапе S111 выполняют процесс сдвига, для которого справедливо соотношение, что количество SW линий сдвига полоски равно 2, и далее выполняют процесс этапа S101 и последующие процессы.

В результате этого процесса, например, вырабатывают и выводят изображение области перехода, содержащей конфигурацию полосок с установками кадра f+2, показанного на фиг. 15.

Аналогично, когда на этапе S110 определяют, что завершен вывод изображения кадра f+2, на этапе S111 выполняют процесс сдвига, в котором справедливо соотношение, что количество SW линий сдвига полоски равно 2, и далее выполняют процесс этапа S101 и последующие процессы.

В результате этого процесса, например, вырабатывают и выводят изображение области перехода, содержащей конфигурацию полосок с установками кадра f+3, показанного на фиг. 15.

В результате этого процесса, последовательно сдвигают полоски в области перехода и с течением времени изменяют и показывают области перехода изображения 101 спереди и изображения 102 с левой стороны.

При этом величина (SW) сдвига на один кадр может быть установлена разной и возможно изменить скорость перемещения полоски различными путями в соответствии с установкой величины (SW) сдвига.

Кроме того, также возможно различным образом установить другие параметры, то есть значение Ws, характеризующее ширину полоски, значение Wf, характеризующее ширину полоски, и значение ZN, характеризующее количество полосок, и изменить шаблон показа полосок в области перехода путем регулировки указанных параметров.

Помимо этого, как описано выше со ссылкой на фиг. 16, в этом примере процесс сдвига осуществляют для блоков, состоящих из одного кадра, однако изобретение не ограничено этим вариантом. Процесс может быть выполнен для блоков, содержащих любое количество кадров, или для блоков, содержащих n кадров. Здесь n является целым числом, большим или равным 1.

В этом случае, процесс определения с этапа S110 может быть установлен следующим: «закончился ли вывод n кадров?» и процесс с этапа S111 может быть установлен как процесс обновления, в котором установлено «f=f+n».

Для увеличения интервала процесса обновления, можно увеличить значение n и n может быть установлено равным от 10 до 20. При такой конфигурации, скорость перемещения полоски будет меньше.

4. Относительно примера процесса подсвечивания конкретного объекта, показываемого в области перехода

Как описано выше, приведенный выше вариант осуществления изобретения выполнен для изменения с течением времени областей показа двух изображений, преобразованных до изображений сверху, в области показа между этими изображениями, преобразованными до изображений сверху.

Таким образом, возможно привлечь внимание водителя, являющегося наблюдателем, путем динамического изменения показываемой информации.

Более того, будет описан пример процесса подсвечивания пространственного объекта, показываемого в области перехода, что делают для более сильного привлечения внимания к пространственному объекту, показываемому в области перехода.

На фиг. 18 приведен пример, в котором пространственный объект показан в области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны.

Пространственный объект показан как пространственный объект 111 с изображения 101 спереди в области полосок, которая является областью показа изображения 101 спереди, и показан как пространственный объект 112 с изображения с левой стороны в области между полосками, которая является областью показа изображения с левой стороны.

Показ пространственных объектов подсвечивают. Более конкретно, подсвечивание осуществляют в режиме привлекающего внимание показа путем показа с мерцанием или путем изменения цвета, яркости и подобного.

При этом степень подсвечивания в области перехода устанавливают любым из следующих способов:

(а) подсвечивание осуществляют равномерно по всей области пространственного объекта.

(б) Степень подсвечивания, осуществляемого для части области пространственного объекта, которая близка к границе изображения соединения, устанавливают большей, и степень подсвечивания устанавливают меньше по мере увеличения расстояния от границы изображения соединения.

Между тем, в процессе обнаружения области пространственного объекта, содержащегося и в изображении 101 спереди и в изображении 102 с левой стороны, вычисляют разность между значениями пикселов изображения 101 спереди и изображения 102 с левой стороны, и определяют область с большей разностью между значениями пикселов как область показа пространственного объекта.

Как описано выше, преобразование до изображения сверху является процессом преобразования, осуществляемым на основе одной контрольной плоскости. В этом случае контрольной плоскостью является земля. Так как удаляют искажение изображения 101 спереди и изображения 102 с левой стороны относительно земли, то предметы, расположенные на той же земле, показывают в позициях соответствующих пикселов соответствующих изображений. Соответственно, значения пикселов позиций соответствующих пикселов соответствующих изображений, по существу, совпадают и между ними вряд ли существует разница.

Тем не менее, так как в пространственном объекте остается искажение, несмотря на выполнение преобразования до изображения сверху, существует высокая вероятность того, что пикселы, которые расположены в соответствующих позициях соответствующих пикселов изображения 101 спереди и изображения 102 с левой стороны, служат как области показа различных предметов, и, таким образом, имеет место разность между значениями пикселов в позициях соответствующих пикселов двух изображений, преобразованных до изображений сверху. Области пикселов, в которых остается такая разность, определяют как области показа пространственного объекта. При этом, сумма абсолютных разностей (SAD) для осуществления вычисления в блоках из нескольких пикселов заранее заданных областей изображений, может быть применена для процесса определения разности между значениями пикселов в позициях соответствующих пикселов двух изображений.

5. Относительно примера, в котором изменяется режим показа в области перехода

В приведенном выше варианте осуществления изобретения описан пример конфигурации, в котором в области перехода между двумя изображениями сверху устанавливали с чередованием области показа с прямоугольными полосками и с течением времени эти области показа с прямоугольными полосками перемещались.

Здесь и далее будет описан вариант осуществления изобретения с другой конфигурацией показа, отличающейся от приведенного выше варианта осуществления изобретения.

5-1. Вариант осуществления изобретения, в котором области показа с изогнутыми полосками устанавливают с чередованием (второй вариант осуществления изобретения)

Со ссылками на фиг. 19 и последующие чертежи в качестве второго варианта осуществления изобретения будет описан вариант осуществления изобретения, в котором области показа с изогнутыми полосками установлены с чередованием.

На фиг. 19 показана часть объединенного изображения, которую показывают в блоке показа, предусмотренном у места водителя автомобиля. То есть, на фиг. 19 показаны окрестности области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны, которые являются изображениями, содержащимися в объединенном изображении.

При этом, как изображение 101 спереди, так и изображение 102 с левой стороны, показанные на фиг. 19, являются изображениями после осуществления для них процесса преобразования до изображения сверху.

То есть, изображение 101 спереди является изображением, полученным при осуществлении преобразования до изображения сверху для изображения, зафиксированного передней камерой (эквивалентной камере F, показанной на фиг. 1), установленной спереди автомобиля.

Изображение 102 с левой стороны является изображением, полученным при осуществлении преобразования до изображения сверху для изображения, зафиксированного камерой левой стороны (эквивалентной камере L, показанной на фиг. 1), установленной на левой стороне автомобиля.

Этот вариант осуществления изобретения выполнен так, что области показа изображения 101 спереди и изображения 102 с левой стороны чередуются в блоках областей показа с изогнутыми полосками в области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны. Более того, эти позиции полосок последовательно перемещают с течением времени.

То есть, области показа изображения 101 спереди и изображения 102 с левой стороны в области 103 перехода установлены так, чтобы изменяться с течением времени.

Процесс динамического изменения областей показа будет описан ниже со ссылками на фиг. 20.

На фиг. 20 показано изменение с течением времени области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны. Время изменяется в приведенном порядке t1, t2 и t3 и на фиг. показаны состояния изменений в области перехода в соответствующие моменты времени.

Область полосок изображения 101 спереди последовательно перемещают наклонно в направлении вверх-влево с течением времени (t1->t2->t3). При этом в момент t4 времени, позиция полосок в момент t3 времени и последующие моменты времени совпадает с позицией полосок в момент t1 времени. Далее, таким образом t5 и t6 установлены соответственно как t2 и t3 и повторяется то же перемещение полоски.

В примере, показанном на фиг. 20, области показа изображения 101 спереди и изображения 102 с левой стороны установлены с чередованием в блоках из изогнутых полосок в области 103 перехода. Тем не менее, области показа последовательно изменяются с течением времени.

В один период показа с момента t1 времени до момента t4 времени, период показа изображения 101 спереди и период показа изображения 102 с левой стороны устанавливают с чередованием во всей области 103 перехода, и наблюдатель может подтвердить два изображения, и изображение 101 спереди и изображение 102 с левой стороны, во всей области 103 перехода.

Соответственно, аналогично приведенному выше варианту осуществления изобретения, в котором установлены области с прямоугольными полосками, в этом примере также решена проблема, описанная выше со ссылкой на фиг. 9 и 10 и заключающаяся в том, что пространственный объект исчезает с объединенного изображения.

То есть, также в этом варианте осуществления изобретения, так как вся область 103 перехода установлена как область, в которой могут быть подтверждены два изображения, и изображение 101 спереди и изображение 102 с левой стороны, область показа пространственного объекта не может быть подтверждена без ее вырезания.

Далее, также в этом варианте осуществления изобретения, область перехода служит как изменяющаяся со временем область показа и, таким образом, служит как область, привлекающая внимание наблюдателя. То есть, область перехода служит в качестве области, которая дополнительно привлекает внимание, то есть, в качестве области, привлекающей внимание, по сравнению с другими областями (статичные области) объединенного изображения. Наблюдатель (водитель) легко подтвердит пространственный объект в области перехода благодаря установке такой привлекающей внимание области.

При этом предпочтительно, чтобы была предусмотрена такая конфигурации, в которой ширина изогнутой полоски изображения 101 спереди и ширина изогнутой полоски изображения 102 с левой стороны (= интервал между изогнутыми полосками изображения 101 спереди), которые установлены в области 103 перехода, не равны и любая из величин ширины одних полосок была установлена больше ширины других полосок. При такой конфигурации, наблюдатель может предпочтительно и визуально подтвердить любое изображение из изображения 101 спереди и изображения 102 с левой стороны в области 103 перехода, то есть изображение, в котором установлена большая ширина полоски, что делает проще подтверждение пространственного объекта.

На фиг. 21 показан пример, в котором фактически показывают пространственный объект в соответствии с вариантом осуществления настоящего изобретения. На фиг. 21 показаны изменения с течением времени отображаемой информации области перехода. Позиция полоски в форме лопасти постепенно перемещается. В области перехода можно видеть пространственный объект.

Пространственный объект 151 в изображении спереди, который показан на чертеже, является пространственным объектом, показываемым в области показа изображения спереди.

Пространственный объект 152 в изображении с левой стороны является пространственным объектом, показываемым в области показа изображения с левой стороны.

Пространственные объекты являются предметами (пространственные объекты), содержащимися в области изображения, которую вырезают в описанном выше процессе с фиг. 9.

Этот пример процесса выполнен таким образом, что оба соединяемые изображения сверху можно видеть в области перехода между изображениями сверху без вырезания концов изображений сверху и, таким образом, возможно видеть все предметы, содержащиеся на изображениях сверху.

Также в этом варианте осуществления изобретения возможно осуществить процесс подсвечивания пространственного объекта, показываемого в области перехода, что делают для дополнительного привлечения внимания к пространственному объекту, показываемому в области перехода.

На фиг. 22 приведен пример, в котором пространственный объект показан в области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны.

Пространственный объект показан как пространственный объект 111 с изображения 101 спереди в области полосок, которая является областью показа изображения 101 спереди, и показан как пространственный объект 112 с изображения с левой стороны в области между полосками, которая является областью показа изображения с левой стороны.

Показ пространственных объектов подсвечивают. Более конкретно, подсвечивание осуществляют в режиме привлекающего внимание показа путем показа с мерцанием или путем изменения цвета, яркости и подобного.

Между тем, в процессе обнаружения области пространственного объекта, содержащегося и в изображении 101 спереди и в изображении 102 с левой стороны, возможно вычислить разность между значениями пикселов изображения 101 спереди и изображения 102 с левой стороны, как описано выше со ссылкой на фиг. 18, и определить область с большей разностью между значениями пикселов как область показа пространственного объекта.

Более конкретно, возможно применить сумму абсолютных разностей (SAD) для осуществления вычисления для блоков множества пикселов заранее заданных областей изображений.

Возможно дополнительно сильно привлечь внимание водителя, как наблюдателя, путем такого совместного процесса показа пространственного объекта.

5-2. Вариант осуществления изобретения, в котором перемещается граница изображения области перехода (третий вариант осуществления изобретения)

Далее со ссылками на фиг. 23 и последующие чертежи в качестве третьего варианта осуществления изобретения будет описан вариант осуществления изобретения, в котором перемещают границу изображения области перехода.

На фиг. 23 показана часть объединенного изображения, которую показывают в блоке показа, предусмотренном у места водителя автомобиля. То есть, на фиг. 23 показаны окрестности области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны, которые являются изображениями, содержащимися в объединенном изображении.

При этом, как изображение 101 спереди, так и изображение 102 с левой стороны, показанные на фиг. 23, являются изображениями после осуществления для них процесса преобразования до изображения сверху.

То есть, изображение 101 спереди является изображением, полученным при осуществлении преобразования до изображения сверху для изображения, зафиксированного передней камерой (эквивалентной камере F, показанной на фиг. 1), установленной спереди автомобиля.

Изображение 102 с левой стороны является изображением, полученным при осуществлении преобразования до изображения сверху для изображения, зафиксированного камерой левой стороны (эквивалентной камере L, показанной на фиг. 1), установленной на левой стороне автомобиля.

Этот вариант осуществления изобретения выполнен так, что области показа изображения 101 спереди и изображения 102 с левой стороны разделены одной границей 161 изображений в области 103 показа между изображением 101 спереди и изображением 102 с левой стороны. Граница 161 изображений перемещается с течением времени.

Пример процесса перемещения границы 161 изображений будет описан ниже со ссылкой на фиг. 24.

На фиг. 24 показано перемещение с течением времени границы 161 изображений между изображением 101 спереди и изображением 102 с левой стороны, которая установлена в области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны. Время изменяется в приведенном порядке t1, t2 и t3 и показаны состояния изменений позиции границы 161 изображений в области перехода в соответствующие моменты времени.

Сначала границу 161 изображений поворачивают по часовой стрелке с центром в нижнем левом конце области 103 перехода.

В момент t1 времени всю область 103 перехода устанавливают как область показа изображения 101 спереди. Здесь и далее, границу 161 изображений поворачивают по часовой стрелке с момента t1 времени до момента t4 времени и область показа изображения 101 спереди в области 103 перехода последовательно переключают на область показа изображения 102 с левой стороны с нижней левой стороны области показа.

В момент t4 времени всю область 103 перехода устанавливают как область показа изображения 102 с левой стороны. Далее границу 161 изображений поворачивают против часовой стрелки с момента t4 времени до момента t7 времени и область показа изображения 102 с левой стороны в области 103 перехода последовательно переключают на область показа изображения 101 спереди с верхней правой стороны области показа.

Аналогично моменту t1 времени, в момент t7 времени всю область 103 перехода устанавливают как область показа изображения 101 спереди.

Далее, аналогично, граница 161 изображений повторяет то же перемещение, то есть, поворот направо и поворот налево. То есть, граница изображений перемещается возвратно-поступательно аналогично щетке стеклоочистителя лобового стекла автомобиля.

Таким образом, объединенное изображение этого варианта осуществления изобретения содержит область перехода, которая так установлена, что позиция границы повторяет поворот направо и поворот налево с центром в заранее заданной точке.

При этом предпочтительно, чтобы была предусмотрена такая конфигурация, в которой скорость поворота направо не совпадает со скоростью поворота налево и скорость поворота в любом одном направлении установлена меньшей скорости поворота в другом направлении. Скорости поворота установлены отличными друг от друга, например, с отношением 1 к 2 или более.

При такой конфигурации наблюдатель может предпочтительно наблюдать изображение в случае медленного поворота и, таким образом, в этот момент времени легко подтвердить все изображение пространственного объекта.

В один период показа с момента t1 времени до момента t7 времени, устанавливают периоды показа изображения 101 спереди и изображения 102 с левой стороны во всей области 103 перехода, и наблюдатель может подтвердить два изображения, и изображение 101 спереди и изображение 102 с левой стороны, во всей области 103 перехода.

Соответственно, аналогично приведенному выше примеру, в котором установлены области с прямоугольными полосками, в этом варианте осуществления изобретения также решена проблема, описанная выше со ссылкой на фиг. 9 и 10 и заключающаяся в том, что пространственный объект исчезает с объединенного изображения.

То есть, также в этом варианте осуществления изобретения, так как вся область 103 перехода установлена как область, в которой могут быть подтверждены два изображения, и изображение 101 спереди и изображение 102 с левой стороны, область показа пространственного объекта не может быть подтверждена без ее вырезания.

На фиг. 25 показан пример, в котором фактически показывают пространственный объект в соответствии с вариантом осуществления настоящего изобретения. На фиг. 25 показаны изменения с течением времени отображаемой информации области перехода. Граница 161 изображений постепенно перемещается. В области перехода можно видеть пространственный объект.

Пространственный объект 172 в изображении с левой стороны, который показан на чертеже, является пространственным объектом, показываемым в области показа изображения с левой стороны. Пространственный объект 171 в изображении спереди является пространственным объектом, показываемым в области показа изображения спереди.

Пространственные объекты являются предметами (пространственные объекты), содержащимися в области изображения, которую вырезают в описанном выше процессе с фиг. 9.

Этот пример процесса выполнен таким образом, что оба соединяемые изображения сверху можно видеть в области перехода между изображениями сверху без вырезания концов изображений сверху и, таким образом, возможно видеть все предметы, содержащиеся на изображениях сверху.

Далее, также в этом варианте осуществления изобретения, область перехода служит как изменяющаяся со временем область показа и, таким образом, служит как область, привлекающая внимание наблюдателя. То есть, область перехода служит в качестве области, которая дополнительно привлекает внимание, то есть, в качестве области, привлекающей внимание, по сравнению с другими областями (статичные области) объединенного изображения. Наблюдатель (водитель) легко подтвердит пространственный объект в области перехода благодаря установке такой привлекающей внимание области.

Также в этом варианте осуществления изобретения возможно осуществить процесс подсвечивания пространственного объекта, показываемого в области перехода, что делают для дополнительного привлечения внимания к пространственному объекту, показываемому в области перехода.

На фиг. 26 приведен пример, в котором пространственный объект показан в области 103 перехода между изображением 101 спереди и изображением 102 с левой стороны.

Пространственный объект показан как пространственный объект 171 с изображения 101 спереди в области показа изображения 101 спереди, и показан как пространственный объект 172 с изображения с левой стороны в области между полосками, которая является областью показа изображения с левой стороны.

Показ пространственных объектов подсвечивают. Более конкретно, подсвечивание осуществляют в режиме привлекающего внимание показа путем показа с мерцанием или путем изменения цвета, яркости и подобного.

Между тем, в процессе обнаружения области пространственного объекта, содержащегося и в изображении 101 спереди и в изображении 102 с левой стороны, возможно вычислить разность между значениями пикселов изображения 101 спереди и изображения 102 с левой стороны, как описано выше со ссылкой на фиг. 18, и определить область с большей разностью между значениями пикселов как область показа пространственного объекта.

Более конкретно, возможно применить сумму абсолютных разностей (SAD) для осуществления вычисления для блоков множества пикселов заранее заданных областей изображений.

Возможно дополнительно сильно привлечь внимание водителя, как наблюдателя, путем такого совместного процесса показа пространственного объекта.

6. Относительно дополнительной информации, используемой при выработке объединенного изображения

Во всех приведенных выше вариантах осуществления изобретения описан процесс выработки одного объединенного изображения путем объединения изображений, зафиксированных несколькими камерами, установленными в различных позициях.

Когда выработано объединенное изображение, необходимо точно осуществить определение позиций изображений, зафиксированных камерами.

Для определения позиций, позиции, где несколько камер, фиксирующих изображения, способны осуществить фиксацию изображений, освещают с помощью конкретного шаблона и далее камеры осуществляют фиксацию изображений. Возможно выработать объединенное изображение с небольшим отклонением позиции путем выполнения определения позиции с использованием шаблонов освещения, содержащихся в изображениях, зафиксированных соответствующими камерами.

Конкретный пример конфигурации для выполнения этого процесса будет описан со ссылками на фиг. 27.

Блок 180 лазерного освещения калибровочным эталонным шаблоном, показанный на фиг. 27, освещает землю калибровочным эталонным шаблоном 181 с определенным шаблоном изображения, как показано на чертеже.

Освещение калибровочным эталонным шаблоном 181 осуществляют в позиции, где камера F21, расположенная спереди автомобиля 10, и камера L22, расположенная слева автомобиля 10, способны фиксировать изображения.

Как показано на чертеже, калибровочный эталонный шаблон 181 обладает конкретным шаблоном, таким как, например, крестообразный шаблон и сетчатый шаблон.

При этом блок 180 лазерного освещения калибровочным эталонным шаблоном содержит, например, источник света, являющийся твердотельным лазером, и голографический фильтр, вырабатывающий шаблон.

Калибровочный эталонный шаблон 181 фиксируют на изображениях, зафиксированных камерой F21, расположенной спереди автомобиля 10, и камерой L22, расположенной слева автомобиля 10.

Когда осуществляют процесс объединения изображения сверху, выработанного из изображения, зафиксированного камерой F21, и изображения сверху, выработанного из изображения, зафиксированного камерой L22, используют изображения шаблонов освещения, содержащиеся на соответствующих зафиксированных изображениях.

То есть, во время выработки объединенного изображения, описанного в приведенных выше вариантах осуществления изобретения и содержащего область перехода, выполняют определение позиции, чтобы установить изображения шаблонов освещения в ту же позицию на объединенном изображении. Таким образом, возможно легко выработать объединенное изображение с небольшим позиционным отклонением.

При этом, например, блок 180 лазерного освещения калибровочным эталонным шаблоном, показанный на фиг. 27, может быть выполнен для осуществления освещения с помощью калибровочного эталонного шаблона в соответствии с моментами времени кадров фиксации изображений, в которые камеры фиксируют изображения, что отличается от непрерывного освещения лазером. Несколько камер осуществляют фиксацию изображений с учетом моментов времени освещения калибровочным эталонным шаблоном. Блок обработки изображений обнаруживает калибровочный эталонный шаблон по разности между несколькими непрерывными кадрами зафиксированных изображений и выполняет процесс объединения изображений, при котором области, освещенные калибровочным эталонным шаблоном, применяют при определении позиции изображений во время выработки объединенного изображения.

Кроме того, устройство обработки изображений может быть выполнено для осуществления калибровки, как процесса регулировки камеры, в время которого применяют зафиксированное изображение, содержащее калибровочный эталонный шаблон, что делают с фиксированными интервалами или во время выработки объединенного изображения

7. Относительно примера структуры аппаратного обеспечения устройства обработки изображений

Далее, будет описан пример структуры аппаратного обеспечения устройство обработки изображений, выполняющего процесс показа изображения в соответствии с описанными выше вариантами осуществления изобретения.

На фиг. 28 показан пример структуры всего устройства обработки изображений, содержащего блок 201 обработки изображений, в котором выполняют процесс показа изображения в соответствии с приведенными выше вариантами осуществления изобретения, и несколько камер, которые фиксируют изображения, которые будут обработаны.

Камера F 202F эквивалентна камере F21, показанной на фиг. 1 и расположенной спереди автомобиля 10.

Камера L 202L эквивалентна камере L22, показанной на фиг. 1 и расположенной на левой стороне автомобиля 10.

Камера R 202R эквивалентна камере R23, показанной на фиг. 1 и расположенной на правой стороне автомобиля 10.

Камера В 202В эквивалентна камере В24, показанной на фиг. 1 и расположенной сзади автомобиля 10.

Каждая камера, которая является камерой с широкоугольным объективом, таким как, например, объектив типа «рыбий глаз», выполняет фиксацию движущегося изображения с заранее заданной частотой смены кадров и выводит зафиксированное движущееся изображение на блок 201 обработки изображений.

В блоке 201 обработки изображений получает изображения, зафиксированные камерами F 202F - В 202В, вырабатывают объединенное изображение для показа в блоке 205 показа и выводят выработанное объединенное изображение. Выработанное объединенное изображение является изображением сверху, которое можно видеть сверху по центру автомобиля, на котором установлены, например, камеры F 202F - В 202В.

В блоке 201 обработки изображений вырабатывают четыре изображения сверху путем осуществления преобразования до изображения сверху для соответствующих изображений, зафиксированных камерами F 202F - В 202В, и вырабатывают объединенное изображение, содержащее область перехода в соответствии с любым шаблоном из описанных выше вариантов осуществления изобретения, и выводят выработанное изображение в блок 205 показа.

Блок 203 ввода используют для ввода пользователем различных частей информации по настройке. Более конкретно, блок ввода используют для ввода различных элементов, таких как, например, переключение изображения, показываемого в блоке 205 показа, и настройка режима показа.

В блоке 201 обработки изображений осуществляют переключение и управление показываемой информацией в блоке 205 показа в соответствии с вводом информации из блока 203 ввода.

В блоке 204 получения информации о состоянии автомобиля получают информацию о состоянии автомобиля, более конкретно, такую информацию, как, например, направление, угол, наклон и высота автомобиля. Корпус автомобиля наклонен, например, на холме и направления фиксации изображений соответствующих камер также установлены отличными от вертикального направления в соответствии с наклоном корпуса автомобиля. Такую информацию применяют при корректировке изображений, зафиксированных камерами, и, таким образом, такая информация является входом для блока 201 обработки изображений.

В блоке 211 лазерного освещения калибровочным эталонным шаблоном осуществляют освещение лазером, описанное выше со ссылками на фиг. 27.

В блоке 210 управления управляют выполнением процесса для каждого компонента и управляют вводом и выводом данных между компонентами.

При этом блок 210 управления содержит процессор, обладающий функцией выполнения программы, и в блоке 210 управления управляют процессом в соответствии с программой, хранящейся в памяти, не показанной на чертеже.

Далее со ссылками на фиг. 29 будет подробно описана структура блока 201 обработки изображений и процесс, выполняемый блоком обработки изображений.

Как показано на фиг. 29, четыре изображения, зафиксированные камерами, установленными в четырех различных позициях автомобиля, подают на вход блока 201 обработки изображений. То есть, входом являются входное изображение F 210F, которое является изображением, зафиксированным камерой F 202F, расположенной спереди автомобиля, входное изображение L 210L, которое является изображением, зафиксированным камерой L 202L, расположенной с левой стороны автомобиля, входное изображение R 210R, которое является изображением, зафиксированным камерой R 202R, расположенной с правой стороны автомобиля, и входное изображение В 210В, которое является изображением, зафиксированным камерой В 202В, расположенной сзади автомобиля.

При этом изображения являются движущимися изображениями, зафиксированными с использованием широкоугольного объектива, такого как объектив типа «рыбий глаз».

Блок 201 обработки изображений содержит блоки F 220F - В 220В выработки скорректированных изображений, в которых корректируют соответствующие входные изображения и вырабатывают изображения сверху для соответствующих изображений.

Блоки F 220F - В 220В выработки скорректированных изображений обладают одинаковой структурой и осуществляют одинаковый процесс. На чертеже показана структура блока F 220F выработки скорректированных изображений, который осуществляет некоторый процесс для входного изображения F 210F, которое является изображением, зафиксированным камерой F 202F, установленной спереди автомобиля, и опущены внутренние структуры других блоков L 220L - В 220В выработки скорректированных изображений.

Ниже будет описаны соответственно структура блока F 220F выработки скорректированных изображений и осуществляемый в нем процесс. В блоке F 220F выработки скорректированных изображений осуществляют некоторый процесс для входного изображения F 210F, которое является изображением, зафиксированным камерой F 202F, установленной спереди автомобиля.

В блоке 221 вычисления параметра корректировки вычисляют параметр, применяемый при выработке изображения сверху из входного изображения F 210F, которое является изображением, зафиксированным камерой, содержащей широкоугольный объектив.

При этом параметром может быть внутренний параметр камеры и внешний параметр камеры.

Внутренний параметр камеры представляет собой конкретную информацию, такую как фокусное расстояние объектива камеры, характеристика искажений объектива и ошибка позиции установки объектива, которую определяют независимо от состояния автомобиля.

Внешний параметр камеры представляет собой конкретную информацию, позволяющую сделать предположение о колебании позиции установки и направления камеры, колебании высоты автомобиля относительно поверхности дороги и колебании в зависимости от ситуаций вождения.

Для осуществления преобразования до изображения сверху с использованием земли в качестве контрольной плоскости для изображения, зафиксированного с использованием широкоугольного объектива, необходимо скорректировать искажение изображения, полученного при фиксации окрестностей автомобиля с использованием камеры, и необходимо осуществить процесс корректировки изображения при выработке изображения, видимого сверху автомобиля, что является предполагаемой точкой обзора.

В блоке 221 вычисления параметра корректировки вычисляют параметр, нужный для корректировки изображения.

В блоке 222 корректировки изображений вырабатывают изображение сверху путем осуществления процесса корректировки изображения, для которого применяют параметр, вычисленный в блоке 221 вычисления параметра корректировки. При этом, процесс корректировки изображения, осуществляемый в блоке 222 корректировки изображений, включает в себя процесс корректировки искажения, направленный на удаление искажения, содержащегося во входном изображении F 210F, процесс масштабирования, который является процессом увеличения и уменьшения изображения, и преобразования до изображения сверху, сопровождаемый корректировкой точки обзора, в ходе которой осуществляют преобразование изображения, видимого сверху автомобиля, что является предполагаемой точкой обзора.

При этом, информация, поступающая от блока 203 входа, и информация о состоянии автомобиля, поступающая от блока 204 получения информации о состоянии автомобиля, являются входом для блока 221 вычисления параметра корректировки и блока 222 корректировки изображений. Кроме того, при необходимости осуществляют вычисление параметра и корректировку изображения, при этом учитывают упомянутые части входной информации.

В блоке 222 корректировки изображений блока F 220F выработки скорректированных изображений подают на блок 251 объединения изображений выработанное изображение сверху, то есть изображение сверху области спереди автомобиля, которое вырабатывают на основе входного изображения F 210F, как изображения, зафиксированного камерой F 202F спереди автомобиля.

Кроме того, в блоке L 220L выработки скорректированных изображений вырабатывают изображение сверху для области с левой стороны автомобиля, что делают на основе входного изображения L 210L, которое является изображением, зафиксированным камерой L 202L с левой стороны автомобиля, и подают выработанное изображение в блок 251 объединения изображений.

Кроме того, в блоке R 220R выработки скорректированных изображений вырабатывают изображение сверху для области с правой стороны автомобиля, что делают на основе входного изображения R 210R, которое является изображением, зафиксированным камерой R 202R с правой стороны автомобиля, и подают выработанное изображение в блок 251 объединения изображений.

Далее, в блоке В 220В выработки скорректированных изображений вырабатывают изображение сверху для области сзади автомобиля, что делают на основе входного изображения В 210В, которое является изображением, зафиксированным камерой В 202В сзади автомобиля, и подают выработанное изображение в блок 251 объединения изображений.

В блоке 251 объединения изображений получают четыре изображения сверху с целью выработки объединенного изображения для показа в блоке 205 показа и выводят выработанное изображение в блок 205 показа.

Как описано выше в вариантах осуществления изобретения, в блоке 251 объединения изображений вырабатывают объединенное изображение, выполненное таким образом, что область перехода между изображениями сверху содержит область границы, в которой с течением времени изображение для показа изменяют и перемещают, и выводят выработанное изображение в блок 205 показа.

Более конкретно, например, в блоке объединения изображений вырабатывают любое объединенное изображение, содержащее область перехода, из следующих объединенных изображений:

(а) объединенное изображение, которое содержит область с прямоугольными полосками, описанную выше со ссылками на фиг. 12, и подобную, и которое содержит область перехода, выполненную таким образом, что область с прямоугольными полосками перемещают с течением времени,

(б) объединенное изображение, которое содержит область с изогнутыми полосками, описанную выше со ссылками на фиг. 20, и подобную, и которое содержит область перехода, выполненную таким образом, что область с изогнутыми полосками перемещают с течением времени, и

(в) объединенное изображение, которое содержит область перехода, выполненную так, что для области границы изображения, описанной выше со ссылкой на фиг. 24, и подобной, с течением времени повторяют с чередованием поворот направо и поворот налево.

При этом когда в блоке 251 объединения изображений вырабатывают объединенное изображение, шаблон освещения лазером, описанный выше со ссылкой на фиг. 27, определяют для каждого изображения с целью осуществления процесса определения позиции, в котором применяют обнаруженный шаблон освещения лазером. Возможно осуществлять определение положения изображения с высокой степенью точности путем осуществления упомянутого процесса.

При этом блок 251 объединения изображений может быть выполнен для осуществления подсвечивания изображения пространственного объекта, которое показывают в области перехода пространственного объекта, так что изображение легко привлекает внимание наблюдателя. Этот процесс является процессом, описанным выше со ссылкой на фиг. 13, 18 и 25.

Как описано выше, для обнаружения пространственного объекта может быть использована разность между значениями пикселов для позиций соответствующих пикселов подлежащих объединению изображений, например, сумма абсолютных разностей (SAD) для осуществления вычисления в блоках из нескольких пикселов заранее заданных областей блоков изображений.

В блоке 205 показа показывают объединенное изображение, выработанное в блоке 251 объединения изображений.

Объединенное изображение, показываемое в блоке 205, эквивалентно любому объединенному изображению, содержащему область перехода, из следующих объединенных изображений:

(а) объединенное изображение, которое содержит область с прямоугольными полосками, описанную выше со ссылками на фиг. 12, и подобную, и которое содержит область перехода, выполненную таким образом, что область с прямоугольными полосками перемещают с течением времени,

(б) объединенное изображение, которое содержит область с изогнутыми полосками, описанную выше со ссылками на фиг. 20, и подобную, и которое содержит область перехода, выполненную таким образом, что область с изогнутыми полосками перемещают с течением времени, и

(в) объединенное изображение, которое содержит область перехода, выполненную так, что для области границы изображения, описанной выше со ссылкой на фиг. 24, и подобной, с течением времени повторяют с чередованием поворот направо и поворот налево.

В блоке 205 показа показывают любое содержащее область перехода объединенное изображение из объединенных изображений (а)-(в), описанных выше.

В соответствии с процессом показа, возможно надежно показать пространственный объект, который присутствует в области перехода, без исчезновения пространственного объекта. Таким образом, возможно, чтобы наблюдатель (водитель) распознал присутствие пространственного объекта и побудить наблюдателя к более безопасному вождению.

8. Заключение о конфигурации настоящего изобретения

Выше приведено подробное описание некоторое конкретного варианта осуществления настоящего изобретения. Тем не менее, очевидно, что специалист в рассматриваемой области может предложить модификации и замены для этого варианта осуществления изобретения, не выходя при этом за пределы объема настоящего изобретения. То есть, здесь настоящее изобретение описано только для иллюстрации и это описание нельзя понимать как единственным образом описывающее изобретение. Для определения объема настоящего изобретения необходимо принять во внимание приложенную формулу изобретения.

Между тем технология, описанная в настоящем документе, может использовать следующие конфигурации.

(1) Устройство обработки изображений, содержащее: схему, выполненную для приема от первого устройства фиксации изображений данных первого изображения, содержащего область, прилегающую к автомобилю; приема от второго устройства фиксации изображений данных второго изображения, содержащего, по меньшей мере, часть области, прилегающей к автомобилю; соединения данных первого изображения с данными второго изображения с целью формирования данных составного изображения области перехода, по меньшей мере, части области, прилегающей к автомобилю; и изменения с течением времени соответствующих областей изображения, взятых из первого устройства фиксации изображений и второго устройства фиксации изображений, что делают с целью формирования данных составного изображения области перехода.

(2) Устройство обработки изображений по (1), в котором данные первого изображения от первого устройства фиксации изображений получены с первого ракурса относительно автомобиля, данные второго изображения от второго устройства фиксации изображений получены со второго ракурса относительно автомобиля, и данные составного изображения области перехода, составляют, по меньшей мере, часть вида сверху автомобиля.

(3) Устройство обработки изображений по (1), в котором область перехода находится у соответствующих краев поля обзора первого устройства фиксации изображений и поля обзора второго устройства фиксации изображений.

(4) Устройство обработки изображений по (1), в котором схема выполнена для получения области изображения в форме нескольких полосок от первого устройства фиксации изображений, и схема выполнена для изменения с течением времени позиции, по меньшей мере, одной из нескольких полосок.

(5) Устройство обработки изображений по (4), в котором в схеме объединяют данные первого изображения с данными второго изображения с целью формирования объединенного изображения, которое содержит пространственный объект, который можно видеть, когда он расположен в области перехода.

(6) Устройство обработки изображений по (4), в котором изображение из данных второго изображения содержит полоски, которые расположены с чередованием с несколькими полосками данных первого изображения.

(7) Устройство обработки изображений по (6), в котором схема выполнена с целью формирования части составного изображения путем определения заранее заданного количества линий из первого изображения в качестве первой полоски заранее заданной ширины, и с целью присоединения другого заранее заданного количества линий заранее заданной ширины из второго изображения.

(8) Устройство обработки изображений по (7), в котором схема выполнена для изменения с течением времени позиции, по меньшей мере, одной из полосок путем сдвига линий первого изображения и второго изображения в другом кадре изображения.

(9) Устройство обработки изображений по (7), в котором схема выполнена для регулировки с течением времени позиции, по меньшей мере, одной из полосок как функции значения Ws, характеризующего ширину полоски, значения Wf, характеризующего ширину полоски, и/или значения ZN, характеризующего количество полосок.

(10) Устройство обработки изображений по (4), в котором схема выполнена для изменения шаблона формы полосок.

(11) Устройство обработки изображений по (5), в котором схема выполнена для формирования объединенного изображения, на котором пространственный объект подсвечен с помощью, по меньшей мере, измененного цвета, измененной яркости и мигания в последовательных кадрах.

(12) Устройство обработки изображений по (4), в котором несколько полосок расположены прямоугольно в области перехода.

(13) Устройство обработки изображений по (4), в котором несколько полосок расположены как кривые в области перехода.

(14) Устройство обработки изображений по (4), в котором несколько полосок расположены в форме лопастей в области перехода.

(15) Устройство обработки изображений по (3), в котором схема выполнена для изменения в зависимости от времени соответствующих краев поля обзора первого устройства фиксации изображений и поля обзора второго устройства фиксации изображений.

(16) Автомобильная система обработки изображений, содержащая: первое устройство фиксации изображений, установленное спереди автомобиля и выполненное для фиксации данных первого изображения с направленным вперед ракурсом относительно места водителя в автомобиле; второе устройство фиксации изображений, установленное на некоторой стороне автомобиля и выполненное для фиксации данных второго изображения с направленным в сторону ракурсом относительно места водителя в автомобиле, и

схему, выполненную для приема данных первого изображения, приема данных второго изображения, соединения данных первого изображения с данными второго изображения с целью формирования данных составного изображения области перехода между данными первого изображения и данными второго изображения, и изменения с течением времени соответствующих областей изображения, взятых из первого устройства фиксации изображений и второго устройства фиксации изображений, что делают с целью формирования данных составного изображения области перехода, при этом данные составного изображения области перехода, составляют, по меньшей мере, часть вида сверху автомобиля.

(17) Устройство обработки изображений по (16), дополнительно содержащее: устройство выработки лазерного освещения калибровочным эталонным шаблоном, установленное на автомобиле и выполненное для выработки калибровочного эталонного шаблона в области перехода, при этом

схема выполнена для самокалибровки путем обнаружения калибровочного эталонного шаблона и выполнения регулировки обработки изображений до тех пор, пока данные составного изображения не повторят калибровочный эталонный шаблон с заранее заданным допуском калибровочного эталонного шаблона, полученного устройством выработки лазерного освещения калибровочным эталонным шаблоном.

(18) Автомобильная система отслеживания, содержащая: первое устройство фиксации изображений, установленное спереди автомобиля и выполненное для фиксации данных первого изображения с направленным вперед ракурсом относительно места водителя в автомобиле; второе устройство фиксации изображений, установленное на некоторой стороне автомобиля и выполненное для фиксации данных второго изображения с направленным в сторону ракурсом относительно места водителя в автомобиле;

схему, выполненную для приема данных первого изображения, приема данных второго изображения, соединения данных первого изображения с данными второго изображения с целью формирования данных составного изображения области перехода между данными первого изображения и данными второго изображения, и изменения с течением времени соответствующих областей изображения, взятых из первого устройства фиксации изображений и второго устройства фиксации изображений, что делают с целью формирования данных составного изображения области перехода, при этом данные составного изображения области перехода, составляют, по меньшей мере, часть вида сверху автомобиля; и

дисплей, который установлен внутри автомобиля и выполнен для показа вида сверху автомобиля, содержащего область перехода.

(19) Автомобильная система отслеживания по (18), в которой схема дополнительно выполнена так, чтобы содержать смоделированное изображение сверху автомобиля на виде сверху, которое показывают на дисплее.

(20) Автомобильная система отслеживания по (18), в которой схема дополнительно выполнена так, чтобы содержать на виде сверху изображение пространственного объекта, которое зафиксировано в области перехода первым устройством фиксации изображений и вторым устройством фиксации изображений.

(А01) Устройство обработки изображений, содержащее:

блок обработки изображений, в котором вырабатывают несколько изображений сверху, что делают путем отдельной корректировки изображений, зафиксированных несколькими камерами, расположенными в различных позициях, и в котором вырабатывают объединенное изображение путем соединения друг с другом нескольких выработанных изображений сверху,

при этом в блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена таким образом, что области показа нескольких изображений сверху, которые подлежат соединению, изменяются с течением времени.

(А02) Устройство обработки изображений по описанному выше (А01), в котором в блоке обработки изображений первое и второе изображения, которые должны быть соединены друг с другом, устанавливают с чередованием в форме полосок и вырабатывают объединенное изображение с областью перехода, которая установлена так, что позицию полосок изменяют с течением времени.

(А03) Устройство обработки изображений по описанному выше (А02), в котором в блоке обработки изображений первое и второе изображения, которые должны быть соединены друг с другом, устанавливают с чередованием в форме прямоугольных или изогнутых полосок.

(А04) Устройство обработки изображений по (А02) или (А03), в котором в блоке обработки изображений устанавливают значения ширины полосок первого и второго изображений, которые должны быть соединены друг с другом, равными различным значениям.

(А05) Устройство обработки изображений по любому из описанных выше (А01)-(А04), в котором в блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена так, что позицию границы между первым и вторым изображениями, которые должны быть соединены друг с другом, изменяют с течением времени.

(А06) Устройство обработки изображений по описанному выше (А05), в котором в блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена так, что поворот направо и поворот налево позиции границы между первым и вторым изображениями, которые должны быть соединены друг с другом, повторяют с центром в заранее заданной точке.

(А07) Устройство обработки изображений по описанному выше (А06), в котором в блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена так, что поворот направо и поворот налево позиции границы выполняют с различными скоростями.

(А08) Устройство обработки изображений по любому из описанных выше (А01)-(А07), в котором, когда пространственный объект содержится в показываемой информации области перехода, в блоке обработки изображений вырабатывают объединенное изображение, в котором частично или полностью подсвечивают пространственный объект.

(А09) Устройство обработки изображений по описанному выше (А08), в котором подсвечивание представляет собой мигающий показ или процесс изменения и показа, по меньшей мере, или яркости или цвета.

(А10) Устройство обработки изображений по описанному выше (А09), в котором в блоке обработки изображений обнаруживают пространственный объект путем применения суммы абсолютных разностей (SAD) значений пикселов в блоках заранее заданных областей нескольких изображений, которые подлежат соединению друг с другом в области перехода.

(А11) Устройство обработки изображений по любому из описанных выше (А01)-(А10), при этом устройство обработки изображений содержит блок освещения калибровочным эталонным шаблоном, в котором освещают область фиксации изображения камеры конкретным калибровочным эталонным шаблоном, при этом в нескольких камерах вырабатывают зафиксированные изображения, содержащие область освещения калибровочным эталонным шаблоном, и при этом в блоке обработки изображений осуществляют процесс объединения изображений, в котором применяют область освещения калибровочным эталонным шаблоном для определения позиций изображений во время выработки объединенного изображения.

(А12) Устройство обработки изображений по описанному выше (A11), в котором блок освещения калибровочным эталонным шаблоном блока обработки изображений содержит источник света, являющийся твердотельным лазером, и голографический фильтр, вырабатывающий шаблон.

(А13) Устройство обработки изображений по любому из описанных выше (А01)-(А12), при этом устройство обработки изображений содержит блок освещения калибровочным эталонным шаблоном, в котором освещают область фиксации изображения камеры калибровочным эталонным шаблоном в соответствии с моментами времени фиксации изображений для кадров, зафиксированных камерами, при этом в нескольких камерах фиксируют изображения, связанные с моментами времени освещения калибровочным эталонным шаблоном, и при этом в блоке обработки изображений обнаруживают калибровочный эталонный шаблон по разности между несколькими непрерывно зафиксированными кадрами изображений и осуществляют процесс объединения изображений, в котором применяют область освещения калибровочным эталонным шаблоном для определения позиций изображений во время выработки объединенного изображения.

(А14) Устройство обработки изображений по любому из описанных выше (А01)-(А13), при этом в устройстве обработки изображений осуществляют калибровку как процесс регулировки камеры, во время которого применяют зафиксированное изображение, содержащее калибровочный эталонный шаблон, что делают с фиксированными интервалами или во время выработки объединенного изображения.

(А15) Устройство обработки изображений по любому из описанных выше (А01)-(А14), при этом камеры расположены спереди, сзади, на правой и левой сторонах автомобиля, и при этом в блоке обработки изображений в качестве объединенного изображения вырабатывают изображение сверху, на котором область, окружающая автомобиль, видна сверху автомобиля.

(А 16) Устройство обработки изображений по описанному выше (А15), в котором камера содержит широкоугольный объектив.

(А17) Способ обработки изображений, который выполняют в устройстве обработки изображений и который включает в себя следующее:

побуждают блок обработки изображений вырабатывать несколько изображений сверху, что делают путем отдельной корректировки изображений, зафиксированных несколькими камерами, расположенными в различных позициях, и

вырабатывают объединенное изображение путем соединения друг с другом нескольких выработанных изображений сверху,

при этом, при выработке объединенного изображения, в блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена таким образом, что области показа нескольких изображений сверху, которые подлежат соединению, изменяют с течением времени.

(А18) Программа, в результате работы которой устройство обработки изображений осуществляет обработку изображений, указанная обработка включает в себя следующее:

побуждают блок обработки изображений вырабатывать несколько изображений сверху, что делают путем отдельной корректировки изображений, зафиксированных несколькими камерами, расположенными в различных позициях, и

вырабатывают объединенное изображение путем соединения друг с другом нескольких выработанных изображений сверху; и

обуславливают то, что объединенное изображение с областью перехода, которая установлена таким образом, что области показа нескольких изображений сверху, которые подлежат соединению, изменяют с течением времени, и которую вырабатывают при выработке объединенного изображения.

Кроме того, описанный здесь набор процессов обработки можно выполнить с использованием аппаратного обеспечения, программного обеспечения или объединенной конфигурации аппаратного и программного обеспечения. Когда обработку выполняют с помощью программного обеспечения, программу с записанной в ней последовательностью обработки можно установить в память, встроенную в компьютер, в специальное аппаратное обеспечение и выполнить, или программу можно установить на компьютер общего назначения, который может выполнить различные части обработки и выполнения. Программу можно заранее записать, например, на носитель информации. Программа не только может быть установлена на компьютер с носителя информации, но также возможно принять программу по сети, такой как локальная сеть (LAN), или по интернету и установить ее на носитель информации, такой как встроенный накопитель с жесткими магнитными дисками.

При этом, разные части описанной здесь обработки могут быть выполнены последовательно во времени в соответствии с порядком из описания и также могут быть выполнены параллельно или отдельно в зависимости от возможностей обработки устройства, которое выполняет обработку или в соответствии с необходимостью. Помимо этого, термин «система», используемый в этом описании, представляет собой логическую составную структуру из нескольких устройств и устройства различной структуры не обязательно расположены в одном и том же корпусе.

Специалистам в рассматриваемой области ясно, что различные модификации, объединения, комбинации и альтернативы могут иметь место в зависимости от требований конструкции и других факторов, если они находятся в пределах приложенной формулы изобретения и ее эквивалентов.

Промышленная применимость

Как описано выше, в соответствии с вариантом осуществления настоящего изобретения, возможно выработать и показать изображение, которое можно видеть сверху автомобиля, указанное изображение делает легче распознавание пространственного объекта.

Более конкретно, вырабатывают несколько изображений сверху, что делают путем отдельной корректировки изображений, зафиксированных несколькими камерами, расположенными в различных позициях автомобиля, таких как спереди, сзади, с правой стороны и с левой стороны, и вырабатывают объединенное изображение путем соединения друг с другом нескольких выработанных изображений сверху. В блоке обработки изображений вырабатывают объединенное изображение с областью перехода, которая установлена таким образом, что области показа нескольких изображений сверху, которые подлежат соединению, изменяются с течением времени. Например, первое и второе изображения, которые должны быть соединены, устанавливают с чередованием в форме полосок и объединенное изображение вырабатывают с областью перехода, которая установлена так, что позиция полосок изменяется с течением времени.

При такой конфигурации, когда пространственный объект присутствует в прилегающей области объединенного изображения, изображение, содержащее участок границы динамического объекта, показывают как изображение, подлежащее показу. В результате, возможно выработать и показать изображение, которое можно видеть сверху автомобиля, указанное изображение делает легким распознавание пространственного объекта путем стимуляции человеческого чувствительного нерва динамическим объектом.

Список ссылочных позиций

1. Система обработки изображений для автомобильной системы камер, содержащая:

схему, выполненную с возможностью

генерировать множество изображений сверху на основании скорректированного первого изображения и скорректированного второго изображения, принятых от первого устройства фиксации изображений и второго устройства фиксации изображений, и

генерировать объединенное изображение на основе множества изображений сверху,

при этом объединенное изображение содержит множество первых полосовых областей, составляющих часть скорректированного первого изображения, и множество вторых полосовых областей, составляющих часть скорректированного второго изображения,

первые полосовые области и вторые полосовые области расположены на объединенном изображении поочередно, и

местоположения первых полосовых областей и вторых полосовых областей изменяются во времени,

при этом схема дополнительно выполнена с возможностью

изменять шаблон формы полосовых областей и

отображать объединенное изображение на устройстве отображения в автомобиле, причем объединенное изображение используется для управления движением автомобиля так, чтобы объехать препятствие.

2. Система обработки изображений по п. 1, в которой схема выполнена с возможностью объединения данных первого изображения с данными второго изображения для формирования объединенного изображения, содержащего стереоскопический объект, наблюдаемый при его нахождении в области перехода между скорректированным первым изображением и скорректированным вторым изображением.

3. Система обработки изображений по п. 1, в которой схема выполнена с возможностью регулировки с течением времени позиции по меньшей мере одной из полосовых областей в зависимости от значения Ws, характеризующего ширину полоски, значения Wf, характеризующего интервал полосок, и/или значения Zn, характеризующего количество полосок.

4. Система обработки изображений по п. 2, в которой схема выполнена с возможностью формирования объединенного изображения, на котором стереоскопический объект выделен с помощью измененного цвета, и/или измененной яркости, и/или мигания в последовательных кадрах.

5. Система обработки изображений по п. 2, в которой

множество полосок в полосовых областях расположены под прямым углом в области перехода.

6. Система обработки изображений по п. 2, в которой

множество полосок в полосовых областях расположены криволинейно в области перехода.

7. Система обработки изображений по п. 2, в которой

множество полосок в полосовых областях расположены веерообразно в области перехода.

8. Система обработки изображений по п. 1, дополнительно содержащая первую камеру в качестве первого устройства фиксации изображений.

9. Способ обработки изображений для автомобильной системы камер, содержащий этапы, на которых:

генерируют множество изображений сверху на основании скорректированного первого изображения и скорректированного второго изображения, принятых от первого устройства фиксации изображений и второго устройства фиксации изображений;

генерируют объединенное изображение на основе множества изображений сверху,

при этом объединенное изображение содержит множество первых полосовых областей, составляющих часть скорректированного первого изображения, и множество вторых полосовых областей, составляющих часть скорректированного второго изображения,

первые полосовые области и вторые полосовые области расположены на объединенном изображении поочередно, и

местоположения первых полосовых областей и вторых полосовых областей изменяются во времени;

изменяют шаблон формы полосовых областей и

отображают объединенное изображение на устройстве отображения в автомобиле, причем объединенное изображение используется для управления движением автомобиля так, чтобы объехать препятствие.

10. Способ обработки изображений по п. 9, дополнительно содержащий этап, на котором

объединяют данные первого изображения с данными второго изображения для формирования объединенного изображения, содержащего стереоскопический объект, наблюдаемый при его нахождении в области перехода между скорректированным первым изображением и скорректированным вторым изображением.

11. Способ обработки изображений по п. 9, дополнительно содержащий этап, на котором:

регулируют с течением времени позицию по меньшей мере одной из полосовых областей в зависимости от значения Ws, характеризующего ширину полоски, значения Wf, характеризующего интервал полосок, и/или значения Zn, характеризующего количество полосок.

12. Способ обработки изображений по п. 10, дополнительно содержащий этап, на котором:

формируют объединенное изображение, на котором стереоскопический объект выделен с помощью измененного цвета, и/или измененной яркости, и/или мигания в последовательных кадрах.

13. Способ обработки изображений по п. 10, дополнительно содержащий этап, на котором

располагают множество полосок в полосовых областях под прямым углом в области перехода.

14. Способ обработки изображений по п. 10, дополнительно содержащий этап, на котором

располагают множество полосок в полосовых областях криволинейно в области перехода.

15. Способ обработки изображений по п. 10, дополнительно содержащий этап, на котором

располагают множество полосок в полосовых областях веерообразно в области перехода.

16. Способ обработки изображений по п. 9, дополнительно содержащий этап, на котором

фиксируют первое изображение.