Система оценки качества объемного телевизионного изображения

Предлагаемая система относится к области телевидения и, в частности, к системам 3D телевидения, и может использоваться при настройке, калибровке ТВ-камер и оценке качества формируемого ими объемного изображения.

Техническим результатом предлагаемого технического решения являются возможности: оценивать качество формируемого объемного изображения без внесения искажений, появляющихся при использовании различных источников изображений; использовать для оценки качества изменяющиеся эталонные ТВ изображения; оценивать качество формируемого изображения многоракурсного телевидения; определять искажения, вносимые каждой из камер в формируемое объемное изображение для последующей калибровки и настройки камер; получения как субъективной, так и объективной оценки качества формируемого изображения и их сопоставления.

Достижение технического результата обеспечивается в предлагаемой системе, содержащей по меньшей мере, две телевизионные (ТВ) камеры, перед которыми установлен испытательный объект, выполненный с возможностью получения изображения с изменяющимися сюжетами, воспроизводящее устройство, отличающейся тем, что содержит N ТВ камер, где N - число ракурсов ТВ изображения, оптически связанных с монитором, используемым в качестве испытательного объекта, связанные между собой источник видеосигнала эталонных объемных ТВ изображений, накопитель видеосигнала эталонных объемных ТВ изображений, параллельно-последовательный преобразователь видеосигнала эталонных объемных ТВ изображений, накопитель видеосигнала искаженных объемных ТВ изображений, последовательно-параллельный преобразователь видеосигнала искаженных объемных ТВ изображений.

Предлагаемая система относится к области телевидения и, в частности, к системам 3D телевидения, и может использоваться при настройке, калибровке ТВ-камер и оценке качества формируемого ими объемного изображения.

Известен ряд систем оценки качества объемного изображения, но большинство из них не охватывает передающие камеры, которые вносят значительные искажения по сравнению с 2D телевидением из-за влияния внешних параметров, как-то: базис съемки, вертикальный и горизонтальный параллакс. Свое влияние оказывают артефакты, вызванные несовершенством оптических деталей в камере, артефакты от дискретизации информации при использовании ПЗС сенсоров и артефакты, вызванные геометрическими искажениями стереокамер.

Известна система стереоцветного телевидения (СЦТ) с используемым для оценки ее качества испытательным объектом (см. 1. П.В.Шмаков, К.Т.Колин, В.Е.Джакония «Стереотелевидение (черно-белое и цветное)», М., Изд. «Связь», 1968 г., стр.158-159,), предназначенная для оценки качества стереоизображения. Система содержит две ТВ камеры, перед которыми установлены киноленты с испытательными изображениями, а сформированное обеими камерами стереоизображение проецируется одновременно от двух камер на стерео видеоконтрольное устройство (ВКУ).

Оценка качества стереоизображения осуществляется экспертами по изображению на экране ВКУ.

Известна также система оценки качества стереоизображения (см. 2. П.В.Шмаков, К.Т.Колин, В.Е.Джакония «Стереотелевидение (черно-белое и цветное)», М., Изд. «Связь», 1968 г., стр.126-132), использующая испытательный объект, который сочетает в себе элементы для определения четкости, количества передаваемых черно-белых градаций, геометрических искажений, искажений цветов и объема. Испытательный объект содержит основу в виде главной плоскости, укрепленной вертикально на опорной площадке. В центре главной плоскости сделан круглый вырез, в котором укреплена на подшипниках крестовина из двух взаимно-перпендикулярных дисков, которые могут поворачиваться вокруг своей вертикальной оси на 360°. На первом подвижном диске нанесены вертикальный и горизонтальный клинья четкости. На втором - имеются специальные зажимы, позволяющие располагать сменный набор выкрасок.

В углах главной плоскости испытательного объекта вмонтированы пустотелые объемные фигуры в виде кубиков. Нижние кубики имеют грани, окрашенные в белый цвет, а верхние кубики - без плоских граней. По бокам главной плоскости испытательного объекта, перпендикулярно ей, укреплены по одной вспомогательной плоскости. Перпендикулярно вспомогательным плоскостям смонтирован ряд меньших плоскостей, параллельных главной. Первая малая плоскость находится на расстоянии 250 мм перед главной плоскостью, а последняя - на расстоянии 250 мм за ней. Эти малые плоскости располагаются одна за другой. Каждая последующая плоскость шире предыдущей. Кроме этого, в главной плоскости, в том месте, где крепится вспомогательная плоскость, сделаны два прямоугольных выреза, через которые видны лежащие за главной плоскостью малые плоскости. Они окрашены: три- в основные цвета и четыре - в промежуточные.

Качество воспроизведения системы оценивалось субъективно наблюдателями по искажению цвета малых цветных плоскостей и выкрасок, расположенных на подвижном диске в центре испытательного объекта.

Воспроизведение объема оценивалось по восприятию глубинного расположения малых плоскостей и по восприятию объемных фигур, вмонтированных по углам испытательного объекта.

Каждая из этих систем имеет свои недостатки.

В первой для разных камер используются свои источники изображений, которые вносят дополнительные искажения в оценку качества. Кроме того, в этой системе возможно, но затруднительно создавать подвижное изображение, особенно, если необходимо создавать и оценивать многоракурсное изображение, когда число камер умножается на число ракурсов. Система не позволяет оценивать искажения, вносимые каждой из камер.

Вторая система, использующая объемный испытательный объект, не позволяет изменять сюжеты, что необходимо для надежной оценки качества систем объемного телевидения, и использует сложный испытательный объект.

При этом обе системы не позволяют сравнивать эталонное и искаженное изображения в электронном виде. Это значительно осложняет как субъективную, так и объективную оценку качества системы.

Известен способ для калибровки и настройки системы из двух камер для стереосъемки, используемый при съемке в 3D-формате (см. 3. статью Шон Фаэберн и Татьяна Манукян «Fairburn 3D - таблица калибровки и настройки двух камер для стереосъемки от DCS Labs» в журнале «Техника и технологии кино», 3, 2011 г., стр.34), в которой в качестве испытательного объекта предлагается тестовая таблица Fairburn 3D для работы со стереоригами - как с соосным, так и со светоделительным блоком. Данная таблица содержит 15 тестовых элементов, позволяющих зафиксировать отклонения в настройках камер по вертикали и по горизонтали, а также обнаружить трапецеидальные искажения. Для настройки идентичности цветопередачи таблица содержит шестиугольную версию запатентованного атласа цветов CromaDuMonde (24 цвета + 4 оттенка кожи). Таблица имеет также две серые полосы, насыщенность которых составляет 18% от насыщенности BaSO4 (специально для тех, кто работает с кинопленкой), и миниатюрную шкалу серого - логарифмические шаги 1,6 и 11 с истинным черным цветом в виде фона таблицы. Максимально контрастные штриховые миры в виде расходящихся веером клиньев позволяют оценивать фокусировку по углам таблицы даже в условиях низкой освещенности.

Данный испытательный объект в виде таблицы Fairburn 3D может быть использован при калибровке стереоригов, для чего при подготовке к съемкам в 3D сначала настраивают камеры с объективами по отдельности перед их установкой на стереориг. При этом центр таблицы должен находиться на одном уровне с центром объективов, и она должна быть установлена в плоскости съемки так, чтобы расстояния от центра до верхней и нижней части таблицы совпадали, а также были равными расстоянию от центра до правого и левого краев.

Использование в данной системе испытательного объекта в виде тестовой таблицы Fairburn 3D позволяет производить калибровку и настройку камер при подготовке к съемке, однако не позволяет создавать подвижные изображения и оценивать ряд важных параметров, характеризующих качество формируемого 3D изображения.

В качестве прототипа выбрана система (1).

Техническим результатом предлагаемого технического решения является обеспечение возможности:

оценивать качество формируемого объемного изображения передающим трактом от оптической системы видеокамер без внесения искажений, появляющихся при использовании различных источников изображений;

использовать для оценки качества подвижные эталонные ТВ изображения;

оценивать качество формируемого изображения многоракурсного телевидения;

определять искажения, вносимые каждой из камер в формируемое объемное изображение для последующей калибровки и настройки камер;

получения как субъективной, так и объективной оценки качества формируемого изображения и их сопоставления.

Достижение указанного технического результата обеспечивается в предлагаемой системе оценки качества объемного телевизионного изображения, содержащей, по меньшей мере, две телевизионные (ТВ) камеры, перед которыми установлен испытательный объект, выполненный с возможностью получения изображения с изменяющимися сюжетами, воспроизводящее устройство, отличающейся тем, что содержит N ТВ камер, где N - число ракурсов ТВ изображения, оптически связанных с монитором, используемым в качестве испытательного объекта при воспроизведении на его экране эталонных объемных ТВ изображений, источник видеосигнала эталонных объемных ТВ изображений, выход которого подключен к первому входу накопителя видеосигнала эталонных объемных ТВ изображений длительностью, достаточной для оценки качества N ракурсов ТВ изображения, выход которого подключен к параллельно-последовательному преобразователю видеосигнала эталонных объемных ТВ изображений, первый выход которого связан со входом упомянутого монитора, выходы N ТВ камер подключены к соответствующим входам накопителя видеосигнала искаженных объемных ТВ изображений, выход которого подключен ко входу последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений.

Для реализации возможности субъективной оценки качества объемного ТВ изображения система может содержать дополнительный 3D монитор для наблюдения экспертами искаженного объемного ТВ изображения, соответствующие входы которого соединены с выходами последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений.

Для цифрового представления объективной оценки качества объемного ТВ изображения система может содержать вычислитель объективных оценок качества, соответствующие входы которого могут быть связаны с соответствующими выходами параллельно-последовательного преобразователя видеосигнала эталонных объемных ТВ изображений, последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений и соответствующим входом накопителя видеосигнала эталонных объемных ТВ изображений, а выход вычислителя объективных оценок качества может служить для подключения к устройству отображения объективных цифровых оценок качества изображений.

При этом дополнительный монитор может быть использован в качестве устройства отображения объективных цифровых оценок качества изображений.

Наличие в данной системе монитора, на экране которого воспроизводится изменяющееся (движущееся) эталонное объемное ТВ изображение, являющееся испытательным объектом, которое считывается N ТВ камерами (по числу ракурсов ТВ изображения), позволяет избежать искажений, при использовании различных источников изображений.

При этом для формирования изменяющегося (движущегося) эталонного объемного ТВ изображения используется видеосигнал М кадров, N ракурсов эталонных ТВ изображений, поступающих от источника видеосигнала эталонных объемных ТВ изображений (например, ячеек памяти компьютера). Этот видеосигнал накапливается в накопителе видеосигнала эталонных объемных ТВ изображений, причем длительность накапливаемого видеосигнала выбирается достаточной для оценки качества ТВ изображений, и может составлять порядка 10 секунд или 500 кадров. А считывание накопленного видеосигнала осуществляется параллельно-последовательным преобразователем видеосигнала эталонных объемных ТВ изображений не одновременно, а поочередно по каждому ракурсу. В этом преобразователе происходит кодирование (разделение) видеосигнала по отдельным кадрам каждого ракурса и вводится специальная информация о номерах кадра, ракурса и сюжета (изменяющегося (движущегося) ТВ изображения). Например, это могут быть метки, подобные сигналу телетекста. В результате сформированная из полученных кадров последовательность видеосигнала отображается на экране упомянутого монитора, а каждой из ТВ камер формируется видеосигнал каждого из ракурсов.

Введение этого видеосигнала с выходов ТВ камер в накопитель видеосигнала искаженных объемных ТВ изображений и считывание его последовательно-параллельным преобразователем видеосигнала искаженных объемных ТВ изображений, который декодирует видеосигнал и введенную в него специальную информацию, позволяет сохранить для каждой камеры только кадры с номером соответствующего ей ракурса.

Из вышесказанного ясно, что на выходах обоих преобразователей имеются сформированные по кадрам, ракурсам и сюжетам последовательности видеосигнала эталонных и искаженных ТВ изображений, несущие информацию, которая может быть использована для объективной и субъективной оценки качества формируемого ТВ камерами объемного изображения.

Количественная объективная оценка качества объемного ТВ изображения может быть осуществлена, например, подачей выходных сигналов преобразователей на вычислитель объективных оценок качества.

Субъективная оценка качества может быть осуществлена экспертами при подаче выходного сигнала последовательно-параллельного преобразователя видеосигнала искаженных объемных изображений на вход дополнительного 3D монитора для отображения сформированного объемного ТВ изображения.

Обеспечение возможности определения искажений, вносимых камерами в формируемое объемное ТВ изображение для последующей калибровки и настройки камер, может быть осуществлено путем оценки параметров изображения по испытательным изображениям, например, испытательным таблицам, на экране монитора, или измерительными средствами, например, вычислителем объективных оценок качества.

Функциональная схема предлагаемой системы приведена на фиг.1.

На фиг.2 приведена блок-схема алгоритма процессов обработки видеосигнала N ракурсов эталонного ТВ изображения. На фиг.3 приведена блок-схема алгоритма процессов обработки видеосигнала N ракурсов искаженного ТВ изображения.

Согласно фиг.1 предлагаемая система содержит источник 1 видеосигнала эталонных объемных ТВ изображений, выходом соединенного с первым входом накопителя 2 видеосигнала эталонных объемных ТВ изображений, выход которого подключен ко входу параллельно-последовательного преобразователя 3 видеосигнала эталонных объемных ТВ изображений, выход которого соединен со входом 2D монитора 4, перед которым установлено N ТВ камер 5. В систему также входят последовательно-параллельный преобразователь 6 видеосигнала искаженных объемных ТВ изображений, вход которого соединен с выходом накопителя 7 видеосигнала искаженных объемных ТВ изображений, входы которого соединены с соответствующими выходами N ТВ камер 5.

В систему также может входить вычислитель 8 объективных оценок качества. В этом случае соответствующий вход вычислителя 8 соединяется с соответствующим входом накопителя 2 видеосигнала эталонных объемных изображений, а другие соответствующие входы вычислителя 8 подключаются к соответствующим выходам упомянутых преобразователей 3 и 6. Выход вычислителя 8 может быть подключен к дополнительному 3D монитору 9, на экране которого может быть отображена объективная количественная оценка качества объемного ТВ изображения.

К дополнительному 3D монитору 9 может быть также подключен выход преобразователя 6. В этом случае экспертами, находящимися перед экраном дополнительного монитора 9, может быть дана субъективная оценка качества объемного ТВ изображения, воспроизводимого на экране дополнительного 3D монитора 9.

Рассмотрим работу предлагаемой системы оценки качества объемного телевизионного изображения.

Видеосигнал от источника 1 видеосигнала эталонных объемных ТВ изображений, которые могут представлять собой изображения в виде изменяющихся сюжетов, (в качестве такого источника могут служить ячейки памяти компьютера), поступает в накопитель 2 видеосигнала эталонных объемных ТВ изображений. Накопитель 2 служит для накапливания M кадров ТВ изображения, длительность которых достаточна для оценки качества ТВ изображения (обычно достаточна длительность, равная 10 секундам, или M=500 кадров), по каждому из N ракурсов, где N - равно количеству ТВ камер 5, используемых для формирования объемного ТВ изображения. Для стереоскопического телевидения N=2. Для получения более точных оценок источник 1 может содержать информацию о сюжетах, съемка которых производилась несколько раз (L повторений сюжетов).

Из накопителя 2 видеосигнал эталонных объемных ТВ изображений поступает в параллельно-последовательный преобразователь 3 видеосигнала эталонных объемных изображений, который преобразует видеосигнал М кадров по N ракурсам (с учетом L повторений сюжетов) таким образом, что на монитор 4 выводится поочередно видеосигнал по каждому из N ракурсов. При этом в активную часть каждого из М кадров вводится специальная информация, например, в виде меток (подобных сигналу телетекста), о номерах кадра, ракурса (сюжета). Из полученных кадров формируется последовательность (1-1, 1-2,1-M, 2-1, 2-2,N-M) (см. фиг.2), которая отображается монитором 4. Это позволяет использовать в качестве монитора 4 монитор 2D с более высокими техническими характеристиками и избавиться от необходимости использования сепарирующих устройств разделения ракурсов, которые вносят дополнительные искажения и снижают точность оценки качества объемного ТВ изображения.

Воспроизводимые на экране 2D монитора 4 ТВ изображения каждого ракурса фиксируются установленными перед экраном 2D монитора 4 N ТВ камерами 5, каждая из которых формирует видеосигнал всех N ракурсов.

С выходов ТВ камер видеосигнал всех N ракурсов объемом M×N кадров (с учетом L повторений сюжетов) поступает в накопитель 7 видеосигнала искаженных объемных ТВ изображений, где для каждого ракурса накапливаются последовательности видеосигнала из M×N кадров (с учетом L повторений сюжетов). С выхода накопителя 7 последовательности видеосигнала поступают в последовательно-параллельный преобразователь 6 видеосигнала искаженных объемных ТВ изображений, в котором во всех кадрах декодируются значения оптических меток и кадры распределяются по N ракурсам, номера которых соответствуют определенной ТВ камере 5 (см. фиг.3).

Из полученных N последовательностей видеосигнала, каждая из которых содержит M кадров (с учетом L повторений сюжетов), формируется 3D видеосигнал в формате, который должен соответствовать 3D дополнительному монитору 9, который может использоваться, если необходимо отобразить количественную субъективную оценку качества ТВ объемного изображения. В этом случае перед экраном 3D монитора 9 располагаются эксперты, оценивающие качество воспроизведенного объемного изображения.

Поскольку видеосигналы эталонных и искаженных объемных ТВ изображений хранятся в электронном виде, с выходов преобразователей 3 и 6 они могут быть поданы в вычислитель 8 объективных оценок качества, в котором по любому из известных алгоритмов, например, PSRN (см. 4. «Все о сжатии данных, изображений и видео» htpp://compression.ru/video/quality_measure/info.htm#psnr) может быть вычислена объективная метрика качества объемного ТВ изображения. Результаты вычислений могут быть отображены на экране дополнительного 3D монитора 9.

Рассмотрим пример выполнения блоков предлагаемой системы.

В качестве ТВ камер 5 могут использоваться, например, Sony HKC-T950/T1500/T1500-R, HDC-P1, Panasonic AK-HC1500G, Panavision Genesis, Ikegami HDL-51.

В качестве 2D монитора 4 может быть использован, например, Eizo FlexScan MX300WK, HP ZR30w.

В качестве 3D монитора 9 может быть использован, например, Magnetic3D-42 Allura, 3Dtv-47 SHARP.

Программная реализация процессов хранения и обработки видеосигналов может быть осуществлена согласно представленным блок-схемам алгоритмов (фиг.2 и 3) и с использованием упомянутых выше алгоритмов вычисления объективной метрики качества объемного ТВ изображения на профессиональном компьютере: Матрица 04 Intel Core i7-2600 3.4GHZ P67 DDR3 8Gb HDD 2000Gb DVD-RW Quadro FX 2000 1024MB HD Audio GLAN ATX Win 7 PRO.

1. Система оценки качества телевизионного объемного изображения, содержащая, по меньшей мере, две телевизионные (ТВ) камеры, перед которыми установлен испытательный объект, выполненный с возможностью получения изображения с изменяющимися сюжетами, воспроизводящее устройство, отличающаяся тем, что содержит N ТВ камер, где N - число ракурсов ТВ изображения, оптически связанных с монитором, используемым в качестве испытательного объекта при воспроизведении на его экране эталонных объемных ТВ изображений, источник видеосигнала эталонных объемных ТВ изображений, выход которого подключен к первому входу накопителя видеосигнала эталонных объемных ТВ изображений длительностью, достаточной для оценки качества N ракурсов ТВ изображения, выход которого подключен к параллельно-последовательному преобразователю видеосигнала эталонных объемных ТВ изображений, первый выход которого связан со входом упомянутого монитора, выходы N ТВ камер подключены к соответствующим входам накопителя видеосигнала искаженных объемных ТВ изображений, выход которого подключен ко входу последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений.

2. Система по п.1, отличающаяся тем, что содержит дополнительный 3D монитор, соответствующие входы которого соединены с выходами последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений.

3. Система по п.1, отличающаяся тем, что содержит вычислитель объективных оценок качества, соответствующие входы которого связаны с соответствующими выходами параллельно-последовательного преобразователя видеосигнала эталонных объемных ТВ изображений, последовательно-параллельного преобразователя видеосигнала искаженных объемных ТВ изображений и соответствующим входом накопителя видеосигнала эталонных объемных ТВ изображений, а выход вычислителя объективных оценок качества служит для подключения к устройству отображения объективных цифровых оценок качества изображения.

4. Система по п.2 или 3, отличающаяся тем, что в качестве устройства отображения объективных цифровых оценок качества изображения используют дополнительный 3D монитор.