Способ и устройство для обработки медиасигнала

Область техники

Настоящее изобретение относится к устройству для обработки медиа-сигнала и соответствующему способу, в частности к устройству для генерации сигнала окружения с использованием пространственной информации медиа-сигнала и соответствующему способу.

Уровень техники

В целом, для генерации многоканального медиа-сигнала широко используются разные виды устройств и способов с использованием пространственной информации для многоканального медиа-сигнала и смешанного с уменьшением количества каналов сигнала, в которых смешанный с уменьшением количества каналов сигнал генерируется путем смешивания с уменьшением количества каналов многоканального медиа-сигнала к моно- или стереосигналу.

Однако вышеупомянутые способы и устройства непригодны в условиях, непригодных для генерации многоканального сигнала. Например, они не пригодны для устройства, способного генерировать только стереосигнал. Иными словами, не существует способа или устройства для генерации сигнала окружения, в котором сигнал окружения имеет многоканальные особенности в среде, не пригодной для генерации многоканального сигнала с использованием пространственной информации многоканального сигнала.

Таким образом, поскольку не существует способа или устройства для генерации сигнала окружения в устройстве, способном генерировать только моно- или стереосигнал, трудно эффективно обрабатывать медиа-сигнал.

Сущность изобретения

Задача изобретения

Соответственно, настоящее изобретение относится к устройству для обработки медиа-сигнала и соответствующему способу, которые, по существу, решают одну или несколько проблем, связанных с ограничениями и недостатками уровня техники.

Задачей настоящего изобретения является обеспечение устройства для обработки медиа-сигнала и соответствующего способа, которые позволяют преобразовывать медиа-сигнал в сигнал окружения с использованием пространственной информации для этого медиа-сигнала.

Дополнительные признаки и преимущества изобретения указаны в нижеследующем описании и, отчасти, явствуют из описания, или могут быть изучены при практическом применении изобретения. Задачи и другие преимущества изобретения осуществляются и достигаются посредством структуры, конкретно указанной в нижеприведенном описании и формуле изобретения, а также на прилагаемых чертежах.

Техническое решение

Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения способ обработки сигнала согласно настоящему изобретению включает в себя этапы, на которых: генерируют информацию отображения источника, соответствующую каждому источнику из множественных источников, с использованием пространственной информации, указывающей особенности между множественными источниками; генерируют частичную информацию воспроизведения путем применения информации фильтра, дающей эффект окружения, к информации отображения источника для каждого источника; генерируют информацию воспроизведения для генерации сигнала окружения путем интегрирования, по меньшей мере, одной из частичной информации воспроизведения и генерируют сигнал окружения путем применения информации воспроизведения к смешанному с уменьшением числа каналов сигналу, сгенерированному путем смешения с уменьшением числа каналов множественных источников.

Для дальнейшего достижения этих и других преимуществ и в соответствии с целью настоящего изобретения устройство для обработки сигнала включает в себя блок отображения источника, генерирующий информацию отображения источника, соответствующую каждому источнику из множественных источников, с использованием пространственной информации, указывающей особенности между множественными источниками; блок генерации частичной информации воспроизведения, генерирующий частичную информацию воспроизведения путем применения информации фильтра, дающей эффект окружения, к информации отображения источника для каждого источника; блок интегрирования, генерирующий информацию рендеринга для генерации сигнала окружения путем интегрирования, по меньшей мере, одной из частей информации воспроизведения; и блок воспроизведения, генерирующий сигнал окружения путем применения информации воспроизведения к смешанному с уменьшением числа каналов сигналу, сгенерированному путем смешивания с уменьшением числа каналов множественных источников.

Следует понимать, что вышеприведенное общее описание и нижеследующее подробное описание являются иллюстративными и пояснительными и призваны обеспечивать дополнительное объяснение заявленного изобретения.

Результаты изобретения

Устройство и способ обработки сигнала согласно настоящему изобретению предусматривают использование декодера, который принимает битовый поток, включающий в себя смешанный с уменьшением числа каналов сигнал, сгенерированный путем смешивания с уменьшением числа каналов многоканального сигнала, и пространственную информацию многоканального сигнала, для генерации сигнала, имеющего эффект окружения, в средах, не пригодных для восстановления многоканального сигнала.

Краткое описание чертежей

Прилагаемые чертежи, предназначенные для дополнительного пояснения изобретения и включенные в описание изобретения в качестве его составной части, иллюстрируют варианты осуществления изобретения и совместно с описанием служат для объяснения принципов изобретения.

На чертежах:

фиг.1 - блок-схема устройства кодирования аудиосигнала и устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения;

фиг.2 - структурная схема битового потока аудиосигнала согласно одному варианту осуществления настоящего изобретения;

фиг.3 - подробная блок-схема блока преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;

фиг.4 и фиг.5 - блок-схемы конфигураций каналов, используемых в процессе отображения источника согласно одному варианту осуществления настоящего изобретения;

фиг.6 и фиг.7 - подробные блок-схемы блока воспроизведения для стереофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения;

фиг.8 и фиг.9 - подробные блок-схемы блока воспроизведения для монофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения;

фиг.10 и фиг.11 - блок-схемы блока сглаживания и блока расширения согласно одному варианту осуществления настоящего изобретения;

фиг.12 - график, поясняющий первый способ сглаживания согласно одному варианту осуществления настоящего изобретения;

фиг.13 - график, поясняющий второй способ сглаживания согласно одному варианту осуществления настоящего изобретения;

фиг.14 - график, поясняющий третий способ сглаживания согласно одному варианту осуществления настоящего изобретения;

фиг.15 - график, поясняющий четвертый способ сглаживания согласно одному варианту осуществления настоящего изобретения;

фиг.16 - график, поясняющий пятый способ сглаживания согласно одному варианту осуществления настоящего изобретения;

фиг.17 - схема, поясняющая информацию фильтра прототипа, соответствующую каждому каналу;

фиг.18 - блок-схема первого способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;

фиг.19 - блок-схема второго способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;

фиг.20 - блок-схема третьего способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения;

фиг.21 - схема, поясняющая способ генерации сигнала окружения на блоке воспроизведения согласно одному варианту осуществления настоящего изобретения;

фиг.22 - схема первого способа интерполяции согласно одному варианту осуществления настоящего изобретения;

фиг.23 - схема второго способа интерполяции согласно одному варианту осуществления настоящего изобретения;

фиг.24 - схема способа блочной коммутации согласно одному варианту осуществления настоящего изобретения;

фиг.25 - блок-схема позиции, к которой применяется длина окна, определенная блоком определения длины окна, согласно одному варианту осуществления настоящего изобретения;

фиг.26 - схема фильтров, имеющих разные длины, используемых при обработке аудиосигнала, согласно одному варианту осуществления настоящего изобретения;

фиг.27 - схема способа раздельной обработки аудиосигнала с использованием множества подфильтров согласно одному варианту осуществления настоящего изобретения;

фиг.28 - блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в монофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения;

фиг.29 - блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в стереофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения;

фиг.30 - блок-схема первого способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения; и

фиг.31 - блок-схема второго способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения.

Предпочтительные варианты осуществления изобретения

Обратимся к предпочтительным вариантам осуществления настоящего изобретения, примеры которых проиллюстрированы в прилагаемых чертежах.

На фиг.1 показана блок-схема устройства кодирования аудиосигнала и устройства декодирования аудиосигнала согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.1 устройство кодирования 10 включает в себя блок 100 смешивания с уменьшением числа каналов, блок 200 генерации пространственной информации, блок 300 кодирования смешанного с уменьшением числа каналов сигнала, блок 400 кодирования пространственной информации и блок 500 мультиплексирования.

Если аудиосигнал множественных источников (X1, X2,..., Xn) поступает на блок 100 смешивания с уменьшением числа каналов, блок 100 смешивания с уменьшением числа каналов смешивает с уменьшением числа каналов входной сигнал в смешанный с уменьшением числа каналов сигнал. В этом случае смешанный с уменьшением числа каналов сигнал включает в себя монофонический, стереофонический аудиосигнал и аудиосигнал от многих источников.

Источник включает в себя канал и для удобства представлен в нижеследующем описании как канал. В настоящем описании изобретения будем рассматривать моно- или стереофонический смешанный с уменьшением числа каналов сигнал. Тем не менее, настоящее изобретение не ограничивается моно- или стереофоническим смешанным с уменьшением числа каналов сигналом.

Устройство кодирования 10 способно, в необязательном порядке, использовать произвольный смешанный с уменьшением числа каналов сигнал, непосредственно поступающий извне.

Блок 200 генерации пространственной информации генерирует пространственную информацию из многоканального аудиосигнала. Пространственную информацию можно генерировать при выполнении процесса смешивания с уменьшением числа каналов. Сгенерированные смешанный с уменьшением числа каналов сигнал и пространственная информация кодируются блоком 300 кодирования смешанного с уменьшением числа каналов сигнала и блоком 400 кодирования пространственной информации, соответственно, после чего поступают на блок 500 мультиплексирования.

Согласно настоящему изобретению 'пространственная информация' означает информацию, необходимую для генерации многоканального сигнала путем смешивания с увеличением числа каналов смешанного с уменьшением числа каналов сигнала устройством декодирования, причем смешанный с уменьшением числа каналов сигнал генерируется путем смешивания с уменьшением числа каналов многоканального сигнала устройством кодирования и поступает на устройство декодирования. Пространственная информация включает в себя пространственные параметры. Пространственные параметры включают в себя CLD (разность уровней каналов), указывающую разницу в энергии каналов, ICC (межканальную когерентность), указывающую корреляцию между каналами, CPC (коэффициенты прогнозирования каналов), используемые при генерации трех каналов из двух каналов, и т.д.

Согласно настоящему изобретению 'блок кодирования смешанного с уменьшением числа каналов сигнала' или 'блок декодирования смешанного с уменьшением числа каналов сигнала' означает кодек, который кодирует или декодирует аудиосигнал вместо пространственной информации. В настоящем описании изобретения в качестве примера аудиосигнала вместо пространственной информации рассматривается смешанный с уменьшением числа каналов аудиосигнал. Кроме того, блок кодирования или декодирования смешанного с уменьшением числа каналов сигнала может включать в себя MP3, AC-3, DTS или AAC. Кроме того, блок кодирования или декодирования смешанного с уменьшением числа каналов сигнала может включать в себя кодек, который еще предстоит разработать, а также ранее разработанный кодек.

Блок 500 мультиплексирования генерирует битовый поток путем мультиплексирования смешанного с уменьшением числа каналов сигнала и пространственной информации и затем передает сгенерированный битовый поток на устройство декодирования 20. Кроме того, структура битового потока описана ниже со ссылкой на фиг.2.

Устройство декодирования 20 включает в себя блок 600 демультиплексирования, блок 700 декодирования смешанного с уменьшением числа каналов сигнала, блок 800 декодирования пространственной информации, блок воспроизведения 900 и блок 1000 преобразования пространственной информации.

Блок 600 демультиплексирования принимает битовый поток и выделяет кодированный смешанный с уменьшением числа каналов сигнал и кодированную пространственную информацию из битового потока. Затем блок 700 декодирования смешанного с уменьшением числа каналов сигнала декодирует кодированный смешанный с уменьшением числа каналов сигнал, и блок 800 декодирования пространственной информации декодирует кодированную пространственную информацию.

Блок 1000 преобразования пространственной информации генерирует информацию воспроизведения, применимую к смешанному с уменьшением числа каналов сигналу, с использованием декодированной пространственной информации и информации фильтра. В этом случае, информация воспроизведения применяется к смешанному с уменьшением числа каналов сигналу для генерации сигнала окружения.

Например, сигнал окружения генерируется следующим образом. Прежде всего, процесс генерации смешанного с уменьшением числа каналов сигнала из многоканального аудиосигнала с помощью устройства кодирования 10 может включать в себя несколько этапов использования блока ОТТ (один в два) или ТТТ (три в три). В этом случае пространственную информацию можно генерировать на каждом из этапов. Пространственная информация поступает на устройство декодирования 20. Устройство 20 декодирования генерирует сигнал окружения путем преобразования пространственной информации с последующим воспроизведением преобразованной пространственной информации с смешанным с уменьшением числа каналов сигналом. Вместо генерации многоканального сигнала путем смешивания с увеличением числа каналов смешанного с уменьшением числа каналов сигнала настоящее изобретение предусматривает способ воспроизведения, включающий в себя этапы извлечения пространственной информации на каждом этапе смешивания с увеличением числа каналов и осуществления воспроизведения с использованием извлеченной пространственной информации. Например, способ воспроизведения предусматривает использование фильтрации на основе HRTF (функция моделирования восприятия звука человеком).

В этом случае пространственная информация представляет собой значение, применимое также к гибридной области. Таким образом, воспроизведение можно классифицировать на следующие типы согласно области.

Первый тип - это тип воспроизведения, который выполняется в смешанной области путем пропускания смешанного с уменьшением числа каналов сигнала через гибридный блок фильтров. В этом случае преобразование области для пространственной информации не требуется.

Второй тип - это тип воспроизведения, который выполняется во временной области. В этом случае второй тип опирается на тот факт, что фильтр HRTF моделируется как фильтр КИХ (с конечной импульсной характеристикой) или фильтр БИХ (с бесконечной импульсной характеристикой) во временной области. Таким образом, необходим процесс преобразования пространственной информации в коэффициент фильтра во временной области.

Третий тип - это тип воспроизведения, который выполняется в другой частотной области. Например, воспроизведение выполняется в области ДПФ (дискретного преобразования Фурье). В этом случае необходим процесс преобразования пространственной информации в соответствующую область. В частности, третий тип обеспечивает повышенное быстродействие благодаря замене фильтрации во временной области соответствующей операцией в частотной области.

Согласно настоящему изобретению информация фильтра - это информация, необходимая фильтру для обработки аудиосигнала, которая включает в себя коэффициент фильтра, подаваемый на конкретный фильтр. Приведем примеры информации фильтра. Прежде всего, прототип информация-прототип фильтра - это исходная информация фильтра для конкретного фильтра, которую можно представить как GL_L и т.п. Преобразованная информация фильтра указывает коэффициент фильтра после того, как информация-прототип фильтра была преобразована, и ее можно представить как GL_L и т.п. Частичная информация воспроизведения означает информацию фильтра, полученную путем преобразования информации-прототипа фильтра к пространственным переменным для генерации сигнала окружения, и ее можно представить как FL_L1 и т.п. Информация воспроизведения означает информацию фильтра, необходимую для существующего воспроизведения, которую можно представить как HL_L и т.п. Интерполированная/сглаженная информация воспроизведения означает информацию фильтра, полученную путем интерполяции/сглаживания информации воспроизведения, и ее можно представить как HL_L и т.п. В настоящем описании изобретения рассматриваются вышеописанные виды информации фильтра. Тем не менее, настоящее изобретение не ограничивается указанными видами информации фильтра. В частности, HRTF приведена в порядке примера информации фильтра. Тем не менее, настоящее изобретение не ограничивается HRTF.

Блок воспроизведения 900 принимает декодированный смешанный с уменьшением числа каналов сигнал и информацию воспроизведения и генерирует сигнал окружения, используя декодированный смешанный с уменьшением числа каналов сигнал и информацию воспроизведения. Сигнал окружения может представлять собой сигнал для обеспечения эффекта окружения в аудиосистеме, способной генерировать только стереосигнал. Кроме того, настоящее изобретение применимо не только к аудиосистеме, способной генерировать только стереосигнал, но и к различным другим системам.

На фиг.2 показана структурная схема битового потока аудиосигнала согласно одному варианту осуществления настоящего изобретения, причем битовый поток включает в себя кодированный смешанный с уменьшением числа каналов сигнал и кодированную пространственную информацию.

Согласно фиг.2 1-кадровые полезные данные аудиосигнала включают в себя поле смешанного с уменьшением числа каналов сигнала и поле вспомогательных данных. В поле вспомогательных данных может храниться кодированная пространственная информация. Например, если полезные данные аудиосигнала составляют 48~128 кбит/с, пространственная информация может занимать 5~32 кбит/с. Тем не менее, не предусмотрено никаких ограничений на пределы полезных данных аудиосигнала и пространственной информации.

На фиг.3 показана подробная блок-схема блока преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.3 блок 1000 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок интегрирования 1030, блок обработки 1040 и блок 1050 преобразования измерения.

Блок 1010 отображения источника генерирует информацию отображения источника, соответствующую каждому источнику аудиосигнала, посредством отображения существующего источника с использованием пространственной информации. В этом случае информация отображения источника означает информацию для каждого источника, генерируемую в соответствии с каждым источником аудиосигнала с использованием пространственной информации и т.п. Источник включает в себя канал, и в этом случае генерируется информация отображения источника, соответствующая каждому каналу. Информацию отображения источника можно представить как коэффициент. Кроме того, процесс отображения источника подробно описан ниже со ссылкой на фиг.4 и фиг.5.

Блок 1020 генерации частичной информации воспроизведения генерирует частичную информацию воспроизведения, соответствующую каждому источнику, с использованием информации отображения источника и информации фильтра. Например, если блок 900 воспроизведения является фильтром HRTF, блок 1020 генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения с использованием информации фильтра HRTF.

Блок интегрирования 1030 генерирует информацию воспроизведения путем интегрирования частичной информации воспроизведения в соответствии с каждым источником смешанного с уменьшением числа каналов сигнала. Информация воспроизведения, которая генерируется с использованием пространственной информации и информации фильтра, означает информацию для генерации сигнала окружения путем ее применения к смешанному с уменьшением числа каналов сигналу. Кроме того, информация воспроизведения включает в себя тип коэффициента фильтра. Интегрирование можно исключить для снижения вычислительной нагрузки процесса воспроизведения. Затем информация воспроизведения поступает на блок обработки 1042.

Блок обработки 1042 включает в себя блок интерполяции 1041 и/или блок сглаживания 1042. Информация воспроизведения интерполируется блоком интерполяции 1041 и/или сглаживается блоком сглаживания 1042.

Блок 1050 преобразования области преобразует область информации воспроизведения к измерению смешанного с уменьшением числа каналов сигнала, используемого блоком воспроизведения 900. Кроме того, блок 1050 преобразования области может быть предусмотрен в одной из разных позиций, включая позицию, показанную на фиг.3. Таким образом, если информация воспроизведения генерируется в той же области блока воспроизведения 900, блок 1050 преобразования области можно исключить. Информация воспроизведения, преобразованная в другую область, поступает на блок воспроизведения 900.

Блок 1000 преобразования пространственной информации может включать в себя блок 1060 преобразования информации фильтра. На фиг.3 блок 1060 преобразования информации фильтра предусмотрен в блоке 1000 преобразования пространственной информации. Альтернативно, блок 1060 преобразования информации фильтра может быть предусмотрен вне блока 1000 преобразования пространственной информации. Блок 1060 преобразования информации фильтра настраивается таким образом, чтобы он был пригоден для генерации частичной информации воспроизведения или информации воспроизведения из произвольной информации фильтра, например HRTF. Процесс преобразования информации фильтра может включать в себя следующие этапы.

Во-первых, предусмотрен этап согласования областей, в которых следует осуществлять процесс. Если область информации фильтра не совпадает с областью существующего (текущего) воспроизведения, требуется этап согласования областей. Например, требуется этап преобразования из временной области HRTF в ДПФ, КЗФ или смешанную область для генерации информации воспроизведения.

Во-вторых, можно предусмотреть этап коэффициента. В этом случае легко сохранять HRTF, преобразованную в другую область, и применять HRTF, преобразованную в другую область, к пространственной информации. Например, если коэффициент фильтра-прототипа имеет характеристику с большим количеством «язычков» (характеристики) (длиной), соответствующий коэффициент должен сохраняться в памяти, соответствующей характеристике, доходящей до соответствующей полной длины 10 в случае схемы каналов 5.1. Это увеличивает нагрузку на память и вычислительную нагрузку. Во избежание этой проблемы можно использовать способ сокращения коэффициента фильтра, подлежащего сохранению, в то же время поддерживая характеристики фильтра в процессе преобразования областей. Например, характеристику HRTF можно преобразовать в несколько значений параметра. В этом случае процесс генерации параметра и значение параметра могут отличаться согласно применяемой области.

Смешанный с уменьшением числа каналов сигнал проходит через блок 1110 преобразования области и/или блок декорреляции 1200 до осуществления его воспроизведения с помощью информации воспроизведения. В случае, когда область информации воспроизведения отличается от области смешанного с уменьшением числа каналов сигнала, блок 1110 преобразования области преобразует область смешанного с уменьшением числа каналов сигнала, чтобы он выражался в той же области, что и информация воспроизведения.

Блок 1200 декорреляции применяется к смешанному с уменьшением числа каналов сигналу, преобразованному в другую область. Для этого может потребоваться вычислительная нагрузка, более высокая по сравнению с предусмотренной согласно способу применения декоррелятора к информации воспроизведения. Однако это позволяет предотвращать возникновение искажений в процессе генерации информации воспроизведения. Блок 1200 декорреляции может включать в себя множество декорреляторов, отличающихся друг от друга характеристиками, если вычислительная нагрузка находится в допустимых пределах. Если смешанный с уменьшением числа каналов сигнал является стереосигналом, блок 1200 декорреляции можно не использовать. На фиг.3 в случае, когда в процессе воспроизведения используется монофонический смешанный с уменьшением числа каналов сигнал, преобразованный в другую область, т.е. монофонический смешанный с уменьшением числа каналов сигнал в частотном, смешанной, КЗФ или ДПФ области, декоррелятор используется в соответствующей области. Кроме того, настоящее изобретение включает в себя декоррелятор, используемый во временной области. В этом случае монофонический смешанный с уменьшением числа каналов сигнал до блока 1100 преобразования области непосредственно подается на блок 1200 декорреляции. В качестве декоррелятора можно использовать БИХ-фильтр (или КИХ-фильтр) первого или более высокого порядка.

Затем блок 900 воспроизведения генерирует сигнал окружения с использованием смешанного с уменьшением числа каналов сигнала, декоррелированного смешанного с уменьшением числа каналов сигнала и информации воспроизведения. Если смешанный с уменьшением числа каналов сигнал является стереосигналом, декоррелированный смешанный с уменьшением числа каналов сигнал можно не использовать. Процесс воспроизведения подробно описан ниже со ссылкой на фиг.6-9.

Сигнал окружения преобразуется во временную область блоком 1300 обратного преобразования области и затем выводится. Это позволяет пользователю слышать звук, имеющий многоканальный эффект, через стереофонические наушники и т.п.

На фиг.4 и фиг.5 показаны блок-схемы конфигураций каналов, используемых в процессе отображения источника согласно одному варианту осуществления настоящего изобретения. Процесс отображения источника - это процесс генерации информации отображения источника, соответствующей каждому источнику аудиосигнала, с использованием пространственной информации. Как указано в предыдущем описании, источник включает в себя канал, и информацию отображения источника можно генерировать в соответствии с каналами, показанными на фиг.4 и фиг.5. Генерируемая информация отображения источника должна иметь тип, соответствующий процессу воспроизведения.

Например, если смешанный с уменьшением числа каналов сигнал является моносигналом, можно генерировать информацию отображения источника с использованием пространственной информации, например CLD1~CLD5, ICC1~ICC5 и т.п.

Информацию отображения источника можно представить посредством такого значения, как D_L (=D_R), D_R (=D_R), D_C (=D_C), D_LFE (=D_LFE), D_Ls (=D_Ls), D_Rs (=D_Rs) и т.п. В этом случае процесс генерации информации отображения источника изменяется согласно древовидной структуре, соответствующей пространственной информации, диапазону используемой пространственной информации, и т.п. В настоящем описании изобретения смешанный с уменьшением числа каналов сигнал является, например, моносигналом, что не налагает ограничение на настоящее изобретение.

Выходные сигналы правого и левого каналов, выдаваемые блоком воспроизведения 900, можно выразить формулой 1.

Формула 1

В этом случае оператор '*' указывает произведение в области ДПФ, и его можно заменить сверткой в КЗФ или временной области.

Настоящее изобретение включает в себя способ генерации L, C, R, Ls и Rs посредством информации отображения источника с использованием пространственной информации или посредством информации отображения источника с использованием пространственной информации и информации фильтра. Например, информацию отображения источника можно генерировать с использованием только CLD пространственной информации или CLD и ICC пространственной информации. Ниже объяснен способ генерации информация отображения источника с использованием только CLD.

В случае, когда древовидная структура имеет структуру, показанную на фиг.4, первый способ получения информации отображения источника с использованием только CLD можно выразить формулой 2.

Формула 2

В этом случае,

,

,

и 'm' указывает монофонический смешанный с уменьшением числа каналов сигнал.

В случае, когда древовидная структура имеет структуру, показанную на фиг.5, второй способ получения информации отображения источника с использованием только CLD можно выразить формулой 3.

Формула 3

Если информация отображения источника генерируется с использованием только CLD, трехмерный эффект можно ослабить. Таким образом, можно генерировать информацию отображения источника с использованием ICC и/или декоррелятора. Кроме того, многоканальный сигнал, генерируемый с использованием выходного сигнала декоррелятора dx(m), можно выразить формулой 4.

Формула 4

В этом случае 'A', 'B' и 'C - это значения, которые можно представить с использованием CLD и ICC. Величины 'd₀' ~ 'd₃' указывают декорреляторы. Величина 'm' указывает монофонический смешанный с уменьшением числа каналов сигнал. Однако этот способ не позволяет генерировать информацию отображения источника, например D_L, D_R и т.п.

Таким образом, первый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов для смешанного с уменьшением числа каналов сигнала рассматривает dx(m) (x = 0, 1, 2) как независимый входной сигнал. В этом случае величина 'dx' пригодна для процесса генерации информации фильтра частичного воспроизведения согласно формуле 5.

Формула 5

FL_LM = d_L_M * GL_L′ (Моновход → Левый выход)

FL_R_M = d_L_M * GL_R′ (Моновход → Правый выход)

FL_L_Dx = d_L_Dx * GL_L′ (Выход Dx → Левый выход)

FL_R_Dx = d_L_Dx * GL_R′ (Выход Dx → Правый выход)

Кроме того, информацию воспроизведения можно генерировать согласно формуле 6 с использованием результата формулы 5.

Формула 6

Процесс генерации информации воспроизведения подробно объяснен ниже. Первый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов оперирует выходным значением dx, т.е. 'dx(m)' в качестве независимого входного сигнала, что может повышать вычислительную нагрузку.

Второй способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов использует декорреляторы, применяемые в частотной области. В этом случае информацию отображения источника можно выразить формулой 7.

Формула 7

В этом случае путем применения декорреляторов в частотной области можно генерировать ту же информацию отображения источника, например D_L, D_R и т.п., до применения декорреляторов. Это позволяет упростить реализацию.

Третий способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов использует декорреляторы, имеющие всечастотную характеристику, как и декорреляторы согласно второму способу. В этом случае всечастотная характеристика означает, что размер фиксируется только посредством изменения фазы. Таким образом, настоящее изобретение позволяет использовать декорреляторы, имеющие всечастотную характеристику, как и декорреляторы согласно первому способу.

Четвертый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов осуществляет декорреляцию с использованием декорреляторов для соответствующих каналов (например, L, R, C, Ls, Rs, и т.д.) вместо использования величин 'd₀'~'d₃' согласно второму способу. В этом случае информацию отображения источника можно выразить формулой 8.

Формула 8

В этом случае 'k' - это значение энергии декоррелированного сигнала, определяемое из значений CLD и ICC. Кроме того, 'd_L', 'd_R', 'd_C, 'd_Ls' и 'd_Rs' указывают декорреляторы, применяемые к соответствующим каналам.

Пятый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов максимизирует эффект декорреляции, конфигурируя 'd_L' и 'd_R' симметрично друг другу в четвертом способе и конфигурируя 'd_Ls' и 'd_Rs' симметрично друг другу в четвертом способе. В частности, предполагая d_R = f(d_L) и d_Rs = f(d_Ls), необходимо задавать только 'd_L', 'd_C и 'd_Ls'.

Шестой способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов состоит в конфигурировании 'd_L' и 'd_Ls', чтобы они имели корреляцию в пятом способе. Кроме того, 'd_L' и 'd_C можно конфигурировать, чтобы они также имели корреляцию.

Седьмой способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов предусматривает использование декорреляторов согласно третьему способу в качестве последовательной или многоуровневой структуры всечастотных фильтров. Седьмой способ использует тот факт, что всечастотная характеристика поддерживается, даже если всечастотный фильтр используется как последовательная или многоуровневая (вложенная) структура. В случае использования всечастотного фильтра в качестве последовательной или многоуровневой (вложенной) структуры можно получать более разнообразные фазовые характеристики. Это позволяет максимизировать эффект декорреляции.

Восьмой способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов предусматривает совместное использование декоррелятора согласно уровню техники и декоррелятора частотной области согласно второму способу. В этом случае многоканальный сигнал можно выразить формулой 9.

Формула 9

В этом случае в процессе генерации коэффициентов фильтра используется тот же процесс, который был описан в первом способе, за исключением того, что 'A' заменено на 'A+Kd'.

Девятый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов предусматривает генерацию дополнительно декоррелированного значения путем применения декоррелятора частотной области к выходному сигналу декоррелятора согласно уровню техники, в случае использования декоррелятора согласно уровню техники. Таким образом, можно генерировать информацию отображения источника с малой вычислительной нагрузкой благодаря преодолению ограничения декоррелятора частотной области.

Десятый способ генерации информации отображения источника с использованием CLD, ICC и/или декорреляторов выражается посредством формулы 10.

Формула 10

В этом случае 'di_(m)' (i=L, R, C, Ls, Rs) - это выходное значение декоррелятора, применяемого к каналу i. Таким образом, выходное значение можно обрабатывать во временной области, частотной области, области КЗФ, смешанной области и т.п. Если выходное значение обрабатывается в области, отличной от обрабатываемой в данный момент области, его можно преобразовать посредством преобразования в другую область. Это позволяет использовать 'd' для d_L, d_R, d_C, d_Ls и d_Rs. В этом случае формулу 10 можно выразить очень просто.

Если формулу 10 применить к формуле 1, формулу 1 можно выразить формулой 11.

Формула 11

В этом случае информация HM_L воспроизведения - это значение, полученное путем объединения пространственной информации и информации фильтра для генерации сигнала окружения Lo со входом m. Кроме того, информация HM_R воспроизведения - это значение, полученное путем объединения пространственной информации и информации фильтра для генерации сигнала окружения Ro со входом m. Кроме того, 'd(m)' - это выходное значение декоррелятора, генерируемое путем преобразования выходного значения декоррелятора в произвольной области в значение в текущей области, или выходное значение декоррелятора, генерируемое посредством обработки в текущей области. Информация HMD_L воспроизведения - это значение, указывающее величину выходного значения декоррелятора d(m), которое суммируется с 'Lo' при воспроизведении d(m), а также значение, полученное путем объединения пространственной информации и информации фильтра друг с другом. Информация HMD_R воспроизведения - это значение, указывающее величину выходного значения декоррелятора d(m), которое суммируется с 'Ro' при воспроизведении d(m).

Таким образом, для осуществления процесса воспроизведения на монофоническом смешанном с уменьшением числа каналов сигнале настоящее изобретение предусматривает способ генерации сигнала окружения посредством воспроизведения информации воспроизведения, сгенерированной путем объединения пространственной информации и информации фильтра (например, коэффициента фильтра HRTF), в смешанный с уменьшением числа каналов сигнал и декоррелированный смешанный с уменьшением числа каналов сигнал. Процесс воспроизведения может выполняться в любой области. Если 'd(m)' выражается как 'd*m' (оператор умножения), выполняемый в частотной области, формулу 11 можно выразить формулой 12.

Формула 12

Таким образом, в случае осуществления процесса воспроизведения в отношении смешанного с уменьшением числа каналов сигнала в частотной области можно минимизировать вычислительную нагрузку благодаря представлению значения, полученного путем надлежащего объединения пространственной информации, информации фильтра и декорреляторов в форме произведения.

На фиг.6 и фиг.7 показаны подробные блок-схемы блока воспроизведения для стереофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.6 блок 900 воспроизведения включает в себя блок-A 910 воспроизведения и блок-B 920 воспроизведения.

Если смешанный с уменьшением числа каналов сигнал является стереосигналом, блок 1000 преобразования пространственной информации генерирует информацию воспроизведения для левого и правого каналов смешанного с уменьшением числа каналов сигнала. Блок-A 910 воспроизведения генерирует сигнал окружения посредством воспроизведения информации воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала в левый канал смешанного с уменьшением числа каналов сигнала. Кроме того, блок-B 920 воспроизведения генерирует сигнал окружения посредством воспроизведения информации воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала в правый канал смешанного с уменьшением числа каналов сигнала. Названия каналов приведены исключительно для иллюстрации, что не налагает ограничение на настоящее изобретение.

Информация воспроизведения может включать в себя информацию воспроизведения, доставляемую в некоторый канал, и информацию воспроизведения, доставляемую в другой канал.

Например, блок 1000 преобразования пространственной информации способен генерировать информацию воспроизведения HL_L и HL_R, поступающую на блок воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала, в котором информация воспроизведения HL_L доставляется в левый выход, соответствующий тому же каналу, и информация воспроизведения HL_R доставляется в правый выход, соответствующий другому каналу. Кроме того, блок 1000 преобразования пространственной информации способен генерировать информацию воспроизведения HR_R и HR_L, поступающую на блок воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала, в котором информация воспроизведения HR_R доставляется в правый выход, соответствующий тому же каналу, и информация воспроизведения HR_L is доставляется в левый выход, соответствующий другому каналу.

Согласно фиг.7 блок 900 воспроизведения включает в себя блок-1A 911 воспроизведения, блок-2A 912 воспроизведения, блок-1B 921 воспроизведения и блок-2B 922 воспроизведения.

Блок 900 воспроизведения принимает стереофонический смешанный с уменьшением числа каналов сигнал и информацию воспроизведения от блока 1000 преобразования пространственной информации. Затем блок 900 воспроизведения генерирует сигнал окружения посредством воспроизведения информации воспроизведения в стереофонический смешанный с уменьшением числа каналов сигнал.

В частности, блок-1A 911 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HL_L, доставляемой в тот же канал, входящей в состав информации воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала. Блок-2A 912 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HL_R, доставляемой в другой канал, входящей в состав информации воспроизведения для левого канала смешанного с уменьшением числа каналов сигнала. Блок-1B 921 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HR_R, доставляемой в тот же канал, входящей в состав информации воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала. Кроме того, блок-2B 922 воспроизведения осуществляет воспроизведение с использованием информации воспроизведения HR_L, доставляемый в другой канал, входящей в состав информации воспроизведения для правого канала смешанного с уменьшением числа каналов сигнала.

В нижеследующем описании информация воспроизведения, доставляемая в другой канал, называется 'информация перекрестного воспроизведения'. Информация перекрестного воспроизведения HL_R или HR_L применяется к тому же каналу и затем суммируется с другим каналом посредством сумматора. В этом случае информация перекрестного воспроизведения HL_R и/или HR_L может быть нулевой. Если информация перекрестного воспроизведения HL_R и/или HR_L равна нулю, это означает, что в соответствующий тракт сигнала ничего не добавлено.

Ниже описан иллюстративный способ генерации сигнала окружения, показанный на фиг.6 или фиг.7.

Прежде всего, если смешанный с уменьшением числа каналов сигнал является стереосигналом, смешанный с уменьшением числа каналов сигнал, обозначенный 'x', информация отображения источника, генерируемая с использованием пространственной информации, обозначенная 'D', информация-прототип фильтра, обозначенная 'G', многоканальный сигнал, обозначенный 'p', и сигнал окружения, обозначенный 'y', можно представить матрицами, входящими в формулу 13.

Формула 13

В этом случае, если вышеперечисленные значения заданы в частотной области, их можно обрабатывать следующим образом.

Прежде всего, многоканальный сигнал p, представленный в формуле 14, можно выразить как произведение информации отображения источника D, генерируемой с использованием пространственной информации, и смешанного с уменьшением числа каналов сигнала x.

Формула 14

Сигнал окружения y, представленный в формуле 15, можно генерировать посредством воспроизведения информации-прототипа фильтра G в многоканальный сигнал p.

Формула 15

В этом случае, если подставить формулу 14 вместо p, его можно генерировать согласно формуле 16.

Формула 16

В этом случае, если информация воспроизведения H задана как H=GD, сигнал окружения y и смешанный с уменьшением числа каналов сигнал x можно связать между собой согласно формуле 17.

Формула 17

Таким образом, после генерации информации воспроизведения H путем обработки произведения информации фильтра и информации отображения источника смешанный с уменьшением числа каналов сигнал x умножается на информацию воспроизведения H для генерации сигнала окружения y.

Согласно определению информации воспроизведения H информацию воспроизведения H можно выразить формулой 18.

Формула 18

На фиг.8 и фиг.9 показаны подробные блок-схемы блока воспроизведения для монофонического смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.8 блок 900 воспроизведения включает в себя блок-A 930 воспроизведения и блок-B 940 воспроизведения.

Если смешанный с уменьшением числа каналов сигнал является моносигналом, блок 1000 преобразования пространственной информации генерирует информацию воспроизведения HM_L и HM_R, в котором информация воспроизведения HM_L используется при воспроизведении моносигнала в левый канал и информация воспроизведения HM_R используется при воспроизведении моносигнала в правый канал.

Блок-A 930 воспроизведения применяет информацию воспроизведения HM_L к монофоническому смешанному с уменьшением числа каналов сигналу для генерации сигнала окружения левого канала. Блок-B 940 воспроизведения применяет информацию воспроизведения HM_R к монофоническому смешанному с уменьшением числа каналов сигналу для генерации сигнала окружения правого канала.

Блок 900 воспроизведения, показанный на чертеже, не использует декоррелятор. Однако если блок-A 930 воспроизведения и блок-B 940 воспроизведения осуществляют воспроизведение с использованием соответствующей информации воспроизведения Hmoverall_R и Hmoverall_L, заданных в формуле 12, можно получить выходные сигналы, к которым применяется соответствующий декоррелятор.

При этом в случае попытки получения выходной стереосигнал вместо сигнала окружения по завершении воспроизведения, осуществляемого на монофоническом смешанном с уменьшением числа каналов сигнале, возможны следующие два способа.

Первый способ состоит в том, что вместо использования информации воспроизведения для создания эффекта окружения используется значение, используемое для стереовыхода. В этом случае можно получить стереосигнал, изменив лишь информацию воспроизведения в структуре, показанной на фиг.3.

Второй способ состоит в том, что в процессе декодирования для генерации многоканального сигнала с использованием смешанного с уменьшением числа каналов сигнала и пространственной информации можно получать стереосигнал, осуществляя процесс декодирования только на соответствующем этапе для получения конкретного номера канала.

Согласно фиг.9 блок 900 воспроизведения соответствует случаю, когда декоррелированный сигнал представлен единицей, т.е. согласно формуле 11. Блок 900 воспроизведения включает в себя блок-1A 931 воспроизведения, блок-2A 932 воспроизведения, блок-1B 941 воспроизведения и блок-2B 942 воспроизведения. Блок 900 воспроизведения аналогичен блоку воспроизведения для стереофонического смешанного с уменьшением числа каналов сигнала за исключением того, что блок 900 воспроизведения включает в себя блоки воспроизведения 941 и 942 для декоррелированного сигнала.

В случае стереофонического смешанного с уменьшением числа каналов сигнала можно представить, что один из двух каналов является декоррелированным сигналом. Тогда, не применяя дополнительные декорреляторы, можно осуществлять процесс воспроизведения с использованием ранее заданных четырех видов информации воспроизведения HL_L, HL_R и т.п. В частности, блок-1A 931 воспроизведения генерирует сигнал, подлежащий доставке в тот же канал, путем применения информации воспроизведения HM_L к монофоническому смешанному с уменьшением числа каналов сигналу. Блок-2A 932 воспроизведения генерирует сигнал, подлежащий доставке в другой канал, путем применения информации воспроизведения HM_R к монофоническому смешанному с уменьшением числа каналов сигналу. Блок-1B 941 воспроизведения генерирует сигнал, подлежащий доставке в тот же канал, путем применения информации воспроизведения HMD_R к декоррелированному сигналу. Наконец, блок-2B 942 воспроизведения генерирует сигнал, подлежащий доставке в другой канал, путем применения информации воспроизведения HMD_L к декоррелированному сигналу.

Если смешанный с уменьшением числа каналов сигнал является моносигналом, смешанный с уменьшением числа каналов сигнал, обозначенный x, информация канала источника, обозначенная D, информация-прототип фильтра, обозначенная G, многоканальный сигнал, обозначенный p, и сигнал окружения обозначенный y, можно представить матрицами, представленными в формуле 19.

Формула 19

В этом случае соотношение между матрицами аналогично соотношению в случае, когда смешанный с уменьшением числа каналов сигнал является стереосигналом. Поэтому детали опущены.

При этом информация отображения источника, описанная со ссылкой на фиг.4 и фиг.5, и информация воспроизведения, генерируемая с использованием информации отображения источника, имеют значения, отличающиеся полосой частот, диапазоном параметров и/или передаваемым временным интервалом. В этом случае, если значения информации отображения источника и/или информации воспроизведения принадлежат существенно разным полосам частот или временным интервалам, в процессе воспроизведения может возникать искажение. Во избежание искажения необходим процесс сглаживания в частотной и/или временной области. Другой способ сглаживания, пригодный для воспроизведения, также можно использовать для сглаживания в частотной области и/или сглаживания во временной области. Кроме того, можно использовать значение, полученное путем умножения информации отображения источника или информации воспроизведения на конкретный коэффициент усиления.

На фиг.10 и фиг.11 показаны блок-схемы блока сглаживания и блока расширения согласно одному варианту осуществления настоящего изобретения.

Способ сглаживания согласно настоящему изобретению, показанный на фиг.10 и фиг.11, применим к информации воспроизведения и/или информации отображения источника. Однако способ сглаживания применим к информации других типов. В нижеследующем описании рассмотрено сглаживание в частотной области. Однако настоящее изобретение включает в себя сглаживание во временной области, а также сглаживание в частотной области.

Согласно фиг.10 и фиг.11 блок 1042 сглаживания способен осуществлять сглаживание в отношении информации воспроизведения и/или информации отображения источника. Примеры позиции, где осуществляется сглаживание, подробно описаны ниже со ссылкой на фиг.18-20.

Блок 1042 сглаживания может быть сопряжен с блоком 1043 расширения, в котором информация воспроизведения и/или информация отображения источника может расширяться до более широкого диапазона, например полосы фильтра, чем у диапазона параметра. В частности, информация отображения источника может быть расширена до частотного разрешения (например, полосы фильтра), соответствующей информации фильтра, подлежащей умножению на информацию фильтра (например, коэффициент фильтра HRTF). Сглаживание согласно настоящему изобретению выполняется до расширения или совместно с ним. Для осуществления сглаживания совместно с расширением можно использовать один из способов, показанных на фиг.12-16.

На фиг.12 показан график, поясняющий первый способ сглаживания согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.12 первый способ сглаживания предусматривает использование значения, имеющего тот же размер, что и пространственная информация в каждом диапазоне параметра. В этом случае можно добиться эффекта сглаживания с использованием подходящей сглаживающей функции.

На фиг.13 показан график, поясняющий второй способ сглаживания согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.13 второй способ сглаживания обеспечивает эффект сглаживания путем соединения репрезентативных позиций диапазона параметра. Репрезентативная позиция является истинным центром каждого диапазона параметра, центральной позицией, пропорциональной логарифмической шкале, крайнего уровня и т.п., наименьшим значением частоты, или позицией, ранее определенной другим способом.

На фиг.14 показан график, поясняющий третий способ сглаживания согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.14 третий способ сглаживания предусматривает сглаживание в виде кривой или прямой линии, плавно соединяющей границы параметров. В этом случае третий способ сглаживания предусматривает использование заранее заданной кривой сглаживания границ или низкочастотной фильтрации с помощью БИХ-фильтра или КИХ-фильтра первого или более высокого порядка.

На фиг.15 показан график, поясняющий четвертый способ сглаживания согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.15 четвертый способ сглаживания позволяет добиться эффекта сглаживания путем прибавления сигнала, например случайного шума, к форме пространственной информации. В этом случае значение, отличающееся каналом или диапазоном, пригодно в качестве случайного шума. В случае добавления случайного шума в частотной области можно прибавлять только значение размера, оставляя значение фазы без изменения. Четвертый способ сглаживания позволяет добиваться эффекта межканальной декорреляции, а также эффекта сглаживания в частотной области.

На фиг.16 показан график, поясняющий пятый способ сглаживания согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.16 пятый способ сглаживания предусматривает использование способов сглаживания со второго по четвертый в совокупности. Например, после соединения репрезентативных позиций соответствующих диапазонов параметра прибавляется случайный шум, после чего применяется низкочастотная фильтрация. При этом последовательность операций можно менять. Пятый способ сглаживания минимизирует точки нарушения непрерывности в частотной области и усиливает эффект межканальной декорреляции.

Согласно способам сглаживания с первого по пятый суммарная мощность значений пространственной информации (например, значений CLD) в соответствующих частотных областях для каждого канала должна быть постоянной. С этой целью после осуществления способа сглаживания для каждого канала следует осуществлять нормализацию мощности. Например, если смешанный с уменьшением числа каналов сигнал является моносигналом, значения уровня соответствующих каналов должны подчиняться соотношению, выраженному формулой 20.

Формула 20

В этом случае 'pb = 0 ~ полный диапазон параметра номер 1' и 'C' - произвольная постоянная.

На фиг.17 показана схема, поясняющая информацию фильтра-прототипа, соответствующую каждому каналу.

Согласно фиг.17 для воспроизведения сигнал, прошедший через фильтр GL_L для источника левого канала, поступает на левый выход, а сигнал, прошедший через фильтр GL_R, поступает на правый выход.

Затем левый окончательный выходной сигнал (например, Lo) и правый окончательный выходной сигнал (например, Ro) генерируются путем сложения всех сигналов, полученных из соответствующих каналов. В частности, воспроизведенные выходные сигналы левого/правого канала можно выразить формулой 21.

Формула 21

Согласно настоящему изобретению воспроизведенные выходные сигналы левого/правого канала можно генерировать с использованием L, R, C, Ls и Rs, сгенерированных путем декодирования смешанного с уменьшением числа каналов сигнала в многоканальный сигнал с использованием пространственной информации. Кроме того, настоящее изобретение позволяет генерировать воспроизведенные выходные сигналы левого/правого канала с использованием информации воспроизведения без генерации L, R, C, Ls и Rs, в каковом случае информация воспроизведения генерируется с использованием пространственной информации и информации фильтра.

Процесс генерации информации воспроизведения с использованием пространственной информации описан ниже со ссылкой на фиг.18-20.

На фиг.18 показана блок-схема первого способа генерации информации воспроизведения на блоке 900 преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.18, как указано в предыдущем описании, блок 900 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области. Блок 900 преобразования пространственной информации имеет такую же конфигурацию, которая показана на фиг.3.

Блок 1020 генерации частичной информации воспроизведения включает в себя по меньшей мере один или несколько блоков генерации частичной информации воспроизведения (с 1-го блока генерации частичной информации воспроизведения по N-й блок генерации частичной информации воспроизведения).

Блок 1020 генерации частичной информации воспроизведения генерирует частичную информацию воспроизведения с использованием информации фильтра и информации отображения источника.

Например, если смешанный с уменьшением числа каналов сигнал является моносигналом, первый блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения, соответствующую левому каналу многоканального сигнала. Таким образом, частичную информацию воспроизведения можно выразить согласно формуле 22 через информацию отображения источника D_L и преобразованную информацию фильтра GL_L' и GL_R'.

Формула 22

FL_L = D_L * GL_L′

(моновход → коэффициент фильтра на левый выходной канал)

FL_R = D_L * GL_R′

(моновход → коэффициент фильтра на правый выходной канал)

В этом случае D_L - это значение, генерируемое с использованием пространственной информации на блоке 1010 отображения источника. Тем не менее, процесс генерации D_L может следовать древовидной структуре.

Второй блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения FR_L и FR_R, соответствующую правому каналу многоканального сигнала. Кроме того, N-й блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения FRs_L и FRs_R, соответствующую правому каналу окружения многоканального сигнала.

Если смешанный с уменьшением числа каналов сигнал является стереосигналом, первый блок генерации частичной информации воспроизведения способен генерировать частичную информацию воспроизведения, соответствующую левому каналу многоканального сигнала. Таким образом, частичную информацию воспроизведения можно выразить согласно формуле 23 через информацию отображения источника D_L1 и D_L2.

Формула 23

FL_L1 = D_L1 * GL_L′

(левый вход → коэффициент фильтра на левый выходной канал)

FL_L2 = D_L2 * GL_L′

(правый вход → коэффициент фильтра на левый выходной канал)

FL_R1 = D_L1 * GL_R′

(левый вход → коэффициент фильтра на правый выходной канал)

FL_R2 = D_L2 * GL_R′

(правый вход → коэффициент фильтра на правый выходной канал)

В формуле 23, FL_R1 объясняется, например, следующим образом.

Во-первых, в FL_R1, 'L' указывает позицию многоканального сигнала, 'R' указывает выходной канал сигнала окружения и '1' указывает канал смешанного с уменьшением числа каналов сигнала. Конкретно, FL_R1 указывает частичную информацию воспроизведения, используется при генерации правого выходного канала сигнала окружения из левого канала смешанного с уменьшением числа каналов сигнала.

Во-вторых, D_L1 и D_L2 - это значения, генерируемые с использованием пространственной информации на блоке 1010 отображения источника.

Если смешанный с уменьшением числа каналов сигнал является стереосигналом, можно генерировать множество частей информации воспроизведения из по меньшей мере одного блока генерации частичной информации воспроизведения таким же образом, как в случае, когда смешанный с уменьшением числа каналов сигнал является моносигналом. Типы частичной информации воспроизведения, генерируемой множеством блоков генерации частичной информации воспроизведения, являются иллюстративными, что не налагает ограничение на настоящее изобретение.

Частичная информация воспроизведения, генерируемая блоком 1020 генерации частичной информации воспроизведения, передается на блок 900 воспроизведения через блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области.

Блок 1030 интегрирования интегрирует части информации воспроизведения, сгенерированные для каждого канала, в информацию воспроизведения (например, HL_L, HL_R, HR_L, HR_R) для процесса воспроизведения. Процесс интегрирования на блоке 1030 интегрирования описан ниже для случая моносигнала и для случая стереосигнала.

Во-первых, если смешанный с уменьшением числа каналов сигнал является моносигналом, информацию воспроизведения можно выразить формулой 24.

Формула 24

Во-вторых, если смешанный с уменьшением числа каналов сигнал является стереосигналом, информацию воспроизведения можно выразить формулой 25.

Формула 25

Затем, блок 1040 обработки включает в себя блок 1041 интерполяции и/или блок 1042 сглаживания и осуществляет интерполяцию и/или сглаживание информации воспроизведения. Интерполяция и/или сглаживание может выполняться во временной области, частотной области или области КЗФ. В описании изобретения временная область взята в качестве примера, что не налагает ограничение на настоящее изобретение.

Интерполяция осуществляется для получения информации воспроизведения, не существующей между информациями воспроизведения, если передаваемая информация воспроизведения имеет широкий интервал во временной области. Например, предполагая, что информации воспроизведения существуют в n-ом временном интервале и (n+k)-ом временном интервале (k>1), соответственно, можно осуществить линейную интерполяцию на не переданном временном интервале с использованием сгенерированных информаций воспроизведения (например, HL_L, HR_L, HL_R, HR_R).

Информация воспроизведения, генерируемая способом интерполяции, объясняется для случая, когда смешанный с уменьшением числа каналов сигнал является моносигналом, и для случая, когда смешанный с уменьшением числа каналов сигнал является стереосигналом.

Если смешанный с уменьшением числа каналов сигнал является моносигналом, интерполированную информацию воспроизведения можно выразить формулой 26.

Формула 26

Если смешанный с уменьшением числа каналов сигнал является стереосигналом, интерполированную информацию воспроизведения можно выразить формулой 27.

Формула 27

В этом случае 0<j<k, где 'j' и 'k' - целые числа. Величина 'a' - это действительное число, соответствующее '0<a<1', выражаемое формулой 28.

Формула 28

Если так, можно получать значение, соответствующее не переданному временному интервалу на прямой линии, соединяющей значения в двух временных интервалах согласно формуле 27 и формуле 28. Интерполяция подробно описана ниже со ссылкой на фиг.22 и фиг.23.

В случае, когда значение коэффициента фильтра резко изменяется между двумя соседними интервалами времени во временной области, блок 1042 сглаживания выполняет сглаживание во избежание проблемы искажения, обусловленного наличием точки нарушения непрерывности. Сглаживание во временной области можно производить согласно способу сглаживания, описанному со ссылкой на фиг.12-16. Сглаживание можно осуществлять совместно с расширением. Кроме того, сглаживание может осуществляться по-разному в зависимости от позиции применения. Если смешанный с уменьшением числа каналов сигнал является моносигналом, сглаживание во временной области можно выразить формулой 29.

Формула 29

В частности, сглаживание может выполняться посредством 1-полюсного БИХ-фильтра наподобие умножения информации воспроизведения HM_L(n-1) или HM_R(n-1), сглаженной в предыдущем временном интервале n-1, на (1-b), умножения информации воспроизведения HM_L(n) или HM_R(n), сгенерированной в текущем временном интервале n, на b, и сложения двух произведений. В этом случае 'b' - это постоянная, подчиняющаяся условию 0<b<1. При уменьшении 'b' эффект сглаживания усиливается. При увеличении 'b' эффект сглаживания ослабевает. Остальные фильтры можно применять таким же образом.

Интерполяцию и сглаживание можно представить одним выражением, показанным в формуле 30, с использованием формулы 29 для сглаживания во временной области.

Формула 30

Если интерполяция осуществляется блоком 1041 интерполяции и/или если сглаживание осуществляется блоком 1042 сглаживания, можно получить информацию воспроизведения, имеющую значение энергии, отличное от значения энергии информации-прототипа воспроизведения. Во избежание этой проблемы можно дополнительно осуществлять нормализацию энергии.

Наконец, блок 1050 преобразования области осуществляет преобразование информации воспроизведения в область, в которой выражается существующее воспроизведение. Если область, в которой выражается существующее воспроизведение идентична области, в которой выражается информация воспроизведения, преобразование области можно не выполнять. После этого информация воспроизведения, преобразованная в другую область, передается на блок 900 воспроизведения.

На фиг.19 показана блок-схема второго способа генерации информации воспроизведения на блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.

Второй способ аналогичен первому способу в том отношении, что блок 1000 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области, и в том отношении, что блок 1020 генерации частичной информации воспроизведения включает в себя по меньшей мере один блок генерации частичной информации воспроизведения.

Согласно фиг.19 второй способ генерации информации воспроизведения отличается от первого способа позицией блока 1040 обработки. Таким образом, интерполяцию и/или сглаживание можно осуществлять для каждого канала на частях информации воспроизведения (например, FL_L и FL_R в случае моносигнала или FL_L1, FL_L2, FL_R1, FL_R2 в случае стереосигнала), генерируемой для каждого канала на блоке 1020 генерации частичной информации воспроизведения.

Затем блок 1030 интегрирования интегрирует интерполированные и/или сглаженные части информации воспроизведения в информацию воспроизведения.

Сгенерированная информация воспроизведения передается на блок 900 воспроизведения через блок 1050 преобразования области.

На фиг.20 показана блок-схема третьего способа генерации информации фильтра воспроизведения в блоке преобразования пространственной информации согласно одному варианту осуществления настоящего изобретения.

Третий способ аналогичен первому или второму способу в том отношении, что блок 1000 преобразования пространственной информации включает в себя блок 1010 отображения источника, блок 1020 генерации частичной информации воспроизведения, блок 1030 интегрирования, блок 1040 обработки и блок 1050 преобразования области, и в том отношении, что блок 1020 генерации частичной информации воспроизведения включает в себя по меньшей мере один блок генерации частичной информации воспроизведения.

Согласно фиг.20 третий способ генерации информации воспроизведения отличается от первого или второго способа тем, что блок 1040 обработки располагается после блока 1010 отображения источника. Таким образом, интерполяцию и/или сглаживание можно осуществлять для каждого канала в отношении информации отображения источника, сгенерированной с использованием пространственной информации на блоке 1010 отображения источника.

Затем блок 1020 генерации частичной информации воспроизведения генерирует частичную информацию воспроизведения с использованием интерполированной и/или сглаженной информации отображения источника и информации фильтра.

Частичная информация воспроизведения интегрируется в информацию воспроизведения на блоке 1030 интегрирования. Наконец, сгенерированная информация воспроизведения передается на блок 900 воспроизведения через блок 1050 преобразования области.

На фиг.21 показана схема, поясняющая способ генерации сигнала окружения на блоке воспроизведения согласно одному варианту осуществления настоящего изобретения. На фиг.21 показан процесс воспроизведения, выполняемый в области ДПФ. Однако процесс воспроизведения можно аналогичным образом реализовать в другой области. На фиг.21 показан случай, когда входной сигнал является монофоническим смешанным с уменьшением числа каналов сигналом. Однако фиг.21 в той же степени применима к другим входным каналам, включающим в себя стереофонический смешанный с уменьшением числа каналов сигнал и т.п.

Согласно фиг.21 монофонический смешанный с уменьшением числа каналов сигнал во временной области предпочтительно подвергается вырезанию посредством окна, имеющему интервал перекрытия OL, в блоке преобразования области. На фиг.21 показан случай использования 50% перекрытия. Однако настоящее изобретение включает в себя случаи использования других значений перекрытия.

В качестве функции вырезания посредством окна для существующего вырезания можно использовать функцию, имеющую хорошую частотную избирательность в области ДПФ, благодаря «бесшовному» соединению без нарушений непрерывности во временной области. Например, в качестве вырезающей посредством окна функции можно использовать вырезающую функцию в форме квадрата синуса.

Затем, нулевое заполнение ZL длины язычка характеристики [точнее, (длина язычка характеристики) -1] фильтра воспроизведения с использованием информации воспроизведения, преобразованной в блоке преобразования области, осуществляется в отношении монофонического смешанного с уменьшением числа каналов сигнала, имеющего длину OL*2, полученную путем вырезания. Затем осуществляется преобразование области в область ДПФ. На фиг.21 показано, что смешанный с уменьшением числа каналов сигнал блока k преобразуется в область ДПФ.

Смешанный с уменьшением числа каналов сигнал, преобразованный в другую область, воспроизводится фильтром воспроизведения, который использует информацию воспроизведения. Процесс воспроизведения можно представить как произведение смешанного с уменьшением числа каналов сигнала и информации воспроизведения. Воспроизведенный смешанный с уменьшением числа каналов сигнал подвергается ОДПФ (обратному дискретному преобразованию Фурье) на блоке обратного преобразования области, после чего перекрывается смешанным с уменьшением числа каналов сигналом (блок k-1 на фиг.21), в который предварительно внесена задержка длиной OL для генерации сигнала окружения.

Интерполяцию можно осуществлять на каждом блоке, претерпевающем процесс воспроизведения. Способ интерполяции описан ниже.

На фиг.22 показана схема первого способа интерполяции согласно одному варианту осуществления настоящего изобретения. Интерполяция согласно настоящему изобретению может выполняться в разных позициях. Например, интерполяция может выполняться в разных позициях в блоке преобразования пространственной информации показанном на фиг.18-20, или может выполняться на блоке воспроизведения. В качестве интерполируемых значений можно использовать пространственную информацию, информацию отображения источника, информацию фильтра и т.п. В описании изобретения рассмотрен пример пространственной информации. Тем не менее, настоящее изобретение не ограничивается пространственной информацией. Интерполяция выполняется после расширения до более широкой полосы или совместно с ним.

Согласно фиг.22 пространственная информация, передаваемая с устройства кодирования, может передаваться из случайной позиции, а не передаваться в каждом временном интервале. Один пространственный кадр способен нести множество наборов пространственной информации (например, наборы параметров n и n+1 на фиг.22). В случае низкой скорости передачи битов один пространственный кадр способен нести единичный новый набор пространственной информации. Таким образом, интерполяция осуществляется на не переданном временном интервале с использованием значений соседнего переданного набора пространственной информации. Интервал между окнами для существующего воспроизведения не всегда совпадает с временным интервалом. Таким образом, можно найти интерполированное значение в центре окон (K-1, K, K+1, K+2 и т.д.) воспроизведения для использования, как показано на фиг.22. Хотя на фиг.22 показано, что между временными интервалами, где существует набор пространственной информации, осуществляется линейная интерполяция, настоящее изобретение не ограничивается способом интерполяции. Например, интерполяция не осуществляется на временном интервале, где набор пространственной информации не существует. Вместо этого можно использовать предыдущее или заранее заданное значение.

На фиг.23 показана схема второго способа интерполяции согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.23 второй способ интерполяции согласно одному варианту осуществления настоящего изобретения имеет структуру, в которой интервал, использующий предыдущее значение, интервал, использующий заранее заданное значение по умолчанию и т.п., объединяются. Например, интерполяцию можно осуществлять с использованием по меньшей мере одного из способа поддержания предыдущего значения, способа использования заранее заданного значения по умолчанию и способа существующей линейной интерполяции в интервале одного пространственного кадра. В случае, когда по меньшей мере в одном окне существует два новых набора пространственной информации, может иметь место искажение. В нижеследующем описании описана блочная коммутация для предотвращения искажения.

На фиг.24 показана схема способа блочной коммутации согласно одному варианту осуществления настоящего изобретения.

Согласно варианту (a), показанному на фиг.24, поскольку длина окна больше длины временного интервала, по меньшей мере два набора пространственной информации (например, наборы параметров n и n+1 на фиг.24) могут существовать в интервале одного окна. В этом случае разные наборы пространственной информации должны применяться к разным временным интервалам. Однако, если применяется одно значение, полученное путем интерполяции по меньшей мере двух наборов пространственной информации, может иметь место искажение. В частности, может иметь место искажение, связанное со снижением разрешения по времени согласно длине окна.

Для решения этой проблемы можно использовать способ коммутации, предусматривающий изменение размера окна в соответствии с разрешением временного интервала. Например, размер окна, согласно варианту (b) на фиг.24, можно переключать на укороченное окно для интервала, требующего высокое разрешение. В этом случае на начальном и конечном участках переключаемых окон используются соединяющие окна для предотвращения возникновения «швов» во временной области между переключаемыми окнами.

Длину окна можно определять с использованием пространственной информации в устройстве декодирования вместо того, чтобы передавать ее как отдельную дополнительную информацию. Например, длину окна можно определить с использованием размера временного интервала для обновления пространственной информации. В частности, если интервал для обновления пространственной информации узок, используется вырезающая функция малой длины. Если интервал для обновления пространственной информации широк, используется вырезающая функция большой длины. В этом случае использование окна переменной длины при воспроизведении позволяет не использовать биты для отдельной передачи информации длины окна. Два типа длины окна показаны в варианте (b) на фиг.24. Однако окна, имеющие разные длины, можно использовать согласно частоте передачи и соотношениям пространственной информации. Определяемая информация длины окна применима к различным этапам для генерации сигнала окружения, что объясняется в нижеследующем описании.

На фиг.25 показана блок-схема позиции, к которой применяется длина окна, определенная блоком определения длины окна, согласно одному варианту осуществления настоящего изобретения.

Согласно фиг.25 блок 1400 определения длины окна способен определять длину окна с использованием пространственной информации. Информация определяемой длины окна применима к блоку 1010 отображения источника, блоку 1030 интегрирования, блоку 1040 обработки, блокам 1050 и 1100 преобразования области и блоку 1300 обратного преобразования области. На фиг.25 показан случай использования стереофонического смешанного с уменьшением числа каналов сигнала. Тем не менее, настоящее изобретение не ограничивается исключительно стереофоническим смешанным с уменьшением числа каналов сигналом. Как указано в предыдущем описании, даже при сокращении длины окна, длина нулевого заполнения, определяемая согласно длине язычка характеристики фильтра, не регулируется. Решение проблемы объясняется в нижеследующем описании.

На фиг.26 показана схема фильтров, имеющих разные длины, используемых при обработке аудиосигнала, согласно одному варианту осуществления настоящего изобретения. Как указано в предыдущем описании, если длина нулевого заполнения, определяемая согласно длине язычка характеристики фильтра, не регулируется, перекрытие, достигающее соответствующей длины, по существу, приводит к снижению разрешения по времени. Решение проблемы состоит в уменьшении длины нулевого заполнения путем ограничения длины язычка характеристики фильтра. Способ уменьшения длины нулевого заполнения можно осуществлять отсечением задней части характеристики (например, интервала рассеяния, соответствующего реверберации). В этом случае процесс воспроизведения может быть менее точным, чем в случае отсутствия отсечения задней части характеристики фильтра. Однако значения коэффициента фильтра во временной области очень малы, чтобы сильно влиять на реверберацию. Поэтому отсечение незначительно влияет на качество звука.

Согласно фиг.26 используются четыре типа фильтров. Четыре типа фильтров используются в области ДПФ, что не налагает ограничение на настоящее изобретение.

Фильтр-N1 указывает фильтр, имеющий большую длину фильтра FL и длину 2*OL длинного нулевого заполнения, причем длина язычка характеристики фильтра не ограничена. Фильтр-N2 указывает фильтр, имеющий длину нулевого заполнения 2*OL′, меньшую, чем у фильтра-N1, за счет ограничения длины язычка характеристики фильтра при той же длине фильтра FL. Фильтр-N3 указывает фильтр, имеющий большую длину нулевого заполнения 2*OL, за счет отсутствия ограничения по длине язычка характеристики фильтра при длине фильтра FL′, более короткой, чем у фильтра-N1. Наконец, фильтр-N4 указывает фильтр, имеющий длину окна FL′, меньшую, чем у фильтра-N1, и короткую длину нулевого заполнения 2*OL′ за счет ограничения длины язычка в характеристике фильтра.

Как указано в предыдущем описании, можно решить проблему разрешения по времени с использованием вышеупомянутых четырех иллюстративных видов фильтров. Таким образом, для задней части характеристики фильтра разные коэффициенты фильтра пригодны для разных областей.

На фиг.27 показана схема способа раздельной обработки аудиосигнала с использованием множества подфильтров согласно одному варианту осуществления настоящего изобретения, один фильтр можно разделить на подфильтры, имеющие коэффициенты фильтра, отличающиеся друг от друга. После обработки аудиосигнала с использованием подфильтров можно использовать способ сложения результатов обработки. В случае применения пространственной информации к задней части характеристики фильтра, имеющей малую энергию, т.е. в случае осуществления воспроизведения с использованием фильтра с длинным язычком характеристики фильтра, способ предусматривает функцию для обработки посредством деления аудиосигнала на заранее определенную единицу длины. Например, поскольку задняя часть характеристики фильтра несущественно зависит от HRTF, соответствующей каждому каналу, можно осуществлять воспроизведение, извлекая коэффициент, общий для множества окон. В настоящем описании изобретения описан случай выполнения в области ДПФ. Тем не менее, настоящее изобретение не ограничивается областью ДПФ.

Согласно фиг.27, после разделения одной FL фильтра на множество подобластей, множество подобластей можно обрабатывать множеством подфильтров (фильтром-A и фильтром-B), имеющим коэффициенты фильтра, отличающиеся друг от друга.

Затем выходной сигнал, обрабатываемый фильтром-A, и выходной сигнал, обрабатываемый фильтром-B, объединяются друг с другом. Например, ОДПФ (обратное дискретное преобразование Фурье) осуществляется в отношении каждого из выходного сигнала, обрабатываемого фильтром-A и выходного сигнала, обрабатываемого фильтром-B, для генерации сигнала, выраженного во временной области. Затем сгенерированные сигналы суммируются. В этом случае позиция, в которой прибавляется выходной сигнал, обрабатываемый фильтром-B, смещена по времени на FL′ относительно позиции выходного сигнала, обрабатываемого фильтром-A. Таким образом, обработка сигнала множеством подфильтров приводит к тому же результату, что и обработка сигнала одним фильтром.

Кроме того, настоящее изобретение включает в себя способ воспроизведения выходного сигнала, обрабатываемый фильтром-B, непосредственно в смешанный с уменьшением числа каналов сигнал. В этом случае возможно воспроизведение выходного сигнала в смешанный с уменьшением числа каналов сигнал с использованием извлечения коэффициентов из пространственной информации, частичного использования пространственной информации или без использования пространственной информации.

Способ отличается тем, что фильтр, имеющий большую длину язычка характеристики, можно применять раздельно, и что хвостовая часть фильтра, имеющая малую энергию, применима без преобразования с использованием пространственной информации. В этом случае, если преобразование с использованием пространственной информации не применяется, другой фильтр не применяется к каждому окну обработки. Поэтому не обязательно применять такую схему, как блочная коммутация. На фиг.27 показано, что фильтр делится на две области. Однако настоящее изобретение способно делить фильтр на множество областей.

На фиг.28 показана блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в монофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения. На фиг.28 показан один коэффициент воспроизведения. Способ может выполняться для каждого коэффициента воспроизведения.

Согласно фиг.28 информация фильтра-A, показанная на фиг.27, соответствует информации воспроизведения первого раздела HM_L_A, и информация фильтра-B, показанная на фиг.27, соответствует информации воспроизведения второго раздела HM_L_B. На фиг.28 показан вариант осуществления деления на два подфильтра. Тем не менее, настоящее изобретение не ограничивается двумя подфильтрами. Два подфильтра можно получать через блок 1500 разделения, используя информацию воспроизведения HM_L, генерируемую на блоке 1000 генерации пространственной информации. Альтернативно, два подфильтра можно получать с использованием информации-прототипа HRTF или информации, определенной согласно выбору пользователя. Информация, определенная согласно выбору пользователя, может включать в себя пространственную информацию, выбранную, например, по вкусу пользователя. В этом случае HM_L_A - это информация воспроизведения, основанная на принятой пространственной информации, и HM_L_B может представлять собой информацию воспроизведения для обеспечения трехмерного эффекта, применяемого ко всем сигналам.

Как указано в предыдущем описании, обработку множеством подфильтров можно осуществлять во временной области и в области КЗФ, а также в области ДПФ. В частности, значения коэффициентов, разделенные на фильтр-A и фильтр-B, применяются к смешанному с уменьшением числа каналов сигналу посредством воспроизведения во временной области или в области КЗФ, после чего суммируются для генерации окончательного сигнала.

Блок 900 воспроизведения включает в себя блок 950 воспроизведения первого раздела и блок 960 воспроизведения второго раздела. Блок 950 воспроизведения первого раздела осуществляет процесс воспроизведения с использованием HM_L_A, а блок 960 воспроизведения второго раздела осуществляет процесс воспроизведения с использованием HM_L_B.

Если фильтр-A и фильтр-B, показанные на фиг.27, получены путем разделения одного и того же фильтра во временной области, можно предусмотреть надлежащую задержку, соответствующую интервалу времени. На фиг.28 показан пример монофонического смешанного с уменьшением числа каналов сигнала. В случае использования монофонического смешанного с уменьшением числа каналов сигнала и декоррелятора, часть, соответствующая фильтру-B, применяется не к декоррелятору, а напрямую к монофоническому смешанному с уменьшением числа каналов сигналу.

На фиг.29 показана блок-схема способа воспроизведения информации воспроизведения раздела, генерируемой множеством подфильтров, в стереофонический смешанный с уменьшением числа каналов сигнал согласно одному варианту осуществления настоящего изобретения.

Процесс воспроизведения разделов, показанный на фиг.29, аналогичен показанному на фиг.28 в том отношении, что два подфильтра получаются в блоке 1500 разделения с использованием информации воспроизведения, генерируемой блоком 1000 преобразования пространственной информации, прототипа информации-прототипа фильтра HRTF или информации предпочтения пользователя. Отличие от фиг.28 состоит в том, что процесс воспроизведения раздела, соответствующего фильтру-B, совместно применяется к сигналам левого/правого каналов.

В частности, блок 1500 разделения генерирует информацию воспроизведения первого раздела, соответствующую информации фильтра-A, информацию воспроизведения второго раздела и информацию воспроизведения третьего раздела, соответствующую информации фильтра-B. В этом случае информацию воспроизведения третьего раздела можно генерировать с использованием информации фильтра или пространственной информации совместно применимой к сигналам левого/правого каналов.

Согласно фиг.29 блок 900 воспроизведения включает в себя блок 970 воспроизведения первого раздела, блок 980 воспроизведения второго раздела и блок 990 воспроизведения третьего раздела.

Информация воспроизведения третьего раздела применяется к сумме сигналов левого и правого каналов на блоке 990 воспроизведения третьего раздела для генерации одного выходного сигнала. Выходной сигнал суммируется с выходными сигналами левого и правого каналов, которые независимо воспроизводятся фильтром-A1 и фильтром-A2 в блоках 970 и 980 воспроизведения первого и второго раздела, соответственно, для генерации сигналов окружения. В этом случае выходной сигнал блока 990 воспроизведения третьего раздела может прибавляться после надлежащей задержки. Согласно фиг.29 выражение информации перекрестного воспроизведения, применяемой к другому каналу из левого/правого входных сигналов, опущено для удобства описания.

На фиг.30 показана блок-схема первого способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения. До сих пор мы рассматривали процесс воспроизведения, выполняемый в области ДПФ. Как указано в предыдущем описании, процесс воспроизведения можно осуществлять в других областях, а не только в области ДПФ. Однако на фиг.30 показан процесс воспроизведения, выполняемый в области ДПФ. Блок 1100 преобразования области включает в себя фильтр КЗФ и фильтр ДПФ. Блок 1300 обратного преобразования области включает в себя фильтр ОДПФ и фильтр ИКЗФ. На фиг.30 показан монофонический смешанный с уменьшением числа каналов сигнал, что не налагает ограничение на настоящее изобретение.

Согласно фиг.30 смешанный с уменьшением числа каналов сигнал во временной области, состоящий из p выборок, проходит через фильтр КЗФ для генерации P выборок подполос (под-диапазонов). W выборок повторно собираются для каждой полосы. После осуществления вырезания на повторно собранных выборках осуществляется нулевое заполнение. Затем выполняется M-точечное ДПФ (БПФ). В этом случае ДПФ обеспечивает обработку посредством вырезания вышеупомянутого типа. Значение, соединяющее M/2 значений в частотной области для каждой полосы, полученные посредством M-точечного ДПФ, с P полосами, можно рассматривать как приближенное значение частотного спектра, полученного M/2*P-точечного ДПФ. Таким образом, коэффициент фильтра, представленный в области M/2*P-точечного ДПФ, умножается на частотный спектр для обеспечения того же эффекта процесса воспроизведения в области ДПФ.

В этом случае сигнал, прошедший через фильтр КЗФ, испытывает утечку, например, обусловленную перекрытием между соседними полосами. В частности, значение, соответствующее соседней полосе, размывается в текущей полосе, и часть значения, существующего в текущей полосе, сдвигается в соседнюю полосу. В этом случае, если выполняется интегрирование КЗФ, исходный сигнал можно восстановить благодаря характеристикам КЗФ. Однако, если осуществляется процесс фильтрации на сигнале соответствующей полосы, как в случае настоящего изобретения, сигнал искажается вследствие утечки. Для минимизации этой проблемы можно добавить процесс восстановления исходного сигнала таким образом, чтобы сигнал проходил через «бабочку» B минимизации утечки до осуществления ДПФ для каждой полосы после КЗФ на блоке 1100 преобразования области и процесс получения обратного значения С после ОДПФ в блоке 1300 обратного преобразования области.

При этом для согласования процесса генерации информации воспроизведения, осуществляемого в блоке 1000 преобразования пространственной информации, с процессом генерации смешанного с уменьшением числа каналов сигнала, ДПФ можно осуществлять на сигнале, прошедшем через КЗФ, для информации-прототипа фильтра, а не существующее M/2*P-точечное ДПФ вначале. В этом случае могут существовать задержка и распределение данных благодаря фильтру КЗФ.

На фиг.31 показана блок-схема второго способа преобразования области смешанного с уменьшением числа каналов сигнала согласно одному варианту осуществления настоящего изобретения. На фиг.31 показан процесс воспроизведения, осуществляемый в области КЗФ.

Согласно фиг.31 блок 1100 преобразования области включает в себя блок преобразования области КЗФ, и блок 1300 обратного преобразования области включает в себя блок преобразования области ИКЗФ. Конфигурация, показанная на фиг.31, аналогична случаю использования только ДПФ за исключением того, что блок преобразования области является фильтром КЗФ. В нижеследующем описании считается, что КЗФ включает в себя КЗФ и смешанный КЗФ, имеющие одну и ту же ширину полосы. Отличие от случая использования только ДПФ заключается в том, что генерация информации воспроизведения осуществляется в области КЗФ и что процесс воспроизведения представлен сверткой, а не произведением в области ДПФ, поскольку процесс воспроизведения, осуществляемый блоком 900 воспроизведения, выполняется в области КЗФ.

Предполагая, что фильтр КЗФ имеет B полос, коэффициент фильтра можно представить в виде набора коэффициентов фильтра, имеющих разные особенности (коэффициенты) для B полос. В итоге, если длина язычка характеристики фильтра имеет первый порядок (т.е. умножается на константу), процесс воспроизведения в области ДПФ имеет B частотных спектров, и рабочий процесс согласуется. Формула 31 выражает процесс воспроизведения, выполняемый в одной полосе (b) КЗФ на одном тракте сигнала, для осуществления процесса воспроизведения с использованием информации воспроизведения HM_L.

Формула 31

В этом случае k указывает временной порядок полосы КЗФ, т.е. единицу временного интервала. Процесс воспроизведения, выполняемый в области КЗФ, имеет преимущество в том, что, если передаваемая пространственная информация является значением, применяемым в области КЗФ, применение соответствующих данных максимально облегчается, и что искажение в ходе применения можно минимизировать. Однако, в случае преобразования области КЗФ в процессе преобразования информации-прототипа фильтра (например, коэффициенте фильтра-прототипа), необходима значительная вычислительная нагрузка для процесса применения преобразованного значения. В этом случае вычислительную нагрузку можно минимизировать способом параметризации коэффициента HRTF в процессе преобразования информации фильтра.

Промышленное применение

Соответственно, способ и устройство обработки сигнала согласно настоящему изобретению предусматривают использование пространственной информации, обеспечиваемой декодером для генерации сигналов окружения с использованием информации фильтра HRTF или информации фильтра согласно предпочтениям пользователя в устройстве декодирования, способном генерировать многоканальный сигнал. Настоящее изобретение применимо к разным видам декодеров, способных воспроизводить только стереосигналы.

Хотя настоящее изобретение описано и проиллюстрировано здесь со ссылкой на предпочтительные варианты его осуществления, специалисты в данной области техники могут предложить различные модификации и вариации, не выходящие за рамки сущности и объема изобретения. Таким образом, настоящее изобретение призвано охватывать всевозможные модификации и вариации, отвечающие объему прилагаемой формулы изобретения и ее эквивалентов.

1. Способ генерирования сигнала окружения из медиасигнала, содержащий этапы, на которых:
генерируют информацию отображения источника, соответствующую каждому источнику из множественных источников посредством выполнения отображения источника, используя пространственную информацию, указывающую особенности между множественными источниками,
генерируют частичную информацию воспроизведения, соответствующую двум источникам, посредством применения информации фильтра для эффекта окружения к информации отображения источника,
генерируют информацию воспроизведения посредством интегрирования частичной информации воспроизведения, и
генерируют сигнал окружения, имеющий эффект окружения, посредством применения информации воспроизведения к сигналу понижающего микширования, сгенерированному посредством понижающего микширования множественных источников.

2. Способ по п.1, в котором пространственная информация включает в себя, по меньшей мере, одно из: разности уровней источников и корреляции между источниками.

3. Способ по п.1, в котором информация отображения источника является информацией, соответствующей каждому источнику из множественных источников.

4. Способ по п.1, в котором частичная информация воспроизведения включает в себя информацию, генерируемую посредством применения информации фильтра к, по меньшей мере, двум информациям отображения источника.

5. Способ по п.1, в котором информация фильтра включает в себя, по меньшей мере, одно из: информации фильтра HRTF (с функцией моделирования восприятия звука человеком) и значения, определенного согласно выбору пользователя.

6. Способ по п.5, в котором информацию фильтра преобразуют с преобразованием области в информацию области сгенерированного сигнала окружения.

7. Способ по п.6, в котором информацию фильтра генерируют посредством преобразования фильтра HRTF в параметр.

8. Устройство генерирования сигнала окружения из медиасигнала, содержащее:
блок отображения источника, генерирующий информацию отображения источника, соответствующую каждому источнику, для множественных источников посредством выполнения отображения источника, используя пространственную информацию, указывающую особенности между множественными источниками,
блок генерации частичной информации воспроизведения, генерирующий частичную информацию воспроизведения посредством применения информации фильтра для эффекта окружения к информации отображения источника,
блок интегрирования, генерирующий информацию воспроизведения, соответствующую двум источникам, посредством интегрирования, по меньшей мере, одной из частичной информации воспроизведения, и
блок воспроизведения, генерирующий сигнал окружения, имеющий эффект окружения, посредством применения информации воспроизведения к сигналу понижающего микширования, сгенерированному посредством понижающего микширования множественных источников.

9. Устройство по п.8, в котором пространственная информация включает в себя, по меньшей мере, одно из: разности уровней источников и корреляции между источниками.

10. Устройство по п.8, в котором информация отображения источника является информацией, соответствующей каждому источнику из множественных источников.

11. Устройство по п.8, в котором частичная информация воспроизведения включает в себя информацию, генерируемую посредством применения информации фильтра к, по меньшей мере, двум информациям отображения источника.

12. Устройство по п.8, в котором информация фильтра включает в себя, по меньшей мере, одно из: информации фильтра HRTF (с функцией моделирования восприятия звука человеком) и значения, определенного согласно выбору пользователя.

13. Устройство по п.12, в котором информация фильтра является преобразованной с преобразованием области в информацию области сгенерированного сигнала окружения.

14. Устройство по п.13, в котором информация фильтра сгенерирована посредством преобразования фильтра HRTF в параметр.