Система виртуального окружения

 

Система виртуального окружения содержит кластер персональных компьютеров с программным обеспечением для создания виртуальных сцен и синхронизации работы отдельных компонентов системы, базу данных с описанием виртуальных моделей и сцен, подсистему рендеринга для графического преобразования описания модели в визуальное представление на экранные плоскости, выполненную с возможностью преобразования модели в два изображения с точки зрения левого и правого глаз пользователя, проекционную подсистему с одним или несколькими экранами для визуального отображения модели. Проекционная подсистема выполнена стереоскопической и включает два проектора для левого и правого видеоканалов, причем оптическая система каждого из проекторов снабжена поляризационными фильтрами, соответственно, для левого и для правого видеоканалов. Система также содержит подсистему трекинга для локализации и слежения за положением пользователя, подсистему синтеза звуковых эффектов с акустической системой, подсистему генерации силовых и тактильных ощущений с генератором тактильных ощущений для создания иллюзии перемещения в пространстве и прикосновения к виртуальным объектам, подсистему манипуляции данными, устройство ввода и управления, консоль запуска и управления системой, подсистему моделирования взаимодействия пользователя с виртуальными объектами. При этом подсистема трекинга включает инфракрасная камеру и светоотражающие маркеры, закрепленные на поляризационных очках пользователя. Такое выполнение системы позволяет обеспечить реалистичность воспроизведения виртуальной сцены за счет создания стереоскопического изображения с высоким разрешением и реалистичности динамики виртуальных объектов.

Полезная модель относится к средствам имитационной техники и может быть использована для создания виртуального окружения с возможностью взаимодействия с объемными моделями изучаемых объектов.

Применение систем виртуального окружения существенно обогащает представление больших массивов данных, позволяя взаимодействовать с объемными моделями изучаемых объектов и изучать их поведение и внутреннюю структуру. Виртуальное окружение обеспечивает «погружение» пользователя в искусственный мир исследуемого явления и прямое взаимодействие с данными в пространстве модели. Виртуальное окружение позволяет перейти на качественно более высокий уровень обработки данных, моделирования и проектирования экспериментов, создания сложных машин и механизмов, промышленных объектов и процессов.

Экспериментально установлено, что при погружении пользователя в виртуальную среду и инициировании стереоскопического видения сцены, которое происходит на ментальном уровне, у человека происходит более интенсивный обмен информацией между левым и правым полушариями мозга, что возбуждает интуитивное мышление и возникновение новых идей при анализе какой-либо проблемы и/или большого объема данных (особенно многомерных). При этом эффект возникновения новых идей усиливается при коллективной работе (эффект мозгового штурма).

Имеется достаточно широкий круг фундаментальных проблем алгебраической топологии, теоретической механики, общей и квантовой физики, не имеющих прямых и легко представимых аналогий и несущих огромный объем информации сложной структуры, который часто трудно интерпретировать, не привлекая какие-либо визуальные образы. Технология виртуального окружения позволяет активно привлечь интуицию исследователя и его способность «понимать» изображения за счет его помещения в искусственный мир модели исследуемого явления, а также за счет обеспечения возможности интуитивно простого (прямого) манипулирования данными в пространстве модели.

Современные вычислительные системы позволяют моделировать сложные явления природы и решать задачи, недоступные прямой экспериментальной проверке. Суперкомпьютеры (наиболее мощные на текущий момент машины) и

кластерные вычислительные системы позволяют достаточно полно и точно моделировать различные экзотические эксперименты и экстремальные ситуации, предложенные исследователями. Однако, огромные объемы данных, получаемые при моделировании сложных явлений, невозможно проанализировать, не прибегая к предварительному исследованию с помощью активного взаимодействия человека с компьютером.

До последнего времени было предложено лишь несколько технических приемов визуализации для специальных приложений. Общие концепции, применимые для использования в технологии виртуального окружения к самым различным (в том числе и не числовым) приложениям, а также полный математический анализ существующих методов до сих пор не разработан.

Так, системы визуализации используются в различных тренажерах, например, в пилотажно-тренировочных комплексах для профессиональной подготовки летного состава. Известен комплекс по патенту RU 2263973 С1, включающий системы визуализации и отображения информации с соответствующими системами и вычислителями управления, органы управления пилота, связанные с вычислителем динамики полета, вычислителями автоматической системы управления, пилотажно-навигационного оборудования, связанный с ними главный процессор, выход которого связан через вычислитель информационного обеспечения с вычислителями управления системой отображения информации и системой управления визуализацией, блоки задания начальных условий и возмущений в полете, пульт управления с дисплеем в кабине пилота и экспертная система с базой данных. Данный комплекс обеспечивает, в частности, визуализацию окружающего летательный аппарат пространства в реальном времени, однако при этом формируется плоское (2D) изображение. Кроме того, данный комплекс предназначен для решения лишь одной задачи - имитации условий полета летательного аппарата.

Технической задачей, на решение которой направлена полезная модель, является расширение функциональных возможностей и повышение реалистичности воспроизведения виртуальной сцены и динамики виртуальных объектов.

Указанная задача решается за счет того, что система виртуального окружения, содержит кластер персональных компьютеров с программным обеспечением для создания виртуальных сцен и синхронизации работы отдельных компонентов системы, базу данных с описанием виртуальных моделей и сцен, подсистему

рендеринга для графического преобразования описания модели в визуальное представление на экранные плоскости, проекционную подсистему с одним или несколькими экранами для визуального отображения модели, подсистему трекинга для локализации и слежения за положением пользователя, подсистему синтеза звуковых эффектов с акустической системой, подсистему генерации силовых и тактильных ощущений для создания иллюзии перемещения в пространстве и прикосновения к виртуальным объектам, подсистему манипуляции данными, устройство ввода и управления, консоль запуска и управления системой, подсистему моделирования взаимодействия пользователя с виртуальными объектами, при этом подсистема рендеринга выполнена с возможностью преобразования модели в два изображения с точки зрения левого и правого глаз пользователя, стереоскопическая проекционная подсистема включает два проектора для левого и правого видеоканалов, причем оптическая система каждого из проекторов снабжена поляризационными фильтрами, соответственно, для левого и для правого видеоканалов, подсистема трекинга для локализации и слежения за положением пользователя включает инфракрасная камеру и светоотражающие маркеры, закрепленные на поляризационных очках пользователя, а подсистема генерации силовых и тактильных ощущений включает генератор тактильных ощущений.

Использование в системе кластера персональных компьютеров обеспечивает высокую вычислительную мощность системы, а в сочетании с подсистемой рендеринга, имеющей возможность преобразования модели в два изображения с точки зрения левого и правого глаз пользователя, стереоскопической проекционной подсистемой с двумя проекторами и поляризационными фильтрами, подсистемой трекинга для локализации и слежения за положением пользователя с инфракрасной камерой и светоотражающими маркерами на поляризационных очках пользователя и подсистемой генерации силовых и тактильных ощущений позволяет обеспечить реалистичность воспроизведения виртуальной сцены (стереоскопическое изображение с высоким разрешением) и реалистичность динамики виртуальных объектов (правдоподобная анимация); достаточно высокую частоту смены кадров при воспроизведения виртуальной сцены; точность воспроизведения сцены для точек ее «видения» левым и правым глазами; идентичность сцен, видимых левым и правым глазами; разделение сцен, видимых левым и правым глазами, не допускающего смешивания изображений; перекрытие поля зрения зрителя виртуальной сценой,

обеспечивающее достаточное «зашоривание» зрителю реальной сцены; достаточно яркое и контрастное изображение сцены; пересчет сцены при перемещении зрителя в виртуальном пространстве; точность и быстродействие создания «тактильных ощущений».

Система виртуального окружения поясняется подробным ее описанием и прилагаемыми чертежами.

На фиг.1 показан общий схематический вид системы в аксонометрической проекции;

на фиг.2 показан общий схематический вид другого исполнения системы в аксонометрической проекции;

на фиг.3 изображена функциональная блок-схема системы.

Система виртуального окружения (далее - СВО) на кластере персональных компьютеров включает следующие функциональные элементы:

- программное обеспечение с открытым исходным кодом Аванго для создания виртуальных сцен и синхронизации работы отдельных компонент системы (далее - Аванго),

- базу данных, содержащую описание виртуальных моделей и сцен (далее - БД),

- подсистему рендеринга для графического преобразования описания модели в визуальное представление на экранные плоскости с точки зрения левого и правого глаз пользователя (далее - ПР),

- стереоскопическую проекционную подсистему с одним или несколькими экранами для визуального отображения модели (далее - СПП),

- подсистему трекинга для локализации и слежения за положением пользователя (далее - ПТ),

- подсистему синтеза звуковых эффектов (далее - ПЗЭ),

- подсистему генерации силовых и тактильных ощущений, создающую иллюзию перемещения в пространстве и прикосновения к виртуальным объектам (далее - ПТО),

- подсистему манипуляции данными, устройства ввода и управления (далее - ПМД),

- подсистему моделирования взаимодействия пользователя с виртуальными объектами, подменяющей пользователю его взаимодействие с объектами и персонажами в реальном мире (далее - ПМВ),

- консоль запуска и управления системой (далее - КЗУ).

На фиг.1 и 2 обозначены: основной графический вычислитель 1; вспомогательный вычислитель 2 для синтеза звуковых эффектов; экран 3 из материала, сохраняющего направление вектора поляризации при отражении или пропускании света; проекторы 4 и 5, снабженные фильтрами линейной поляризации света; динамики 6 и 7 аудиосистемы; устройства 8 ввода и управления. Различия между системами, изображенными на фиг.1 и фиг.2, заключаются лишь в использовании экрана либо на просвет (фиг.1), либо на отражение (фиг.2).

В процессе запуска системная консоль инициализирует ядро Аванго, которое развертывает остальные компоненты системы. Аванго - это разработанная во Фраунгоферовском институте медиакоммуникаций среда программирования, предназначенная для формирования приложений виртуального окружения. Аванго использует язык программирования C++ для определения двух категорий объектов - узлы и датчики. Узлы составляют объектно-ориентированный граф сцены, который осуществляет представление и отображение сложной геометрии. Датчики обеспечивают связь с реальным миром и используются, чтобы вводить данные с внешних устройств в приложение. Все объекты Аванго - полевые контейнеры, представляющие информацию о состоянии объекта как совокупность полей. Объекты Аванго поддерживают универсальный потоковый интерфейс, который позволяет записывать в поток объекты и информацию об их состоянии, и впоследствии реконструировать эти данные из потока. Аванго определяет связи между полями, формируя граф потоков данных, который является концептуально ортогональным к графу сцены и служит для ввода в сцену реальных данных, необходимых для моделирования интерактивного поведения. В дополнение к C++ Аванго поддерживает интерпретируемый язык Схема (Scheme). Схема - универсальный язык программирования, происходящий от Алгола и Лиспа. Это язык высокого уровня, который способен оперировать со структурными данными, такими как строки, списки и векторы. Все объекты Аванго могут быть описаны на Схеме. Аванго использует графическую систему OpenGL Performer, которая позволяет достичь максимально возможного ускорения графики и также обладает рядом

специальных свойств, необходимых при разработке приложений виртуального окружения. Расширенные задачи, такие как стирание невидимых граней, переключение степени детализации и связь с аппаратным обеспечением, целиком выполняются системой OpenGL Performer.

Программное обеспечение всей системы в целом строится на базе ОС Linux средствами инструментальной системы виртуального окружения Аванго и языка C++.

В процессе работы системная консоль остается открытой, обеспечивая пользователя средствами мониторинга и полного контроля над системой. После запуска Аванго использует БД для создания виртуальной сцены и стартует основные процессы: ПТ и ПР, а также вспомогательные процессы: ПЗЭ, ПТО и ПМД. При использовании кластерной архитектуры каждый процесс исполняется на своем элементе кластера и контролируется по сети.

Процесс ПТ определяет положение головы (глаз и ушей) пользователя, а также положение и ориентацию устройств взаимодействия. Результат передается в ядро Аванго. Процесс ПР производит рендеринг виртуальной сцены в соответствии с заданным положением глаз пользователя и передает результат в подсистему СПП для отображения на экран. По командам из ядра процесс ПЗЭ производит синтез и воспроизведение звуковых эффектов в соответствии с положением ушей пользователя.

Процесс ПТО моделирует силовые воздействия и передает результат на генератор тактильных ощущений. Процесс ПМД отслеживает дискретные события, такие как нажатие клавиш на устройствах взаимодействия, и передает результат в ядро Аванго. На основе сигналов с ПТ и ПМД блок ПМВ моделирует взаимодействие пользователя с виртуальными объектами, в частности, определяет скорость и способ перемещения в виртуальной сцене, позволяет манипулировать виртуальными предметами и т.д.

Сущность полезной модели поясняется на блок-схеме (Рис.3), на которой изображена функциональная схема системы виртуального окружения на кластере персональных компьютеров. Ниже приведено содержание отдельных блоков системы:

9. Консоль запуска и управления системой (КЗУ).

10. Аванго.

11. Ядро Аванго.

12. C++ объектный компонент Аванго.

13. SCM скриптовый компонент Аванго.

14. Графический пользовательский интерфейс Аванго.

15. База данных, содержащая описание виртуальных моделей и сцен (БД).

16. Иерархическое представление виртуальных моделей в виде графа сцены.

17. Файлы с описанием геометрии виртуальных моделей, хранящиеся на внешнем носителе (жесткий диск, DVD, flash-memory и т.д.).

18. Подсистема рендеринга для графического преобразования описания модели в визуальное представление на экранные плоскости с точки зрения левого и правого глаз пользователя (ПР).

19. Графическая библиотека OpenGL Performer.

20. Графическая библиотека OpenGL.

21. Графическая карта с 3D ускорением, имеющая 2 видеовыхода.

22. Стереоскопическая проекционная подсистема с одним или несколькими экранами для визуального отображения модели (СПП).

23. Проектор левого видеоканала.

24. Проектор правого видеоканала.

25. Поляризационный фильтр левого видеоканала.

26. Поляризационный фильтр правого видеоканала.

27. Подсистема трекинга для локализации и слежения за положением пользователя (ПТ).

28. Датчик Аванго, интерфейс к драйверу устройства слежения.

29. Драйвер устройства слежения.

30. Устройство слежения (инфракрасная камера).

31. Физические датчики (светоотражающие маркеры).

32. Подсистема синтеза звуковых эффектов (ПЗЭ).

33. Датчик Аванго, интерфейс к синтезатору звуковых эффектов.

34. Синтезатор звуковых эффектов jMax.

35. Звуковая карта с двумя аудио-каналами.

36. Динамик левого аудио-канала.

37. Динамик правого аудио-канала.

38. Подсистема генерации силовых и тактильных ощущений, создающая иллюзию перемещения в пространстве и прикосновения к виртуальным объектам (ПТО).

39. Датчик Аванго, интерфейс к драйверу генератора тактильных ощущений.

40. Драйвер генератора тактильных ощущений.

41. Генератор тактильных ощущений.

42. Подсистема манипуляции данными, устройства ввода и управления (ПМД).

43. Датчик Аванго, интерфейс к драйверу устройства взаимодействия.

44. Драйвер устройства взаимодействия.

45. Устройство взаимодействия (джойстик).

46. Физические датчики (кнопки джойстика).

47. Подсистема моделирования взаимодействия пользователя с виртуальными объектами, (ПМВ).

48. Модель навигации в виртуальном пространстве.

49. Виртуальная точка зрения.

50. Модель взаимодействия с виртуальными объектами.

51. Виртуальные манипуляторы (зеленый луч, виртуальная рука и т.д.).

Система работает следующим образом. После включения всех аппаратных компонентов (компьютеров, на которых исполняются процессы 9, 10, 18, 27, 32, 38, 42, проекторов 23, 24, звуковой системы 36, 37, устройств 30, 45 слежения и взаимодействия, генератора 41 тактильных ощущений) и запуска системы с консоли 9 управления, инициализируется ядро 11 Аванго, которое разворачивает три основных программных компонента: C++ объектный компонент 12 Аванго, SCM скриптовый компонент 13 Аванго и графический пользовательский интерфейс 14 Аванго. Эти компоненты в процессе работы системы тесно взаимодействуют друг с другом и с ядром 11.

Консоль 9 управления обеспечивает доступ к ядру системы через скриптовый интерфейс 13 с помощью команд на языке Схема, а также через графический пользовательский интерфейс 14. Далее геометрическое представление виртуальных моделей загружается из файлов 17 в оперативную память, формируя в ней древовидную структуру (граф сцены 16), необходимую для оптимальной организации процесса рендеринга 18. Рендеринг производится графической

библиотекой 19 OpenGL Performer, которая оптимизирует графические процессы с использованием иерархической организации данных, алгоритмов стирания невидимых линий и поверхностей. Результат передается графической библиотеке 20 OpenGL, которая отрисовывает примитивы (треугольники, линии, точки) с учетом графических мод (освещения, текстур, прозрачности), задействуя реализованные в графической карте 21 техники нижнего уровня (Z-буферизация, маскировка, шейдинг).

Рендеринг производится для точек зрения левого и правого глаза, полученные изображения через два раздельных видеоканала передаются в стерео-проекционную систему 22. Система состоит из двух одинаковых проекторов 23, 24, снабженных дополнительными друг другу поляризационными фильтрами 25, 26. Стереоскопическое изображение наблюдается пользователем на специальном экране, сохраняющем вектор поляризации, с помощью поляризационных очков, фильтры которых ориентированы параллельно фильтрам проекторов.

Для определения положений точек зрения глаз пользователя, необходимых при рендеринге 18, служит подсистема трекинга 27. Данная подсистема измеряет координаты светоотражающих маркеров 31, прикрепленных к поляроидным очкам, а также к устройствам взаимодействия 45, для чего их положение регистрируется инфракрасной камерой 30 и пересчитывается в координаты специальной программой - драйвером устройства слежения 29, исполняемой в фоновом режиме. Полученные данные передаются через интерфейс 28 ядру 11 Аванго для дальнейшего использования в процессе рендеринга 18.

По командам ядра 11 интерфейс 33 запускает синтез звуковых эффектов 34, воспроизводимых звуковой картой 35 с помощью звуковой стерео-системы 36, 37. Также команды ядра 11 через интерфейс 39 передаются драйверу 40, который моделирует силовые воздействия, воспроизводимые генератором тактильных ощущений 41. При нажатии кнопок 46 на устройстве взаимодействия 45 сигнал передается через драйвер 44 и интерфейс 43 в ядро 11 Аванго. Эти данные используются блоком 47 моделирования взаимодействия пользователя с виртуальными объектами, в частности, блок 48 определяет скорость и способ перемещения виртуальной точки зрения 49, блок 50 задает взаимодействие с виртуальными объектами посредством манипуляторов 51. Результаты моделирования передаются процессу рендеринга 18.

Данная система может быть реализована с использованием, например, следующей программно аппаратной конфигурации.

1. Вычислительная система - кластер из 4 персональных компьютеров. Конфигурация персонального компьютера (3 шт.):

- материнская плата класса ASUS P5AD2;

- процессор класса Pentium IV 3.6 Ghz;

- оперативная память 2 Gb Dual channel;

- два винчестера объемом не менее 120 Gb;

- корпус с хорошей вентиляцией.

Конфигурация терминального персонального компьютера (1 шт):

- материнская плата класса ASUS P5AD2 Premium;

- процессор класса Pentium IV 3.6 Ghz;

- видеокарта PNY PCI-E на чипе Nvidia Quadro FX1300 256 Mb;

- оперативная память 2 Gb Dual channel;

- два винчестера объемом не менее 120 Gb;

- корпус с хорошей вентиляцией;

- монитор LCD 15-17'', CD-ROM, клавиатура, «мышь» - стандартные.

Коммутатор

- 4-портовый коммутатор Gigabit Ethernet с быстродействием шины не менее 4 Гбит/с.

2. Подсистема трекинга

Система трекинга включает в себя набор инфракрасных излучателей, видеокамер и отражающих меток на объектах слежения. Отражающие метки крепятся на стерео-очках и устройствах ввода и управления. Излучатели и видеокамеры крепятся в пространстве около экрана, так чтобы излучение не попадало в камеры напрямую. После обработки изображений от отражателей вычисляются их координаты в физическом пространстве и при необходимости переводятся в координаты виртуального пространства. Минимальное количество видеокамер, необходимое для восстановления координат слежения, равно двум, но для надежности обычно используют большее количество камер. Система не требует синхронизирующего сигнала. Вычисленные координаты пользователя используются графической подсистемой для представления сцены с точки зрения пользователя.

Предлагаемая система локализации и слежения обеспечивает точность локализации не хуже 5 мм в пространстве с частотой не менее 100 герц.

3. Стереоскопическая проекционная подсистема

- два проектора класса Panasonic PT-L735E (светимость не менее 3000 люмен ANSI).

- юстировочная платформа с тремя угловыми степенями свободы,

- экран типа Silver Screen с системой гладкого (без морщин) натяжения ткани, сохраняющий вектор поляризации отраженного света.

4. Программная подсистема

Программным инструментарием для создания распределенных интерактивных VE приложений является пакет Аванго. Аванго - разработанная во Фраунгоферовском институте медиакоммуникаций и адаптированная для персональных компьютеров среда программирования -предназначена для формирования распределенных, интерактивных приложений в виртуальном окружении.

Использование общедоступных высокопроизводительных персональных компьютеров, элементов виртуального окружения, свободно-распространяемого программного обеспечения, а также включение в систему разработанных программных модулей позволило создать программно-аппаратный комплекс, обеспечивающий решение задач, ранее доступных лишь сложным и дорогим комплексам.

Система виртуального окружения, содержащая кластер персональных компьютеров с программным обеспечением для создания виртуальных сцен и синхронизации работы отдельных компонентов системы, базу данных с описанием виртуальных моделей и сцен, подсистему рендеринга для графического преобразования описания модели в визуальное представление на экранные плоскости, проекционную подсистему с одним или несколькими экранами для визуального отображения модели, подсистему трекинга для локализации и слежения за положением пользователя, подсистему синтеза звуковых эффектов с акустической системой, подсистему генерации силовых и тактильных ощущений для создания иллюзии перемещения в пространстве и прикосновения к виртуальным объектам, подсистему манипуляции данными, устройство ввода и управления, консоль запуска и управления системой, подсистему моделирования взаимодействия пользователя с виртуальными объектами, характеризующаяся тем, что подсистема рендеринга выполнена с возможностью преобразования модели в два изображения с точки зрения левого и правого глаз пользователя, проекционная подсистема выполнена стереоскопической и включает два проектора для левого и правого видеоканалов, причем оптическая система каждого из проекторов снабжена поляризационными фильтрами, соответственно, для левого и для правого видеоканалов, при этом подсистема трекинга для локализации и слежения за положением пользователя включает инфракрасную камеру и светоотражающие маркеры, закрепленные на поляризационных очках пользователя, а подсистема генерации силовых и тактильных ощущений включает генератор тактильных ощущений.



 

Похожие патенты:

Мультимедийный лазерный уличный проектор для рекламы на зданиях с лампой и настенным или потолочным кронштейном для крепления относится к рекламе, в частности к проекционным устройствам для визуализации рекламных сообщений.

Полезная модель относится к мобильным устройствам для представления информации, а именно к мобильным проекционным устройствам

Полезная модель относится к области информационных технологий, а именно, к сетям передачи пакетов информационных данных, и может быть использована при построении базовых станций сверхвысокоскоростной самоорганизующейся сети миллиметрового Е-диапазона радиоволн

Проектор // 42666
Наверх