Вычислительный модуль многопроцессорной крейтовой системы и многопроцессорная система из этих модулей

 

Группа полезных моделей относится к области вычислительной техники и может быть использована для создания высокопроизводительных вычислительных систем. Предлагается вычислительный модуль для создания масштабируемой по количеству ядер и периферийных интерфейсов многопроцессорной крейтовой системы с коммутационной панелью (15), включает в себя: печатную плату и размещенные на ней: процессор (1) с межпроцессорными каналами (9), контроллер периферийных интерфейсов (2) с подключением к процессору посредством шины ввода-вывода (8) и подключением шин периферийных интерфейсов (10), оперативная память (3), накопитель данных (4), запоминающее устройство с программой начального старта (5), пользовательские соединители (6) и соединители для подключения модуля к коммутационной панели (7). Технический результат - постоянное соотношение количества вычислительных ядер, объема когерентной памяти и пользовательских интерфейсов в крейтовой системе; возможность резервирования периферийных и вычислительных модулей; высокая ремонтопригодность.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ПОЛЕЗНАЯ МОДЕЛЬ

Группа полезных моделей относится к области вычислительной техники и может быть использована для создания высокопроизводительных вычислительных систем.

УРОВЕНЬ ТЕХНИКИ

Современные высокопроизводительные многопроцессорные вычислительные системы создаются на основе массива одно- или многопроцессорных вычислительных модулей.

Процессоры, предназначенные для создания высокопроизводительных многопроцессорных вычислительных систем, имеют интегрированные интерфейсы для многопроцессорных соединений. С 2009 года, когда подобные интерфейсы впервые появились в процессорах AMD, а затем в 2011 году - в процессорах Intel, наибольшее распространение получили следующие типы межпроцессорных соединений:

http://en.wikipedia.org/wiki/Intel_QuickPath_Interconnect

http://en.wikipedia.org/wiki/HyperTransport

http://www.mcst.ru/mikroprocessor-elbrus4s и др.

На основе процессоров с интерфейсами многопроцессорных соединений могут быть построены одно- и многомодульные многопроцессорные кластеры.

Одномодульные кластеры, то есть многопроцессорные системы на одной печатной плате, известны, например, из следующих публикаций:

http://www.qdpma.com/systemarchitecture/systemarchitecture_sandybridge.html http://www.siliconmechanics.com/files/SocketG34Info.pdf

Поскольку размеры печатных плат ограничены, дальнейшее увеличение вычислительной мощности кластера возможно только за счет увеличения количества одно- или многопроцессорных вычислительных модулей, объединенных высокоскоростным интерфейсом.

В настоящее время для создания высокопроизводительных вычислительных систем широко применяются вычислительные модули двух типов: первые имеют межпроцессорные каналы без периферийных интерфейсов (например, http://www.crav.cotri/Products/Computing/XC/Technologv.aspx); вычислительные модули второго типа, наоборот, снабжаются периферийными интерфейсами и не имеют межпроцессорных каналов (например, http://www.advantech.com/products/Master-CPU-Boards/sub_1-2JKLMR.aspx).

Модули первого типа хорошо подходят для обработки больших массивов информации и решения научных задач, допускающих распараллеливание вычислений, таких как предсказание погоды, астрофизические и теплофизические расчеты, фолдинг белковых молекул и т.п.

Модули второго типа хорошо подходят для независимой обработки малосвязанных или совсем не связанных между собой однородных задач, требующих большого количества обращений к периферийным устройствам и данным, получаемым извне, например, для создания интернет-хостингов и центров обработки данных, промышленных контроллеров с резервированием.

К системам, построенным с использованием модулей первого типа относится параллельная вычислительная система с программируемой архитектурой, включающая N параллельных процессоров, каждый из которых содержит матрицу процессорных элементов, ОЗУ, управляющий процессор, системную шину, служебное ОЗУ, буферное ОЗУ, блок загрузки и одну или более специализированных коммуникационных сред, применяемых для построения кластеров, таких как SCI или Myrinet (патент РФ на изобретение 2202123). В известной системе количество процессорных модулей намного превышает количество контроллеров ввода-вывода.

Известна многопроцессорная система обработки данных, содержащая процессорные модули, устройства управления шинами межпроцессорного обмена, блоки общей памяти, устройства управления вводом-выводом через асинхронную оптоволоконную межпроцессорную магистраль, контроллеры обмена данными, шины межпроцессорного обмена, локальные шины, асинхронную оптоволоконную межпроцессорную магистраль (патент РФ на изобретение 2139566). В известной системе количество процессорных модулей в два раза превышает количество контроллеров ввода-вывода, причем в качестве магистрали ввода-вывода применяется нетрадиционная оптоволоконная технология.

К системам, построенным с использованием модулей второго типа относится модульная вычислительная система, в которой каждый модуль содержит несколько разъемов, сетевой контроллер-маршрутизатор, шлюз и функциональные блоки, причем разъем используется для взаимного соединения модулей, шлюз модуля имеет один внешний вход и один внешний выход, а также много внутренних входов и выходов, подсоединенных, соответственно к выходам и входам упомянутых функциональных блоков, отличающееся тем, что входы и выходы контроллера-маршрутизатора подсоединены к разъемам, а также к внешнему входу и внешнему выходу шлюза (патент РФ на полезную модель 75247). Отсутствие быстродействующей межпроцессорной шины, объединяющей вычислительные модули, ограничивает производительность обработки взаимосвязанных задач разными модулями пропускной способностью сетевого протокола и производительностью контроллера ввода-вывода.

Известна кластерная система, содержащая ведущий и ведомые вычислительные модули, выполненные с шиной PCIe на своих материнских платах, коммутатор и интерфейсные платы, имеющие по 2 порта каждая - один порт работает в режиме прозрачного порта, а второй - в режиме непрозрачного. Коммутатор выполнен с возможностью образования в адресном пространстве шины PCI Express ведущего вычислительного модуля диапазона адресов, перекрывающего все окна доступа к ведомым вычислительным модулям и формирования в каждом непрозрачном порту интерфейсной платы окна с адресом в адресной области в ведущем вычислительном модуле для обеспечения для каждого ведомого вычислительного модуля возможности доступа через адресное пространство к памяти других ведомых вычислительных модулей (патент РФ на изобретение 2461055). Таим образом, в известной системе вычислительные модули объединены через шину PCI Express, следовательно производительность обработки взаимосвязанных задач разными модулями будет лимитировано пропускной способностью шины PCI Express и производительностью контроллера ввода-вывода.

Недостаток известного технического решения, препятствующий достижению нижеупомянутого технического результата, состоит в том, что масштабирование не касается внешних интерфейсов, также существует два различных класса модулей - модули вычисления (процессорные) и модули ввода-вывода, что вынуждает проектировщиков систем разрабатывать гетерогенные структуры построения данных систем из модулей обоих классов.

РАСКРЫТИЕ ПОЛЕЗНОЙ МОДЕЛИ

Терминам, выражениям и сокращениям, используемым в настоящем тексте, придают следующее значение:

Крейтовая система - установка, содержащая множество вычислительных модулей, систему питания, охлаждения и коммутационную панель для подключения, по меньшей мере, двух вычислительных модулей. Крейтовая система отличается от типичного персонального компьютера тем, что в ней устранено дублирование систем охлаждения отдельных вычислительных моделей, корпусов, систем питания, пользовательских интерфейсов; предусматривается масштабируемость, оперативная замена составных частей, повышенная надежность и защищенность.

Коммутационная панель (см., например, http://en.wikipedia.org/wiki/Backplane) - панель, как правило, одноплатная, с соединителями для подключения, по меньшей мере, двух вычислительных модулей, обеспечивающая передачу данных между вычислительными модулями и/или между вычислительными модулями и периферийными устройствами; также может служить для подключения модулей к источнику питания и/или к системе охлаждения, например, http://www.elma.com/en/products/backplanes/vita-backplanes/vpx-openvpx-backplanes/.

Модуль управления крейтовой системы (Chassis Management Module) - часть типичной крейтовой системы, обеспечивающая ее диагностику, конфигурирование, замену программного обеспечения и т.д. Значение данного термина раскрывается, например, в спецификациях IPMI 2.0, VITA 46.11 и т.д.

http://ru.wikipedia.org/wiki/Intelligent_Platform_Management_Interface

http://en.wikipedia.org/wiki/Intel_Modular_Server_System

Вычислительный модуль - одноплатный компьютер типового размера без питания и охлаждения, например, одноплатный компьютер размера 6U или 3U согласно спецификации VITA 46.0 или более ранних спецификаций PICMG 2.0 R3.0, например, http://www.advantech.com/products/Master-CPU-Boards/sub_1-2JK.LMR.aspx.

Контроллер периферийных интерфейсов («южный мост») - микросхема-концентратор ввода-вывода (от англ. I/O Controller Hub, ICH).

Шина периферийных интерфейсов - реализация передачи электрических сигналов от устройств пользователя через группу проводных соединений. Например, витая пара сетевого соединения Ethernet или шлейф для подключения диска IDE и т.д.

Периферийный интерфейс - интерфейс ввода-вывода данных для последующей обработки. Например, внутрисистемный интерфейс USB, который использован для подключения видеокамеры и не имеет указания по применению пользователем. Часто периферийные интерфейсы также являются пользовательскими интерфейсами, например тот же интерфейс USB при наличии соединителя для подключения внешней флэш-памяти, принтера и т.д.

Периферийный модуль - любое устройство пользователя, подключаемое/подключенное к периферийным интерфейсам, например, видеокарта с выдачей через пользовательский интерфейс DVI изображения на монитор и с подключенная к периферийному интерфейсу PCI Express.

Периферийные модули - устройства пользователя, подключаемые к периферийным интерфейсам. Например, видеокарта с выдачей через пользовательский интерфейс DVI изображения на монитор и с подключенная к периферийному интерфейсу PCI Express.

Когерентная память - оперативная память, к которой обеспечен одновременный доступ, по меньшей мере, двух процессоров или ядер.

Межпроцессорные каналы - средства передачи данных между процессорами в рамках одного или нескольких вычислительных модулей, минуя контроллер периферийных интерфейсов. Канал межпроцессорного обмена может предусматривать как оптический, так и электрический способ передачи данных; скорость обмена данными через такой канал (из обычно применяемых в высокопроизводительных системах), как правило, намного превышает скорость обмена данными через контроллер периферийных интерфейсов.

Остальные термины и выражения используют в обычном смысле, известном специалистам в данной области техники.

Задача настоящей полезной модели состоит в создании вычислительных модулей для крейтовой системы, имеющих не только периферийные интерфейсы, но и интерфейсы межпроцессорных соединений.

Именно такая особенность позволяет объединять в рамках крейтовой системы множество вычислительных модулей с получением системы, подходящей для таких задач, как анализ сетевого трафика, создание отказоустойчивых (с многократным резервированием) систем управления технологическими процессами на транспорте, в энергетике в химических и в машиностроительных производствах, в которых оптимально, когда информационные потоки поступают в вычислительный модуль преимущественно от периферийных устройств и там обрабатываются отдельно от других информационных потоков, до того момента, когда для дальнейшей обработки данных будет необходимо учесть результаты, накопленные в другом вычислительном модуле (например, такая ситуация может иметь место при управлении электроподстанциями, расположенными последовательно на одной линии электропередач; при обработке биржевых транзакций; в биллинговых системах сотовых операторов).

Благодаря наличию межпроцессорных каналов в каждом вычислительном модуле, системы, построенные из двух и более модулей, предлагаемых в соответствии с настоящей полезной моделью, имеют общую (когерентную) оперативную память, к которой у всех процессоров и ядер системы может быть организован неоднородный доступ NUMA (Non-Uniform memory access). Объем когерентной памяти увеличивается пропорционально количеству вычислительных модулей в системе. Этим предлагаемые модули отличаются от широко распространенных крейтовых систем с одним системным вычислительным модулем в едином корпусе, соответствующих стандартам VPX (VITA 46, VITA 48 выпуска 2007 - 2013 годов), Advanced® TCA (PICMG - 3.x выпуска 2008-2012 годов). В то же самое время в предлагаемых модулях количество периферийных интерфейсов пропорционально количеству процессоров, что увеличивает производительность обработки информационных потоков, поступающих от периферийных устройств, по сравнению с многопроцессорными системами, у которых вычислительные модули не имеют отдельных контроллеров ввода-вывода.

Технический результат состоит в том, что предлагаемые вычислительные модули обеспечивают постоянное соотношение количества вычислительных ядер, объема когерентной памяти и пользовательских интерфейсов в крейтовой системе. Масштабируемость по количеству ядер и периферийных интерфейсов позволяет определить наиболее оптимальные конфигурации крейтовых систем для различных потребителей. При этом возможно резервирование периферийных и вычислительных модулей. В случае резервирования вычислительных модулей возможен перезапуск системы с меньшим количеством вычислительных ядер, общей когерентной памяти и устройств с подключением к периферийным интерфейсам. Поскольку съемные вычислительные модули полностью идентичны, то высока и ремонтопригодность предлагаемой многопроцессорной крейтовой системы.

Вышеуказанная задача решена благодаря тому, что вычислительный модуль (11) для создания масштабируемой по количеству ядер и периферийных интерфейсов многопроцессорной крейтовой системы с коммутационной панелью (15), включает в себя: печатную плату и размещенные на ней:

процессор (1), с межпроцессорными каналами (9), подключенный к контроллеру периферийных интерфейсов (2) посредством шины ввода-вывода (8), и к оперативной памяти (3);

контроллер периферийных интерфейсов (2) с шинами периферийных интерфейсов (10), подключенными к нему;

оперативную память (3);

соединители (7) для возможности вывода межпроцессорных каналов (9) и шин периферийных интерфейсов (10) к панели (15).

В одной предпочтительной форме выполнения модуль дополнительно содержит пользовательские соединители (6) или разъемы для подключения пользовательских устройств непосредственно к шинам периферийных интерфейсов (10).

В еще одной предпочтительной форме выполнения упомянутый процессор (1) является многоядерным.

В другой предпочтительной форме выполнения упомянутый процессор выполнен с возможностью осуществления неоднородного доступа к оперативной памяти (Non-uniform memory access (NUMA)) других аналогичных процессоров.

В одной предпочтительной форме выполнения, упомянутые межпроцессорные каналы (9) выполнены с возможностью соединения с аналогичными вычислительными модулями.

В еще одной предпочтительной форме выполнения часть шин периферийных интерфейсов (10) могут быть использованы для подключения к упомянутой коммутационной панели (15) периферийных модулей (12), содержащих устройства с подключением к периферийным интерфейсам.

В другой предпочтительной форме выполнения модуль дополнительно содержит постоянное запоминающее устройство (5) с записанной в нем программой начального старта, с подключением к одной из шин периферийных интерфейсов (10).

В одной предпочтительной форме выполнения модуль дополнительно содержит накопитель данных (4), подключенный к одной из шин периферийных интерфейсов (10).

В еще одной предпочтительной форме выполнения в модуле упомянутый накопитель данных (4), подключенный к одной из шин периферийных интерфейсов (10) является твердотельным накопителем.

В другой предпочтительной форме выполнения модуль дополнительно снабжен соединителями (7) для подключения к цепям питания через коммутационную панель (15).

В одной предпочтительной форме выполнения модуль дополнительно снабжен соединителями (7) для передачи управляющих сигналов через коммутационную панель (15).

Вышеуказанная задача также решена благодаря тому, что масштабируемая по количеству ядер и периферийных интерфейсов многопроцессорная крейтовая система содержит:

корпус с системой охлаждения и питания,

коммутационную панель (15), установленную в упомянутом корпусе, вышеописанные вычислительные модули (11), подключенные к упомянутой коммутационной панели (15),

периферийные модули (12),

модуль управления системой (13) или системного менеджмента.

В одной предпочтительной форме выполнения вычислительные модули (11) системы соединены с периферийными модулями (12) и между собой посредством коммутационной панели (15).

В еще одной предпочтительной форме выполнения, упомянутые вычислительные модули системы (11), периферийные модули (12) и модуль управления (13) подключены к питанию от модуля питания (14) через коммутационную панель (15).

Далее вышеупомянутые модули и система, охарактеризованные в общих категориях, поясняются на примере некоторых особенно предпочтительных форм выполнения, обеспечивающих получение дополнительных преимуществ.

Необходимо понимать, что в настоящем тексте вычислительные модули охарактеризованы только такими признаками, которые достаточны для решения поставленной задачи, реализации назначения и достижения выбранного технического результата; специального упоминания всех без исключения признаков, описывающих устройство, и утилитарных характеристик модулей не требуется, поскольку специалистам должно быть известно, что изделия того же рода обладают такими признаками и утилитарными характеристиками и без них не реализуется основное назначение; тем более не требуется ограничивать обобщенные признаки какими-либо конкретными вариантами, поскольку таковые должны быть известны специалистам и (или) могут быть подобраны по известным правилам.

Конструкция и использование вычислительного модуля и крейтовой системы, построенной из таких модулей, наглядно иллюстрируется фигурами 1 и 2 на примере некоторых конкретных форм выполнения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фигуре 1 изображена блок-схема вычислительного модуля с каналами межпроцессорными каналами.

На фигуре 1 приняты следующие обозначения

1 - процессор;

2 - контроллер периферийных интерфейсов (южный мост);

3 - оперативная память;

4 - накопитель данных;

5 - запоминающее устройство с программой начального старта;

6 - пользовательские соединители;

7 - соединители для подключения к коммутационной панели;

8 - шина ввода-вывода процессора;

9 - межпроцессорные каналы;

10 - шины периферийных интерфейсов.

На фигуре 2 изображена блок-схема масштабируемой по количеству ядер и периферийных интерфейсов многопроцессорной крейтовой системы. На фигуре 2 приняты следующие обозначения

11 - вычислительный модуль, содержащий многоядерный процессор с оперативной памятью и межпроцессорными каналами;

12 - периферийный модуль, содержащий устройства, подключенные к периферийным интерфейсам;

13 - модуль управления, позволяющий проводить диагностику, изменять конфигурацию системы и осуществлять ее перезапуск;

14 - модуль питания;

15 - коммутационная панель.

ОСУЩЕСТВЛЕНИЕ ПОЛЕЗНОЙ МОДЕЛИ

1. Вычислительный модуль МП 1ФМ для создания масштабируемой по количеству ядер и периферийных интерфейсов многопроцессорной крейтовой системы с коммутационной панелью, включает печатную плату и размещенные на ней:

процессор «Эльбрус-2С+» (1891 ВМ7Я),

контроллер периферийных интерфейсов КПИ (1991 ВГ1Я),

оперативную память размером 8 ГБ на двух модулях типа Mini-DIMM,

соединители VIPER®, выполненные для возможности подключения модуля к коммутационной панели.

Модуль содержит пользовательские соединители типа USB, RS-232, GbE для подключения устройств непосредственно к шинам периферийных интерфейсов.

Процессор «Эльбрус-2С+» (1891 ВМ7Я) имеет четыре ядра, включая ядра общего назначения и ядра для цифровой обработки сигналов.

Процессор «Эльбрус-2С+» выполнен с возможностью осуществления неоднородного доступа к оперативной памяти (Non-uniform memory access (NUMA)) для создания многопроцессорных систем.

Межпроцессорные каналы выполнены с возможностью соединения с аналогичными вычислительными модулями через коммутационную панель.

Соединители VIPER® выполнены с возможностью подключения к коммутационной панели.

Модуль дополнительно содержит в себе постоянное запоминающее устройство S25FL064P с записанной в нем программой начальной загрузки, подключенное к шине периферийного интерфейса SPI.

Модуль дополнительно содержит накопитель данных RIM128-SX1M, подключенный к шине периферийного интерфейса SATA.

Упомянутый накопитель данных является твердотельным накопителем.

Модуль снабжен соединителями VIPER® для подключения к цепи питания коммутационной панели.

Модуль снабжен соединителями VIPER® для передачи управляющих сигналов через коммутационную панель.

Масштабируемая по количеству ядер и периферийных интерфейсов многопроцессорная крейтовая система УВ/С с использованием данного модуля содержит:

корпус с системой охлаждения и питания,

коммутационную панель П021ФМ, установленную в упомянутом корпусе, вычислительные модули МП1ФМ, подключенные к коммутационной панели П021ФМ,

периферийные модули в виде носителей MHM/V с картами типа ХМС, модуль системного менеджмента МВ3С3/С,

модуль питания МЭП-220 (модуль электропитания от входного напряжения в 220 В).

Вычислительные модули соединены с периферийными модулями и между собой посредством коммутационной панели П021ФМ.

Упомянутые вычислительные модули, периферийные модули и модуль управления подключены к питанию через коммутационную панель.

Таким образом, положения формулы полезной модели в экземпляре прототипа реализации осуществлены полностью.

Схема системы показана на фигуре 2.

Съемные модули подключаются к коммутационной панели (15).

После установки съемные модули могут жестко фиксироваться в корпусе. Коммутационная панель является составной частью корпуса с охлаждением и подводом питания. На коммутационной панели располагаются соединители, к которым подключаются все съемные модули.

Вычислительный модуль содержит: процессор, контроллер периферийных интерфейсов, оперативную память, запоминающее устройство с программой начального старта, накопитель данных, пользовательские соединители и соединители для подключения к коммутационной панели. Отличительной чертой предлагаемого вычислительного модуля для группы полезных моделей являются соединители для подключения межпроцессорных каналов к коммутационной панели.

Данный модуль имеет возможность коммутации с аналогичными вычислительными модулями за счет межпроцессорных каналов через соединители на коммутационную панель.

Работа системы УВ/С состоит в следующем. Загрузка операционной системы производится при инициализации системы со встроенного на модуль накопителя. С устройств управления вводом-выводом инициируется определенная задача, которая загружается в процессорные модули. При выполнении задачи имеют место обмены данными между отдельными подзадачами, выполняемыми разными процессорными модулями. Такие обмены осуществляются посредством межпроцессорных каналов, проходящих по коммутационной панели.

Система предназначена для решения задач, сопряженных с обменом данными между отдельными подзадачами, выполняемыми разными процессорными модулями. При необходимости масштабирования возможно кластеризация или построение сетей на основе УВ/С с помощью сетевых карт скоростного ввода-вывода.

1. Вычислительный модуль для создания масштабируемой по количеству ядер и периферийных интерфейсов многопроцессорной крейтовой системы, включающий печатную плату и размещенные на ней:

процессор (1) с выводом межпроцессорных каналов (9), подключенный к оперативной памяти (3), а также к контроллеру периферийных интерфейсов (2) посредством шины ввода-вывода (8),

контроллер периферийных интерфейсов (2) с подключением к нему шин периферийных интерфейсов (10),

оперативную память (3),

соединители для подключения к коммутационной панели (7), выполненные с возможностью подключения межпроцессорных каналов (9) и шин периферийных интерфейсов (10) к коммутационной панели (15).

2. Модуль по п. 1, характеризующийся тем, что упомянутый процессор (1) является многоядерным.

3. Модель по п. 1, характеризующийся тем, что упомянутый процессор (1) выполнен с возможностью осуществления неоднородного доступа к оперативной памяти (Non-uniform memory access (NUMA)) других процессоров.

4. Модуль по п. 1, характеризующийся тем, что упомянутые межпроцессорные каналы (9) выполнены с возможностью соединения через коммутационную панель (15) с аналогичными вычислительными модулями.

5. Модуль по п. 1, характеризующийся тем, что он дополнительно может содержать в себе постоянное запоминающее устройство (5) с записанной в нем программой начальной загрузки, подключенный к одной из шин периферийных интерфейсов (10).

6. Модуль по п. 1, характеризующийся тем, что он может содержать накопитель данных (4), подключенный к одной из шин периферийных интерфейсов (10).

7. Модуль по п. 1, характеризующийся тем, что в нем упомянутый накопитель данных (4), подключенный к одной из шин периферийных интерфейсов (10) является твердотельным накопителем.

8. Модуль по п. 1, характеризующийся тем, что соединители для подключения к коммутационной панели (7) обеспечивают подключение к цепям питания коммутационной панели (15).

9. Масштабируемая по количеству ядер и периферийных интерфейсов многопроцессорная крейтовая система, содержащая:

корпус с системой охлаждения и питания,

коммутационную панель (15), установленную в упомянутом корпусе,

вычислительные модули по любому из пп. 1-10, подключенные к коммутационной панели (15),

периферийные модули (12), подключенные к коммутационной панели (15), модуль управления системой (13) или системного менеджмента, подключенные к упомянутой коммутационной панели (15),

модуль питания (14), подключенный к коммутационной панели (15).

10. Система по п. 9, характеризующаяся тем, что в ней вычислительные модули (11) соединены с периферийными модулями (12) и между собой посредством коммутационной панели (15).

11. Система по п. 9, характеризующаяся тем, что в ней упомянутые вычислительные модули (11), периферийные модули (12) и модули управления (13) подключены к питанию через коммутационную панель (15).



 

Наверх