Всемирная суперкомпьютерная выставка

Поддержка DAOS в решениях RSC Storage on-Demand

Группа компаний РСК объявила о поддержке в своих решениях RSC Storage on-Demand новой распределенной объектной системы хранения с открытым кодом DAOS (Distributed Asynchronous Object Storage) корпорации Intel, что позволяет обеспечить высочайший уровень скорости работы с данными различных типов. Такое решение ориентировано на применение в области «искусственного интеллекта» (машинного и глубокого обучения). Теперь стало возможным построение не только многослойных систем хранения данных на базе параллельной файловой системы Lustre в архитектуре Composable Disaggregated Infrastructure и гибкое управление пулами дисков с интерфейсом NVMe, но и включение в такие слои высокопроизводительных компонент на основе DAOS.

Долгие годы, несмотря на рост номинальной производительности устройств хранения данных, прирост обеспечивался, в основном, за счет повышения производительности последовательных операций чтения-записи. Использование DAOS позволяет уйти от ограничений старых подходов к построению высокопроизводительных систем хранения данных, связанных с работой протокола TCP/IP, архитектурой ядра ОС Linux и ряда других узких мест, ликвидировав так называемые «бутылочные горлышки» для работы в тех случаях, когда приложению необходим высокоскоростной произвольный доступ к данным.

Существенный рост производительности в случае поддержки DAOS стал возможным благодаря нескольким принципам, заложенным в ее архитектуре: 

• максимально возможному уменьшению использования ресурсов центрального процессора, ядра операционной системы, прерываний, переключения контекста в ходе перемещения данных от устройства хранения к месту обработки;
• хранению данных, к которым требуется произвольный доступ (мета-данные и кэши данных) на устройствах с эффективной поддержкой побайтного доступа (Byte Level Access) – устройствах класса Storage Class Memory;
• максимально прозрачной трансляции потоковых и блочных операций чтения/записи в устройствах с интерфейсом NVMe.

Платформа оркестрирования «РСК БазИС» для создания высокопроизводительных составных архитектур хранения данных

РСК переносит свой опыт в построении компонуемых дезагрегированных решений и на управление DAOS, а именно предлагает использование для этого программной платформы оркестрации «РСК БазИС» с новым и более удобным пользовательским интерфейсом.

Реализованные до настоящего момента решения на основе DAOS требовали жестко определенного – на уровне установленной аппаратной конфигурации – соотношения между процессорными ресурсами, наличием энергонезависимой памяти с произвольным доступом (Intel® Optane™ DC Persistent Memory, PMEM), твердотельных накопителей с интерфейсом NVMe.  В рамках платформы «РСК БазИС» можно применить компонуемый подход для управления DAOS, разделив сервера с PMEM и сервера с устройствами NVMe в пулы, объединённые быстрой сетевой фабрикой. Оснащение серверов высокопроизводительными адаптерами с поддержкой RDMA с одной стороны, накопителями с интерфейсом NVMe и части серверов – энергонезависимой памятью Intel® Optane™ DC Persistent Memorу с другой, позволяет произвести такую дезагрегацию и дальнейшую компоновку «по запросу» без снижения производительности.

Какие преимущества дает такой подход? Во-первых, он позволяет уйти от жесткого соотношения накопителей PMEM/NVMe в серверах хранения. Во-вторых, он позволяет значительно увеличить допустимый объем системы хранения данных. Сегодня требования к объему PMEM в DAOS – не менее 6% от объема локальных накопителей с интерфейсом NVMe – серьезно ограничивают максимальное полезное количество дисков на один сервер хранения. При этом, благодаря компонуемости, неиспользуемые в какой-то момент времени диски можно подключить к другому серверу на основе DAOS или Lustre.

Помимо этого, можно вообще разделить сервера с DAOS и сервера c накопителями NVMe на два пула, тем самым максимально устранив ограничения аппаратной архитектуры сервера (ограниченного возможностями шины PCIe, используемой как накопителями, так и сетевыми адаптерами, а также физических ограничений шасси сервера по размещению дополнительных устройств и их охлаждению).