В рамках ИТ-школы, проходящей 14-19 ноября в Объединенном институте ядерных исследований (ОИЯИ) в Дубне и собравшей более 70 студентов из 13 университетов со всей России и не только (их география включает Архангельск, Дубну, Владивосток, Владикавказ, Москву, Петропавловск-Камчатский, Санкт-Петербург, Тверь, Томск, Тулу и Ереван), состоялась презентация модернизированного суперкомпьютера «Говорун». Производительность этой вычислительной системы выросла на 23,5% и достигла уровня 1,1 Пфлопс (петафлопс – это квадриллион или 1015 операций с плавающей точкой в секунду).
Высокопроизводительной комплекс, ставший в 2018 году первым в мире гиперконвергентным суперкомпьютером со 100% жидкостным охлаждением на «горячей воде», назван в честь члена-корреспондента Академии наук СССР Николая Николаевича Говоруна, с именем которого с 1966 года неразрывно связано развитие информационных технологий в ОИЯИ – международной межправительственной научно-исследовательской организации, объединяющей 19 стран-участниц и 5 стран-наблюдателей.
«Очередной, уже третий по счету, этап модернизации суперкомпьютера имени Н.Н. Говоруна, установленного специалистами группы компаний РСК, позволил существенно – практически на четверть – увеличить производительность нашего вычислительного комплекса. Что, в свою очередь, обеспечивает не только новые возможности для проведения более эффективных расчетов и интеллектуальной обработки больших данных в рамках различных научных экспериментов института, включая мегасайенс-проект NICA, но и выполнять масштабные исследовательские проекты в рамках Научно-исследовательской компьютерной сети (НИКС), объединяющей три центра коллективного пользования (ЦКП) – Объединенный институт ядерных исследований, Межведомственный суперкомпьютерный центр Российской академии наук (МСЦ РАН) и Санкт-Петербургский политехнический университет Петра Великого (СПбПУ). Например, на суперкомпьютере «Говорун» проводятся масштабные вычисления по моделированию сверхтяжелых элементов и определению границ периодической таблицы химических элементов Д.И. Менделеева», – отметил Владимир Васильевич Кореньков, директор Лаборатории информационных технологий имени М.Г. Мещерякова ОИЯИ.
В ходе текущего этапа модернизации суперкомпьютера «Говорун» специалисты РСК установили 32 новых вычислительных узла на базе двух процессоров Intel Xeon Platinum 8368Q (частота 2,6 ГГц, 38 ядер, кэш 57 Мбайт, тепловыделение 270 Вт) в каждом, 8 модулей оперативной памяти DDR4 – суммарная емкость 256 ГБ на узел, 8 модулей энергонезависимой памяти Intel Optane DC Persistent Memory – 2 ТБ на узел, четырех твердотельных дисков SSD в форм-факторе EDSFF E1.S (рулер) с интерфейсом NVMe – 16 ТБ на узел. Кроме того, каждый узел снабжен двумя адаптерами Omni-Path с пропускной способностью 100 Гбит/с.
Применение жидкостного охлаждения в суперкомпьютере ОИЯИ позволяет не только существенно экономить электроэнергию во время работы вычислительного комплекса (на его охлаждение расходуется менее 3% электричества, требуемого для функционирования всей системы), но и использовать самые высокопроизводительные серверные процессоры Intel Xeon Platinum 8368Q – суффикс Q означает, что они специально предназначены для охлаждения жидкостью и превосходят другие модели, ориентированные на использование ранее широко распространенного воздушного охлаждения.
Вычислительные ресурсы и система хранения данных (СХД) суперкомпьютера «Говорун» используются для ускорения комплексных теоретических и экспериментальных исследований в области физики высоких энергий, ядерной физики и физики конденсированных сред, в том числе для реализации мега-проекта NICA по созданию на базе ОИЯИ ускорительного комплекса для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала наша Вселенная в первые мгновения после Большого Взрыва – кварк-глюонную плазму. Реализация этого мега-проекта начата в 2013 году, запуск ускорительного комплекса планируется осуществить в конце 2023 г.
Стоит отметить, что две СХД, установленные специалистами РСК в составе суперкомпьютера «Говорун» Объединенного института ядерных исследований, входят в мировой рейтинг IO500 самых высокопроизводительных системам хранения данных. В текущий список IO500 входит сегмент СХД на базе решения RSC Storage on-Demand с поддержкой новой системы хранения с открытым кодом DAOS – он лидирует среди российских систем хранения данных и занимает 48-ю позицию. Этот проект на базе распределенной системы хранения объектов DAOS реализован для обработки данных в рамках реализации мегапроекта NICA. Сегмент хранения на базе файловой системы Lustre в ОИЯИ размещается в IO500 на 54-м месте. Уместно напомнить, что СХД суперкомпьютера «Говорун» еще в июне 2018 г., сразу после установки и запуска в эксплуатацию в ОИЯИ, заняла высокое 9-е место в мировом списке IO500. Система хранения данных в ОИЯИ смогла занять столь высокие позиции в этом мировом рейтинге благодаря применению уникальной технологии создания многоуровневых, масштабируемых, распределённых и компонуемых «по требованию» систем хранения данных класса RSC Storage on-Demand с поддержкой файловых систем NFS и Lustre, а также распределенной системы хранения объектов DAOS.
История создания и развития суперкомпьютера имени Н.Н. Говоруна в ОИЯИ
Суперкомпьютер «Говорун» – первый в мире гиперконвергентный комплекс для высокопроизводительных вычислений со 100% жидкостным охлаждением, созданный специалистами группы компаний РСК в 2018 году и прошедший к настоящему времени уже несколько этапов модернизации. В основе построения гиперконвергентной системы лежит подход объединения ресурсов для вычисления и хранения на каждом узле системы. Это позволяет наиболее эффективно масштабировать общие ресурсы системы с увеличением количества узлов.
Эксплуатация первой очереди суперкомпьютера имени Н.Н. Говоруна позволила провести целый ряд сложнейших ресурсоемких вычислений в области квантовой хромодинамики на решетках для исследования свойств адронной материи при высокой плотности энергии и барионного заряда и в присутствии сверхсильных электромагнитных полей, качественно повысить оперативность моделирования динамики столкновений релятивистских тяжелых ионов, позволил ускорить процесс генерации и реконструкции событий для экспериментов в рамках мегасайенс-проекта NICA, провести расчеты радиационной безопасности экспериментальных установок, существенно ускорить исследования в области радиационной биологии и других научно-прикладных задач, решаемых в ОИЯИ. Результаты данных научных исследований были опубликованы в более чем 50-ти ведущих мировых научных изданиях.
В 2019 году суперкомпьютер ОИЯИ был модернизирован. Обновленный вычислительный комплекс стал обладать совокупной теоретической пиковой производительностью 860 ТФЛОПС двойной точности, являясь при этом гиперконвергентной программно-определяемой системой. Данный подход является новым для индустрии высокопроизводительных систем, а реализованный с его использованием проект обладает уникальными свойствами по гибкости настройки системы под конкретную задачу пользователя и, тем самым, позволяет существенно повысить эффективность использования ресурсов суперкомпьютера.
Применение гиперконвергентного подхода позволило создать для суперкомпьютера «Говорун» уникальную высокоскоростную систему хранения данных, обладающую лидерскими характеристиками — скорость параллельной файловой системы на чтение/запись информации превышает 300 ГБ/с. Достижение таких показателей стало возможным только благодаря внедрению комплексных программно-аппаратных решений РСК, поскольку применение стандартных технологий построения отдельно стоящих СХД потребовало бы в десятки раз более дорогого решения.
Уникальное внедренное решение системы хранения «по требованию» позволяет на суперкомпьютере «Говорун» формировать специфическую систему хранения для каждой запускаемой на суперкомпьютере задачи с требуемыми свойствами, такими как (объем и скорость, тип файловой системы, время существования, уровень надежности и безопасности), что было бы также невозможно в случае стандартного подхода к построению СХД для высокопроизводительных вычислительных систем.
