Характеристики кластера IRUS17

IRUS17

IRUS17 представляет собой единый кластер высокопроизводительных вычислений, включающий несколько типов CPU- и GPU-узлов. Управление вычислительными ресурсами и запуск заданий осуществляются с помощью системы пакетного планирования Slurm.

Основной доступ пользователей к вычислительному комплексу осуществляется по SSH через единый узел доступа irus17.cc.dvo.ru. Для работы с GPU-подсистемой используется дополнительный GPU-узел доступа, доступный с основного узла кластера. Непосредственное выполнение вычислений осуществляется на выделяемых Slurm вычислительных узлах.

Вычислительные ресурсы

Раздел Slurm	Количество узлов	Процессоры	CPU-ресурсы	Оперативная память	GPU	Основное назначение
standard	40	2 × Intel Xeon E5-2698 v4 2,2 ГГц	20 ядер на процессор 40 физических ядер на узел	256 ГБ DDR4-2400 ECC Reg	-	Универсальные CPU-вычисления, MPI/OpenMP, пакетная обработка, многопараметрические расчёты и научные приложения общего назначения.
gold21	8	2 × Intel Xeon Gold 6248R 3,0 ГГц	24 ядра на процессор 48 физических ядер на узел	4 узла × 384 ГБ 4 узла × 768 ГБ DDR4-2400 ECC Reg	-	Производительные CPU-расчёты и задачи с повышенными требованиями к оперативной памяти.
epyc	5	2 × AMD EPYC 9754	128 ядер на процессор 256 физических ядер на узел	768 ГБ DDR5 ECC Reg	-	Высокопараллельные CPU-вычисления, крупные MPI/OpenMP-задачи, massive multithreading и обработка больших массивов данных.
A100	2	2 × Intel Xeon Gold 6348	28 физических ядер на процессор 56 физических ядер / 112 аппаратных потоков на узел	512Gb DDR4-2400MHz ECC Reg	3 × NVIDIA A100 40 ГБ на узел	CUDA-вычисления, GPU-ускоряемые научные приложения, машинное обучение, молекулярная динамика и многузловые MPI/GPU-расчёты.
A100-2D	1 физический узел(4 виртуальных вычислительных узла)	Физический узел: 2 × Intel Xeon Gold 6330	8 vCPU на виртуальный узел	Физический узел: 12Gb DDR4-2400MHz ECC Reg	8 × NVIDIA A100 40 ГБ на физическом узле; 2 GPU на виртуальный узел	GPU-вычисления различного масштаба. В текущей конфигурации ресурсы разделены между четырьмя виртуальными узлами для удобства совместного использования. При необходимости физический узел может предоставляться в конфигурации с одновременным доступом ко всем 8 GPU.

Сводные вычислительные ресурсы

Ресурс	Конфигурация
standard	40 узлов / 1 600 физических CPU-ядер
gold21	8 узлов / 384 физических CPU-ядра
epyc	5 узлов / 1 280 физических CPU-ядер
A100	2 физических узла / 112 физических CPU-ядер / 6 × NVIDIA A100 40 ГБ
A100-2D	1 физический узел / 8 × NVIDIA A100 40 ГБ; ( 4 виртуальных вычислительных узла )
GPU-ресурсы комплекса	14 × NVIDIA A100 40 ГБ

Коммуникационная инфраструктура

Группа узлов	Вычислительная сеть	Сеть хранения данных	Сеть управления / мониторинга
standard	Intel Omni-Path, 100 Гбит/с	InfiniBand 4×FDR, 56 Гбит/с	Ethernet 1 Гбит/с
gold21	Intel Omni-Path, 100 Гбит/с	Ethernet 10 Гбит/с	Ethernet 10 Гбит/с; отдельная сеть мониторинга 10 Гбит/с
epyc	RoCE Ethernet 100 Гбит/с	Ethernet 25 Гбит/с	Ethernet 10 Гбит/с
A100 / A100-2D	Ethernet 10 Гбит/с	Ethernet 10 Гбит/с	Ethernet 10 Гбит/с

Архитектура вычислительных разделов

standard (универсальные MPI-узлы)

Раздел standard является основным вычислительным ресурсом кластера и включает 40 двухпроцессорных узлов Intel Xeon E5-2698 v4. Каждый узел располагает 40 физическими процессорными ядрами и 256 ГБ оперативной памяти. Совокупно раздел предоставляет 1 600 физических CPU-ядер.

Для межузловых параллельных вычислений используется сеть Intel Omni-Path 100 Гбит/с. Доступ к системе хранения осуществляется через InfiniBand FDR 56 Гбит/с.

Раздел предназначен прежде всего для задач, которые хорошо масштабируются на большое количество относительно однородных вычислительных узлов:

MPI- и гибридные MPI+OpenMP-приложения;
многопараметрические и серийные расчёты;
Slurm Job Arrays;
численное моделирование;
молекулярная динамика;
биоинформатическая обработка большого числа образцов;
другие массовые CPU-вычисления.

gold21 (производительные и высокопамятные Intel-узлы)

Раздел gold21 включает восемь узлов на базе двух процессоров Intel Xeon Gold 6248R. Каждый узел располагает 48 физическими процессорными ядрами.

Четыре узла оснащены 384 ГБ RAM, ещё четыре - 768 ГБ RAM. Это позволяет использовать раздел как для более производительных CPU-расчётов, так и для приложений с повышенными требованиями к оперативной памяти.

Межузловое взаимодействие осуществляется через Intel Omni-Path 100 Гбит/с.

Раздел особенно подходит для:

memory-intensive приложений;
крупных матриц и моделей;
задач, которым недостаточно 256 ГБ памяти узлов standard;
геномных и метагеномных расчётов;
квантово-химических расчётов;
MPI/OpenMP-приложений, которым важна более высокая производительность отдельного ядра.

epyc (высокопараллельные AMD-узлы)

Раздел epyc состоит из пяти высокоплотных двухпроцессорных узлов на базе AMD EPYC 9754. Каждый процессор содержит 128 физических ядер, что обеспечивает 256 физических CPU-ядер на одном вычислительном узле. Каждый узел оснащён приблизительно 756 ГБ оперативной памяти.

Совокупно раздел предоставляет 1 280 физических CPU-ядер.

Для высокоскоростного межузлового обмена используется RoCE Ethernet 100 Гбит/с. Подключение к системе хранения данных - Ethernet 25 Гбит/с, сеть управления - Ethernet 10 Гбит/с.

Раздел предназначен для вычислений, способных эффективно использовать большое число процессорных ядер:

крупные MPI- и OpenMP-задачи;
гибридные MPI+OpenMP-расчёты;
многопоточные научные приложения;
массовая обработка данных;
геномные и метагеномные сборки;
поиск по большим биологическим и научным базам данных;
другие high-throughput и high-core-count задачи.

Следует учитывать, что не все приложения способны эффективно масштабироваться до 256 CPU-ядер в рамках одного задания. Для многих задач более эффективным вариантом является одновременный запуск нескольких независимых расчётов с меньшим числом CPU на каждый.

A100 (физические GPU-узлы)

Раздел A100 включает два физических вычислительных узла. Каждый из них оснащён:

2 × Intel Xeon Gold 6348;
56 физическими CPU-ядрами;
112 аппаратными CPU-потоками;
512 ГБ оперативной памяти;
3 × NVIDIA A100 40 ГБ.

Slurm предоставляет на каждом узле 112 логических CPU и три GPU. GPU запрашиваются как отдельный планируемый ресурс.

Раздел предназначен не только для одиночных CUDA-приложений. Узлы могут использоваться для MPI- и MPI+CUDA-расчётов на нескольких GPU-узлах, если используемое приложение поддерживает такой режим работы.

Типичные задачи:

GPU-ускоряемая молекулярная динамика;
машинное и глубокое обучение;
структурная биология;
научные CUDA-приложения;
многопроцессорные и multi-GPU расчёты;
MPI+CUDA-приложения;
GPU-ускоряемая обработка изображений и больших массивов данных.

A100-2D (8-GPU узел с гибкой схемой предоставления ресурсов)

В основе раздела A100-2D находится один физический вычислительный узел, оснащённый:

2 × Intel Xeon Gold 6330;
512 ГБ оперативной памяти;
8 × NVIDIA A100 40 ГБ.

Для повышения удобства совместного использования в текущей конфигурации физический узел разделён средствами виртуализации на четыре вычислительных узла.

Каждой виртуальной машине предоставляется:

8 vCPU;
128 ГБ оперативной памяти;
2 × NVIDIA A100 40 ГБ.

GPU передаются непосредственно виртуальным машинам с помощью PCI passthrough. Таким образом, приложения получают прямой доступ к физическим ускорителям NVIDIA A100.

Виртуальное разделение не является аппаратным ограничением данного узла. При необходимости и по согласованию конфигурация может быть изменена таким образом, чтобы вычислительная среда получила одновременный доступ ко всем восьми NVIDIA A100 физического сервера.

Благодаря этому узел может использоваться как для нескольких независимых 2-GPU задач, так и для крупного multi-GPU расчёта, требующего до восьми ускорителей.

Совместные MPI/GPU-вычисления

GPU-подсистема поддерживает не только вычисления в пределах одного узла. При соответствующей конфигурации приложения возможно выполнение межузловых MPI-расчётов с использованием GPU.

Это позволяет распределять вычислительную задачу между несколькими GPU-узлами и использовать одновременно CPU, MPI и CUDA. Возможность и эффективность такого масштабирования определяются конкретным программным пакетом.

Сеть GPU-подсистемы построена на Ethernet 10 Гбит/с и используется для вычислительного обмена, доступа к системе хранения и мониторинга.

Программная платформа

GNU/Linux x86-64, Debian 11;
Slurm 22.05 - управление вычислительными заданиями и ресурсами;
SSH - удалённый доступ;
Environment Modules - управление программными окружениями;
поддержка MPI, OpenMP и CUDA-приложений.

Перечень компиляторов, библиотек, средств разработки и специализированного научного программного обеспечения приведён отдельно в разделе «Программное обеспечение».

Производительность

Расчётная пиковая производительность CPU-части	427,4192 TFLOPS
Измеренная производительность LINPACK / HPL	254,06 TFLOPS
Эффективность относительно расчётного пика	около 59,4 %

Производительность GPU-подсистемы целесообразно указывать отдельно, поскольку для NVIDIA A100 существенно различаются значения производительности FP64, FP32 и Tensor Core, а фактическая производительность определяется характером конкретного приложения.

Выбор вычислительного раздела

Задача	Рекомендуемый ресурс
Универсальные CPU-расчёты	standard
Большое количество независимых заданий / Job Array	standard
Повышенные требования к памяти	gold21
Высокопараллельные CPU-задачи	epyc
Крупные MPI/OpenMP-задачи	standard / gold21 / epyc в зависимости от особенностей приложения
CUDA-вычисления	A100 / A100-2D
Задачи на 1–2 GPU	A100-2D в текущей виртуальной конфигурации
Задачи на 3 GPU одного физического узла	A100
Задачи, требующие до 8 GPU одного физического сервера	A100-2D после соответствующей переконфигурации
Многузловые MPI+GPU задачи	A100 и другие доступные GPU-ресурсы в зависимости от конфигурации приложения
Машинное обучение	A100 / A100-2D
GPU-молекулярная динамика	A100 / A100-2D