Especificaciones de la supercomputadora
El Laboratorio Nacional de Supercómputo del Sureste de México (LNS) cuenta con varios segmentos de cómputo científico.
1. Cuetlaxcoapan: Se conforma por un clúster con procesadores Intel Xeon Haswell
El clúster Intel Xeon familia Haswell cuenta con:
-
CentOS 6.6
-
83 nodos de cálculo Thin (1992 núcleos). 2 CPU de 12 cores y 128 GB RAM.
-
40 nodos de cálculo semi Fat (960 núcleos). 2 CPU de 12 cores y 256 GB de RAM
-
3 servidores de gestión (login, colas y aprovisionamiento).
Además, dispone de 240 TB de espacio total para almacenamiento en disco.
Los nodos del Clúster y el almacenamiento se encuentran interconectados P2P mediante una red Infiniband de 56 Gbps.
2. Centepetl. Clúster con procesadores Intel Knights Landing MIC (Many Integrated Core).
- 45 nodos de cálculo (3060 núcleos).
- Un nodo de cálculo de este clúster tiene un CPU Intel Xeon Phi Knights Landing de 68 cores
- Memoria por nodo 192 GB + 16 GB (208 GB)
- 2 servidores de gestión (login y aprovisionamiento).
- Red interna administración Ethernet Gigabit
- Red de procesamiento Intel Omnipath a100 Gbps(LAN), incluye al Storage Local
- Rendimiento 135 TFlops
- 1 Sistema de almacenamiento de 480 TB.
3. Clúster IBM Power9 (Organizado en dos segmentos de 3 equipos)
6 Servidores IBM AC922 Power9
- 2 procesadores Power9 de 20 cores.
- 1024 GB de memoria RAM.
- 2 discos duros SSD SATA de 1.9 TB
- 4 Tarjetas NVIDIA Volta V100 SXM2 con NVLINK
- Procesamiento Tensorial (125 TF Tensor core para IA) por tarjeta
- Incorporados al Storage Distribuido
4. Clúster Huapáctic
86 nodos de cálculo Thin (2064 núcleos).
- 84 nodos de cálculo Thin (2016 núcleos). 2 CPU de 12 cores y 128 GB RAM.
- 2 nodos de cálculo Fat (48 núcleos). 2 CPU de 12 cores y 256 GB de RAM
- Rocky Linux release 8.7 (Green Obsidian)
4 Servidores Lenovo SR-670 con GPGPU
- 2 procesadores Intel Xeon Gold 6342 de 24 cores a 2.8 GHz
- 1024 GB de memoria RAM.
- 4 unidades NMVe PCIe 3.0 U.2 de 7.689 TB
- 2 unidad U.2 NMVePCI 4.0 para SO 1.6 TB (mirror)
- 4 Tarjetas NVIDIA Ampere A100 con NVLINK SXM4 de 80 GB RAM
- Procesamiento Tensorial (312 TF / F32 | 624 TF / F16) por tarjeta.
- Incorporados al Storage Distribuido
5. Clúster Leviatán
40 nodos de cálculo Thin (960 núcleos).
- 2 CPU de 12 cores y 128 GB RAM.
- Rocky Linux 8.7 (Green Obsidian)
1 Servidor Lenovo SR-670 con GPGPU
- 2 procesadores Intel Xeon Gold 6342 de 24 cores a 2.8 GHz
- 1024 GB de memoria RAM.
- 4 unidades NMVe PCIe 3.0 U.2 de 7.689 TB
- 2 unidad U.2 NMVePCI 4.0 para SO 1.6 TB (mirror)
- 4 Tarjetas NVIDIA Ampere A100 con NVLINK SXM4 de 80 GB RAM
- Procesamiento Tensorial (312 TF / F32 | 624 TF / F16) por tarjeta.
- Incorporados al Storage Distribuido
1 Servidor Lenovo SR-670v2 con GPGPU
- 2 procesadores Intel Xeon Gold 6342 de 24 cores a 2.8 GHz
- 1024 GB de memoria RAM.
- 2 unidad U.2 NMVePCI 4.0 para SO 1 TB (mirror)
- 8 Tarjetas NVIDIA Ampere L40
- Procesamiento Tensorial (312 TF / F32 | 624 TF / F16) por tarjeta.
6. Redes de comunicaciones
Se cuenta con:
-
Una red Ethernet Gigabit para gestión del hardware de los segmentos de la supercomputadora y el aprovisionamiento de software (Todos los nodos)
-
Una red Infiniband FDR (56 Gbps) para comunicación rápida entre nodos de cálculo. (Cuetlaxcoapan)
-
Una red Omnipath (100Gbps) para la comunicación entre los nodos del cluster Knights Landing. (Centepetl)
-
Un enlace a 10Gbps dual para enlazar los diferentes segmentos a los campus del consorcio y a internet en general.
7. Resumen de Almacenamiento
Se cuenta con:
-
Un sistema de cabinas con arquitectura SAN operando en Raid 6 con una capacidad útil total de 360 Tera bytes (TB) con conectividad infiniband a 56 Gpbs.
-
Un sistema local All Flash NVMe de 110TB útiles para el clúster Leviatán.
-
Una Librería de Cintas con tecnología LTO-7 con una capacidad sin compresión de 450 TB útiles y usando compresión hasta 1,125 TB.
