Inicio > Infraestructura > Hardware

Infraestructura

Especificaciones de la supercomputadora

El Laboratorio Nacional de Supercómputo del Sureste de México (LNS) cuenta con varios segmentos de cómputo científico.

1. Cuetlaxcoapan: Se conforma  por un clúster con procesadores Intel Xeon Haswell

El clúster Intel Xeon familia Haswell cuenta con:

  • 107 nodos de cálculo Thin (2568 núcleos). 2 CPU de 12 cores y 128 GB RAM.

  • 20 nodos de cálculo Fat (480 núcleos). 2 CPU de 12 cores y 512 GB de RAM

  • 20 nodos de cálculo semi Fat (480 núcleos). 2 CPU de 12 cores y 256 GB de RAM

  • 3 servidores de gestión (login, colas y aprovisionamiento).

​Además, dispone de 240 TB de espacio total para almacenamiento en disco y 1.2 PB de almacenamiento en cinta 

Los nodos del Clúster y el almacenamiento se encuentran interconectados P2P mediante una red Infiniband de 56 Gbps. 

 

2. Centepetl. Clúster con procesadores Intel Knights Landing MIC (Many Integrated Core).

  • 45 nodos de cálculo (3060 núcleos).
  • Un nodo de cálculo de este clúster tiene un CPU Intel Xeon Phi Knights Landing de 68 cores
  • Memoria por nodo 192 GB + 16 GB  (208 GB)
  • ​​2 servidores de gestión (login y aprovisionamiento).
  • Red interna administración Ethernet Gigabit
  • Red de procesamiento Intel Omnipath a100 Gbps(LAN), incluye al Storage Local
  • Rendimiento 135 TFlops
  • 1 Sistema de almacenamiento de 480 TB.

 

3. ​Cholollan: Nodo de cómputo GPGPU

Éste es un nodo equipado con 8 tarjetas Nvidia 1080 Ti sobre un solo servidor.

  • 2  procesadores Intel Xeon E5-2650 v4 @ 2.20GHz con un total de con 24 núcleos cada uno
  • 8 Tarjetas GPU Nvidia GTX 1080 Ti con un total de 28,672 núcleos CUDA y 11 GB de memoria GDDR5X  por tarjeta.
  • 128 GB de memoria RAM
  • 1 Sistema Local de almacenamiento de 20 TB.

 

4. Tlahtoliquic - UI. Acceso a usuarios (el embajador)

    Los usuarios acceden a cada segmento del LNS a través de un sistema de seguridad protegido por Firewalls y un Gate para su autenticación.

 

5. Clúster IBM Power9 (Organizado en dos segmentos de 3 equipos)

6 Servidores IBM AC922 Power9

  •       2 procesadores Power9  de 20 cores.
  •       1024 GB de memoria RAM.
  •       2 discos duros SSD SATA de 1.9 TB
  •       4 Tarjetas NVIDIA Volta V100 SXM2 con NVLINK
  •       Procesamiento Tensorial (125 TF Tensor core para IA) por tarjeta
  •       Incorporados al Storage Distribuido 

 

6. Clúster Huapáctic

21  nodos de cálculo Thin (504 núcleos).

  • 2 CPU de 12 cores y 128 GB RAM.
  • Rocky Linux release 8.7 (Green Obsidian) 

5 Servidores Lenovo SR-670 con GPGPU

  •       2 procesadores Intel Xeon Gold 6342 de 24 cores a 2.8 GHz
  •       1024 GB de memoria RAM.
  •       4 unidades NMVe PCIe 3.0 U.2 de 7.689 TB
  •       2 unidad U.2 NMVePCI 4.0 para SO 1.6 TB (mirror)
  •       4 Tarjetas NVIDIA Ampere A100 con NVLINK SXM4 de 80 GB RAM
  •       Procesamiento Tensorial (312 TF / F32 |   624 TF / F16) por tarjeta.
  •       Incorporados al Storage Distribuido 

 

7. Clúster Leviatán

40  nodos de cálculo Thin (960 núcleos).

  • 2 CPU de 12 cores y 128 GB RAM.
  • Rocky Linux release 8.7 (Green Obsidian) 

1 Servidor Lenovo SR-670 con GPGPU 

  •       2 procesadores Intel Xeon Gold 6342 de 24 cores a 2.8 GHz
  •       1024 GB de memoria RAM.
  •       4 unidades NMVe PCIe 3.0 U.2 de 7.689 TB
  •       2 unidad U.2 NMVePCI 4.0 para SO 1.6 TB (mirror)
  •       4 Tarjetas NVIDIA Ampere A100 con NVLINK SXM4 de 80 GB RAM
  •       Procesamiento Tensorial (312 TF / F32 |   624 TF / F16) por tarjeta.
  •       Incorporados al Storage Distribuido 

1 Servidor Lenovo SR-670v2 con GPGPU

  •       2 procesadores Intel Xeon Gold 6342 de 24 cores a 2.8 GHz
  •       1024 GB de memoria RAM.
  •       2 unidad U.2 NMVePCI 4.0 para SO 1 TB (mirror)
  •       8 Tarjetas NVIDIA Ampere L40 
  •       Procesamiento Tensorial (312 TF / F32 |   624 TF / F16) por tarjeta.

 

8. Redes de comunicaciones

Se cuenta con:

  • Una red Ethernet Gigabit para gestión del hardware de los segmentos de la supercomputadora y el aprovisionamiento de software (Todos los nodos)

  • Una red Infiniband FDR (56 Gbps) para comunicación rápida entre nodos de cálculo. (Cuetlaxcoapan)

  • Una red Omnipath (100Gbps) para la comunicación entre los nodos del cluster Knights Landing. (Centepetl)

  • Un enlace a 10Gbps dual para enlazar los diferentes segmentos a los campus del consorcio y a internet en general.

 

9. Resumen de Almacenamiento

Se cuenta con:

  • Un sistema de cabinas con arquitectura SAN operando en Raid 6 con una capacidad útil de más de 2,000 Tera bytes (TB) con conectividad infiniband a 56 Gpbs y sistema de archivos Lustre.

  • Una Librería de Cintas con tecnología LTO-7 con una capacidad sin compresión de 450 TB útiles y usando compresión hasta 1,125 TB

  • Un sistema local en Cholollan de 20 TB.

  • Un sistema para el manejo de /home de 80 TB.

  • Un sistema para proyectos de altas energías de 52 TB.

 

Imagenes Infraestructura