Personal tools
You are here: Home Calcul Technique Documentation IBM cluster iDataPlex - ANTARES Synthèse : documentation simplifiée du calculateur Antares

Synthèse : documentation simplifiée du calculateur Antares

Document Actions
Les commandes et informations pour une connexion rapide au cluster Antares à destination des utilisateurs familiers aux environnements de calcul. Pour une description détaillée se référer à la documentation complète.

Description de la configuration 

Matériel (45 TFlops CPU, 13 TFlops GPU et 2 TFlops Xeon Phi) :

  • 3692 cœurs : 3068 CRIANN et 624 Ecole Centrale de Nantes (ECN)
  • 158 nœuds de calcul dx360-M2 (1264 cœurs) dont 33 nœuds appartenant à l'ECN
  • 169 nœuds de calcul dx360-M3 (2028 cœurs)
  • 20 nœuds de calcul dx360-M4 (400 cœurs) dont 18 appartenant à l'ECN
  • 13,4 To de mémoire DDR3
  • Réseau d'interconnexion Intel InfiniBand QDR à faible latence et haut débit (40 Gbit/s)
  • 280 To d'espace disque rapide (brut)

  • Nœud de calcul dx360-M2 :
    • bi-processeurs 4-cœurs Intel Nehalem EP @ 2,8 GHz
    • 24 Go de mémoire DDR3

  • Nœud de calcul dx360-M3 :
    • bi-processeurs 6-cœurs Intel Westmere EP @ 2,8 GHz
    • 48 ou 96 Go de mémoire DDR3
    • 12 nœuds dx360-M3 sont dotés d'un espace disque interne d'une capacité utile de 10 To.
    • 3 nœuds dx360-M3 sont dotés de 96 Go de mémoire DDR3
    • 13 nœuds dx360-M3 contiennent chacun deux modules GPU NVIDIA Tesla M2050 (architecture Fermi).

  • Nœud de calcul dx360-M4 :
    • bi-processeurs 10-cœurs Intel Ivy Bridge @ 2,5 GHz
    • 64, 128 ou 256 Go de mémoire DDR3
    • 1 nœud dx360-M4 (de visualisation) contient 2 GPU NVIDIA Quadro et 256 Go de mémoire DDR3
    • 1 nœud dx360-M4 contient 2 cartes Xeon Phi et 128 Go de mémoire DDR3

Logiciel :

  • Environnement Linux 64 bits (Red Hat 6.4)
  • Gestionnaire de travaux IBM LoadLeveler
  • Système de fichiers rapide IBM GPFS
  • Environnement de développement :
    • Compilateurs Intel 13.1 et Gnu 4.4.6 Fortran, C, C++ (support OpenMP)
    • Librairies Intel MPI 4.1.0, Intel MPI 5.0.2 (support de la norme MPI-3) et Open MPI 1.4.3
    • Librairies mathématiques Intel MKL 11.0.3 (dont BLAS, LAPACK et FFT), FFTW 3.3.3
    • API CUDA C/C++ 5.0 et 6.5, librairies CUBLAS et CUFFT pour accélération sur GPU
    • Exemples de Makefiles : /soft/makefiles

Connexion et environnement

La connexion s'effectue en SSH vers les deux frontales : antares.crihan.fr et altair.crihan.fr.

L'utilisateur a un unique répertoire de travail, dans /home.

Par défaut un quota disque est positionné à 50 Go.

Les personnalisations (variables d'environnement, alias) se font avec un fichier ~/.bash_profile (et non ~/.bashrc) à créer.


Codes de calcul disponibles 

La plupart des modèles de script de soumission pour les logiciels suivants sont disponibles dans le répertoire /soft/loadl/crihan_modeles_scripts.

Dans le cas contraire, contacter support@criann.fr (de même que pour demander un nouveau logiciel).


Pour une partie de ces logiciels (et de certaines librairies), les environnement sont accessibles par des modules (voir les commandes "module avail", "module help" et la documentation générale sur les modules).


Logiciels commerciaux (licence à prendre par l'utilisateur)

  • Mécanique des fluides : ANSYS 14.5 Fluent et CFX
  • Mécanique des structures : ABAQUS 6.11

Logiciels libres

  • Mécanique des fluides : OpenFOAM 2.2.0, 2.2.1, 2.3.0, 2.3.1, 2.4.0 et 3.0.1, Code Saturne 2.0.1
  • Mécanique des structures : Code Aster 10.3, 11.4 et 11.6
  • Chimie : Gamess 2010, Abinit 6.2.3, CP2K 2.1, Quantum Espresso 5.0.2, NWChem 6.3
  • Dynamique moléculaire : NAMD 2.7b4, 2.9 et 2.10, GROMACS 4.6.5, DL_POLY_CLASSIC 1.9

Logiciels sous licence académique

  • Mécanique des structures : Cast3M 2013, 2014 et 2015
  • Chimie quantique : Gaussian 03, Shrödinger JAGUAR 7.6 et 8.0

Logiciels pour la visualisation

  • ParaView 4.1.0
  • Visit 2.7.1


Environnement de soumission (LoadLeveler)

Les exemples de scripts de soumission sont dans le répertoire /soft/loadl/crihan_modeles_scripts.

Action Commande
Charge du calculateur llstatus -R
Caractéristiques des classes llclass
Soumettre un calcul llsubmit script_soumission.ll
Consulter tous les travaux llq
Consulter ses propres travaux llq -u login
Affichage des caractéristiques d'un calcul llq -l job_id
Prévision d'horaire de passage d'un calcul llq -s job_id
Annuler un calcul llcancel job_id

Variables d'environnement utilitaires, exploitables dans les commandes utilisateurs (après "# @ queue") d'un script de soumission :

Nom de variable Valeur
$LOADL_STEP_ID Identification du travail (exemple : altair-adm.64549.0)
$LOADL_JOB_NAME Nom du travail (spécifié par "# @ job_name =")
$LOADL_STEP_OUT Nom du fichier de sortie standard (spécifié par "# @ output =")
$LOADL_STEP_ERR Nom du fichier de sortie d'erreur (spécifié par "# @ error =")
$LOADL_STEP_INITDIR Nom du répertoire initial (dans lequel la commande llsubmit a été lancée)
$LOADL_STEP_COMMAND Nom du fichier de soumission (avec chemin d'accès complet)


Les classes CRIANN

Les classes "Criann" utilisent les 125 nœuds de calcul Nehalem (1000 cœurs), les 169 nœuds de calcul Westmere (2028 cœurs) et les 2 nœuds de calcul IvyBridge (40 cœurs) du CRIANN.

Le nombre de nœuds de calcul «Nehalem» ou «Westmere», auxquels les classes CRIANN accèdent, sont donnés ci-dessous à titre indicatif. Les administrateurs ajustent parfois légèrement la taille de ces «fenêtres de tir» en fonction de la charge observée. En revanche, les limitations par calcul restent en général constantes. Dans tous les cas, ces limites ne sont pas modifiées sans qu’une annonce soit faite à la liste de diffusion des utilisateurs.

Remarque : le caractère reproductible des performances d’un code sur le cluster peut être renforcé par l'ajout de directives dans le script de soumission :

  • soit la directive "# @ blocking = N" (voir le tableau suivant) qui impose l’exécution de N processus MPI par nœud de calcul,
  • soit la directive "# @ node_usage = not_shared"
La dernière directive est recommandée dans le cas de tests de performance.

Pour des calculs de production ou de développement scientifique, dans le cas particulier de codes séquentiels il est préférable de ne pas appliquer cette directive (pour ne pas monopoliser un nœud de calcul).

Pour des calculs d'une durée inférieure ou égale à 48 heures, il est conseillé d'employer "# @ node_usage = not_shared" (plutôt que "# @ blocking = N") avec un nombre de processus qui est à la fois multiple de 8 et de 12 et un paramètre "# @ data_limit" inférieur ou égal à 2944mb.


Classe Durée max. Nb. nœuds disponibles Limites par calcul Conseils (mb = méga octets)
2tcourt 12 h 125 nœuds Nehalem 32 nœuds Nehalem
(256 cœurs et 736 Go de mémoire)
- "# @ data_limit" ≤ 2944mb
- "# @ blocking = 8" si la directive blocking est employée
tcourt 24 h 125 nœuds Nehalem 16 nœuds Nehalem
(128 cœurs et 368 Go de mémoire)
- "# @ data_limit" ≤ 2944mb
- "# @ blocking = 8" si la directive blocking est employée
tcourt_w 24 h 154 nœuds Westmere à 48 Go de RAM 86 nœuds Westmere à 48 Go de RAM
(1032 cœurs et 4042 Go de mémoire)
- "# @ data_limit" ≤ 4010mb
- "# @ blocking = 12" si la directive blocking est employée
   (y compris si le nombre de processus n'est pas multiple de 12)
court_w 48 h 125 nœuds Westmere à 48 Go de RAM 12 nœuds Westmere à 48 Go de RAM
(144 cœurs et 564 Go de mémoire)
- "# @ data_limit" ≤ 4010mb
- "# @ blocking = 12" si la directive blocking est employée
   (y compris si le nombre de processus n'est pas multiple de 12)
long 100 h 25 nœuds Westmere à 48 Go de RAM 6 nœuds Westmere à 48 Go de RAM
(72 cœurs et 282 Go de mémoire)
- "# @ data_limit" ≤ 4010mb
tlong 300 h 12 nœuds Westmere à 48 Go de RAM 2 nœuds Westmere à 48 Go de RAM
(24 cœurs et 94 Go de mémoire)
- "# @ data_limit" ≤ 4010mb
tcourt_intra 24 h 125 nœuds Nehalem,
154 nœuds Westmere à 48 Go de RAM,
3 nœuds Westmere à 96 Go de RAM
12 cœurs et 95 Go de mémoire
disque 300 h 12 nœuds Westmere à 48 Go de RAM
(ayant chacun 10 To de disques internes)
12 cœurs et 47 Go de mémoire - 4 cœurs
- Mémoire totale ≤ 16000mb
memoire 300 h 3 nœuds Westmere à 96 Go de RAM,
9 nœuds Westmere à 48 Go de RAM
36 cœurs et 285 Go de mémoire,
48 cœurs et 188 Go de mémoire

gpu 48 h 13 nœuds Westmere à 48 Go de RAM
(hybrides CPU-GPU)
10 nœuds Westmere à 48 Go de RAM
(120 cœurs et 470 Go de mémoire)
- "# @ data_limit" ≤ 4010mb
visu 6 h 1 nœud IvyBridge à 256 Go de RAM 8 cœurs et 128 Go de mémoire

Les classes "disque", "memoire", "gpu" et "visu" sont spécifiées par une directive dans un script de soumission.
Voir les modèles dans /soft/loadl/crihan_modeles_scripts :
  • classe "disque" : job_Gamess2010.ll, job_Gamess2013.ll, job_Jaguar7.6.ll, job_Jaguar8.0.ll, job_Gaussian03.ll
  • classe "memoire" : job_Impi_memoire.ll
  • classe "gpu" : job_Impi_Gpu.ll
  • classe "visu" : job_Visu.ll
Après observation de la charge et des profils de travaux, le CRIANN contacte les utilisateurs pour lesquels l’emploi de la classe "memoire" est pertinente.


Visualisation à distance

Une documentation spécifique pour les calculs de visualisation est disponible.


Les classes ECN

Les classes "ECN" utilisent les 33 nœuds de calcul Nehalem (264 cœurs) et 18 nœuds de calcul (360 cœurs) Ivy Bridge de l'ECN.

ClasseDurée max.Nb. nœuds disponiblesLimites par calcul
ecn_nhl1000 h33 nœuds Nehalem264 cœurs et 759 Go de mémoire
ecn_ivy1000 h18 nœuds Ivy Bridge360 cœurs et 1134 Go de mémoire
ecn_all1000 h33 nœuds Nehalem et 18 nœuds Ivy Bridge
(travaux à cheval sur les deux processeurs)
624 cœurs avec 2,875 Go de mémoire par cœur ("# @ data_limit = 2944mb")


Support

Privilégier le courrier électronique à support@criann.fr .

Le support est toutefois également joignable par téléphone au 02 32 91 42 91.



Powered by Plone CMS, the Open Source Content Management System

This site conforms to the following standards: