CRÉATION D'UN COMPTE

Pour une création de compte, merci d'envoyer votre demande à dnum-cesar-support@unistra.fr contenant :

• nom ;
• prénom ;
• email institutionnel ;
• laboratoire ;
• le thème de vos recherches ;
• si vous êtes en thèse :
  • les coordonnées de la chercheuse ou du chercheur encadrant (la/le mettre en copie) ;
  • la date de fin de contrat.
• quelles sont les ressources donc vous avez besoin :
  • estimation du nombre d'heures x coeurs de CPU pour une année ;
  • utilisation de GPUs ?
  • capacité de stockage nécessaire ;
  • applications ou compilateurs ou bibliothèques utilisées ;
• Clef ssh publique.

Si tout est en ordre, l'équipe du Centre de Calcul vous transmettra votre login à utiliser pour vous connecter.

CONNEXION AUX RESSOURCES

Le Centre de Calcul est constitué de machines à processeurs de la famille x86_64 (compatible Intel 64 bits), sous le système d’exploitation Linux.

Sur nos ressources de calcul, vous pouvez :

• préparer vos données et vos scripts ainsi qu'effectuer des tests rapides de vos applications sur l'une des frontales de connexion hpc-login ou hpc-glogin :

  • hpc-login : serveur de connexion pour lancer les traitements en batch
    Ses fonctions secondaires :
    • compiler et tester des applis CPU ;
    • transferts de fichiers avec l'extérieur.
  • hpc-glogin : serveur de visualisation pour vos applications graphiques les plus exigeantes (voir https://hpc.unistra.fr/doc/X2Go)
    Ses fonctions secondaires :
    • compiler et tester des applis GPU sans avoir à dépendre des files d'attente ;
    • délestage de hpc-login en cas de forte charge CPU ou RAM (128 Go de plus que hpc-login) ;
    • répartition des flux liés aux transferts de fichiers.

• soumettre des travaux à un gestionnaire de files d’attente. Ce mode de fonctionnement vous donne accès à une puissance de calcul considérable de manière très souple. C’est le mode de travail idéal pour exécuter une application stable sur de nombreux jeux de données ;

• réserver des nœuds et travailler dessus en mode intéractif grâce à la commande salloc. Cette possibilité est utile pour tester une application directement sur les nœuds de calcul, notamment les applications GPU ou multi-nœuds (pour tester les communications).

Voici 3 méthodes pour vous connecter à nos ressources. Toutes nécessitent la création d'un jeu de clé ssh.

Méthode 1 : Terminal

Nous vous invitons à vous connecter sur hpc-login.u-strasbg.fr par ssh :

ssh -Y <login>@hpc-login.u-strasbg.fr

ou

ssh -Y <login>@hpc-glogin.u-strasbg.fr

• <login> : votre login sur le centre de calcul.

L’option -Y permet de propager l’affichage graphique si nécessaire.

Méthode 2 : PuTTY

PuTTY est un client SSH et telnet pour Windows. Vous pouvez télécharger ce client ici : https://www.putty.org.

Voici comment configurer la connexion :

• Session > Host Name : hpc-login.u-strasbg.fr (ou hpc-glogin.u-strasbg.fr) ;
• Connection > Data : Auto-login username : <login> ;
• Connection > SSH > Auth : Private key file for authentication : indiquez le chemin vers votre clé ssh privée ;
• Connection > SSH > Auth > X11 : cochez Enable X11 forwarding si vous avez besoin d'un affichage graphique (pensez à lancer un serveur Xming au préalable) ;
• vous pouvez ensuite sauvegarder/charger vos réglages dans l'onglet Session.

Méthode 3 : X2Go

X2Go est une solution (pour Windows, Mac et Linux) permettant d'accéder à un bureau à distance. Vous trouverez toute la documentation pour configurer ce logiciel ici : X2Go

DÉCOUVRIR VOTRE ENVIRONNEMENT

Vous avez accès à l’ensemble des logiciels de l’environnement standard. Cet environnement comprend :

• les outils habituels du système Linux ;
• un ensemble d'applications scientifiques pré-installées ;
• les compilateurs optimiseurs dont vous aurez propablement besoin pour préparer vos application avant des les exécuter (plusieurs compilateurs disponibles, référez-vous à la liste des applications) ;
• les outils nécessaires à l'utilisation du système de files d'attente, très simples.

GESTION DES DONNÉES

Attention : L'espace de stockage du cluster est un espace avec une sécurisation des données minimales. Veillez à ne transférer que des données de travail, et récupérer vos résultats vers des lieux de stockage plus adaptés.

Par défaut, le quota disque par utilisateur est de 500 Go, mais l'attribution de grands quota disque peut se faire sous certaines conditions :

• le besoin doit être lié à un ou plusieurs projets bien identifiés ;
• la gestion des fichiers doit être assurée au plus près (suppression de tout fichier devenu inutile) ;
• les données doivent être supprimées à la fin du projet (pas d'archivage à long terme).

Vous pouvez monitorer l'utilisation de votre quota avec la commande diskquota.

Vous pouvez copier vos données avec les outils classiques Linux (scp, rsync, etc...) ou des logiciels comme FileZilla.

scp

Depuis votre poste de travail vers le centre de calcul :

scp -r <données> <login>@hpc-login.u-strasbg.fr:<destination> # À exécuter sur votre poste de travail

ou

scp -r <données> <login>@hpc-glogin.u-strasbg.fr:<destination> # À exécuter sur votre poste de travail

Depuis le centre de calcul vers votre poste de travail :

scp -r <login>@hpc-login.u-strasbg.fr:<données> <destination> # À exécuter sur votre poste de travail

ou

scp -r <login>@hpc-glogin.u-strasbg.fr:<données> <destination> # À exécuter sur votre poste de travail

• <données> : votre répertoire de données (ou simple fichier)
• <destination> : l'endroit où vous voulez copier vos données
• <login> : votre login sur le centre de calcul

Vous pouvez également faire des transferts à partir des frontales vers votre poste de travail si un serveur ssh est installé sur ce dernier.

rsync

Depuis votre poste de travail vers le centre de calcul :

rsync -e ssh -avz <données> <login>@hpc-login.u-strasbg.fr:<destination> # À exécuter sur votre poste de travail

ou

rsync -e ssh -avz <données> <login>@hpc-glogin.u-strasbg.fr:<destination> # À exécuter sur votre poste de travail

Depuis le centre de calcul vers votre poste de travail :

rsync -e ssh -avz <login>@hpc-login.u-strasbg.fr:<données> <destination> # À exécuter sur votre poste de travail

ou

rsync -e ssh -avz <login>@hpc-glogin.u-strasbg.fr:<données> <destination> # À exécuter sur votre poste de travail

• <données> : votre répertoire de données (ou simple fichier)
• <destination> : l'endroit où vous voulez copier vos données
• <login> : votre login sur le centre de calcul

Vous pouvez également faire des transferts à partir des frontales vers votre poste de travail si un serveur ssh est installé sur ce dernier.

FileZilla

Pour configurer une connexion entre le centre de calcul et votre poste de travail :

• Fichier > Gestionnaire de sites (ou Ctrl+S) ;
• Nouveau Site ;
• Hôte : hpc-login.u-strasbg.fr (ou hpc-login.u-strasbg.fr) ;
• Protocole : SFTP - SSH Filte Transfer Protocol ;
• Type d'authentification : Fichier de clé ;
• Identifiant : votre login d'accès au centre de calcul ;
• Fichier de clé : chemin vers votre clé ssh. N'oubliez pas de la convertir en .ppk si nécessaire (la procédure est dans le lien précédent) ;
• Valider.

Vous pouvez maintenant aller dans votre gestionnaire de site et cliquer sur hpc-login (ou hpc-glogin) pour vous connecter et transférer vos fichiers.

LANCER VOS APPLICATIONS

Commencez par recopier vos applications sur nos machines, depuis votre poste de travail sous Linux. Elles fonctionneront peut-être sans recompilation. Essayez de les lancer comme vous le feriez sur votre poste de travail.

Une fois que l’application fonctionne, écrivez un script de soumission pour le système de files d’attente.

Vous trouverez également des applications installées utilisables via un système de modules à charger dans votre environnement.

N’hésitez pas à nous contacter via le support informatique de l’Université si vous avez besoin d’assistance ou de formation à ce sujet, ainsi que pour toutes autres questions concernant le centre de calcul. Indiquez "Calcul Scientifique" dans le sujet.