DOCUMENTATION

Vous trouverez plusieurs version de Python installées au méso-centre. La version la plus récente est disponible en chargeant le module suivant :

module load python/python-3.11.4

Le Centre de Calcul utilise le module venv afin de gérer des simplement ses différents paquets.

ENVIRONNEMENTS PAR DEFAUT

Vous pouvez utiliser un des environnements virtuels déjà mis en place par le Centre de Calcul :

Pour charger l'envrionnement deep-learning :

activate deep-learning

Pour charger l'environnement ase :

activate ase

Pour sortir d'un environnement :

deactivate

Peu importe l'environnement dans lequel vous travaillez, vous pouvez installer vos propres packages Python avec pip :

pip3 install --user Package

L'option --user sert à installer un package seulement pour vous, sans avoir besoin de droits administrateur.

ENVIRONNEMENTS PERSONNELS

Vous pouvez également créer vos propres environnements :

python3 -m venv chemin/vers/le/nouvelenv --upgrade-deps --system-site-packages

L'option --system-site-packages sert à utiliser les packages déjà installés, réduisant l'espace disque nécessaire

Pour charger ce nouvel envrionnement :

source chemin/vers/le/nouvelenv/bin/activate #si vous utiliser un shell csh : source chemin/vers/le/nouvelenv/bin/activate.csh

Vous pourrez installer vos propres packages Python avec pip :

pip3 install Package

Pour sortir de cet environnement :

deactivate

ENVIRONNEMENTS PERSONNELS QUI NE S'APPUIENT PAS SUR LES PACKAGES INSTALLÉS SUR LE SITE

Si vous avez besoin d'avoir votre propre environnement et ne voulez pas utiliser les packages déjà présents au méso-centre (pour un meilleur contrôle des dépendances par exemple), vous pouvez utiliser cette commande :

python3 -m venv chemin/vers/le/nouvelenv --upgrade-deps

Votre environnement sera entièrement indépendant du reste de l'installation Python du centre de calcul.

Pour charger ce nouvel envrionnement :

source chemin/vers/le/nouvelenv/bin/activate #si vous utiliser un shell csh : source chemin/vers/le/nouvelenv/bin/activate.csh

Vous pourrez installer vos propres packages Python avec pip :

pip3 install Package

Spécificité concernant le package mpi4py. Ce package dépend d'une bibliothèque MPI. Il est impératif d'utiliser un module OpenMPI du Centre de Calcul pour s'assurer une bonne prise en charge de SLURM. Voici la procédure pour installer mpi4py :

module load openmpi/openmpi-xxx #Cette commande n'est utile que si vous ne voulez pas utiliser le module openmpi chargé automatiquement par le module Python
export MPICC=$(which mpicc)
pip3 install mpi4py

Pour sortir de cet environnement :

deactivate

[ANCIENNE VERSION] PYTHON AVEC ANACONDA

Python via Anaconda est disponible en chargeant le module suivant :

module load python/Miniconda3

Miniconda permet de gérer simplement Python et ses différents paquets (entre autres choses). Vous pouvez également utiliser différents environnements virtuels qui contiendront des packages spécifiques correspondant à vos besoin. Vous pouvez lister les environnements disponibles sur le Centre de Calcul à l'aide de la commande suivante :

conda env list

Par défaut, vous utiliserez l'environnement base qui contient des bibliothèques assez souvent utilisées pour le calcul scientifique.

Pour changer d'environnement, il faut utiliser la commande suivante :

source activate <env>

Le Centre de Calcul met à disposition 2 environnements. Celui par défaut, nommé base, qui contient des packages de base nécessaire au calcul scientifique, comme numpy, matplotlib, pandas, etc... (n'hésitez pas à nous dire si vous pensez que certains packages importants sont absents). Le deuxième, nommé deep-learning-gpu, est un environnement plutôt dédié au deep-learning sur GPU, avec des packages comme tensorflow, keras ou pytorch (idem, n'hésitez pas à nous dire s'il y a des packages importants qu'il faudrait ajouter).

Vous pouvez également créer vos propres environnements. Cela vous permettra d'installer vous-même les packages dont vous avez besoin. Le mieux est de cloner l'un des environnements déjà existant :

conda create --name <monclone> --clone <env_à_cloner>

Ensuite, vous pourrez installer vous-même vos packages avec conda ou pip :

conda install <package>

pip install <package>

Plus d'informations sur les environnements conda ici : https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-environments.html

Plus d'info sur la gestions des paquets avec conda ici : https://docs.conda.io/projects/conda/en/latest/user-guide/tasks/manage-pkgs.html

VERSIONS ET SCRIPTS D'INSTALLATION

TAGS