Ajout d'un environnement personnel Python

Pour l'utilisation des produits Python sur Jean Zay, nous vous recommandons de charger le modulefile correspondant à l'environnement dans lequel vous souhaitez travailler (TensorFlow, PyTorch,…) via la commande module. Pour connaître les divers environnements disponibles, vous pouvez utiliser la commande suivante :

$ module avail caffe pytorch tensorflow

Après chargement du module, les produits installés dans l'environnement associé sont visibles avec les commandes pip list et conda list. Si l'environnement choisi ne contient pas tous les paquets dont vous avez besoin, vous pouvez contacter l'assistance pour demander leur installation. Cela bénéficiera ainsi à l'ensemble des utilisateurs et utilisatrices de Jean Zay tout en évitant de multiplier des installations pouvant exiger beaucoup d'espace disque.

Si, malgré l'aide que nous pouvons vous apporter, vous souhaitez installer vos environnements personnels, cette page contient la méthode à suivre sur Jean Zay.

Installer un paquet PyPI

Pour installer localement des paquets issus du dépôt PyPI, il faut utiliser les options --user et --no-cache-dir de pip install :

$ pip install --user --no-cache-dir <paquet>

Pour désinstaller un paquet installé de cette manière :

$ pip uninstall <paquet>

Attention : le répertoire de stockage des paquets est situé dans $HOME/.local par défaut. Vous risquez donc de rapidement saturer le quota disque de votre $HOME si ce comportement est conservé. Pour éviter ceci, nous vous recommandons de créer un répertoire cible dans votre répertoire $WORK et de faire un lien symbolique dans le $HOME pointant sur le répertoire cible :

  • si le dossier $HOME/.local existe déjà, il faut d'abord le déplacer dans le $WORK :
    $ mv $HOME/.local $WORK
    $ ln -s $WORK/.local $HOME
  • si le dossier $HOME/.local n'existe pas encore, il faut d'abord créer un répertoire dans le $WORK :
    $ mkdir $WORK/.local
    $ ln -s $WORK/.local $HOME

Installer un paquet Anaconda

Pour installer des paquets issus du dépôt Anaconda, vous devez préalablement créer votre propre environnement Anaconda et l'activer.

  • pour créer un environnement vierge :
    $ conda create -n <mon_environnement> 
  • pour activer votre environnement :
    $ conda activate <mon_environnement> 

L'installation des paquets se fait ensuite avec la commande conda install :

$ conda install <paquet> 

Pour désintaller un paquet installé de cette manière :

$ conda uninstall <paquet>  

Pour désactiver votre environnement personnel :

$ conda deactivate 

Attention : le répertoire de stockage des paquets est situé dans $HOME/.conda par défaut. Vous risquez donc de rapidement saturer le quota disque de votre $HOME si ce comportement est conservé. Pour éviter ceci, nous vous recommandons de créer un répertoire cible dans votre répertoire $WORK et de faire un lien symbolique dans le $HOME pointant sur le répertoire cible :

  • si le dossier $HOME/.conda existe déjà, il faut d'abord le déplacer dans le $WORK:
    $ mv $HOME/.conda $WORK
    $ ln -s $WORK/.conda $HOME
  • si le dossier $HOME/.conda n'existe pas encore, il faut d'abord créer un répertoire dans le $WORK :
    $ mkdir $WORK/.conda
    $ ln -s $WORK/.conda $HOME