Jean Zay : logiciels pour l'intelligence artificielle

Description

Les logiciels pour l'intelligence artificielle sont installés via des environnements virtuels Anaconda.

Ces environnements peuvent être enrichis sur demande auprès de l'assistance IDRIS (assist@idris.fr).

Le support de la version 2.7 ayant pris fin le 01/01/2020 nous n'installons les nouvelles versions des logiciels que pour Python 3. Seules les anciennes versions sont encore disponibles en Python 2.

Logiciels installés

Les logiciels installés sont :

  • TensorFlow
  • PyTorch
  • Caffe

Ils sont tous disponibles via la commande module.

Versions installées

Pour voir la liste des versions installées sur Jean Zay, il faut utiliser la commande module avail :

  • pour TensorFlow
    $ module avail tensorflow
  • pour PyTorch
    $ module avail pytorch
  • pour Caffe
    $ module avail caffe

Les noms des produits apparaissent sous la forme : <logiciel>-gpu/<version python>/<version produit>.
Par exemple, la version 2.2.0 de TensorFlow pour Python 3 sera nommée tensorflow-gpu/py3/2.2.0.

Lorsque vous chargez un de ces produits via la commande module, vous chargez également les dépendances suivantes :

  • OpenMPI
  • CUDA
  • NCCL
  • cuDNN

Les versions de ces dépendances sont indiquées au chargement du produit. Par exemple :

$ module load tensorflow-gpu/py3/2.2.0
Loading tensorflow-gpu/py3/2.2.0
  Loading requirement: cuda/10.1.2 nccl/2.5.6-2-cuda cudnn/7.6.5.32-cuda-10.1 intel-compilers/19.0.4 openmpi/4.0.2-cuda

Vous chargez également la version de Python correspondante (py3 ou py2).

Note : de nouvelles versions peuvent être installées sur demande auprès de l'assistance IDRIS (assist@idris.fr).

Remarques

1. Par défaut, un répertoire de configuration .conda est créé dans votre $HOME. Selon l'utilisation faite de l'environnement Anaconda, cela peut rapidement entraîner un dépassement de quota disque disponible dans cet espace. Dans ce cas, nous vous conseillons de réorienter l'écriture du fichier de configuration dans votre $WORK en créant un lien symbolique :

  • si le dossier $HOME/.conda existe déjà, il faut d'abord le déplacer dans le $WORK:
    $ mv $HOME/.conda $WORK
    $ ln -s $WORK/.conda $HOME
  • si le dossier $HOME/.conda n'existe pas encore, il faut d'abord créer un répertoire dans le $WORK :
    $ mkdir $WORK/.conda
    $ ln -s $WORK/.conda $HOME

2. Les commandes module purge, module switch, module unload ne fonctionnent pas pour l'instant avec Anaconda.

Pour changer de produit au cours d'une même session, en gardant la même version de Python, vous pouvez utiliser les commandes conda suivantes :

  • conda deactivate pour quitter l'environnement virtuel du produit que vous utilisez,
  • conda info -e pour avoir la liste de tous les environnements virtuels disponibles,
  • conda activate nom_environnement_virtuel pour activer le produit souhaité.

Exemple :

$ module load tensorflow-gpu/py3/1.14
 
$ conda deactivate
 
$ conda info -e
# conda environments:
#
base                  *  /gpfslocalsup/pub/anaconda-py3/2019.03
caffe-gpu-1.0            /gpfslocalsup/pub/anaconda-py3/2019.03/envs/caffe-gpu-1.0
habitat                  /gpfslocalsup/pub/anaconda-py3/2019.03/envs/habitat
pytorch-gpu-1.1          /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.1
pytorch-gpu-1.2.0        /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.2.0
pytorch-gpu-1.3          /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.3
pytorch-gpu-1.3.0+nccl-2.5.6-2     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.3.0+nccl-2.5.6-2
pytorch-gpu-1.3.1        /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.3.1
pytorch-gpu-1.3.1+nccl-2.4.8-1     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.3.1+nccl-2.4.8-1
pytorch-gpu-1.3.1+nccl-2.5.6     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.3.1+nccl-2.5.6
pytorch-gpu-1.3.1+nccl-2.5.6-2     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.3.1+nccl-2.5.6-2
pytorch-gpu-1.4.0        /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.4.0
pytorch-gpu-1.4.0+nccl-2.5.6-2     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.4.0+nccl-2.5.6-2
pytorch-gpu-1.5.0+nccl-2.4.8     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/pytorch-gpu-1.5.0+nccl-2.4.8
tensorflow-gpu-1.12      /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-1.12
tensorflow-gpu-1.13      /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-1.13
tensorflow-gpu-1.14      /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-1.14
tensorflow-gpu-1.14-mpi     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-1.14-mpi
tensorflow-gpu-1.4       /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-1.4
tensorflow-gpu-1.8       /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-1.8
tensorflow-gpu-2.0.0-beta1     /gpfslocalsup/pub/anaconda-py3/2019.03/envs/tensorflow-gpu-2.0.0-beta1
 
$ conda activate tensorflow-gpu-2.0.0-beta1

Espace disque contenant les bases de données publiques

L'IDRIS met à disposition des utilisateurs IA un espace disque, accessible via la variable d'environnement $DSDIR, dans lequel sont stockées à la demande des bases de données publiques. Si vous utilisez des bases de données publiques volumineuses, et que celles-ci ne se trouvent pas encore dans l'espace $DSDIR, l'IDRIS les téléchargera pour vous dans cet espace disque.

Vous pouvez consulter la liste des bases de données actuellement disponibles dans cet espace.