Partager un jeu de données sur le Hub

Le Hub abrite une vaste collection de jeux de données populaires et sélectionnés par la communauté. Nous vous encourageons à partager votre jeu de données sur le Hub afin d’aider à faire grandir la communauté du ML et d’accélérer les progrès pour tous. Toutes les contributions sont les bienvenues ; ajouter un jeu de données ne demande qu’un simple glisser-déposer !

Commencez par créer un compte Hugging Face Hub si vous n’en avez pas encore.

Téléverser avec l'interface utilisateur du Hub

L’interface web du Hub permet aux utilisateurs sans aucune expérience en développement de téléverser un jeu de données.

Créer un dépôt

Un dépôt héberge tous les fichiers de votre jeu de données, y compris l’historique des révisions, ce qui permet de stocker plusieurs versions d’un même jeu de données.

1. Cliquez sur votre profil et sélectionnez Nouveau jeu de données pour créer un nouveau dépôt de jeu de données.
2. Choisissez un nom pour votre jeu de données et indiquez s’il s’agit d’un jeu de données public ou privé. Un jeu de données public est visible par tout le monde, tandis qu’un jeu de données privé ne peut être consulté que par vous ou par les membres de votre organisation.

Téléverser le jeu de données

1. Une fois que vous avez créé un dépôt, accédez à l’onglet Fichiers et versions pour ajouter un fichier. Sélectionnez Ajouter un fichier pour téléverser les fichiers de votre jeu de données. Nous prenons en charge de nombreuses extensions de données texte, audio et image, telles que .csv, .mp3 et .jpg, entre autres. Pour les extensions de données texte comme .csv, .json, .jsonl et .txt, nous recommandons de les compresser avant de les téléverser sur le Hub (par exemple, vers une extension de fichier .zip ou .gz).

   Les extensions de fichiers texte ne sont pas suivies par Git LFS par défaut, et si leur taille dépasse 10 Mo, elles ne seront ni commitées ni téléversées. Consultez le fichier .gitattributes de votre dépôt pour obtenir la liste complète des extensions de fichiers suivies. Pour ce tutoriel, vous pouvez utiliser les fichiers .csv d’exemple suivants, car ils sont de petite taille : train.csv, test.csv.

2. Glissez-déposez vos fichiers de jeu de données et ajoutez un message de commit descriptif et concis.

3. Après avoir téléversé les fichiers de votre jeu de données, ils sont stockés dans votre dépôt de jeu de données.

Créer une carte de jeu de données

Ajouter une carte de jeu de données est extrêmement utile pour aider les utilisateurs à trouver votre jeu de données et à comprendre comment l’utiliser de manière responsable.

1. Cliquez sur Créer une carte de jeu de données pour créer une carte de jeu de données. Ce bouton crée un fichier README.md dans votre dépôt.

2. En haut, vous verrez l’interface de métadonnées avec plusieurs champs à sélectionner, tels que la licence, la langue et les catégories de tâches. Ce sont les étiquettes les plus importantes pour aider les utilisateurs à découvrir votre jeu de données sur le Hub. Lorsque vous sélectionnez une option dans chaque champ, elles sont automatiquement ajoutées en haut de la carte du jeu de données.

   Vous pouvez également consulter les spécifications des Dataset Card, qui proposent un ensemble complet (mais non obligatoire) d'options de balises telles que annotations_creators, pour vous aider à choisir les balises appropriées.

3. Cliquez sur le lien Import dataset card template en haut de l'éditeur pour créer automatiquement un modèle de carte de jeu de données. Remplir ce modèle est un excellent moyen de présenter votre jeu de données à la communauté et d'aider les utilisateurs à comprendre comment l'utiliser. Pour un exemple détaillé de ce à quoi une bonne carte de jeu de données devrait ressembler, consultez la carte du jeu de données CNN DailyMail.

Charger le jeu de données

Une fois votre jeu de données stocké sur le Hub, n’importe qui peut le charger avec la fonction load_dataset() :

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Téléchargement avec Python

Les utilisateurs qui préfèrent téléverser un jeu de données de manière programmatique peuvent utiliser la bibliothèque huggingface_hub. Cette bibliothèque permet aux utilisateurs d’interagir avec le Hub depuis Python.

1. Commencez par installer la bibliothèque :

pip install huggingface_hub

2. Pour téléverser un jeu de données sur le Hub en Python, vous devez vous connecter à votre compte Hugging Face :

hf auth login

3. Utilisez la fonction push_to_hub() pour vous aider à ajouter, à engager et à pousser un fichier vers votre dépôt :

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Pour définir votre jeu de données comme privé, définissez le paramètre private sur True. Ce paramètre ne fonctionne que si vous créez un dépôt pour la première fois.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Pour ajouter une nouvelle configuration (ou un sous-ensemble) à un jeu de données ou pour ajouter une nouvelle partition (train/validation/test), veuillez consulter la documentation de Dataset.push_to_hub().

Confidentialité

Un jeu de données privé n'est accessible que par vous. De même, si vous partagez un jeu de données au sein de votre organisation, les membres de l'organisation peuvent également y accéder.

Chargez un jeu de données privé en fournissant votre jeton d’authentification au paramètre token :

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

Et maintenant ?

Félicitations, vous avez terminé les tutoriels ! 🥳

À partir d'ici, vous pouvez passer à :

• En savoir plus sur l'utilisation des autres fonctions de 🤗 Datasets pour traiter votre jeu de données.
• Diffuser de grands jeux de données sans les télécharger localement.
• Définissez les splits et les configurations de votre jeu de données et partagez votre jeu de données avec la communauté.

Si vous avez des questions sur 🤗 Datasets, n'hésitez pas à rejoindre notre forum et à poser vos questions à la communauté.