Daft

Daft es un motor de datos de alto rendimiento que ofrece un procesamiento de datos simple y fiable para cualquier modalidad y escala. Daft admite de forma nativa la lectura y escritura de conjuntos de datos de Hugging Face.

Primeros pasos

Para empezar, instala daft con pip usando la función huggingface:

pip install 'daft[huggingface]'

Leer

Daft puede leer conjuntos de datos directamente desde Hugging Face Hub mediante la función daft.read_huggingface() o a través del protocolo hf://datasets/.

Lectura de un conjunto de datos completo

Con daft.read_huggingface() puedes cargar un conjunto de datos fácilmente.

import daft

df = daft.read_huggingface("username/dataset_name")

Esto leerá todo el conjunto de datos en un DataFrame.

Lectura de archivos específicos

No solo puedes leer conjuntos de datos completos, sino también archivos individuales de un repositorio de conjuntos de datos. Utilizando una función de lectura que toma una ruta (como daft.read_parquet(), daft.read_csv() o daft.read_json()), especifica una ruta de un conjunto de datos de Hugging Face mediante el prefijo hf://datasets/:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

Escribir

Daft puede escribir archivos Parquet en un repositorio de datasets de Hugging Face mediante daft.DataFrame.write_huggingface. Daft admite Content-Defined Chunking y Xet para escrituras más rápidas y deduplicadas.

Uso básico:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

Consulte la página de la API DataFrame.write_huggingface para obtener más información.

Autenticación

El parámetro token en daft.io.HuggingFaceConfig se puede usar para especificar un token de acceso de Hugging Face para las solicitudes que requieren autenticación (por ejemplo, leer repositorios de conjuntos de datos privados o escribir en un repositorio de conjuntos de datos).

Ejemplo de carga de un conjunto de datos con un token especificado:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)