Daft

Daft é um motor de dados de alto desempenho que oferece processamento de dados simples e confiável para qualquer modalidade e escala. O Daft tem suporte nativo para leitura e gravação em datasets do Hugging Face.

Começando

Para começar, instale daft com o recurso huggingface usando pip:

pip install 'daft[huggingface]'

Ler

O Daft é capaz de ler conjuntos de dados diretamente do Hugging Face Hub usando a função daft.read_huggingface() ou por meio do protocolo hf://datasets/.

Lendo um Conjunto de Dados Inteiro

Usando daft.read_huggingface(), você pode carregar um dataset com facilidade.

import daft

df = daft.read_huggingface("username/dataset_name")

Isso lerá o conjunto de dados inteiro em um DataFrame.

Lendo Arquivos Específicos

Você pode não apenas ler conjuntos de dados inteiros, mas também ler arquivos individuais de um repositório de conjuntos de dados. Usando uma função de leitura que aceita um caminho (como daft.read_parquet(), daft.read_csv() ou daft.read_json()), especifique um caminho de conjunto de dados do Hugging Face por meio do prefixo hf://datasets/:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

Escrever

O Daft é capaz de gravar arquivos Parquet em um repositório de dataset do Hugging Face usando daft.DataFrame.write_huggingface. O Daft oferece suporte a Content-Defined Chunking e Xet para gravações mais rápidas e deduplicadas.

Uso básico:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

Consulte a página da API DataFrame.write_huggingface para mais informações.

Autenticação

O parâmetro token em daft.io.HuggingFaceConfig pode ser usado para especificar um token de acesso do Hugging Face para solicitações que exigem autenticação (por exemplo, ler repositórios de datasets privados ou gravar em um repositório de dataset).

Exemplo de carregamento de um conjunto de dados com um token especificado:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)