Daft

Daft là một engine xử lý dữ liệu hiệu năng cao, cung cấp khả năng xử lý dữ liệu đơn giản và đáng tin cậy cho mọi loại dữ liệu và quy mô. Daft hỗ trợ đọc và ghi trực tiếp vào các dataset của Hugging Face.

Bắt đầu

Để bắt đầu, hãy cài đặt daft bằng pip với tính năng huggingface:

pip install 'daft[huggingface]'

Đọc

Daft có thể đọc trực tiếp các bộ dữ liệu từ Hugging Face Hub bằng cách sử dụng hàm daft.read_huggingface() hoặc thông qua giao thức hf://datasets/.

Đọc toàn bộ bộ dữ liệu

Sử dụng daft.read_huggingface(), bạn có thể dễ dàng tải một bộ dữ liệu.

import daft

df = daft.read_huggingface("username/dataset_name")

Điều này sẽ đọc toàn bộ bộ dữ liệu vào một DataFrame.

Đọc các tệp cụ thể

Bạn không chỉ có thể đọc toàn bộ các dataset mà còn có thể đọc các tệp riêng lẻ từ một kho dataset của Hugging Face. Sử dụng một hàm đọc nhận vào một đường dẫn (chẳng hạn như daft.read_parquet(), daft.read_csv(), hoặc daft.read_json()), hãy chỉ định đường dẫn dataset của Hugging Face thông qua tiền tố hf://datasets/:

import daft

# read a specific Parquet file
df = daft.read_parquet("hf://datasets/username/dataset_name/file_name.parquet")

# or a csv file
df = daft.read_csv("hf://datasets/username/dataset_name/file_name.csv")

# or a set of Parquet files using a glob pattern
df = daft.read_parquet("hf://datasets/username/dataset_name/**/*.parquet")

Viết

Daft có thể ghi các tệp Parquet vào kho dữ liệu Hugging Face bằng cách sử dụng daft.DataFrame.write_huggingface. Daft hỗ trợ Content-Defined Chunking và Xet để ghi nhanh hơn và loại bỏ trùng lặp.

Cách sử dụng cơ bản:

import daft

df: daft.DataFrame = ...

df.write_huggingface("username/dataset_name")

Xem trang API DataFrame.write_huggingface để biết thêm thông tin.

Xác thực

Tham số token trong daft.io.HuggingFaceConfig có thể được dùng để chỉ định token truy cập Hugging Face cho các yêu cầu cần xác thực (ví dụ: đọc kho dữ liệu riêng tư hoặc ghi vào kho dữ liệu).

Ví dụ về việc tải một bộ dữ liệu với một token được chỉ định:

from daft.io import IOConfig, HuggingFaceConfig

io_config = IOConfig(hf=HuggingFaceConfig(token="your_token"))
df = daft.read_parquet("hf://datasets/username/dataset_name", io_config=io_config)