Polars

Polars là thư viện DataFrame trong bộ nhớ dựa trên bộ máy truy vấn OLAP. Nó nhanh, dễ sử dụng và mã nguồn mở.

Bắt đầu từ phiên bản 1.2.0, Polars cung cấp hỗ trợ gốc cho hệ thống tệp Hugging Face. Điều này có nghĩa là tất cả các lợi ích của trình tối ưu truy vấn Polars (ví dụ: đẩy xuống điều kiện và đẩy xuống chiếu) được áp dụng và Polars chỉ tải dữ liệu cần thiết để hoàn thành truy vấn. Điều này giúp tăng tốc đáng kể việc đọc, đặc biệt là với các bộ dữ liệu lớn (xem các tối ưu hóa)

Bạn có thể sử dụng đường dẫn Hugging Face (hf://) để truy cập dữ liệu trên Hub:

Bắt đầu

Để bắt đầu, bạn chỉ cần pip install Polars vào môi trường của mình:

pip install polars

Sau khi cài đặt Polars, bạn có thể truy vấn trực tiếp một bộ dữ liệu dựa trên URL của Hugging Face. Không cần bất kỳ phụ thuộc nào khác cho việc này.

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

Polars cung cấp hai API: API lazy (scan_parquet) và API eager (read_parquet). Chúng tôi khuyến nghị sử dụng API eager cho các tác vụ tương tác và API lazy cho hiệu suất, vì nó cho phép tối ưu hóa truy vấn tốt hơn. Để biết thêm thông tin về chủ đề này, hãy xem hướng dẫn người dùng Polars.

Polars hỗ trợ globbing để tải xuống nhiều tệp cùng lúc vào một DataFrame duy nhất.

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

URL của Hugging Face

Một URL của Hugging Face có thể được xây dựng từ username và tên dataset như sau:

• hf://datasets/{username}/{dataset}/{path_to_file}

Đường dẫn có thể chứa các mẫu globbing như **/*.parquet để truy vấn tất cả các tệp khớp với mẫu. Ngoài ra, đối với bất kỳ định dạng tệp nào không được hỗ trợ, bạn có thể sử dụng các tệp parquet được tự động chuyển đổi mà Hugging Face cung cấp bằng cách sử dụng @~parquet branch:

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}