# فئات البناء

## المُطوِّرون[[datasets.DatasetBuilder]]

🤗 يعتمد Datasets على صفحتين رئيسيتين أثناء عملية بناء مجموعة البيانات: [DatasetBuilder](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.DatasetBuilder) و [BuilderConfig](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.BuilderConfig).

#### datasets.DatasetBuilder[[datasets.DatasetBuilder]]

```python
datasets.DatasetBuilder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L214)

**المعاملات:**

cache_dir (`str`، *اختياري*) : المجلد لتخزين البيانات مؤقتًا. القيمة الافتراضية هي `"~/.cache/huggingface/datasets"`.

dataset_name (`str`، *اختياري*) : اسم مجموعة البيانات، إذا كان مختلفًا عن اسم المُنشئ. مفيد للمُنشئين المُعبّأة مثل csv وimagefolder وaudiofolder وغيرها، لعكس الفرق بين مجموعات البيانات التي تستخدم نفس المُنشئ المُعبّأ.

config_name (`str`, *اختياري*) : اسم إعداد مجموعة البيانات. يؤثر على البيانات التي يتم إنشاؤها على القرص. لكل إعدادات مختلفة مجلدات فرعية وإصدارات خاصة بها. إذا لم يُقدَّم، يُستخدم الإعداد الافتراضي (إذا كان موجودًا).    تم تغيير اسم المعامل `name` إلى `config_name`.

hash (`str`, *اختياري*) : تجزئة (Hash) خاصة بكود منشئ مجموعة البيانات. تُستخدم لتحديث مجلد التخزين المؤقت عند تحديث كود منشئ مجموعة البيانات (لتجنب إعادة استخدام البيانات القديمة). المجلد التخزيني النموذجي (المعرّف في `self._relative_data_dir`) هو `name/version/hash/`.

base_path (`str`، *اختياري*) : المسار الأساسي للمسارات النسبية المستخدمة لتنزيل الملفات. يمكن أن يكون هذا عنوان URL عن بُعد.

features ([Features](/docs/datasets/v5.2.0/ar/package_reference/main_classes#datasets.Features)، *اختياري*) : أنواع الميزات المستخدمة مع هذه المجموعة من البيانات. يمكن استخدامه لتغيير أنواع [Features](/docs/datasets/v5.2.0/ar/package_reference/main_classes#datasets.Features) لمجموعة البيانات، على سبيل المثال.

token (`str` أو `bool`، *اختياري*) : نص أو قيمة منطقية تُستخدم كرمز Bearer للملفات البعيدة على Datasets Hub. إذا كانت `True`، فسيتم الحصول على الرمز من `"~/.huggingface"`.

repo_id (`str`، *اختياري*) : معرف مستودع مجموعة البيانات. يُستخدم للتمييز بين المُنشئين الذين يحملون الاسم نفسه لكنهم لا ينتمون إلى نفس مساحة الأسماء، على سبيل المثال معرفات المستودعات "rajpurkar/squad" و"lhoestq/squad". في الحالة الأخيرة، سيكون اسم المُنشئ "lhoestq___squad".

data_files (`str` أو `Sequence` أو `Mapping`، *اختياري*) : المسار(ات) إلى ملف(ات) البيانات المصدرية. للمُنشِئات (builders) مثل "csv" أو "json" التي تتطلب من المستخدم تحديد ملفات البيانات. يمكن أن تكون هذه الملفات محلية أو عن بُعد. ولتسهيل الأمر، يمكنك استخدام `DataFilesDict`.

data_dir (`str`, *اختياري*) : المسار إلى المجلد الذي يحتوي على ملف(ات) البيانات المصدرية. استخدمه فقط إذا لم يتم تمرير `data_files`، وفي هذه الحالة يكون مكافئًا لتمرير `os.path.join(data_dir, "**")` كـ `data_files`. بالنسبة للمُنشِئات التي تتطلب تنزيلًا يدويًا، يجب أن يكون المسار إلى المجلد المحلي الذي يحتوي على البيانات التي تم تنزيلها يدويًا.

storage_options (`dict`، *اختياري*) : أزواج مفاتيح/قيم تُمرَّر إلى نظام ملفات البيانات الخلفي، إن وُجد.

writer_batch_size (`int`, *اختياري*) : حجم الدفعة الذي يستخدمه ArrowWriter. يحدد هذا الحجم عدد العينات التي تُحفظ في الذاكرة قبل كتابتها، وكذلك طول مقاطع arrow. القيمة None تعني أن ArrowWriter سيستخدم قيمته الافتراضية.

- ****config_kwargs** (معلمات إضافية) : معلمات تُمرَّر إلى فئة تكوين المُنشئ المقابلة، وتُعيَّن على خاصية الفئة [DatasetBuilder.BUILDER_CONFIG_CLASS](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.BuilderConfig). فئة تكوين المُنشئ هي [BuilderConfig](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.BuilderConfig) أو فئة فرعية منها.

فئة أساسية مجردة لجميع مجموعات البيانات.

لـ`DatasetBuilder` ثلاث طرق رئيسية:

- `DatasetBuilder.info`: يوثّق مجموعة البيانات، بما في ذلك أسماء الميزات وأنواعها وأحجامها والإصدار والتقسيمات والمصدر المرجعي وما إلى ذلك.
- [DatasetBuilder.download_and_prepare()](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.DatasetBuilder.download_and_prepare): يقوم بتنزيل البيانات المصدرية وكتابتها على القرص.
- [DatasetBuilder.as_dataset()](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.DatasetBuilder.as_dataset): يولّد [Dataset](/docs/datasets/v5.2.0/ar/package_reference/main_classes#datasets.Dataset).

تعرّف بعض `DatasetBuilder`s على عدة نسخ من مجموعة البيانات من خلال تعريف فئة فرعية من [BuilderConfig](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.BuilderConfig) وقبول كائن إعداد (أو اسم) عند الإنشاء. تعرّض مجموعات البيانات القابلة للتهيئة مجموعة محددة مسبقًا من الإعدادات في `DatasetBuilder.builder_configs()`.

#### as_dataset[[datasets.DatasetBuilder.as_dataset]]

```python
as_dataset(split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None, in_memory = False)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L991)

**المعاملات:**

split (`datasets.Split`) : الجزء الفرعي من البيانات الذي يجب إرجاعه.

verification_mode ([VerificationMode](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.VerificationMode) أو `str`، الافتراضي `BASIC_CHECKS`) : وضع التحقق الذي يحدد الفحوصات التي يجب إجراؤها على معلومات المجموعة البيانات المُحمّلة/المعالجة (القيم التجزئة/الحجم/التقسيمات/...).

in_memory (`bool`، القيمة الافتراضية `False`) : ما إذا كان سيتم نسخ البيانات في الذاكرة.

**يعيد:**

datasets.Dataset

إرجاع مجموعة بيانات (Dataset) للتقسيم (split) المحدد.

مثال:

```py
>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> builder.download_and_prepare()
>>> ds = builder.as_dataset(split='train')
>>> ds
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})
```

#### download_and_prepare[[datasets.DatasetBuilder.download_and_prepare]]

```python
download_and_prepare(output_dir: typing.Optional[str] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None, dl_manager: typing.Optional[datasets.download.download_manager.DownloadManager] = None, base_path: typing.Optional[str] = None, file_format: str = 'arrow', max_shard_size: typing.Union[str, int, NoneType] = None, num_proc: typing.Optional[int] = None, storage_options: typing.Optional[dict] = None, **download_and_prepare_kwargs)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L702)

**المعاملات:**

output_dir (`str`، *اختياري*) : المجلد المُخرَج للبيانات. الافتراضي هو `cache_dir` لهذا المُنشئ، وهو داخل `~/.cache/huggingface/datasets` افتراضيًا.

download_config (`DownloadConfig`، *اختياري*) : معلمات إعداد التنزيل المحددة.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.DownloadMode) أو `str`، *اختياري*) : تحديد وضع التنزيل/التوليد، الافتراضي هو `REUSE_DATASET_IF_EXISTS`.

verification_mode ([VerificationMode](/docs/datasets/v5.2.0/ar/package_reference/builder_classes#datasets.VerificationMode) أو `str`، الافتراضي `BASIC_CHECKS`) : وضع التحقق الذي يحدد الفحوصات التي يجب إجراؤها على معلومات المجموعة البيانات المُحمّلة/المعالجة (القيم التجزئة/الحجم/التقسيمات/...).

dl_manager (`DownloadManager`، *اختياري*) : `DownloadManger` محددة للاستخدام.

base_path (`str`, *اختياري*) : المسار الأساسي للمسارات النسبية المستخدمة لتنزيل الملفات. يمكن أن يكون هذا رابطًا عن بُعد. إذا لم يُحدد، فسيتم استخدام قيمة خاصية `base_path` (`self.base_path`) بدلاً من ذلك.

file_format (`str`، *اختياري*) : صيغة ملفات البيانات التي سيُكتب فيها مجموعة البيانات. الصيغ المدعومة: "arrow"، "parquet". الافتراضي هو صيغة "arrow". إذا كانت الصيغة "parquet"، فسيتم تضمين بيانات الصور والصوت داخل ملفات Parquet بدلاً من الإشارة إلى ملفات محلية.

max_shard_size (`Union[str, int]`، *اختياري*) : الحد الأقصى لعدد البايتات المكتوبة في كل شريحة، والقيمة الافتراضية هي "500MB". يعتمد الحجم على حجم البيانات غير المضغوطة، لذا قد تكون ملفات الشرائح أصغر من `max_shard_size` في الممارسة العملية بفضل ضغط Parquet على سبيل المثال.

num_proc (`int`، *اختياري*، القيمة الافتراضية `None`) : عدد العمليات عند تنزيل مجموعة البيانات وتوليدها محليًا. يتم تعطيل المعالجة المتعددة للعمليات افتراضيًا.

storage_options (`dict`، *اختياري*) : أزواج مفاتيح/قيم تُمرَّر إلى نظام الملفات التخزيني الخلفي، إن وُجد.

- ****download_and_prepare_kwargs**** (معلمات إضافية) : معلمات إضافية.

تنزيل مجموعة البيانات وتجهيزها للقراءة.

مثال:

حمّل مجموعة البيانات وجهّزها كملفات Arrow يمكن تحميلها كـ Dataset باستخدام `builder.as_dataset()`:

```py
>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare()
```

قم بتنزيل مجموعة البيانات وتجهيزها كملفات Parquet مقسمة محليًا:

```py
>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("./output_dir", file_format="parquet")
```

قم بتنزيل مجموعة البيانات وتجهيزها كملفات Parquet مقسمة إلى شرائح في تخزين سحابي:

```py
>>> from datasets import load_dataset_builder
>>> storage_options = {"key": aws_access_key_id, "secret": aws_secret_access_key}
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("s3://my-bucket/my_rotten_tomatoes", storage_options=storage_options, file_format="parquet")
```

#### get_imported_module_dir[[datasets.DatasetBuilder.get_imported_module_dir]]

```python
get_imported_module_dir()
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L694)

إرجاع مسار وحدة هذه الفئة أو فئة فرعية منها.

#### datasets.GeneratorBasedBuilder[[datasets.GeneratorBasedBuilder]]

```python
datasets.GeneratorBasedBuilder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L1292)

الفئة الأساسية للمجموعات البيانات التي تعتمد على توليد البيانات بناءً على مولدات القواميس.

`GeneratorBasedBuilder` هي فئة مريحة تختصر الكثير من عمليات كتابة البيانات وقراءتها في `DatasetBuilder`. تتوقع أن تنفّذ الفئات الفرعية مولّدات لقاموس الميزات عبر تقسيمات مجموعة البيانات (`_split_generators`). راجع توثيق الدوال للتفاصيل.

#### datasets.ArrowBasedBuilder[[datasets.ArrowBasedBuilder]]

```python
datasets.ArrowBasedBuilder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L1610)

الفئة الأساسية للمجموعات البيانات التي تعتمد توليدها على دوال تحميل Arrow (CSV/JSON/Parquet).

#### datasets.BuilderConfig[[datasets.BuilderConfig]]

```python
datasets.BuilderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L101)

**المعاملات:**

name (`str`، الافتراضي هو `default`) : اسم التهيئة.

version (`Version` أو `str`، الافتراضي هو `0.0.0`) : إصدار التهيئة.

data_dir (`str`، *اختياري*) : المسار إلى المجلد الذي يحتوي على البيانات المصدرية.

data_files (`str` أو `Sequence` أو `Mapping`، *اختياري*) : المسار(ات) إلى ملف(ات) البيانات المصدرية.

description (`str`، *اختياري*) : وصف بشري للإعداد.

الفئة الأساسية لتكوين بيانات `DatasetBuilder`.

يجب أن ترث فئات `DatasetBuilder` الفرعية التي تتضمن خيارات تكوين البيانات من `BuilderConfig` وتضيف خصائصها الخاصة.

#### create_config_id[[datasets.BuilderConfig.create_config_id]]

```python
create_config_id(config_kwargs: dict, custom_features: typing.Optional[datasets.features.features.Features] = None)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/builder.py#L144)

يُستخدم معرّف الإعداد (config id) لبناء مجلد التخزين المؤقت. افتراضياً، يكون مساوياً لاسم الإعداد. ومع ذلك، فإن اسم الإعداد وحده لا يكفي ليكون معرّفاً فريداً للبيانات التي يتم توليدها، لأنه لا يأخذ في الاعتبار:
- معلمات الإعدادات (config kwargs) التي يمكن استخدامها لتجاوز السمات
- الميزات المخصصة المستخدمة لكتابة مجموعة البيانات
- data_files لبيانات json/text/csv/pandas

لذلك، معرّف الإعداد هو ببساطة اسم الإعداد مع لاحقة اختيارية مبنية على هذه.

## تنزيل[[datasets.DownloadManager]]

#### datasets.DownloadManager[[datasets.DownloadManager]]

```python
datasets.DownloadManager(dataset_name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, base_path: typing.Optional[str] = None, record_checksums = False)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L71)

#### تنزيل[[datasets.DownloadManager.download]]

```python
download(url_or_urls)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L131)

**المعاملات:**

url_or_urls (`str` أو `list` أو `dict`) : عنوان URL أو `list` أو `dict` من عناوين URL للتنزيل. كل عنوان URL هو `str`.

**يعيد:** `str` أو `list` أو `dict`

المسارات التي تم تنزيلها والمتطابقة مع المدخلات المحددة `url_or_urls`.

تنزيل العنوان (العناوين) المحدد.

بشكل افتراضي، يُستخدم عملية واحدة فقط للتنزيل. مرّر `download_config.num_proc` مخصصًا لتغيير هذا السلوك.

مثال:

```py
>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
```

#### download_and_extract[[datasets.DownloadManager.download_and_extract]]

```python
download_and_extract(url_or_urls)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L310)

**المعاملات:**

url_or_urls (`str` أو `list` أو `dict`) : عنوان URL أو `list` أو `dict` من عناوين URL للتنزيل والاستخراج. كل عنوان URL هو `str`.

**يعيد:** `extracted_path(s)`

`str`، المسارات المستخرجة من الرابط (أو الروابط) المحدد.

حمّل واستخرج `url_or_urls` المحددة.

يعادل تقريباً:

```
extracted_paths = dl_manager.extract(dl_manager.download(url_or_urls))
```

#### استخراج[[datasets.DownloadManager.extract]]

```python
extract(path_or_paths)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L278)

**المعاملات:**

path_or_paths (مسار أو `list` أو `dict`) : مسار الملف الذي سيتم الاستخراج منه. كل مسار هو `str`.

**يعيد:** `extracted_path(s)`

`str`، المسارات المستخرجة المطابقة لمسار الإدخال المُعطى path_or_paths.

استخراج المسار(المسارات) المحدد(ة).

مثال:

```py
>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)
```

#### iter_archive[[datasets.DownloadManager.iter_archive]]

```python
iter_archive(path_or_buf: typing.Union[str, _io.BufferedReader])
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L234)

**المعاملات:**

path_or_buf (`str` أو `io.BufferedReader`) : مسار الأرشيف أو كائن الملف الثنائي للأرشيف.

**يعيد:** `tuple[str, io.BufferedReader]`

زوج من عنصرين (path_within_archive, file_object). يُفتح كائن الملف في الوضع الثنائي.

التكرار على الملفات داخل الأرشيف.

مثال:

```py
>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)
```

#### iter_files[[datasets.DownloadManager.iter_files]]

```python
iter_files(paths: typing.Union[str, list[str]])
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L259)

**المعاملات:**

paths (`str` أو `list` من `str`) : المسارات الجذرية.

**يعيد:** `str`

مسار الملف.

تكرار على مسارات الملفات.

مثال:

```py
>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)
```

#### datasets.StreamingDownloadManager[[datasets.StreamingDownloadManager]]

```python
datasets.StreamingDownloadManager(dataset_name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, base_path: typing.Optional[str] = None)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/streaming_download_manager.py#L47)

مدير تنزيل يستخدم فاصل "::" للتنقل عبر الأرشيفات المضغوطة (التي قد تكون عن بُعد). على عكس `DownloadManager` العادي، لا تقوم طريقتا `download` و`extract` بتنزيل البيانات أو استخراجها فعلياً، بل تعيدان بدلاً من ذلك المسار أو الرابط الذي يمكن فتحه باستخدام دالة `xopen` التي توسّع الدالة المدمجة `open` لتبث البيانات من الملفات عن بُعد.

#### تنزيل[[datasets.StreamingDownloadManager.download]]

```python
download(url_or_urls)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/streaming_download_manager.py#L75)

**المعاملات:**

url_or_urls (`str` أو `list` أو `dict`) : عناوين URL للملفات التي سيتم بث البيانات منها. كل عنوان URL هو `str`.

**يعيد:** `url(s)`

(`str` أو `list` أو `dict`)، عنوان أو عناوين URL لبث البيانات من العنوان أو العناوين المدخلة المطابقة.

تطبيع عناوين URL للملفات التي سيتم بث البيانات منها. هذا هو الإصدار الكسول من `DownloadManager.download` للبث.

مثال:

```py
>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
```

#### download_and_extract[[datasets.StreamingDownloadManager.download_and_extract]]

```python
download_and_extract(url_or_urls)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/streaming_download_manager.py#L151)

**المعاملات:**

url_or_urls (`str` أو `list` أو `dict`) : عناوين URL لجلب البيانات منها. كل عنوان URL هو `str`.

**يعيد:** `url(s)`

(`str` أو `list` أو `dict`)، عنوان أو عناوين URL لبث البيانات من المصدر المطابق للمدخل `url_or_urls` المحدد.

جهّز `url_or_urls` المُعطاة للبث (إضافة بروتوكول الاستخراج).

هذا هو الإصدار الكسول من `DownloadManager.download_and_extract` للبث.

يعادل:

```
urls = dl_manager.extract(dl_manager.download(url_or_urls))
```

#### استخراج[[datasets.StreamingDownloadManager.extract]]

```python
extract(url_or_urls)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/streaming_download_manager.py#L102)

**المعاملات:**

url_or_urls (`str` أو `list` أو `dict`) : عناوين URL للملفات التي سيتم بث البيانات منها. كل عنوان URL هو `str`.

**يعيد:** `url(s)`

(`str` أو `list` أو `dict`)، عنوان أو عناوين URL لبث البيانات من المصدر المطابق للمدخل `url_or_urls` المحدد.

أضف بروتوكول الاستخراج للروابط (url) المحددة للبث.

هذا هو الإصدار الكسول من `DownloadManager.extract` للبث.

مثال:

```py
>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)
```

#### iter_archive[[datasets.StreamingDownloadManager.iter_archive]]

```python
iter_archive(urlpath_or_buf: typing.Union[str, _io.BufferedReader])
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/streaming_download_manager.py#L171)

**المعاملات:**

urlpath_or_buf (`str` أو `io.BufferedReader`) : مسار الأرشيف أو كائن الملف الثنائي للأرشيف.

**يعيد:** `tuple[str, io.BufferedReader]`

زوج من عنصرين (path_within_archive, file_object). يُفتح كائن الملف في الوضع الثنائي.

التكرار على الملفات داخل الأرشيف.

مثال:

```py
>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)
```

#### iter_files[[datasets.StreamingDownloadManager.iter_files]]

```python
iter_files(urlpaths: typing.Union[str, list[str]])
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/streaming_download_manager.py#L196)

**المعاملات:**

urlpaths (`str` أو `list` من `str`) : المسارات الجذرية.

**يعيد:** `str`

مسار عنوان URL للملف.

التكرار على الملفات.

مثال:

```py
>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)
```

#### datasets.DownloadConfig[[datasets.DownloadConfig]]

```python
datasets.DownloadConfig(cache_dir: typing.Union[str, pathlib.Path, NoneType] = None, force_download: bool = False, resume_download: bool = False, local_files_only: bool = False, proxies: typing.Optional[dict] = None, user_agent: typing.Optional[str] = None, extract_compressed_file: bool = False, force_extract: bool = False, delete_extracted: bool = False, extract_on_the_fly: bool = False, use_etag: bool = True, num_proc: typing.Optional[int] = None, max_retries: int = 1, token: typing.Union[str, bool, NoneType] = None, storage_options: dict = <factory>, download_desc: typing.Optional[str] = None, disable_tqdm: bool = False)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_config.py#L10)

**المعاملات:**

cache_dir (`str` أو `Path`، *اختياري*) : تحديد مجلد مؤقت لحفظ الملف فيه (يتجاوز المجلد المؤقت الافتراضي).

force_download (`bool`، القيمة الافتراضية `False`) : إذا كانت `True`، أعد تحميل الملف حتى لو كان مخزّنًا مسبقًا في مجلد التخزين المؤقت.

resume_download (`bool`، القيمة الافتراضية `False`) : إذا كانت `True`، فاستأنف التحميل إذا تم العثور على ملف غير مكتمل الاستلام.

proxies (`dict`، *اختياري*) : تم إيقاف استخدامه وتجاهله. اضبط متغيرات البيئة `HTTP_PROXY` / `HTTPS_PROXY` أو اضبط عميل HTTP باستخدام [huggingface_hub.set_client_factory](https://huggingface.co/docs/huggingface_hub/v2.4.0/en/package_reference/utilities#huggingface_hub.set_client_factory) بدلاً من ذلك.

user_agent (`str`، *اختياري*) : سلسلة نصية أو قاموس اختياري سيُضاف إلى عامل المستخدم (user-agent) في الطلبات عن بُعد.

extract_compressed_file (`bool`، القيمة الافتراضية `False`) : إذا كانت `True` وكان المسار يشير إلى ملف مضغوط بصيغة zip أو tar، يتم استخراج الملف المضغوط في مجلد بجانب الأرشيف.

force_extract (`bool`، القيمة الافتراضية `False`) : إذا كانت `True` عندما تكون `extract_compressed_file` هي `True` وتم استخراج الأرشيف مسبقًا، أعد استخراج الأرشيف واستبدل المجلد الذي تم الاستخراج فيه.

delete_extracted (`bool`، القيمة الافتراضية `False`) : ما إذا كان سيتم حذف (أو الاحتفاظ بـ) الملفات المستخرجة.

extract_on_the_fly (`bool`، القيمة الافتراضية `False`) : إذا كانت `True`، يتم استخراج الملفات المضغوطة أثناء قراءتها.

use_etag (`bool`، القيمة الافتراضية `True`) : ما إذا كان سيتم استخدام ترويسة الاستجابة HTTP الخاصة بـ ETag للتحقق من الملفات المخزنة مؤقتًا.

num_proc (`int`, *اختياري*) : عدد العمليات التي يجب إطلاقها لتنزيل الملفات بالتوازي.

max_retries (`int`، الافتراضي `1`) : عدد مرات إعادة محاولة طلب HTTP في حال فشله.

token (`str` أو `bool`، *اختياري*) : نص أو قيمة منطقية اختيارية لاستخدامها كرمز Bearer للملفات البعيدة على Datasets Hub. إذا كانت `True`، أو لم تُحدد، فسيتم الحصول على الرمز من `~/.huggingface`.

storage_options (`dict`، *اختياري*) : أزواج مفاتيح/قيم تُمرَّر إلى نظام ملفات البيانات الخلفي، إن وُجد.

download_desc (`str`، *اختياري*) : وصف يُعرض إلى جانب شريط التقدم أثناء تنزيل الملفات.

disable_tqdm (`bool`، القيمة الافتراضية `False`) : ما إذا كان سيتم تعطيل شريط تقدم تنزيل الملفات الفردية

إعدادات مدير المسار المخزّن مؤقتًا لدينا.

#### datasets.DownloadMode[[datasets.DownloadMode]]

```python
datasets.DownloadMode(value, names = None, module = None, qualname = None, type = None, start = 1)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/download/download_manager.py#L50)

`Enum` يحدد كيفية التعامل مع التنزيلات والبيانات الموجودة مسبقًا.

الوضع الافتراضي هو `REUSE_DATASET_IF_EXISTS`، والذي يعيد استخدام كل من التحميلات الخام والمجموعة البيانات المُعدّة إذا كانت موجودة.

أوضاع التوليد:

|                                     | التحميلات | مجموعة البيانات |
|-------------------------------------|-----------|---------|
| `REUSE_DATASET_IF_EXISTS` (الافتراضي) | إعادة الاستخدام     | إعادة الاستخدام   |
| `REUSE_CACHE_IF_EXISTS`             | إعادة الاستخدام     | جديد   |
| `FORCE_REDOWNLOAD`                  | جديد     | جديد   |

## التحقق[[datasets.VerificationMode]]

#### datasets.VerificationMode[[datasets.VerificationMode]]

```python
datasets.VerificationMode(value, names = None, module = None, qualname = None, type = None, start = 1)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/info_utils.py#L22)

`Enum` يحدد فحوصات التحقق التي يجب تشغيلها.

الوضع الافتراضي هو `BASIC_CHECKS`، والذي يقوم بإجراء فحوصات أساسية فقط لتجنب التباطؤ عند إنشاء/تنزيل مجموعة بيانات لأول مرة.

أنماط التحقق:

|                           | فحوصات التحقق                                                           |
|---------------------------|------------------------------------------------------------------------------ |
| `ALL_CHECKS`              | فحص تقسيم الملفات وصحتها (عدد الملفات، رموز التحقق) للملفات التي تم تنزيلها    |
| `BASIC_CHECKS` (الافتراضي)  | نفس `ALL_CHECKS` ولكن دون فحص الملفات التي تم تنزيلها                    |
| `NO_CHECKS`               | لا شيء                                                                          |

## التقسيمات[[datasets.SplitGenerator]]

#### datasets.SplitGenerator[[datasets.SplitGenerator]]

```python
datasets.SplitGenerator(name: str, gen_kwargs: dict = <factory>)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/splits.py#L624)

**المعاملات:**

name (`str`) : اسم `Split` الذي سيقوم المولّد بإنشاء الأمثلة له.

- ****gen_kwargs** (معلمات إضافية) : معلمات إضافية تُمرَّر إلى طريقة `DatasetBuilder._generate_examples` في المُنشئ.

يحدد معلومات التقسيم للمولّد.

يجب استخدام هذا كقيمة مُعادَة من `GeneratorBasedBuilder._split_generators`. راجع `GeneratorBasedBuilder._split_generators` لمزيد من المعلومات ومثال على الاستخدام.

مثال:

```py
>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and_extract(url)},
... )
```

#### datasets.Split[[datasets.Split]]

```python
datasets.Split(name)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/splits.py#L417)

`Enum` لتقسيمات مجموعة البيانات.

تُقسَّم مجموعات البيانات عادةً إلى مجموعات فرعية مختلفة تُستخدم في مراحل التدريب والتقييم المختلفة.

- `TRAIN`: بيانات التدريب.
- `VALIDATION`: بيانات التحقق. إذا كانت موجودة، فعادةً ما تُستخدم كبيانات تقييم أثناء تكرار العمل على النموذج (مثل تغيير المعلمات الفائقة، أو بنية النموذج، وما إلى ذلك).
- `TEST`: بيانات الاختبار. هذه هي البيانات التي تُبلَّغ عنها المقاييس. عادةً لا ترغب في استخدام هذه البيانات أثناء تكرارات النموذج، إذ قد يؤدي ذلك إلى ملاءمة زائدة لها.
- `ALL`: اتحاد جميع تقسيمات مجموعة البيانات المعرّفة.

تورث جميع التقسيمات، بما في ذلك التكوينات، من `datasets.SplitBase`.

راجع [الدليل](../load_hub#splits) الخاص بالتقسيمات لمزيد من المعلومات.

مثال:

```py
>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.VALIDATION,
...     gen_kwargs={"split_key": "validation", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.TEST,
...     gen_kwargs={"split_key": "test", "files": dl_manager.download_and extract(url)},
... )
```

#### datasets.NamedSplit[[datasets.NamedSplit]]

```python
datasets.NamedSplit(name: str)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/splits.py#L325)

المُصِفّ (Descriptor) المقابل لتقسيم مُسمّى (تدريب، اختبار، ...).

مثال:

يمكن تكوين كل وصف مع غيره باستخدام الجمع أو التقطيع:

```py
split = datasets.Split.TRAIN.subsplit(datasets.percent[0:25]) + datasets.Split.TEST
```

ستتوافق التقسيمات الناتجة عن 25% من تقسيم التدريب مدموجًا مع 100% من تقسيم الاختبار.

لا يمكن إضافة تقسيم مرتين، لذا فإن ما يلي سيفشل:

```py
split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TRAIN.subsplit(datasets.percent[75:])
)  # Error
split = datasets.Split.TEST + datasets.Split.ALL  # Error
```

يمكن تطبيق الشرائح مرة واحدة فقط. لذا فإن ما يلي صالح:

```py
split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TEST.subsplit(datasets.percent[:50])
)
split = (datasets.Split.TRAIN + datasets.Split.TEST).subsplit(datasets.percent[:50])
```

لكن هذا غير صالح:

```py
train = datasets.Split.TRAIN
test = datasets.Split.TEST
split = train.subsplit(datasets.percent[:25]).subsplit(datasets.percent[:25])
split = (train.subsplit(datasets.percent[:25]) + test).subsplit(datasets.percent[:50])
```

#### datasets.NamedSplitAll[[datasets.NamedSplitAll]]

```python
datasets.NamedSplitAll()
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/splits.py#L402)

التقسيم المقابل لاتحاد جميع تقسيمات مجموعة البيانات المعرّفة.

#### datasets.ReadInstruction[[datasets.ReadInstruction]]

```python
datasets.ReadInstruction(split_name, rounding = None, from_ = None, to = None, unit = None)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/arrow_reader.py#L456)

تعليمات قراءة مجموعة بيانات.

أمثلة:

```python
# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec('test[:33%]'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction('test', to=33, unit='%'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%'))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]+train[1:-1]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%]+train[1:-1]'))
ds = datasets.load_dataset('ylecun/mnist', split=(
datasets.ReadInstruction('test', to=33, unit='%') +
datasets.ReadInstruction('train', from_=1, to=-1, unit='abs')))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%](pct1_dropremainder)')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%](pct1_dropremainder)'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%', rounding="pct1_dropremainder"))

# 10-fold validation:
tests = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', from_=k, to=k+10, unit='%')
for k in range(0, 100, 10)])
trains = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', to=k, unit='%') + datasets.ReadInstruction('train', from_=k+10, unit='%')
for k in range(0, 100, 10)])
```

#### from_spec[[datasets.ReadInstruction.from_spec]]

```python
from_spec(spec)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/arrow_reader.py#L536)

**المعاملات:**

spec (`str`) : تقسيم (أو تقسيمات) + شرائح اختيارية للقراءة + تقريب اختياري إذا تم استخدام النسب المئوية كوحدة للتقطيع. يمكن تحديد شريحة باستخدام أرقام مطلقة (`int`) أو نسب مئوية (`int`).

**يعيد:**

ReadInstruction instance.

ينشئ كائن `ReadInstruction` من مواصفة نصية.

أمثلة:

```
test: test split.
test + validation: test split + validation split.
test[10:]: test split, minus its first 10 records.
test[:10%]: first 10% records of test split.
test[:20%](pct1_dropremainder): first 10% records, rounded with the pct1_dropremainder rounding.
test[:-5%]+train[40%:60%]: first 95% of test + middle 20% of train.
```

#### to_absolute[[datasets.ReadInstruction.to_absolute]]

```python
to_absolute(name2len)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/arrow_reader.py#L608)

**المعاملات:**

name2len (`dict`) : ربط أسماء التقسيمات بعدد الأمثلة.

**يعيد:**

قائمة من كائنات _AbsoluteInstruction (تتوافق مع + في المواصفة).

قم بترجمة التعليمات إلى قائمة تعليمات مطلقة.

ثم تُجمع تلك التعليمات المطلقة معًا.

## الإصدار[[datasets.Version]]

#### datasets.Version[[datasets.Version]]

```python
datasets.Version(version_str: str, description: typing.Optional[str] = None, major: typing.Union[str, int, NoneType] = None, minor: typing.Union[str, int, NoneType] = None, patch: typing.Union[str, int, NoneType] = None)
```

[المصدر](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/version.py#L30)

**المعاملات:**

version_str (`str`) : إصدار مجموعة البيانات.

description (`str`) : وصف لما هو جديد في هذا الإصدار.

major (`str`) --

minor (`str`) --

patch (`str`) --

إصدار مجموعة البيانات `MAJOR.MINOR.PATCH`.

مثال:

```py
>>> VERSION = datasets.Version("1.0.0")
```

