# Утилиты

## Настройка журналирования[[datasets.utils.logging.get_verbosity]]

🤗 Datasets стремится к прозрачности и ясности в описании своей работы, но иногда это может быть излишне подробным. Мы включили набор методов журналирования, которые позволяют легко регулировать уровень детализации сообщений всей библиотеки. В настоящее время уровень детализации библиотеки по умолчанию установлен на `WARNING`.

Чтобы изменить уровень детализации, используйте один из прямых сеттеров. Например, вот как изменить уровень детализации на `INFO`:

```py
import datasets
datasets.logging.set_verbosity_info()
```

Вы также можете использовать переменную окружения `DATASETS_VERBOSITY`, чтобы переопределить уровень детализации по умолчанию, установив одно из следующих значений: `debug`, `info`, `warning`, `error`, `critical`:

```bash
DATASETS_VERBOSITY=error ./myprogram.py
```

Все методы этого модуля журналирования описаны ниже. Основные из них:

- [logging.get_verbosity()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.utils.logging.get_verbosity) для получения текущего уровня детализации в логгере
- [logging.set_verbosity()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.utils.logging.set_verbosity) для установки уровня детализации по вашему выбору

В порядке от наименее к наиболее подробным (с соответствующими значениями `int`):

1. `logging.CRITICAL` или `logging.FATAL` (целое значение, 50): сообщать только о самых критических ошибках.
2. `logging.ERROR` (целое значение, 40): сообщать только об ошибках.
3. `logging.WARNING` или `logging.WARN` (целое значение, 30): сообщает только об ошибках и предупреждениях. Это уровень по умолчанию, используемый библиотекой.
4. `logging.INFO` (целое значение, 20): сообщает об ошибках, предупреждениях и базовой информации.
5. `logging.DEBUG` (целое значение, 10): выводить всю информацию.

#### datasets.utils.logging.get_verbosity[[datasets.utils.logging.get_verbosity]]

```python
datasets.utils.logging.get_verbosity()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L94)

**Возвращает:**

Уровень ведения журнала, например, `datasets.logging.DEBUG` и `datasets.logging.INFO`.

Возвращает текущий уровень для корневого логгера библиотеки HuggingFace datasets.

> [!TIP]
> Библиотека HuggingFace datasets поддерживает следующие уровни журналирования: - `datasets.logging.CRITICAL`, `datasets.logging.FATAL` - `datasets.logging.ERROR` - `datasets.logging.WARNING`, `datasets.logging.WARN` - `datasets.logging.INFO` - `datasets.logging.DEBUG`

#### datasets.utils.logging.set_verbosity[[datasets.utils.logging.set_verbosity]]

```python
datasets.utils.logging.set_verbosity(verbosity: int)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L110)

**Параметры:**

verbosity : Уровень ведения журнала, например, `datasets.logging.DEBUG` и `datasets.logging.INFO`.

Установите уровень для корневого логгера библиотеки Hugging Face Datasets.

#### datasets.utils.logging.set_verbosity_info[[datasets.utils.logging.set_verbosity_info]]

```python
datasets.utils.logging.set_verbosity_info()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L119)

Установите уровень корневого логгера библиотеки Hugging Face datasets на `INFO`.

Это отобразит большую часть информации журнала и прогресс-бары tqdm.

Краткая форма вызова `datasets.logging.set_verbosity(datasets.logging.INFO)`.

#### datasets.utils.logging.set_verbosity_warning[[datasets.utils.logging.set_verbosity_warning]]

```python
datasets.utils.logging.set_verbosity_warning()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L129)

Установите уровень корневого логгера библиотеки Hugging Face datasets на `WARNING`.

Это отобразит только предупреждения, сообщения об ошибках и полосы tqdm.

Краткая форма вызова `datasets.logging.set_verbosity(datasets.logging.WARNING)`.

#### datasets.utils.logging.set_verbosity_debug[[datasets.utils.logging.set_verbosity_debug]]

```python
datasets.utils.logging.set_verbosity_debug()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L139)

Установите уровень корневого логгера библиотеки Hugging Face datasets на `DEBUG`.

Это отобразит всю информацию журнала и прогресс-бары tqdm.

Краткая форма вызова `datasets.logging.set_verbosity(datasets.logging.DEBUG)`.

#### datasets.utils.logging.set_verbosity_error[[datasets.utils.logging.set_verbosity_error]]

```python
datasets.utils.logging.set_verbosity_error()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L149)

Установите уровень корневого логгера библиотеки Hugging Face datasets на `ERROR`.

Это отобразит только информацию об ошибках в журнале и полосы tqdm.

Краткая форма вызова `datasets.logging.set_verbosity(datasets.logging.ERROR)`.

#### datasets.utils.logging.disable_propagation[[datasets.utils.logging.disable_propagation]]

```python
datasets.utils.logging.disable_propagation()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L159)

Отключите распространение логов библиотеки. Обратите внимание, что по умолчанию распространение логов отключено.

#### datasets.utils.logging.enable_propagation[[datasets.utils.logging.enable_propagation]]

```python
datasets.utils.logging.enable_propagation()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/logging.py#L166)

Включите распространение логов библиотеки. Отключите обработчик по умолчанию библиотеки Hugging Face datasets, чтобы избежать дублирования записей в журнале, если корневой логгер настроен.

## Настройка индикаторов прогресса[[datasets.enable_progress_bars]]

По умолчанию во время загрузки и предобработки набора данных отображаются индикаторы прогресса `tqdm`. Их можно отключить глобально, задав переменную окружения `HF_DATASETS_DISABLE_PROGRESS_BARS`. Также их можно включать и отключать с помощью функций [enable_progress_bars()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.enable_progress_bars) и [disable_progress_bars()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.disable_progress_bars). Если переменная окружения задана, она имеет приоритет над вспомогательными функциями.

#### datasets.enable_progress_bars[[datasets.enable_progress_bars]]

```python
datasets.enable_progress_bars()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/tqdm.py#L78)

Включить глобальные индикаторы прогресса, используемые в `datasets`, если переменная окружения `HF_DATASETS_DISABLE_PROGRESS_BARS` не установлена.

Используйте [disable_progress_bars()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.disable_progress_bars), чтобы отключить их.

#### datasets.disable_progress_bars[[datasets.disable_progress_bars]]

```python
datasets.disable_progress_bars()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/tqdm.py#L61)

Отключить глобально прогресс-бары, используемые в `datasets`, если переменная окружения `HF_DATASETS_DISABLE_PROGRESS_BARS` не была установлена.

Используйте [enable_progress_bars()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.enable_progress_bars), чтобы включить их снова.

#### datasets.are_progress_bars_disabled[[datasets.are_progress_bars_disabled]]

```python
datasets.are_progress_bars_disabled()
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/utils/tqdm.py#L95)

Возвращает, глобально отключены ли полосы прогресса.

Индикаторы прогресса, используемые в `datasets`, можно глобально включать или отключать с помощью [enable_progress_bars()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.enable_progress_bars) и [disable_progress_bars()](/docs/datasets/v5.2.0/ru/package_reference/utilities#datasets.disable_progress_bars) либо установив переменную окружения `HF_DATASETS_DISABLE_PROGRESS_BARS`.

