Data Studio

Каждая страница набора данных содержит таблицу с его содержимым, разбитую на страницы по 100 строк. Перемещаться между страницами можно с помощью кнопок внизу таблицы.

Осмотр распределений данных

В верхней части столбцов вы видите графики, отображающие распределение их данных. Это позволяет быстро оценить, насколько сбалансированы ваши классы, каковы диапазон и распределение числовых данных и длин текстов, а также какая часть данных в столбце отсутствует.

Фильтрация по значению

Если вы щёлкнете по столбцу гистограммы числового столбца, просмотрщик набора данных отфильтрует данные и покажет только строки со значениями, попадающими в выбранный диапазон. Аналогично, если вы выберете один класс из категориального столбца, будут показаны только строки из выбранной категории.

Поиск слова в наборе данных

Вы можете искать слово в наборе данных, введя его в строку поиска в верхней части таблицы. Поиск не зависит от регистра и находит все строки, содержащие это слово. Текст ищется в столбцах типа string, даже если значения вложены в словарь или список.

Выполнение SQL-запросов к набору данных

Вы можете выполнять SQL-запросы к набору данных в браузере с помощью SQL Console. Эта функция также использует нашу автоматическую конвертацию в Parquet.

Подробнее см. в нашем руководстве по SQL Console. Вы можете выполнять те же запросы DuckDB SQL из командной строки с помощью hf datasets sql или напрямую через DuckDB.

Поделиться конкретной строкой

Вы можете поделиться конкретной строкой, кликнув по ней, а затем скопировав URL из адресной строки браузера. Например, https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241 откроет dataset studio на датасете MRPC, на сплите test и на строке 241.

Слежки агента

Отправляйте сырые JSONL-трейсы из таких инструментов, как Claude Code, Codex или Pi, в датасет для просмотра в Data Studio, либо синхронизируйте их с Storage Bucket и открывайте отдельные файлы .jsonl там. Оба способа используют один и тот же просмотрщик трейсов для пошагового анализа сессий, ходов, вызовов инструментов и ответов модели. См. Agent Traces для списка поддерживаемых агентов и информации о просмотре трейсов.

Наборы данных большого масштаба

Dataset Viewer поддерживает наборы данных большого объёма, но в зависимости от формата данных может отображать только первые 5 ГБ набора данных:

• Для наборов данных в формате Parquet: Dataset Viewer отображает полный набор данных, однако сортировка, фильтрация и поиск доступны только для первых 5 ГБ.
• Для наборов данных >5 ГБ в других форматах (например, WebDataset или JSON Lines): просмотрщик наборов данных отображает только первые 5 ГБ, а сортировка, фильтрация и поиск доступны для этих первых 5 ГБ.

В этом случае информационное сообщение указывает на то, что Viewer содержит частичные данные. Этот образец должен быть достаточно большим, чтобы точно представлять полный набор данных. Сообщите нам, если вам нужен более крупный образец.

Доступ к файлам parquet

Для работы просмотрщика датасетов первые 5 ГБ каждого датасета автоматически конвертируются в формат Parquet (если датасет ещё не был в формате Parquet). В просмотрщике датасетов (например, см. GLUE) вы можете нажать на «Auto-converted to Parquet», чтобы получить доступ к файлам Parquet. О том, как выполнять запросы к файлам Parquet датасета с помощью библиотек, таких как Polars, Pandas или DuckDB, читайте в документации просмотрщика датасетов.

Parquet — это формат хранения данных в столбцах, оптимизированный для запросов и обработки больших наборов данных. Parquet является популярным выбором для обработки больших данных и аналитики и широко используется в задачах обработки данных и машинного обучения. Подробнее о преимуществах этого формата можно узнать в документации.

Бот конвертации

При создании нового набора данных бот parquet-converter уведомляет вас, когда завершит конвертацию в Parquet. Обсуждение, которое он открывает в репозитории, содержит сведения о формате Parquet и ссылки на файлы Parquet.

Программный доступ

Вы также можете программно получить список файлов Parquet с помощью Hub API; например, конечная точка https://huggingface.co/api/datasets/nyu-mll/glue/parquet выводит список файлов parquet для набора данных nyu-mll/glue. CLI hf предоставляет тот же список с помощью hf datasets parquet, а hf datasets sql позволяет выполнять запросы к файлам с использованием SQL.

Также у нас есть отдельная документация по Dataset Viewer API, который можно вызывать напрямую. Этот API позволяет получать содержимое, метаданные и базовую статистику всех датасетов Hugging Face Hub и обеспечивает работу фронтенда Dataset viewer.

Предпросмотр набора данных

Для самых больших наборов данных страница показывает предпросмотр первых 100 строк вместо полнофункционального просмотрщика. Это ограничение действует только для наборов данных размером более 5 ГБ, которые не представлены в формате Parquet по умолчанию или не были автоматически преобразованы в Parquet.

Встраивание Dataset Viewer в веб-страницу

Вы можете встроить Dataset Viewer на свою веб-страницу с помощью iframe. Используйте URL https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewer, где <namespace> — владелец набора данных, а <dataset-name> — его имя. Также можно передать другие параметры, такие как подмножество, split, фильтр, поиск или выбранная строка.

Подробнее см. в нашем руководстве Как встроить Dataset Viewer в веб-страницу.

Настройка Dataset Viewer

Чтобы Dataset Viewer корректно работал с вашим набором данных, убедитесь, что он имеет поддерживаемый формат и структуру. Также можно настроить набор данных с помощью YAML.

Вы можете указать, какие файлы отображать в Dataset Viewer, добавив блок конфигурации YAML в начало файла README.md вашего набора данных. Например, чтобы выбрать, какой файл попадает в какой сплит:

---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---

Также можно выбрать несколько файлов для каждого сплита или использовать glob-шаблоны:

---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---

Для приватных наборов данных Dataset Viewer доступен пользователям PRO и организациям Team или Enterprise.

Подробнее см. в нашем руководстве Как настроить Dataset Viewer.