Datasets documentation
Carregar dados de texto
Carregar dados de texto
Este guia mostra como carregar conjuntos de dados de texto. Para aprender a carregar qualquer tipo de conjunto de dados, consulte o guia de carregamento geral.
Arquivos de texto são um dos tipos de arquivo mais comuns para armazenar um conjunto de dados. Por padrão, o 🤗 Datasets amostra um arquivo de texto linha por linha para construir o conjunto de dados.
>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})
# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")Para amostrar um arquivo de texto por parágrafo ou até mesmo um documento inteiro, use o parâmetro sample_by:
# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")
# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")Você também pode usar padrões do grep para carregar arquivos específicos:
>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")Para carregar arquivos de texto remotos via HTTP, passe as URLs em vez disso:
>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")Para carregar dados XML, você pode usar o loader “xml”, que é equivalente a “text” com sample_by=“document”:
>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})
# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")