course/pr_1213/es/chapter10/5.md

Usa tu dataset anotado[[use-your-annotated-dataset]]

Ahora aprenderemos a exportar y usar los datos anotados que tenemos en Argilla.

Carga el dataset

Primero tenemos que asegurarnos de que estamos conectados a nuestra instancia de Argilla como en los pasos anteriores:

import argilla as rg

HF_TOKEN = "..."  # solo para Spaces privados

client = rg.Argilla(
    api_url="...",
    api_key="...",
    headers={"Authorization": f"Bearer {HF_TOKEN}"},  # solo para Spaces privados
)

Y ahora cargaremos el dataset con el que vamos a trabajar:

dataset = client.datasets(name="ag_news")

Cargar el dataset y acceder a sus registros con dataset.records basta para empezar a usar tu dataset y sus registros en tus propios propósitos y pipelines. Sin embargo, también aprenderemos a hacer algunas operaciones opcionales, como filtrar los registros y exportar tu dataset al Hugging Face Hub.

Filtra el dataset

A veces solo quieres usar los registros que ya están completos, así que primero filtraremos los registros de nuestro dataset según su estado:

status_filter = rg.Query(filter=rg.Filter([("status", "==", "completed")]))

filtered_records = dataset.records(status_filter)

⚠️ Ten en cuenta que los registros con estado completed (es decir, aquellos que cumplen el mínimo de respuestas enviadas configurado en la distribución de la tarea) podrían tener más de una respuesta, y que cada respuesta puede tener cualquiera de estos estados: submitted, draft o discarded.

Aprende más sobre cómo consultar y filtrar registros en la documentación de Argilla.

Exporta al Hub

Ahora podemos exportar nuestras anotaciones al Hugging Face Hub para compartirlas con otras personas. Para ello, tendremos que convertir los records en un 🤗 Dataset y luego subirlo al Hub:

filtered_records.to_datasets().push_to_hub("argilla/ag_news_annotated")

Alternativamente, podemos exportar directamente el dataset completo de Argilla (incluidos los registros pendientes) así:

dataset.to_hub(repo_id="argilla/ag_news_annotated")

Esta es una opción interesante si otras personas quieren abrir el dataset en sus propias instancias de Argilla, ya que la configuración se guarda automáticamente y pueden importar el dataset completo con una sola línea de código:

dataset = rg.Dataset.from_hub(repo_id="argilla/ag_news_annotated")