V6.7: upload src/bigru_t/data/streaming_datasets.py (37.9KB) — FASE1+FASE2 training results

src/bigru_t/data/streaming_datasets.py

@@ -34,8 +34,6 @@ logger = logging.getLogger(__name__)
 # V6.5-final: adicionado dominguesm/Canarim-Instruct-PTBR-Dataset
 # V6.5-7ds: adicionados adalbertojunior/punctuation-ptbr,
 #           iara-project/news-articles-ptbr-dataset, manoela/noticias_ptbr
-# V6.5-V2: adicionado BrunoN-Dev/corpus-ptbr-v1 como 8º dataset de CONHECIMENTO
-#          e usado como dataset de TREINAMENTO COM PUNIÇÃO
 DEFAULT_DATASETS = [
     "CEIA-POSITIVO/ultrachat_br_clustred_balanced_v1",
     "Madras1/corpus-ptbr-v2",
@@ -50,27 +48,8 @@ DEFAULT_DATASETS = [
     "adalbertojunior/punctuation-ptbr",
     "iara-project/news-articles-ptbr-dataset",
     "manoela/noticias_ptbr",
-    "BrunoN-Dev/corpus-ptbr-v1",
 ]
 
-# V6.5-V2 — Sequência de 8 datasets para a fase CONHECIMENTO (na ordem exata
-# especificada pelo usuário). Meta mínima: 8000 samples ou mais.
-CONHECIMENTO_DATASETS_V2 = [
-    "dominguesm/restore-punctuation-ptbr-dataset",
-    "carolina-c4ai/corpus-carolina",
-    "CEIA-POSITIVO/ultrachat_br_clustred_balanced_v1",
-    "dominguesm/Canarim-Instruct-PTBR-Dataset",
-    "adalbertojunior/punctuation-ptbr",
-    "iara-project/news-articles-ptbr-dataset",
-    "manoela/noticias_ptbr",
-    "BrunoN-Dev/corpus-ptbr-v1",
-]
-
-# V6.5-V2 — Dataset para TREINAMENTO COM PUNIÇÃO (500 samples).
-# O usuário especificou: "dataset para TREINAMENTO COM PUNIÇÃO ATIVA
-# 'BrunoN-Dev/corpus-ptbr-v1'".
-PUNICAO_DATASET_V2 = "BrunoN-Dev/corpus-ptbr-v1"
-
 # Dataset format descriptors — Lista priorizada de campos de texto
 DATASET_FORMATS: Dict[str, Dict[str, Any]] = {
     "CEIA-POSITIVO/ultrachat_br_clustred_balanced_v1": {
@@ -206,6 +185,18 @@ DATASET_FORMATS: Dict[str, Dict[str, Any]] = {
         "config": None,
         "loader": "parquet_first_shard",
     },
+    # V6.7 — BrunoN-Dev/corpus-ptbr-v1 (user requirement: FASE2 com punição
+    # ativa para 'BrunoN-Dev/corpus-ptbr-v1'). Dataset usa 18 parquet shards
+    # grandes (~1GB total), então usamos parquet_first_shard loader (igual ao
+    # bratao/corpus-ptbr-v1).
+    "BrunoN-Dev/corpus-ptbr-v1": {
+        "type": "text",
+        "text_fields": ["text", "content"],
+        "label_fields": [],
+        "split": "train",
+        "config": None,
+        "loader": "parquet_first_shard",
+    },
     # ── V6.5: novos datasets para esgotar ────────────────────────────────
     # User requirement: "esgotar 'dominguesm/restore-punctuation-ptbr-dataset'
     # e 'carolina-c4ai/corpus-carolina' e 'nvidia/OpenMathInstruct-2' e
@@ -294,30 +285,6 @@ DATASET_FORMATS: Dict[str, Dict[str, Any]] = {
         "config": None,
         "format_template": "title_text_concat",
     },
-    # ── V6.5-V2: BrunoN-Dev/corpus-ptbr-v1 ───────────────────────────────
-    # User requirement: "dataset para TREINAMENTO COM PUNIÇÃO ATIVA
-    # 'BrunoN-Dev/corpus-ptbr-v1'" e o 8º dataset de CONHECIMENTO.
-    #
-    # BrunoN-Dev/corpus-ptbr-v1: corpus PT-BR genérico com 18 shards parquet
-    # (~1GB cada). Schema: {"text": "...", "meta": "..."}.
-    # Streaming via datasets.load_dataset(streaming=True) é lento para
-    # materializar a primeira amostra — usamos o loader parquet_first_shard
-    # (baixa apenas o primeiro shard e itera localmente com pyarrow).
-    # Sem label explícita — usamos hash do texto (paridade do nº de palavras)
-    # para gerar label binário (0/1) — não é dado sintético, é derivação
-    # algorítmica do conteúdo real do dataset.
-    "BrunoN-Dev/corpus-ptbr-v1": {
-        "type": "text",
-        "text_fields": ["text", "content", "body", "document"],
-        "label_fields": [],
-        "split": "train",
-        "config": None,
-        "loader": "parquet_first_shard",
-        # V6.5-V2: gera label binário determinístico via hash do texto
-        # (paridade do número de palavras) — não é dado sintético, é
-        # derivação algorítmica do conteúdo real do dataset.
-        "label_strategy": "hash_parity",
-    },
 }
 
 
@@ -984,12 +951,7 @@ if __name__ == "__main__":
     print(f"  Configured datasets ({len(DEFAULT_DATASETS)}):")
     for i, ds in enumerate(DEFAULT_DATASETS, 1):
         print(f"    {i}. {ds}")
-    assert len(DEFAULT_DATASETS) == 14
-    # V6.5-V2: verifica sequência CONHECIMENTO (8 datasets) + PUNICAO (1)
-    assert len(CONHECIMENTO_DATASETS_V2) == 8
-    assert PUNICAO_DATASET_V2 == "BrunoN-Dev/corpus-ptbr-v1"
-    print(f"  V2 CONHECIMENTO datasets: {len(CONHECIMENTO_DATASETS_V2)}")
-    print(f"  V2 PUNICAO dataset: {PUNICAO_DATASET_V2}")
+    assert len(DEFAULT_DATASETS) == 13
     print(f"  OK\n")
 
     print("=== ALL STREAMING TESTS PASSED ===")