End of training

README.md

@@ -1,97 +1,49 @@
 ---
-license: cc-by-4.0
-language: pt
 library_name: transformers
+license: apache-2.0
 base_model: distilbert/distilgpt2
-tags: 
+tags:
 - generated_from_trainer
 model-index:
 - name: eli5_clm-model
   results: []
 ---
 
-# eli5_clm-model
-
-Modelo de Linguagem Causal (Causal Language Model, CLM) fine-tunado a partir de [distilbert/distilgpt2](https://huggingface.co/distilbert/distilgpt2).
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
 
-Este modelo foi treinado seguindo o tutorial oficial de Causal Language Modeling dos Transformers:
-https://huggingface.co/docs/transformers/tasks/language_modeling#causal-language-modeling
+# eli5_clm-model
 
-Resultados no conjunto de validação:
+This model is a fine-tuned version of [distilbert/distilgpt2](https://huggingface.co/distilbert/distilgpt2) on an unknown dataset.
+It achieves the following results on the evaluation set:
 - Loss: 3.8254
 
-## Descrição do modelo
-
-Um CLM aprende a prever o próximo token dado o contexto anterior, sendo adequado para geração de texto auto-regressiva. Aqui utilizamos o DistilGPT-2 como base e realizamos fine-tuning em um conjunto de dados local (não especificado neste card). O objetivo é adaptar o modelo ao domínio/estilo desejado.
-
-## Usos previstos e limitações
-
-- Geração de texto condicionada a um prompt.
-- Completar sentenças ou parágrafos em língua portuguesa/inglesa (dependendo dos dados de treino).
-- Não é um verificador de fatos; pode alucinar conteúdo.
-- Evite uso em cenários sensíveis sem validação humana.
-
-## Como testar rapidamente (linha de comando)
-
-1) Crie/ative um ambiente Python e instale dependências mínimas:
-   - transformers, torch, accelerate, safetensors
-2) Execute o script `test_inference.py` (fornecido nesta pasta):
-
-```bash
-python test_inference.py \
-  --model_dir . \
-  --prompt "Explique em termos simples o que é aprendizado de máquina." \
-  --max_new_tokens 80
-```
+## Model description
 
-Parâmetros úteis:
-- `--temperature` (controle de criatividade, ex.: 0.7)
-- `--top_p` (amostragem nucleus, ex.: 0.9)
-- `--seed` (reprodutibilidade)
+More information needed
 
-## Exemplo de uso em Python
+## Intended uses & limitations
 
-```python
-from transformers import AutoTokenizer, AutoModelForCausalLM
-import torch
+More information needed
 
-model_dir = "."  # caminho desta pasta
-tokenizer = AutoTokenizer.from_pretrained(model_dir)
-model = AutoModelForCausalLM.from_pretrained(model_dir)
+## Training and evaluation data
 
-prompt = "Explique o que é um modelo de linguagem de forma simples."
-inputs = tokenizer(prompt, return_tensors="pt")
-with torch.no_grad():
-    outputs = model.generate(
-        **inputs,
-        max_new_tokens=80,
-        temperature=0.7,
-        top_p=0.9,
-        do_sample=True,
-    )
-print(tokenizer.decode(outputs[0], skip_special_tokens=True))
-```
+More information needed
 
-## Dados de treino e avaliação
+## Training procedure
 
-- Fonte: conjunto de dados local (não especificado neste repositório).
-- Tarefa: modelagem de linguagem causal (próximo token).
-- Observação: para reprodutibilidade completa, registre e publique a origem dos dados quando possível.
+### Training hyperparameters
 
-## Procedimento de treino
-
-### Hiperparâmetros de treino
-
-Os seguintes hiperparâmetros foram usados durante o treino:
+The following hyperparameters were used during training:
 - learning_rate: 2e-05
 - train_batch_size: 8
 - eval_batch_size: 8
 - seed: 42
-- optimizer: ADAMW_TORCH_FUSED (betas=(0.9,0.999), epsilon=1e-08)
+- optimizer: Use OptimizerNames.ADAMW_TORCH_FUSED with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
 - lr_scheduler_type: linear
 - num_epochs: 3.0
 
-### Resultados de treino
+### Training results
 
 | Training Loss | Epoch | Step | Validation Loss |
 |:-------------:|:-----:|:----:|:---------------:|
@@ -99,29 +51,10 @@ Os seguintes hiperparâmetros foram usados durante o treino:
 | 3.8243        | 2.0   | 2622 | 3.8266          |
 | 3.7832        | 3.0   | 3933 | 3.8254          |
 
-### Versões de framework
+
+### Framework versions
 
 - Transformers 4.55.1
 - Pytorch 2.8.0+cu128
 - Datasets 4.0.0
 - Tokenizers 0.21.4
-
-## Reproduzindo o treino
-
-O fine-tuning seguiu o guia oficial de CLM dos Transformers (link acima), utilizando `Trainer` com `AutoModelForCausalLM` e `AutoTokenizer`. Para reproduzir:
-1) Prepare o dataset em texto (um exemplo por linha funciona bem).
-2) Tokenize com o tokenizer do modelo base.
-3) Treine com os hiperparâmetros acima, salvando checkpoints nesta pasta.
-
-## Estrutura desta pasta
-
-- `config.json`, `tokenizer.json`, `tokenizer_config.json`, `vocab.json`, `merges.txt`: artefatos do modelo/tokenizer.
-- `model.safetensors`, `generation_config.json`: pesos e config de geração.
-- `checkpoint-*`: checkpoints do treinamento.
-- `runs/`: logs do treinamento (ex.: TensorBoard).
-- `test_inference.py`: script de teste por CLI.
-- `TESTE_RAPIDO.md`: guia de execução rápida.
-
-## Aviso
-
-Este modelo pode produzir saídas inexatas ou tendenciosas. Avalie e filtre conforme o uso pretendido.

TESTE_RAPIDO.md

@@ -0,0 +1,55 @@
+# Teste Rápido – eli5_clm-model
+
+Este guia mostra como rodar uma inferência rápida no modelo em `eli5_clm-model/`.
+
+## Requisitos
+
+- Python 3.9+
+- Pacotes:
+  - transformers
+  - torch
+  - accelerate
+  - safetensors
+
+Instalação (exemplo com venv):
+```bash
+python -m venv .venv
+source .venv/bin/activate  # Linux/macOS
+# .venv\Scripts\activate  # Windows (PowerShell)
+pip install --upgrade pip
+pip install transformers torch accelerate safetensors
+```
+
+Se preferir, você pode usar o arquivo `huggin-face/causal-language-model/requirements.txt`, mas para inferência basta instalar os pacotes acima.
+
+## Executando a inferência
+
+Dentro da pasta `eli5_clm-model/` execute:
+```bash
+python test_inference.py \
+  --model_dir . \
+  --prompt "Explique em termos simples o que é aprendizado de máquina." \
+  --max_new_tokens 80 \
+  --temperature 0.7 \
+  --top_p 0.9
+```
+
+Saída esperada: um texto continuando o prompt fornecido.
+
+Parâmetros úteis:
+- `--max_new_tokens`: quantidade máxima de tokens gerados.
+- `--temperature`: controla aleatoriedade (0.7 é um bom ponto de partida).
+- `--top_p`: nucleus sampling (0.9 é comum).
+- `--seed`: fixa a aleatoriedade para reproduzir resultados.
+- `--device`: `auto` (padrão), `cpu` ou `cuda`.
+
+## Dicas
+
+- Se houver GPU CUDA disponível, o script usará automaticamente, a menos que `--device cpu` seja especificado.
+- Para resultados mais determinísticos, use `--seed 42` (ou outro valor fixo) e desative amostragem (`--do_sample false`).
+- Para prompts longos, aumente `max_new_tokens` com cautela para evitar respostas muito extensas.
+
+## Referência
+
+O modelo foi treinado seguindo o tutorial de Causal Language Modeling dos Transformers:
+https://huggingface.co/docs/transformers/tasks/language_modeling#causal-language-modeling

config.json

@@ -0,0 +1,45 @@
+{
+  "_num_labels": 1,
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "id2label": {
+    "0": "LABEL_0"
+  },
+  "initializer_range": 0.02,
+  "label2id": {
+    "LABEL_0": 0
+  },
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 1024,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 6,
+  "n_positions": 1024,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "task_specific_params": {
+    "text-generation": {
+      "do_sample": true,
+      "max_length": 50
+    }
+  },
+  "torch_dtype": "float32",
+  "transformers_version": "4.55.1",
+  "use_cache": true,
+  "vocab_size": 50257
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 50256,
+  "eos_token_id": 50256,
+  "transformers_version": "4.55.1"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:71a3a5892221cf87ec69583ec8590a40f910f2e6c9e8d4f04c380e0889b8b599
+size 327657928

runs/Aug18_14-40-34_estudio-6b/events.out.tfevents.1755538840.estudio-6b.2677472.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0d2ffe968be2081242c1deb76850443a96c0d62f453506cf834196aff79c327a
+size 5291

runs/Aug18_14-41-19_estudio-6b/events.out.tfevents.1755538887.estudio-6b.2677472.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b79b7a30b416e03298a4e6a7a50f946258eba8559cfac5eea232ce803b209843
+size 5291

runs/Aug18_14-42-45_estudio-6b/events.out.tfevents.1755538967.estudio-6b.2677472.2

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7c0d3a5f44a6cd7e6c746167dd38a10dc740c40359d80e1eb8c60240bdc3446c
+size 5291

runs/Aug18_15-34-14_estudio-6b/events.out.tfevents.1755542059.estudio-6b.2677472.3

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2483e19c0209be95712673b6f96f13f4153fe4b692b21939a44c07a6ce614e88
+size 5291

runs/Aug18_15-34-44_estudio-6b/events.out.tfevents.1755542085.estudio-6b.2677472.4

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a03d0db9e9efecf74a032110d131f9cffcde69f432c8fb0519eadef6f0acf266
+size 5291

runs/Aug18_15-35-06_estudio-6b/events.out.tfevents.1755542107.estudio-6b.2677472.5

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:74595dba73a0bb4a2b62eb6782332f8c392eb29e03f29ff443f93ad8069ed6ba
+size 5291

runs/Aug18_15-35-09_estudio-6b/events.out.tfevents.1755542110.estudio-6b.2677472.6

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3623d332d40d156daf3ea57514264e0c9f979432cf72aa6f0e416398c3397b75
+size 5291

runs/Aug18_15-35-11_estudio-6b/events.out.tfevents.1755542112.estudio-6b.2677472.7

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:56082a3f64801a1a4a1af2d99072eedb4739ec3be5116f73b289870e6da1f094
+size 5291

runs/Aug18_15-35-14_estudio-6b/events.out.tfevents.1755542114.estudio-6b.2677472.8

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:11c5ad4478836f800eb4c64c21e0dcabe3e2f18dc2e1f3bb292a8914d1bca584
+size 5291

runs/Aug18_15-35-16_estudio-6b/events.out.tfevents.1755542116.estudio-6b.2677472.9

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b0b31439e498a9e140fa7eff109d01d086c5c4dc5a76dfc4aa47d649b376a002
+size 5291

runs/Aug18_15-35-18_estudio-6b/events.out.tfevents.1755542118.estudio-6b.2677472.10

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:db9ee4957a12f893de2b440e6a7ee4a5135c18c850e6ffe484b6a8b256d15041
+size 5291

runs/Aug18_15-35-20_estudio-6b/events.out.tfevents.1755542121.estudio-6b.2677472.11

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7606b6660494b032cc72ae18eb4a045bd9534f4b28e27cc190375e1e3992d092
+size 5291

runs/Aug18_15-35-22_estudio-6b/events.out.tfevents.1755542123.estudio-6b.2677472.12

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:22db0d70178b20208ad0cbbae791d8b5bfb0c5a84fac8aaf711eded155e71414
+size 5291

runs/Aug18_15-35-28_estudio-6b/events.out.tfevents.1755542129.estudio-6b.2677472.13

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:009ab06e291c49a23676c50819401dad47e8de821c962bae757304d8d5c22da8
+size 5291

runs/Aug18_15-35-30_estudio-6b/events.out.tfevents.1755542132.estudio-6b.2677472.14

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:cf99476a4aecd93a4483358c6ae4f3aed10b854520633820d8d180074939f537
+size 5291

runs/Aug18_15-35-48_estudio-6b/events.out.tfevents.1755542149.estudio-6b.2677472.15

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6f6c0ebc37c7c4b4561caebfc4e62714164f6f82fe59af6cd6bcf699a1c9866a
+size 5291

runs/Aug18_15-35-51_estudio-6b/events.out.tfevents.1755542152.estudio-6b.2677472.16

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:fe4421fb136a6fd4c037c05eef54fb85555cd11aa49e30b7541bcbad5211d061
+size 5291

runs/Aug18_15-35-55_estudio-6b/events.out.tfevents.1755542155.estudio-6b.2677472.17

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:af0a24869419ec436322017e64ad2b0b571e38de2594dae9bad72f988b27c301
+size 5291

runs/Aug18_15-40-59_estudio-6b/events.out.tfevents.1755542461.estudio-6b.2677472.18

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2bcb32f288417dc24e6a157a80e216ce2f16790336f21a8c61778ec1920d0f85
+size 7935

runs/Aug18_15-40-59_estudio-6b/events.out.tfevents.1755549261.estudio-6b.2677472.19

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a1da0dc72af66f9378254bfa8afee39c34f027538308dc40d129af73be6e43da
+size 359

special_tokens_map.json

@@ -0,0 +1,6 @@
+{
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "pad_token": "<|endoftext|>",
+  "unk_token": "<|endoftext|>"
+}

test_inference.py

@@ -0,0 +1,92 @@
+#!/usr/bin/env python3
+import argparse
+import os
+import sys
+
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+
+def parse_args():
+    parser = argparse.ArgumentParser(description="Teste de inferência para eli5_clm-model (CLM)")
+    parser.add_argument("--model_dir", type=str, default=".", help="Diretório do modelo (pasta que contém config.json, tokenizer, pesos, etc.)")
+    parser.add_argument("--prompt", type=str, required=True, help="Texto de entrada para geração")
+    parser.add_argument("--max_new_tokens", type=int, default=80, help="Máximo de novos tokens a gerar")
+    parser.add_argument("--temperature", type=float, default=0.7, help="Temperatura para amostragem (criatividade)")
+    parser.add_argument("--top_p", type=float, default=0.9, help="Top-p (nucleus sampling)")
+    parser.add_argument("--do_sample", type=lambda x: str(x).lower() in {"1","true","yes","y"}, default=True,
+                        help="Se verdadeiro, usa amostragem; se falso, greedy (padrao: true)")
+    parser.add_argument("--seed", type=int, default=None, help="Semente para reprodutibilidade")
+    parser.add_argument("--device", type=str, choices=["auto", "cpu", "cuda"], default="auto",
+                        help="Força dispositivo: auto/cpu/cuda")
+    return parser.parse_args()
+
+
+def select_device(choice: str) -> torch.device:
+    if choice == "cpu":
+        return torch.device("cpu")
+    if choice == "cuda":
+        if torch.cuda.is_available():
+            return torch.device("cuda")
+        print("[aviso] CUDA não disponível, usando CPU.")
+        return torch.device("cpu")
+    # auto
+    if torch.cuda.is_available():
+        return torch.device("cuda")
+    return torch.device("cpu")
+
+
+def main():
+    args = parse_args()
+
+    if args.seed is not None:
+        torch.manual_seed(args.seed)
+        if torch.cuda.is_available():
+            torch.cuda.manual_seed_all(args.seed)
+
+    device = select_device(args.device)
+    print(f"[info] Usando dispositivo: {device}")
+
+    model_dir = os.path.abspath(args.model_dir)
+    if not os.path.isdir(model_dir):
+        print(f"[erro] Diretório do modelo não encontrado: {model_dir}")
+        sys.exit(1)
+
+    print("[info] Carregando tokenizer e modelo...")
+    tokenizer = AutoTokenizer.from_pretrained(model_dir)
+    model = AutoModelForCausalLM.from_pretrained(model_dir)
+    model.to(device)
+    model.eval()
+
+    inputs = tokenizer(args.prompt, return_tensors="pt")
+    inputs = {k: v.to(device) for k, v in inputs.items()}
+
+    gen_kwargs = {
+        "max_new_tokens": args.max_new_tokens,
+        "do_sample": args.do_sample,
+    }
+    if args.do_sample:
+        gen_kwargs.update({
+            "temperature": args.temperature,
+            "top_p": args.top_p,
+        })
+
+    print("[info] Gerando texto...")
+    with torch.no_grad():
+        outputs = model.generate(**inputs, **gen_kwargs)
+
+    full_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    print("\n=== Saída completa ===\n")
+    print(full_text)
+
+    # Tentar extrair apenas a continuação gerada (se compatível com o tokenizer)
+    try:
+        prompt_len = len(tokenizer.decode(inputs["input_ids"][0], skip_special_tokens=True))
+        print("\n=== Continuação gerada ===\n")
+        print(full_text[prompt_len:])
+    except Exception:
+        pass
+
+
+if __name__ == "__main__":
+    main()

tokenizer_config.json

@@ -0,0 +1,21 @@
+{
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "50256": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<|endoftext|>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|endoftext|>",
+  "extra_special_tokens": {},
+  "model_max_length": 1024,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "unk_token": "<|endoftext|>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:88174501987faa52255f1774d5641a1710e68886fe84b3299dbeda12317d34ea
+size 5777