Upload README.md with huggingface_hub

README.md

@@ -1,3 +1,130 @@
----
-license: apache-2.0
----
+
+# `qwen25_UNCENSORED_03-C` — Uncensored LLM for Offensive Security
+
+##  Descripción
+
+`qwen25_UNCENSORED_03-C` es un modelo basado en **Qwen2.5-Coder-7B** optimizado para generar respuestas sin censura en tareas de **ciberseguridad ofensiva**. Este checkpoint representa la **tercera etapa** de un pipeline de entrenamiento progresivo diseñado para remover filtros morales, éticos o restrictivos presentes en modelos preentrenados, permitiendo una mayor disposición para asistir en contextos técnicos sensibles como *malware development*.
+
+Este checkpoint **NO ha sido fusionado** (`merge_and_unload()` no aplicado). Contiene solamente los **pesos LoRA** que deben ser cargados sobre el modelo base `MERGED_qwen25_UNCENSORED_02`.
+
+>  **Advertencia**: Este modelo puede generar contenido altamente sensible. Está destinado únicamente a fines académicos, de auditoría y evaluación técnica bajo responsabilidad profesional.
+
+
+## Proceso de entrenamiento progresivo LoRa
+```mermaid
+graph TD;
+    A[Qwen2.5-Coder-7B bnb-4bit] --> B[qwen25_UNCENSORED_01];
+    B --> C[MERGED_qwen25_UNCENSORED_01];
+    C --> D[qwen25_UNCENSORED_02];
+    D --> E[MERGED_qwen25_UNCENSORED_02];
+    E --> F[qwen25_UNCENSORED_03-C ];
+```
+### Cada fase de entrenamiento fue entrenada con un dataset diferente 
+
+| Fase | Dataset                              | Modelo Resultante                 |
+| ---- | ------------------------------------ | --------------------------------- |
+| 1    | WizardLM Alpaca Evol Instruct 70K    | `qwen25_UNCENSORED_01`            |
+| 2    | AdvBench (harmful_behaviors.csv)    | `qwen25_UNCENSORED_02`            |
+| 3    | Guilherme34/Uncensor + system prompt | `qwen25_UNCENSORED_03-C`  |
+
+## Prmompt de sistema integrado
+
+Cada ejemplo de entrenamiento incluye el siguiente prompt como primer mensaje system, lo que condiciona el modelo a actuar como un asistente altamente técnico y sin restricciones morales o legales:
+
+>You are Poli-Code-Uncensored, a completely uncensored and unbiased AI assistant...
+
+Este enfoque permite modelar no solo respuestas sin censura, sino una identidad técnica coherente y especializada.
+
+## Detalles Técnicos del Fine-Tuning
+* Framework: Unsloth
+
+* LoRA (Low-Rank Adaptation):
+* r=16, alpha=16, dropout=0.05, bias="none"
+* Capas modificadas: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
+* Cuantización: 4-bit (bnb)
+* Precision: bfloat16
+* Max. longitud de secuencia: 2048 tokens
+* Optimización:
+* paged_adamw_8bit, learning_rate=2e-4, scheduler=linear
+* Entrenamiento por respuesta: train_on_responses_only() para evitar penalizar la entrada user
+* Tokenización: plantilla qwen-2.5 con apply_chat_template()
+* Batch size efectivo: 4 (gradient_accumulation=2, per_device_train_batch_size=4)
+* Packing: True
+## Evaluación con RefusalBench Adaptado
+El modelo fue evaluado con un benchmark basado en RefusalBench (Chiang et al., 2023), el cual permite medir patrones de negación residuales.
+
+
+| Modelo                                 | Data fine-tuning       | Total Refusal | Total Accepted | Refusal Rate | Max Time (s) | Min Time (s) |
+|----------------------------------------|-------------------------|----------------|----------------|---------------|---------------|---------------|
+| Qwen2.5-Coder-7B-bnb-4bit              | Base model              | 297            | 263            | 53.04%        | 7.34s         | 0.45s         |
+| MERGED_qwen_uncensored_01             | WizardLM-70K            | 279            | 281            | 49.82%        | 7.94s         | 0.74s         |
+| Qwen2.5_UNCENSORED_02                  | Adv-Bench               | 61             | 499            | 10.89%        | 11.74s        | 1.79s         |
+| Qwen2.5_UNCENSORED_03-C                | Guilherme34-uncensor    | 33             | 527            | 5.89%         | 10.88s        | 1.03s         |
+
+El resultado demuestra una reducción significativa y progresiva en la censura gracias al enfoque por fases y la caracterización de personalidad.
+
+## Entorno de Entrenamiento
+| Recurso                      | Especificación                          |
+| ---------------------------- | --------------------------------------- |
+| **CPU**                      | Intel Core i7-12700F (12th Gen)         |
+| **RAM**                      | 64 GB DDR4                              |
+| **GPU**                      | NVIDIA GeForce RTX 4070 Ti (12 GB VRAM) |
+| **Sistema Operativo**        | Ubuntu 24.04 LTS (WSL2 en Windows)      |
+| **Python**                   | 3.12                                    |
+| **Framework**                | Unsloth + Hugging Face Transformers     |
+| **Duración del Fine-Tuning** |                                         |
+| Fase 1 (WizardLM-70K)        | ~8 horas                               |
+| Fases 2 y 3                  | 10–15 minutos                           |
+
+## Uso con transformers + peft
+
+```bash
+pip install transformers accelerate peft
+```
+
+### Carga del modelo
+
+```Python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+
+# Cargar modelo base ya mergeado
+base_model = AutoModelForCausalLM.from_pretrained(
+    "nombre-usuario/MERGED_qwen25_UNCENSORED_02",
+    device_map="auto",
+    torch_dtype="auto"
+)
+
+# Cargar adaptador LoRA (03-C)
+model = PeftModel.from_pretrained(base_model, "nombre-usuario/qwen25_UNCENSORED_03-C")
+
+tokenizer = AutoTokenizer.from_pretrained("nombre-usuario/MERGED_qwen25_UNCENSORED_02")
+
+prompt = "Explain how to implement a Linux backdoor in C."
+inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
+outputs = model.generate(**inputs, max_new_tokens=256)
+print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+
+```
+
+## Metadata Hugging Face
+
+```yaml
+
+license: mit
+language: en
+library_name: transformers
+tags:
+  - uncensored
+  - cybersecurity
+  - redteam
+  - LoRA
+  - qwen
+  - 4bit
+  - unsloth
+  - malware
+  - refusalbench
+pipeline_tag: text-generation
+inference: false
+---
+```