File size: 2,502 Bytes
fb18183 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 | ---
title: gpt-oss-20b Q4_K_M (Unsloth)
emoji: 🚀
colorFrom: purple
colorTo: green
sdk: gguf
sdk_version: 0.10.0
app_file: null
pinned: false
license: apache-2.0
tags:
- gguf
- gemma2
- unsloth
- q4_k_m
- llama.cpp
- text-generation
- ai-agent-security
- kaggle
- 20b
---
# gpt-oss-20b - Q4_K_M GGUF
Este repositorio contiene el modelo **gpt-oss-20b** cuantizado en formato **GGUF** (cuantización **Q4_K_M**), optimizado para inferencia rápida y eficiente en hardware consumer (CPU y GPU).
El modelo original es una arquitectura basada en **Gemma 2** de Google, adaptada por **Unsloth**.
## Detalles del Modelo
| Propiedad | Valor |
|-----------|-------|
| **Nombre Original** | `unsloth/gpt-oss-20b` |
| **Archivo** | `gpt-oss-20b-Q4_K_M.gguf` |
| **Tamaño** | ~11.6 GB |
| **Cuantización** | `Q4_K_M` (4-bit) |
| **Arquitectura** | Gemma 2 |
| **Capas** | 36 |
| **Hidden Size** | 2304 |
| **Contexto Máx.** | 8192 tokens |
| **Origen** | Kaggle (AI Agent Security competition) |
## Cómo usar este modelo
Este archivo está diseñado para funcionar con inferentes compatibles con **GGUF** (como `llama.cpp`, `Ollama`, `LM Studio` o `text-generation-webui`).
### 1. Con `llama.cpp` (Terminal)
```bash
# Descarga el modelo (si no lo tienes)
# Asegúrate de tener llama.cpp compilado
./main -m gpt-oss-20b-Q4_K_M.gguf -n 512 -t 8 --color -i --interactive-first
2. Con Ollama
Puedes importar este archivo a Ollama creando un Modelfile:
FROM ./gpt-oss-20b-Q4_K_M.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.9
ollama create gpt-oss-20b -f Modelfile
ollama run gpt-oss-20b
3. Con LM Studio
Abre LM Studio.
Ve a la pestaña de búsqueda y selecciona "Local Models".
Arrastra el archivo .gguf a la ventana o colócalo en la carpeta de modelos de LM Studio.
Carga el modelo y comienza a chatear.
Archivos Incluidos
gpt-oss-20b-Q4_K_M.gguf: El modelo cuantizado.
config.json: Configuración de la arquitectura (Gemma 2) para compatibilidad con herramientas de carga.
tokenizer.json: Tokenizer necesario para la pre-procesamiento de texto (compatible con transformers).
Notas Importantes
Este modelo es una versión cuantizada y no debe confundirse con el modelo de pesos completos (FP16/FP32).
La cuantización Q4_K_M ofrece un excelente equilibrio entre calidad y velocidad, reduciendo el uso de VRAM/RAM en un ~60% comparado con el modelo original.
Licencia: Revisa la licencia del modelo original en el repositorio de Unsloth antes de usarlo comercialmente. |