docs: huggingface-cli como método principal de descarga + troubleshooting Error: EOF
Browse files
README.md
CHANGED
|
@@ -110,18 +110,53 @@ ollama --version # debe imprimir "ollama version is X.Y.Z"
|
|
| 110 |
|
| 111 |
**2. Descarga el GGUF Q4_K_M y el Modelfile** de este repo:
|
| 112 |
|
|
|
|
|
|
|
|
|
|
| 113 |
```bash
|
| 114 |
mkdir darkforensic && cd darkforensic
|
| 115 |
|
| 116 |
-
#
|
| 117 |
-
|
| 118 |
-
|
| 119 |
-
|
| 120 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 121 |
```
|
| 122 |
|
| 123 |
-
|
| 124 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 125 |
|
| 126 |
**3. Importa el modelo a Ollama**:
|
| 127 |
|
|
@@ -271,12 +306,14 @@ Con 4-bit cabe en ~6 GB de VRAM (RTX 3060 12 GB, RTX 4060 8 GB con stretching).
|
|
| 271 |
|
| 272 |
| Síntoma | Causa probable | Solución |
|
| 273 |
|---|---|---|
|
| 274 |
-
| `ollama create`
|
|
|
|
| 275 |
| `Error: out of memory` al usarlo | Estás cargando fp16/bf16 en GPU pequeña, o varios modelos a la vez en Ollama | Usa Q4_K_M; `ollama stop` los otros modelos; o reduce `num_ctx` en el Modelfile (8192 → 4096) |
|
| 276 |
| Respuestas muy lentas (< 2 tok/s) | Corriendo en CPU sin AVX2, o el modelo no cabe en RAM y está paginando a disco | Verifica `grep avx2 /proc/cpuinfo`; baja a 4 hilos con `OLLAMA_NUM_PARALLEL=1`; cierra otras apps con memoria pesada |
|
| 277 |
| Responde en inglés cuando le hablas en castellano | Faltó el system prompt o el primer mensaje es muy corto | Asegúrate de pasar el system del Modelfile (Ollama lo aplica automáticamente con `ollama run`); con la API REST mándalo explícito |
|
| 278 |
| "Permission denied" al ejecutar | Falta permisos en `~/.ollama` | `chmod -R u+rw ~/.ollama` |
|
| 279 |
| El modelo alucina IOCs específicos (BTC addresses, hashes) | El modelo describe IOCs, NO los memoriza — por diseño | Es el comportamiento correcto, no un bug. Para IOCs verbatim necesitas el RAG sobre tu corpus indexado, no el LLM solo |
|
|
|
|
| 280 |
|
| 281 |
## Integración con un pipeline RAG (recomendado para producción)
|
| 282 |
|
|
|
|
| 110 |
|
| 111 |
**2. Descarga el GGUF Q4_K_M y el Modelfile** de este repo:
|
| 112 |
|
| 113 |
+
⭐ **Recomendado: usa `huggingface-cli`** (gestiona redirects de HF, hace
|
| 114 |
+
resume si se corta la conexión, valida checksum):
|
| 115 |
+
|
| 116 |
```bash
|
| 117 |
mkdir darkforensic && cd darkforensic
|
| 118 |
|
| 119 |
+
# Instala el cliente HF si no lo tienes
|
| 120 |
+
pip install -U "huggingface_hub[cli]"
|
| 121 |
+
# En Debian/Ubuntu/Kali reciente puede pedir --break-system-packages
|
| 122 |
+
# o usa --user en su lugar:
|
| 123 |
+
# pip install -U --user "huggingface_hub[cli]"
|
| 124 |
+
|
| 125 |
+
# Descarga sólo los 2 archivos que necesitas (no todo el repo)
|
| 126 |
+
huggingface-cli download neuralghost/darkforensic-7b \
|
| 127 |
+
darkforensic-7b-v2-q4_k_m.gguf Modelfile \
|
| 128 |
+
--local-dir . --local-dir-use-symlinks False
|
| 129 |
+
|
| 130 |
+
# Verifica el tamaño (debe imprimir 4.4G — Hugging Face muestra 4.68 GB
|
| 131 |
+
# pero `ls -lh` redondea a unidades binarias)
|
| 132 |
+
ls -lh darkforensic-7b-v2-q4_k_m.gguf
|
| 133 |
+
```
|
| 134 |
+
|
| 135 |
+
<details>
|
| 136 |
+
<summary>Alternativa: `wget` o `curl` (si no puedes instalar `pip`)</summary>
|
| 137 |
+
|
| 138 |
+
```bash
|
| 139 |
+
mkdir darkforensic && cd darkforensic
|
| 140 |
+
|
| 141 |
+
# wget — usa el flag ?download=true para evitar el redirect de HF que
|
| 142 |
+
# rompe descargas silenciosas con curl. -c permite reanudar si se corta.
|
| 143 |
+
wget -c -O darkforensic-7b-v2-q4_k_m.gguf \
|
| 144 |
+
"https://huggingface.co/neuralghost/darkforensic-7b/resolve/main/darkforensic-7b-v2-q4_k_m.gguf?download=true"
|
| 145 |
+
|
| 146 |
+
wget -O Modelfile \
|
| 147 |
+
"https://huggingface.co/neuralghost/darkforensic-7b/raw/main/Modelfile"
|
| 148 |
+
|
| 149 |
+
# Verifica que el GGUF NO está vacío:
|
| 150 |
+
ls -lh darkforensic-7b-v2-q4_k_m.gguf # debe imprimir 4.4G
|
| 151 |
```
|
| 152 |
|
| 153 |
+
`curl -L -o ...` también funciona en la mayoría de equipos, pero hemos
|
| 154 |
+
visto casos (VMs Kali con NAT inestable, máquinas con TLS antiguo) en
|
| 155 |
+
los que curl crea el archivo destino, sigue un redirect 302 al CDN de
|
| 156 |
+
HF y luego falla silenciosamente sin reportar error. Resultado:
|
| 157 |
+
archivo de 0 bytes y `Error: EOF` al hacer `ollama create`. Si te
|
| 158 |
+
pasa, usa `wget -c` o `huggingface-cli` y se resuelve.
|
| 159 |
+
</details>
|
| 160 |
|
| 161 |
**3. Importa el modelo a Ollama**:
|
| 162 |
|
|
|
|
| 306 |
|
| 307 |
| Síntoma | Causa probable | Solución |
|
| 308 |
|---|---|---|
|
| 309 |
+
| **`ollama create` → `Error: EOF`** o `parsing GGUF` falla | **El GGUF está vacío o incompleto.** Comprueba con `ls -lh darkforensic-7b-v2-q4_k_m.gguf`: si imprime `0` o un número menor a `4.4G`, la descarga falló silenciosamente (típico en VMs con NAT inestable cuando se usa `curl`). | Re-descargar con `huggingface-cli download …` (gestiona redirects + resume + checksum). Ver paso 2 de la instalación. Si solo tienes `wget`/`curl`, usa el sufijo `?download=true` en la URL y `wget -c` para reanudar. |
|
| 310 |
+
| `ollama create` se queda colgado en `gathering model components` | El Modelfile referencia un GGUF que no existe en esa carpeta | Verifica que `darkforensic-7b-v2-q4_k_m.gguf` está en el mismo directorio que el `Modelfile`: `ls` debe mostrar ambos |
|
| 311 |
| `Error: out of memory` al usarlo | Estás cargando fp16/bf16 en GPU pequeña, o varios modelos a la vez en Ollama | Usa Q4_K_M; `ollama stop` los otros modelos; o reduce `num_ctx` en el Modelfile (8192 → 4096) |
|
| 312 |
| Respuestas muy lentas (< 2 tok/s) | Corriendo en CPU sin AVX2, o el modelo no cabe en RAM y está paginando a disco | Verifica `grep avx2 /proc/cpuinfo`; baja a 4 hilos con `OLLAMA_NUM_PARALLEL=1`; cierra otras apps con memoria pesada |
|
| 313 |
| Responde en inglés cuando le hablas en castellano | Faltó el system prompt o el primer mensaje es muy corto | Asegúrate de pasar el system del Modelfile (Ollama lo aplica automáticamente con `ollama run`); con la API REST mándalo explícito |
|
| 314 |
| "Permission denied" al ejecutar | Falta permisos en `~/.ollama` | `chmod -R u+rw ~/.ollama` |
|
| 315 |
| El modelo alucina IOCs específicos (BTC addresses, hashes) | El modelo describe IOCs, NO los memoriza — por diseño | Es el comportamiento correcto, no un bug. Para IOCs verbatim necesitas el RAG sobre tu corpus indexado, no el LLM solo |
|
| 316 |
+
| Estás en una **VM** y la descarga se corta a mitad | NAT/throughput inestable + curl + archivo de 4.7 GB es un combo malo | Usa `huggingface-cli download` (con resume automático), o `wget -c` para reanudar si se corta. Aumenta la RAM de la VM a 8 GB+ y el disco a 50 GB+ para tener margen tras descargar |
|
| 317 |
|
| 318 |
## Integración con un pipeline RAG (recomendado para producción)
|
| 319 |
|