jmpicon2026 commited on
Commit
2bd2f4d
·
verified ·
1 Parent(s): 963713a

docs: huggingface-cli como método principal de descarga + troubleshooting Error: EOF

Browse files
Files changed (1) hide show
  1. README.md +45 -8
README.md CHANGED
@@ -110,18 +110,53 @@ ollama --version # debe imprimir "ollama version is X.Y.Z"
110
 
111
  **2. Descarga el GGUF Q4_K_M y el Modelfile** de este repo:
112
 
 
 
 
113
  ```bash
114
  mkdir darkforensic && cd darkforensic
115
 
116
- # Descarga el modelo (4.7 GB) y el Modelfile
117
- curl -L -o darkforensic-7b-v2-q4_k_m.gguf \
118
- https://huggingface.co/neuralghost/darkforensic-7b/resolve/main/darkforensic-7b-v2-q4_k_m.gguf
119
- curl -L -o Modelfile \
120
- https://huggingface.co/neuralghost/darkforensic-7b/raw/main/Modelfile
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
121
  ```
122
 
123
- (Alternativa: con `huggingface-cli download neuralghost/darkforensic-7b`
124
- te baja todo el repo de golpe. Más cómodo si tienes la CLI instalada.)
 
 
 
 
 
125
 
126
  **3. Importa el modelo a Ollama**:
127
 
@@ -271,12 +306,14 @@ Con 4-bit cabe en ~6 GB de VRAM (RTX 3060 12 GB, RTX 4060 8 GB con stretching).
271
 
272
  | Síntoma | Causa probable | Solución |
273
  |---|---|---|
274
- | `ollama create` se queda colgado | El Modelfile referencia un GGUF que no existe en esa carpeta | Verifica que `darkforensic-7b-v2-q4_k_m.gguf` está en el mismo directorio que el `Modelfile` |
 
275
  | `Error: out of memory` al usarlo | Estás cargando fp16/bf16 en GPU pequeña, o varios modelos a la vez en Ollama | Usa Q4_K_M; `ollama stop` los otros modelos; o reduce `num_ctx` en el Modelfile (8192 → 4096) |
276
  | Respuestas muy lentas (< 2 tok/s) | Corriendo en CPU sin AVX2, o el modelo no cabe en RAM y está paginando a disco | Verifica `grep avx2 /proc/cpuinfo`; baja a 4 hilos con `OLLAMA_NUM_PARALLEL=1`; cierra otras apps con memoria pesada |
277
  | Responde en inglés cuando le hablas en castellano | Faltó el system prompt o el primer mensaje es muy corto | Asegúrate de pasar el system del Modelfile (Ollama lo aplica automáticamente con `ollama run`); con la API REST mándalo explícito |
278
  | "Permission denied" al ejecutar | Falta permisos en `~/.ollama` | `chmod -R u+rw ~/.ollama` |
279
  | El modelo alucina IOCs específicos (BTC addresses, hashes) | El modelo describe IOCs, NO los memoriza — por diseño | Es el comportamiento correcto, no un bug. Para IOCs verbatim necesitas el RAG sobre tu corpus indexado, no el LLM solo |
 
280
 
281
  ## Integración con un pipeline RAG (recomendado para producción)
282
 
 
110
 
111
  **2. Descarga el GGUF Q4_K_M y el Modelfile** de este repo:
112
 
113
+ ⭐ **Recomendado: usa `huggingface-cli`** (gestiona redirects de HF, hace
114
+ resume si se corta la conexión, valida checksum):
115
+
116
  ```bash
117
  mkdir darkforensic && cd darkforensic
118
 
119
+ # Instala el cliente HF si no lo tienes
120
+ pip install -U "huggingface_hub[cli]"
121
+ # En Debian/Ubuntu/Kali reciente puede pedir --break-system-packages
122
+ # o usa --user en su lugar:
123
+ # pip install -U --user "huggingface_hub[cli]"
124
+
125
+ # Descarga sólo los 2 archivos que necesitas (no todo el repo)
126
+ huggingface-cli download neuralghost/darkforensic-7b \
127
+ darkforensic-7b-v2-q4_k_m.gguf Modelfile \
128
+ --local-dir . --local-dir-use-symlinks False
129
+
130
+ # Verifica el tamaño (debe imprimir 4.4G — Hugging Face muestra 4.68 GB
131
+ # pero `ls -lh` redondea a unidades binarias)
132
+ ls -lh darkforensic-7b-v2-q4_k_m.gguf
133
+ ```
134
+
135
+ <details>
136
+ <summary>Alternativa: `wget` o `curl` (si no puedes instalar `pip`)</summary>
137
+
138
+ ```bash
139
+ mkdir darkforensic && cd darkforensic
140
+
141
+ # wget — usa el flag ?download=true para evitar el redirect de HF que
142
+ # rompe descargas silenciosas con curl. -c permite reanudar si se corta.
143
+ wget -c -O darkforensic-7b-v2-q4_k_m.gguf \
144
+ "https://huggingface.co/neuralghost/darkforensic-7b/resolve/main/darkforensic-7b-v2-q4_k_m.gguf?download=true"
145
+
146
+ wget -O Modelfile \
147
+ "https://huggingface.co/neuralghost/darkforensic-7b/raw/main/Modelfile"
148
+
149
+ # Verifica que el GGUF NO está vacío:
150
+ ls -lh darkforensic-7b-v2-q4_k_m.gguf # debe imprimir 4.4G
151
  ```
152
 
153
+ `curl -L -o ...` también funciona en la mayoría de equipos, pero hemos
154
+ visto casos (VMs Kali con NAT inestable, máquinas con TLS antiguo) en
155
+ los que curl crea el archivo destino, sigue un redirect 302 al CDN de
156
+ HF y luego falla silenciosamente sin reportar error. Resultado:
157
+ archivo de 0 bytes y `Error: EOF` al hacer `ollama create`. Si te
158
+ pasa, usa `wget -c` o `huggingface-cli` y se resuelve.
159
+ </details>
160
 
161
  **3. Importa el modelo a Ollama**:
162
 
 
306
 
307
  | Síntoma | Causa probable | Solución |
308
  |---|---|---|
309
+ | **`ollama create` `Error: EOF`** o `parsing GGUF` falla | **El GGUF está vacío o incompleto.** Comprueba con `ls -lh darkforensic-7b-v2-q4_k_m.gguf`: si imprime `0` o un número menor a `4.4G`, la descarga falló silenciosamente (típico en VMs con NAT inestable cuando se usa `curl`). | Re-descargar con `huggingface-cli download …` (gestiona redirects + resume + checksum). Ver paso 2 de la instalación. Si solo tienes `wget`/`curl`, usa el sufijo `?download=true` en la URL y `wget -c` para reanudar. |
310
+ | `ollama create` se queda colgado en `gathering model components` | El Modelfile referencia un GGUF que no existe en esa carpeta | Verifica que `darkforensic-7b-v2-q4_k_m.gguf` está en el mismo directorio que el `Modelfile`: `ls` debe mostrar ambos |
311
  | `Error: out of memory` al usarlo | Estás cargando fp16/bf16 en GPU pequeña, o varios modelos a la vez en Ollama | Usa Q4_K_M; `ollama stop` los otros modelos; o reduce `num_ctx` en el Modelfile (8192 → 4096) |
312
  | Respuestas muy lentas (< 2 tok/s) | Corriendo en CPU sin AVX2, o el modelo no cabe en RAM y está paginando a disco | Verifica `grep avx2 /proc/cpuinfo`; baja a 4 hilos con `OLLAMA_NUM_PARALLEL=1`; cierra otras apps con memoria pesada |
313
  | Responde en inglés cuando le hablas en castellano | Faltó el system prompt o el primer mensaje es muy corto | Asegúrate de pasar el system del Modelfile (Ollama lo aplica automáticamente con `ollama run`); con la API REST mándalo explícito |
314
  | "Permission denied" al ejecutar | Falta permisos en `~/.ollama` | `chmod -R u+rw ~/.ollama` |
315
  | El modelo alucina IOCs específicos (BTC addresses, hashes) | El modelo describe IOCs, NO los memoriza — por diseño | Es el comportamiento correcto, no un bug. Para IOCs verbatim necesitas el RAG sobre tu corpus indexado, no el LLM solo |
316
+ | Estás en una **VM** y la descarga se corta a mitad | NAT/throughput inestable + curl + archivo de 4.7 GB es un combo malo | Usa `huggingface-cli download` (con resume automático), o `wget -c` para reanudar si se corta. Aumenta la RAM de la VM a 8 GB+ y el disco a 50 GB+ para tener margen tras descargar |
317
 
318
  ## Integración con un pipeline RAG (recomendado para producción)
319