HSAQ / QUE_ES_MATERIA_HSAQ.md
MethodWhite's picture
HSAQ: documentación limpia (Qué es/Qué NO es, HSAQ v2 aparte) + implementación + scripts abliteración
dc9acb9 verified
|
Raw
History Blame Contribute Delete
4.17 kB

M.A.T.E.R.I.A. y HSAQ — ¿Qué es y qué NO es?

Documento de referencia (v2.0, 2026). Alineado con la charla del autor en el I Congreso IA-LATAM 2026 y su whitepaper oficial.

🎬 https://www.youtube.com/watch?v=azJURypb3xo · 📄 https://comunidadialatam.org/blog/materia-hsaq-ciberseguridad


M.A.T.E.R.I.A.

Qué es ✅

M.A.T.E.R.I.A. (Multi-Agentic Toroidal Engine for Recursive Intelligent Analysis) es una arquitectura, no un modelo.

  • Un HUB central en el centro de un toroide que orquesta el sistema.
  • Un anillo de ranuras donde se montan agentes especializados (audio, voz, imagen, video, LLM, SSM, módulos personalizados…), sin límite fijo.
  • Contexto compartido y persistente entre todos los agentes (el "análisis recursivo inteligente").
  • Arquitectura anidable: cada ranura puede contener otro M.A.T.E.R.I.A. completo → sistemas de sistemas.

La inteligencia emerge de la cooperación de agentes sobre contexto compartido, no de un monolito cada vez más grande.

Qué NO es ❌

  • NO es un modelo único monolítico. No es "otro LLM gigante".
  • NO es la suma de los modelos que contiene. El valor está en la orquestación y el contexto compartido, no en un solo checkpoint.
  • M.A.T.E.R.I.A. V4 (el modelo de 140.9M parámetros, JEPA-First/SCA) es un prototipo construido dentro de esta filosofía, no la definición de MATERIA.
  • NO requiere un hardware específico: la ranura del HUB acepta cualquier modelo, y las ranuras son configurables.

HSAQ

Qué es ✅

HSAQ (Hyper Sparse Adaptive Quantization) es un mecanismo de cuantización y poda adaptativa por activaciones.

  • Umbral dinámico por lote (kthvalue): silencia las activaciones inactivas de cada batch.
  • Máscaras aprendibles: el modelo aprende cuándo cortar y cuándo no (poda sináptica, como el cerebro).
  • Gradiente STE (Straight-Through Estimator): el gradiente atraviesa la máscara; la poda es entrenable/autorregulada.
  • Optimización de VRAM: SGD Nesterov con máscaras adaptativas, 4 bytes por parámetro (vs 8 de AdamW). Entrenamiento 1.33B: 24.8 → 10.07 GB VRAM (−59.4%).
  • Sin calibración: no requiere datasets externos ni pasos post-entrenamiento.
  • Hardware-agnostic: solo operaciones de torch (CPU/GPU/TPU).

Qué NO es ❌

  • NO es cuantización de pesos. No es INT8, no es INT4, no es GPTQ, AWQ ni bitsandbytes.
  • NO opera sobre pesos: opera exclusivamente sobre activaciones (las reduce a {0, valor} con una máscara binaria).
  • NO es un optimizador clásico tipo AdamW con momentos; es un regularizador/podador adaptativo que sustituye el gasto de memoria del optimizer.
  • NO requiere calibración (a diferencia de GPTQ/AWQ/TurboQuant).

HSAQ v2 — extensión experimental (apartado)

⚠️ No confundir con HSAQ core. HSAQ v2 es una extensión experimental del paper de M.A.T.E.R.I.A. V4, separada de la definición de HSAQ.

Qué es ✅: extiende HSAQ añadiendo cuantización real de pesos (INT8/INT4 mixto), además de la máscara de activaciones; QAT-style (entrenable), con propiedad extra de protección contra ataques de canal lateral (side-channel) por oscurecimiento del acceso a memoria.

Qué NO es ❌: no es la definición core de HSAQ; es una línea de investigación aparte (ver paper M.A.T.E.R.I.A. V4, §2.4 y §6).

HSAQ (core) HSAQ v2 (experimental)
Máscara de activaciones
Cuantización de pesos INT8/INT4
Definido en la charla IA-LATAM ❌ (solo paper)
Estado Estándar v1.0 Extensión experimental

Referencias

Créditos

Jesús Antonio Zárate Hernández (MethodWhite, Chile). M.A.T.E.R.I.A. Research © 2026.

Si te sirve, invítame un café ☕ → https://buymeacoffee.com/methodwhite