--- license: mit language: - pt tags: - mamba - mamba-3 - ssm - muon - muonclip - qk-clip - adamw - optimizer - nope - hybrid-architecture - activation-checkpointing - 3d-vision-language - depth-perception - point-cloud - diffusion - stable-diffusion - mixture-of-experts - kohonen - som-attention - random-forest - deep-neural-network - knowledge-distillation - bidirectional-distillation - engram-memory - multimodal - multi-token-prediction - dpo - rlhf - hh-rlhf - pcgrad - long-context - lra-qvit - engineer-agent - integral-state - cython - jev-classifiers - gumbel-softmax - quantization - riemannian-optimization - stiefel-manifold - cython-kernels - gradient-accumulation - vector-quantization - grayscale-detection - joint-perception - pt-br metrics: - perplexity - clip_score - cider - bleu - rouge_l - meteor --- # KHTST — modelo multimodal PT-BR (v16 KHMAMBAJEPA: QUANTIZAÇÃO TORCHAO REAL auto CPU/GPU · MC-JEPA VICReg em CYTHON com gradiente analítico · GUARDA ANTI-COLAPSO Brain-JEPA · AUTORREGULAÇÃO TOTAL treino+inferência (Robbins–Monro) · ROBÔ LeRobot ×4 + MATEMÁTICA verificável ×5 · 14 tarefas) KHTST é um modelo multimodal compacto para PT-BR com roteamento por S-SOM, janela PARALELA de contexto (**N_MAX_TOKENS 393.216**), classificadores Jev auto-calibrados, o **tronco causal híbrido MAMBA-3 5:1** (v12), otimização **MuonClip + AdamW**, a **quantização GSQ (Gumbel-Softmax)** com decaimento analítico de τ e **restrição RCO no Stiefel** com **gradiente riemanniano no backward** (v13) e — **novidade v14** — a EXTENSÃO DO GSQ+RCO A TODOS OS MECANISMOS: **Random Forest com buffer compacto (256×) e codebook Stiefel** com DECORRELAÇÃO DAS ÁRVORES provada, **RCO nas NoPE com cota estrutural do logit** (ℓ_max ≤ d/√dh — QK-Clip estruturalmente INATIVO), **GateGSQ nos mecanismos de atenção**, **ajuste analítico K/τ_min** (trade-off compressão× erro do codebook), **percepção conjunta imagem ⊕ profundidade ⊕ vit_lra com DETECÇÃO PARALELA DE ESCALA DE CINZA** e **lote efetivo por acumulação de gradiente**. Provas em `docs/matematica/27`. > ✅ **TREINO CURTO REAL v14: APROVADO (6/6)** — pareado A/B (corpus real de > 620 registros, dois pontos de operação, honestos): > **• mesmos 60 UPDATES do otimizador**: baseline 9,712 → 8,035 (**1,209×**) > vs **v14 total 9,752 → 5,707 (1,709× — 41% de ganho por update)** com o > lote efetivo 2 (2× dados por update, Var do gradiente ↓ √2); > **• mesmo orçamento de dados (60 lotes)**: v14 1,123× (lote dobrado faz > metade dos updates — trade-off clássico, publicado). > Métricas ESTRUTURAIS EXATAS: δ ortogonal das NoPE-Stiefel = **0,0**, > RF-GSQ buffer **256× menor** (347.136 → 1.356 B reais), δ_ort do codebook > 1,6e-06, erro VQ honesto 1,05 (cobertura), RF retreinado 7× (224 árvores), > entropia do seletor 0,87 (afiamento), **cinza_score 0,69 nos dados reais**, > gates da percepção conjunta vivos (α 0,0047 · γ₁ −0,024). Relatório: > `telemetria_out/metricas_v14.json`. > > ✅ **v13**: ablação A/B (40 passos): GSQ+RCO 1,112× vs baseline 1,081×; > δ_ort 7,9e-06; **v12**: sonda de fidelidade 0,021 (recarga ~100× mais > fiel), 12 suítes verdes, RAM pico 3.066 MB ≤ 3.580. A corrida longa > (8 h + 1 h) fica para o ambiente do usuário (`scripts/04_treinar.py > --teto_horas 9.0 --continuar_ate_horas 8.0 --estados_hf`). ## O que há de novo no v21 — FONTE ÚNICA DO IPC (Rust removido, layout compile-time) · NEWTON–SCHULZ ESPECTRAL CERTIFICADO · IMAGEM ADAPTATIVA · HOT-PATHS CYTHON · TABELA v17 FECHADA (provas em `docs/matematica/33`, memória em `PLANO_KHMAMBAJEPA.md`) - **IPC — fonte única (doc 33 §1–2, Teos 33.1–33.2)**: crate `rust/` EXCLUÍDO (3ª implementação redundante — auditoria DRY do usuário); layout do header (256 B) e do frame (24 B) definidos UMA vez em `khtst/ipc/layout.py` com verificação em DUAS camadas: `_Static_assert` (C11) no `.pyx` — divergência NÃO COMPILA — e auditoria binário↔fonte no import (.so velho falha com erro explícito). - **Newton–Schulz espectral (doc 33 §3, Teos 33.3–33.6)**: fechada a lacuna teoria↔código da v18 (Teo 24.1 assumia σ₁; o código fazia Frobenius) — normalização por `s = min(√‖A₀‖∞/1.2, ‖X‖_F)`: segurança CERTIFICADA (janela invariante (0, 1.255] provada), NUNCA pior que v20, escala de partida até ~4.6× maior e σ pequenos sobrevivem; +27% no NS (1 Gram fp32 reusado). Sem RNG/SVD/potência. - **Imagem adaptativa (doc 33 §5, Teos 33.7–33.10)**: fim do stretch 96×96 — letterbox (similaridade, zero distorção), LANCZOS antialias, janela saliente por energia de arestas (razões > 2.5) e upscale ≤ 2×; fonte única nos 3 call sites; kill-switch repõe v20 bit-a-bit. - **Hot-paths Cython (doc 33 §6, Teos 33.11–33.13)**: conv depthwise causal FUNDIDA com backward analítico EXATO — ganho medido **2.3–7.6×** (equivalência max|Δ|=0); top-k parcial do roteador O(N·k) — ganho 1.2–1.8× nas formas do gate; fallback v20 automático + kill-switches. - **Tabela v17 fechada (doc 33 §7, Teo 33.14)**: os 18 controladores (Teo 29.16) agora RECEBEM 8 sinais REAIS do treinador (opt-in `treino.autorreg_v17.ativo`; nascimento neutro; 10 sinais sem produtor ficam com sinal 0 — honestidade). - **Verificação**: suíte v21 **40/40** · regressão v1–v20 TODA VERDE · verificar_tudo **49✓/0✗** · A/B/C/D pareado REAL (48 passos, corpus 1015): ganhos 1.10–1.12× com v21_full na frente (ΔCE −0.05; dentro do ruído — leitura honesta no RELATORIO §20). ## O que há de novo no v20 — IPC DURÁVEL (10 correções) · ESTRESSE + MODELO→MODELO EM TREINO · PID-MOE · STIEFEL RÍGIDO · GUARDA DE RAM (provas em `docs/matematica/32`, memória em `PLANO_KHMAMBAJEPA.md`) - **IPC v20 — as 10 correções do usuário com provas (doc 32, Teos 32.1–32.9)**: header do ring com **cache line ISOLADA** (256 B: head@64/tail@128/dropped@192 — false sharing eliminado, modelo MESI Teo 32.1); **init valida magic** antes de sobrescrever (32.2); frames **ATÔMICOS** (`write_exact` por predicado de espaço — ring cheio ⟹ `BufferError`, nunca frame parcial; 32.3); **CRC32 verificado no decode Rust** + `payload_len` com bounds check + `read_unaligned` no encode (packed sem UB; 32.4); **EINTR retry** em sendmsg/recvmsg (32.7); **madvise(MADV_HUGEPAGE)** ≥ 2 MiB (32.8); `push_send_fd` **REMOVIDO** do io_uring (handshake síncrono honesto; 32.5); `pending.clear()` no reap (32.6); resíduo do consumidor com **_PEND_MAX** 4 MiB (32.9). Bug adicional capturado pelo estresse: `receber_frame` v18 descartava frames válidos da mesma leitura — v20 mantém fila. - **Estresse APROVADO** (`scripts/28_teste_ipc_stress.py`): frames 1 B→1 MiB byte a byte + CRC; ring cheio com retry; latência **p50 21,4 µs / p99 45,2 µs**. - **Modelo→Modelo DURANTE TREINO APROVADO** (`scripts/29_ipc_treino_modelo.py`): 2 processos com KHTST real treinando (60 passos), telemetria trocada a cada 5 passos — 12/12 frames por direção, 0 descartes, ambos aprendem (1,019×/1,024×), fator de lr acoplado ao peer vivo. - **PID do balanceamento MoE** (reqs 1.8/2.7; `nucleo/pid_moe.py`, Teo 32.10): PID em log-escala sobre o desvio de carga com anti-windup direcional; opt-in (u≡1 ⟹ v19 exato). - **Stiefel rígido + retração polar** (reqs 1.9/2.6/3.5; Teo 32.11): QR → polar SVD (argmin de ‖W−Q‖_F por von Neumann) → identidade; `afirmar_ortogonalidade` lança em violação com `treino.ortogonal_rigido`. - **GuardaRuntime de RAM** (req 3.6; `nucleo/guarda_runtime.py`, Teo 32.12): OLS do RSS em janela deslizante com cota; alerta só com janela CHEIA (falso-positivo controlado); opt-in. - **Verificação**: suíte v20 **48/48 verdes** · estresse + demo APROVADOS · verificar_tudo 49✓/0✗ · smoke v15 ✓ · regressão v1–v19 TODA VERDE (25/36/✓/37/32/48/44/21/✓/✓/28/27/40/—/✓/56/46/34). ## O que há de novo no v19 — ACOPLAMENTO JEPA↔ENCODERS DE PRODUÇÃO (A/B pareado) · SONICMOE NO TRONCO (opt-in) · DATASETS REAIS (provas em `docs/matematica/31`, memória em `PLANO_KHMAMBAJEPA.md`) - **JEPA acoplada aos encoders REAIS** (`jepa_familia/acoplamento.py`): vistas de tokens que COMPARTILHAM os pesos de `CodificadorImagem/Audio/ Video` — o gradiente da auto-supervisão treina o encoder que o modelo realmente usa (Teo 31.2 — regra da cadeia exata; sem gêmeo paralelo). Alvo EMA pós-step com guarda de ordem por variante (Teo 31.6) e conselho renormalizado com nascimento neutro (Teo 31.3). Opt-in: `treino.jepa_acoplado.lambda` (default 0 — v18 exato, Teo 31.1). - **SonicMoE no TRONCO** (opt-in `modelo.sonicmoe.ativo`): execução com dispatch agrupado por expert + GEMM em tiles + telemetria IO; gate é fonte única (`_computar_gate`) — equivalência provada e medida (Teo 31.4: Δy ≤ 7.1e-8 em produção, Δgrad ≤ 2.1e-7, gate bit-idêntico); roofline HONESTO (Teo 31.5): ganho de IO de pesos (pilha evitada 2.21 MB/forward, 2.0× modelado) — wallclock CPU nesta escala 0.83–0.875× (reportado como está). - **A/B/C PAREADO em dados reais** (Teo 31.7): 3 braços × 96 passos, corpus REAL de 1015 registros (395 frescos de LeRobot/GSM8K/MATH-500/ hendrycks/OpenR1/IFM), pareamento EXATO por re-seed pós-construção + gerador dedicado nas máscaras + conselho em eval. Resultados: baseline 1.606× · v19 λ=0.3 1.545× (ΔCE +0.090) · v19 λ=0.1 1.573× (ΔCE +0.046) — monótono em λ (Cor. 31.7); JEPA acoplada APRENDE (perda −74%); encoders recebem o gradiente extra (drift 8.3e-4 vs 7.0e-4). - **Verificação**: suíte v19 34/34 verdes · verificar_tudo 49✓/0✗ · regressão v1–v18 TODA VERDE · evidências em `graficos/v19/v19_evidencias.png` e `telemetria_out/v19_relatorio_ab.json`. ## O que há de novo no v18 — ROBUSTEZ · IPC MODELO→MODELO · FAMÍLIA JEPA + SONICMOE + REPLAYSSM (provas em `docs/matematica/30`, memória em `PLANO_KHMAMBAJEPA.md`) - **Robustez provada (doc 30, Teos 30.1–30.6)**: clamps de sanidade no kernel Mamba-3 (contração SEMPRE, gradiente intacto); weight decay espectral desacoplado do Muon (1e-4); Newton-Schulz com precisão adaptativa (fp32 p/ ‖G‖<1e-3); PCGrad com normalização de magnitudes por EMA (anti-dominação); agenda τ conservadora do GSQ (τ_min=0.5, t_alvo=400); guarda de ordem EMA do JEPA com `RuntimeError`. - **Lógica (Teos 30.7–30.8)**: `validar_config` aborta treino inviável ANTES do primeiro passo; telemetria com níveis + rotação de logs + histórico limitado (vazamento de memória eliminado); treinador refatorado em 4 mixins + facade (API pública intacta, regressão v1–v17 toda verde). - **IPC Modelo→Modelo (Teos 30.9–30.10)**: memfd selável + ring SPSC lock-free (atomics C11/GCC, layout binário idêntico ao crate Rust em `src/khtst/ipc/rust/`) + passagem de FD via SCM_RIGHTS + frames com CRC32; demo real em 2 processos (64 frames ecoados, 0 descartes). - **Família JEPA (Teos 30.11–30.15)**: 10 variantes (Image, V-JEPA 2, MC, Audio, Point, 3D, Brain, T, Le, BJEPA) + ConselhoJepas multimodal (texto+imagem+vídeo+som+pontos+3D+cérebro) com gating renormalizado; SonicMoE (dispatch agrupado + tiles + int8, telemetria IO 64×); ReplaySSM (reservoir de estados com re-injeção e drift medido); hardware chinês (NPU Ascend/MLU Cambricon) com detecção automática e CPU auto-vetorizada. ## O que há de novo no v17 — PACOTE DE APRIMORAMENTO + AUTORREGULAÇÃO HÍBRIDA (provas em `docs/matematica/29`, memória em `PLANO_KHMAMBAJEPA.md`) Auditoria completa (lógica + integração + matemática) dos 6 módulos submetidos na rodada — `difusao_gradiente`, `metricas_qe_ct`, `lambda_c_unificado`, `tradeoff_k`, `jepa`, `config` — com **14 defeitos D1–D14 catalogados, corrigidos e PROVADOS** (doc 29, Teos 29.1–29.16). Pacote novo `src/khtst/aprimoramento/` — nenhum módulo de produção foi modificado (zero regressões; 17 suítes verdes). | correção/aprimoramento | defeito corrigido | prova | |---|---|---| | **λ_diff VIVO na difusão**: a "autoajuste por gradiente" do rascunho era triplo código morto (λ sem grad, controlador nunca chamado, perda sem λ). Agora: L(λ)=λ·L_diff+ρ(λ−λ₀)² com **hipergradiente EXATO** (∂L/∂λ = L_diff+2ρ(λ−λ₀), erro ZERO — L é afim+quadrática) e **âncora** que dá ÓTIMO INTERIOR provado λ*=λ₀−L_diff/2ρ; regret do EG ≤ G√(2T·ln(λmax/λmin)) | D1 | Teo 29.2 | | **EMA Polyak** no denoiser (avaliar/amostrar com θ̄ — Jensen: L(θ̄) ≤ média L(θ_t)) | D2 | Teo 29.3 | | **QE+CT comparáveis**: CT por COORDENADA (÷B·D — a soma bruta crescia com a dimensão); QE relativo a ‖x‖² (invariante a reescala); campo `normalizar` do config VIVO | D3, D14 | Teo 29.4 | | **"ganho real" com NÍVEL α controlado**: Student-t unilateral por delta + Bonferroni (α/2 cada) — P(falso ganho) ≤ α; medido: 0/60 falsos-positivos; Hoeffding finito opcional com raio DECLARADO (o range observado INVALIDA a cota — correção honesta da 1ª versão da prova) | D4 | Teo 29.5 | | **te_antigo via cKDTree**: O(N·log G) vs O(N·G); ≡ força bruta bit-a-bit em 100 grades | D5 | Teo 29.6 | | **λ_c com sinal SUAVIZADO VIVO**: o rascunho computava a média da janela e JOGAVA FORA (usava ε² instantâneo); agora Δ = ε̄²−alvo (Var reduzida ×W, sem viés) + modo reversão + agenda RM opcional (η_t=η₀/(1+t/τ): Ση=∞, Ση²<∞ ⟹ q.c.) | D6, D7 | Teo 29.7 | | **Ĉ de Zador ESTIMADO** por OLS log-log (C=1 fixo era irreal): consistência por LLN, TESTE DO MODELO pela inclinação (p̂≈−2/d; se falha, cai para a grade honestamente), shrinkage ao prior; **UNIMODALIDADE de J1 provada** (G(K) estritamente crescente ⟹ raiz única ⟹ minimize_scalar acha o GLOBAL) + forma fechada K*=[(1−λ)2C·ln d/(λd)]^{d/2} + elasticidade honesta ∂lnK*/∂lnC = d/2; λ_c adaptativo integrado | D8, D9 | Teos 29.8/29.9 | | **JEPA anti-colapso POR DIMENSÃO**: a variância POOLADA do rascunho não vê colapso parcial (contraexemplo σ=(2,0): poolado 0, per-dim 0,5); Jensen + lei da variância total ⟹ per-dim ≥ poolado SEMPRE; condicional morto removido; **pooling adaptativo** substitui truncamento (contração ‖Pz‖≤‖z‖/√r vs energia descartada); EMA cosseno BYOL opt-in; colapso não é mínimo local (é MÁXIMO do hinge — com honestidade sobre o kink) | D10–D13 | Teos 29.10–29.13 | | **CONTROLADOR HÍBRIDO RM+PI+bisseção** — a recursão única u_{t+1}=Π[u_t+a_t·s_t+b·e_t+c·Δe_t], θ=θ₀e^u: telescoping do D (Σc·Δe = c(e_T−e₀) — nunca desestabiliza), duas escalas de Borkar, anti-windup direcional; **τ_qk por banda [80,120] com semântica PÓS-CLIP** (ℓ=min(ℓ_nat,τ) — direção do colchete corrigida; escala exata por Teo 24.7); setpoint convergiu com e∞=0.0000 (θ=0.6000 exato) — **a 1ª implementação tinha DUPLA integração do I; a suíte prendeu e corrigiu** | lacuna estrutural da v16 | Teos 29.14–29.15 | | **TABELA DE SINAIS de 18 parâmetros** (a autorregulação agora cobre o que a v16 não cobria): AdamW β₁/β₂/ε/wd, Muon momentum/escala/τ_qk, PRS η_up/η_down/T_ciclo/decay_piso/percentil, PESO_MOE, PESO_SOM, ABMO margem, CIAR κ, crescimento expand/prune — centros = constantes v16 (nascimento NEUTRO), limites seguros (permanência EXATA provada), sinais adimensionais ±1, TelemetryHub registra 100% (35 chaves), adaptadores para MuonClipAdamW real (β/ε/wd/momentum/escala/τ escritos e passo bem definido) e PRS | lacuna estrutural da v16 | Teo 29.16 | > ✅ **v17**: suíte nova 56 verificações verdes; verificar_tudo 49✓; > regressão v1–v16 TODAS verdes (25/36/45/37/33/49/45/✓/22/49/68/29/28/ > 40/—/53) + smoke18 — ZERO regressões. Cython prioritário: o VICReg > completo delega ao kernel compilado (`motor=cython` medido) com > fallback honesto. Próximo passo: v18 (SonicMoE + ReplaySSM) e v20 > (integração da tabela no treinador com produtores de sinal reais). ## O que há de novo no v16 — KHMAMBAJEPA (provas em `docs/matematica/28`, memória em `PLANO_KHMAMBAJEPA.md`) | inovação | onde | prova | |---|---|---| | **QUANTIZAÇÃO TORCHAO REAL (inferência)** com detecção automática CPU/GPU: subclass `Int8Tensor` (kernel nativo `int8pack` no CPU; int4 tinygemm em CUDA sm≥8.0) — **237 camadas, compressão 3,92×, erro relativo 0,39% ≤ cota h/√12 (Teo 28.1), Δperda FP32→int8 = 0,000**; exclusões provadas (lm_head — sensibilidade exponencial; especialistas MoE — `aten.stack` ausente no subclass; camadas finas); rollback atômico (Teo 28.4) | `quanta/torchao_quant.py` (novo), `config.py` | Teos 28.1–28.4 | | **MC-JEPA/Brain-JEPA em CYTHON** (`mc_jepa.pyx` — OpenMP/BLAS): perda VICReg + **GRADIENTE ANALÍTICO** (o rascunho tinha perda sem gradiente): cancelamento EXATO do centro na variância (Σ centrado=0, eq. 28.12), covariância em forma fechada (eq. 28.14); validação: diferença central 4,2e-11 (regime sem kink), ≡ autograd torch 9,6e-9; ponte autograd `MCJepaFn` — treino ponta a ponta; **o fator ½ mascarado por verificações inconsistentes foi EXPOSTO pelo FD e corrigido** | `acelerado/mc_jepa.pyx` (novo), `treino/jepa_cython.py` (novo) | Teo 28.9 | | **GUARDA ANTI-COLAPSO do passo Brain-JEPA**: φ = fração de features com σ < 0,1γ; passo REJEITADO quando φ > 0,5 (o rascunho treinava colapsado — ponto fixo ruim de L_inv) | `treino/jepa_cython.py` | Teo 28.10 | | **AUTORREGULAÇÃO TOTAL (treino + inferência)**: recursões de Robbins–Monro MULTIPLICATIVAS em log-escala (Σa=∞, Σa²<∞ ⟹ convergência q.c.; separação de duas escalas de Borkar): lr (progresso padronizado), λ's auxiliares (razão aux ≤ ½ — mantém a CE primária), MoE (entropia das frações de roteamento), TODOS com limites seguros e nascimento neutro; **INFERÊNCIA: temperatura calibrada por ENTROPIA-ALVO** (bisseção contrátil, erro ≤ 2^-k) em `gerar(temperatura_auto=)` | `nucleo/autorregulador.py` (novo), `treino/treinador.py`, `nucleo/modelo.py` | Teos 28.5–28.8 | | **ROBÔ LeRobot ×4 + MATEMÁTICA ×5 (14 tarefas)**: `allenai/fetchman-data` (902 instruções REAIS de meta/tasks.parquet), `endoard/grab_ball_3cam_skin`, `SoSolaris/Astra_test_*`, `mulligan/sim-square-narrow-c00-teleop-mixed` (frames de câmera com orçamento honesto — ≤4 mp4/fonte, meta documenta); `pltops/evosynth-gsm8k`, `HuggingFaceH4/MATH-500`, `EleutherAI/hendrycks_math` ×2, `open-r1/OpenR1-Math-220k`, `IFM/Math-Reasoning@socratic` — resposta canônica VERIFICÁVEL (sinal de rótulo ZERO); degradados documentados: `heatherwhite/math-collection` (só schema sample) e `3DTopia/4DNeX-10M` (tar.gz ~680 MB não amostrável) | `tarefas.py`, `dados/streaming.py`, `config.py`, `scripts/19_teste_v16.py` | Teos 28.8-b/c | > ✅ **TESTE REAL v16** (corpus 903 = 620 v13/v14 + 283 novos): baseline v15 > 9,769→5,395 (**1,811×**); v16 com JEPA+VICReg(λ=0.1)+autorreg 9,724→7,501 > (1,296×) — **leitura honesta**: o termo auxiliar de representação troca > velocidade de CE por representação sem colapso (var_latente 0,70, guarda > ativa); a própria teoria (Teo 28.7-ii) prescreve λ≤0,1 — a razão auxiliar > 0,8 com λ=0,3 VIOLAVA a cota e foi corrigida. **torchao: 3,92× com > Δperda 0,000** (int8 real). Autorregulação viva (demo a0 acelerado: > λ_moe_lb 1,00→1,74, lr 1,00→1,04; temperatura por entropia-alvo na > inferência). Suíte v16: 45 verificações verdes; regressão v1–v15 > completa. Relatório: `telemetria_out/metricas_v16_*.json`. ## O que houve no v14 (provas em `docs/matematica/27`) | inovação | onde | prova | |---|---|---| | **GSQ+RCO no RANDOM FOREST (eficiente)**: buffer compacto (id uint8 + norma fp16 = **3 B/amostra** vs 4d B — **256×**; matriz densa só no retreino, just-in-time); CODEBOOK STIEFEL aprendido pelo path suave da DNN (gradiente riemanniano — RGD); **DECORRELAÇÃO DAS ÁRVORES**: Cov(⟨u,c_a⟩,⟨u,c_b⟩) = ⟨c_a,c_b⟩/d = 0 para átomos ⊥ — derruba a parcela ρσ² de Breiman que o bagging NÃO remove; pesos de árvore ∝ 1/Var (Teo 23.7 fechado) | `ensemble/cabecas.py` (CabecaRF_GSQ), `quanta/gsq_rco.py` (QuantizadorGSQRF) | Teos 27.1, 27.3 | | **RCO nas NoPE (W_q, W_k ∈ St(d,d))**: cota ESTRUTURAL do logit ℓ_max ≤ ‖W_q‖₂‖W_k‖₂·max‖x‖²/√dh = d/√dh = **27,7 < τ_qk = 100** — QK-Clip ESTRUTURALMENTE INATIVO (a restrição riemanniana SUBSTITUI o clip corretivo; contraprova sem RCO: 3.269); proporção 5:1 preservada | `mamba3/hybrid.py`, `mamba3/tronco.py` | Teo 27.2 | | **GATE GSQ nos MECANISMOS DE ATENÇÃO**: seleção global/janela/linear dos encoders quantizada (GateGSQ — Concrete→Categorical com τ compartilhado; nascimento neutro uniforme; exploração Gumbel-max) + gate cooperativo com softmax_gsq sobre logits x-dependentes | `percepcao/atencao.py`, `percepcao/ortogonais.py`, `nucleo/modelo.py` | Teo 27.4 | | **AJUSTE ANALÍTICO K/τ_min (compressão × erro)**: J(K) = (1−λ_c)·ε²(K) + λ_c·log₂K/log₂d; **K\* = argmin por varredura EXATA** sobre o espectro REAL do buffer (verificação independente idêntica — K\*=68); **τ_min\* = min(barreira, Δ₂/4)** com Δ₂ o gap real dos logits (afiamento ≥ 98,2%); ECKART–YOUNG no modo subespaço: ε² = 1 − E(K) (Ky Fan) — ε² 0,75 → 0,55 por RGD | `quanta/gsq_rco.py` (ajustar_k_tau_min), `ensemble/cabecas.py` (calibrar_k_tau_min) | Teos 27.5, 27.6 | | **PERCEPÇÃO CONJUNTA + CINZA PARALELO**: `PercepcaoConjunta` (imagem ⊕ LRA-iluminação; **DETECÇÃO PARALELA DE ESCALA DE CINZA** sobre a imagem CRUA — χ = (max−min)/(max+ε), s = 1−χ̄: identidade R=G=B ⟹ s=1 EXATO, Lipschitz 2δ/m̄ honesta, gate γ_c nascido 0); nascimento neutro α=0 (‖Δ‖ = 0,0 exato); canal 3D intacto (não-expansão T25.4 preservada) | `percepcao/percepcao_conjunta.py` (novo), `percepcao/vit_lra.py` | Teos 27.7, 27.8 | | **LOTE EFETIVO por ACUMULAÇÃO DE GRADIENTE** (requisito "aumentar lote" sob RAM 4 GiB): E[ĝ_acc] = ∇L(lote cheio) EXATO (linearidade); Var ↓ √n_acc; lote FÍSICO 4 (RAM) · EFETIVO 2–16; τ avança por OTIMIZADOR (não por micro); PCGrad compatível; exato em modelo linear medido (3e-8) | `treino/treinador.py` | Teo 27.9 | | **Alcance configurável (opt-in)**: `gsq_rco.alcance = [alinhamento, nope, gate_atencao, gate_cooperativo]` + `ensemble.quant_gsq` + `modelo.percepcao_conjunta` + `treino.lote_efetivo` — cfg v13 reproduz o v13 BIT-A-BIT (regressão T27.10) | `config.py` | Teo 27.11 | ## O que houve no v13 (provas em `docs/matematica/26`) | inovação | onde | prova | |---|---|---| | **GSQ (Gumbel-Softmax Quantization)**: logits (n×K) + codebook de centros; y_soft = softmax((l+g)/τ) com g ~ Gumbel(0,1); τ→0 ⟹ one-hot a.s. (Concrete→Categorical); barreira do gradiente 1/(2τ) ⟹ piso τ_min = 0,25 | `quanta/gsq_rco.py` | Teos 26.4-i/ii | | **DECAYMENTO ANALÍTICO de τ**: τ(t) = τ_min + (τ_0−τ_min)·e^(−t/T_τ); inversão exata t*(δ) = T_τ·ln((τ_0−τ_min)/δ) ⟹ **T_τ = t_alvo/ln((τ_0−τ_min)/δ)** (defaults: τ_0=2,0, τ_min=0,25, δ=0,05, t_alvo=600 ⟹ T_τ=308,1); Σ 1/τ(t) finita (Robbins–Monro preservado) | `quanta/gsq_rco.py` (AgendadorTau), `treino/treinador.py` (hook pós-step) | Teos 26.5-i/ii/iii | | **RCO — STIEFEL (matriz ortogonal COMPLETA)**: W_ort = R(y_soft·C) com retração QR de sinal positivo — W_ortᵀW_ort = I EXATO a cada forward (2,9e-14 float64; 7,9e-06 float32) — restrição INVARIANTE do fluxo (sem renormalização periódica); retração alternativa polar/SVD (Procrustes — Eckart–Young) | `quanta/gsq_rco.py` (RetracaoStiefel/MatrizStiefel), `acelerado/rco_gsq.pyx` | Teos 26.1, 26.1-b, 26.9-i | | **GRADIENTE RIEMANNIANO no backward (Projeção da Tangente)**: g = P_Y(Ĝ) = Ĝ − Y·sym(YᵀĜ) — adjunto EXATO no tangente (err ≤ 5,7e-10), gradiente tangente (resíduo 3,8e-14), LEMA DA DESCIDA no manifold (4,39 → 0,68); treino PONTA A PONTA (RGD de Absil/Boumal no autograd) | `quanta/gsq_rco.py` | Teos 26.2, 26.3-a/b/c/d | | **KERNEL CYTHON OpenMP/BLAS/LAPACK**: rascunho do usuário analisado — 5 bugs corrigidos (B1 alocação em nogil; B2 LAPACK column-major; B3 work-query + info; B4 GEMM + layout col-major; B5 aliasing in-place no sinal) e 4 melhorias (dgemm AVX-512, −ffast-math REMOVIDA com justificativa IEEE-754, prange static, métricas/seed expostos) | `acelerado/rco_gsq.pyx` (novo), `acelerado/setup.py` | Teo 26.6, doc 26 §5 | | **PIPELINE HÍBRIDO CPU/GPU com detecção automática**: CUDA → CuPy → CPU OpenMP; mesma semente Gumbel nas engines; equivalência provada — PROJETOR colunar único Q·Qᵀ = P_span(M) (QR×polar: 1,9e-15, vale rank-deficiente) e MESMA retração QR-sign em engines distintas (2,4e-13, rank cheio); QR-sign ≠ polar (rotação W = HR⁻¹ — nota honesta) | `scripts/12_gsq_rco_hibrido.py` (novo), `quanta/gsq_rco.detectar_hardware` | Teos 26.7, 26.8-a/b/c/d/e | | **Integração treino**: modo de alinhamento opt-in ("qr" default — nascimento neutro; "rco"; "gsq_rco"), agendador de τ COMPARTILHADO no treinador, telemetria `gsq_rco/tau·entropia·erro_ort`, gate GSQ no AdamW (Newton-Schulz proibido em parâmetros de seleção — Teo 26.10) | `nucleo/modelo.py`, `treino/treinador.py`, `treino/otimizadores.py`, `config.py` | Teos 26.9, 26.10, 26.11 | | **Métricas verificadas (A/B com dados reais)**: GSQ+RCO aprende 1,112× vs 1,081× do baseline em 40 passos (τ ainda alto — o ganho cresce com o afiamento); gradientes vivos nos 3 grupos (logits 6,9e-3 · centros 9,9e-3 · escala 3,3e-2) | `scripts/13_treino_curto_v13.py` (novo), `telemetria_out/metricas_v13.json` | doc 26 §8 | ## O que houve no v12 (provas em `docs/matematica/24` e `25`) | inovação | onde | prova | |---|---|---| | **TRONCO MAMBA-3 substitui o transformer**: a pilha causal principal (6 camadas) agora é `CamadaTroncoM3` — 5 Mamba-3 seletivas + 1 NoPE (proporção EXATA do requisito), microunidades/MoE/roteador preservados nos canais; MixtureOfAttention REMOVIDA do tronco | `mamba3/tronco.py` (novo), `nucleo/modelo.py` | Teos 24.12, 24.14 | | **Decode INCREMENTAL equivalente à varredura**: prefill semeia (h_L, janela) e o decode T=1 aplica a recorrência de UM passo — memória O(1)/camada Mamba-3, KV-cache só na NoPE (÷6); Δ = 1,8e-06 medido | `mamba3/hybrid.py`, `kernel.py` | Teo 24.13 | | **MuonClip + AdamW**: Muon (momentum Nesterov + Newton-Schulz quintico — descida MAIS ÍNGREME sob ‖·‖₂, progresso ∝ ‖G‖_*) nas matrizes do tronco; AdamW nas tabelas lexicais/vetores (ortogonalização proibida — Teo 24.6); UM otimizador, compatível com ABMO/CIAR/RPP (η único — Teo 24.9) | `treino/otimizadores.py` (novo) | Teos 24.1–24.11 | | **QK-Clip**: ℓ_max medido por forward; W_q escalado por γ = τ/ℓ_max pós-step — invariante ℓ_max ≤ τ, softmax JAMAIS satura (p_max limitado), W_k/W_v intocados | `treino/otimizadores.py` | Teos 24.7–24.8 | | **Percepção 3D PROVADA**: profundidade por bins ORDINAIS (isotonia — 0 inversões), distância radial LIPSCHITZ (3π/R_max), camadas topológicas com separação mínima, fusão NÃO-EXPANSIVA (α+β+γ=1) | `percepcao/profundidade.py` (novo), `mamba3/mamba3vl.py` | Teos 25.1–25.4 | | **ACELERAÇÃO da percepção 3D**: O(P) vs O(P²) em 6 camadas — P*=320 pontos de equilíbrio; 1,65× @P=500, 3,61× @P=2000, →6× com P (contagem no teste) | `percepcao/profundidade.py` | Teos 25.5–25.6 | | **Produtor 3D com dados REAIS**: nuvens do lote visual pelo proxy calibrado z = 1 − L^γ (monotônico, Lipschitz, DECLARADO); Mamba-3VL TREINA (codificar_multimodal sem no_grad, gradiente na nuvem + profundidade) | `treino/treinador.py` | Teo 25.7 | | **ACESSO LÓGICO AOS DIFUSORES**: `RoteadorDifusao` — partição bayesiana DISJUNTA e COMPLETA das rotas (txt2img/img2img/inpaint), prior de intenção limitado (entropia ≤ ln 13), Teo 17.1 com embeddings REAIS, seed determinística, PNG no retorno, import LAZY de diffusers | `geracao/difusao.py`, `nucleo/modelo.gerar_imagem` | Teos 25.8–25.10 | | **Órfãos corrigidos (13)**: bug `LISTA_TAREFAS` sem import (NameError latente na fase SOM), bug `_ultimo_oculto_mamba3` (features do ensemble nunca vinham do Mamba-3), `perda_total` morta REMOVIDA, INTENCOES 13 = fonte única, janela 1M na sessão adhoc, CacheRAM no cache RLHF, HubFerramentas+CicloPDCA no canal/serviço, documentos locais na coleta, classificador de protótipos no teste real | múltiplos módulos | doc 25 §9 (tabela) | | **Fidelidade de recarga (análise de métricas)**: sonda δ 2,0 → 0,021 (pós-treino) e **0,0 exato** em eval limpo; janela/classificador cobertos pelos extras mx/ (sem duplicação de memória no safetensors — detectado e corrigido no treino real) | `treino/estado_integral.py` | doc 25 §10 | ## Reprodução (corrida v12) ```bash python3 scripts/01_verificar_ambiente.py python3 scripts/10_teste_dados_reais.py # GATE: dados reais ANTES do treino longo python3 scripts/11_coleta_curta_v12.py # coleta curta (validação) — opcional python3 scripts/02_coletar_corpus.py # coleta completa (inclui fonte local v12) python3 scripts/03_treinar_tokenizador.py python3 scripts/04_treinar.py --orcamento 1500 \ --teto_horas 9.0 --continuar_ate_horas 8.0 \ --estados_hf # estados ao Hub antes de 900 MB python3 scripts/05_avaliar.py python3 scripts/08_graficos_card.py python3 scripts/06_publicar_hf.py # commit único (sem uploads parciais) ``` **Núcleos acelerados (Cython+C — OBRIGATÓRIOS, Teo 21.13):** ```bash cd src/khtst/acelerado && python3 setup.py build_ext --inplace python3 -c "from khtst.acelerado import status; print(status())" ``` ## Arquitetura v12 (12 tarefas, ~18,0M parâmetros) `src/khtst/` — núcleo (LM head empatada + janela 393K), **mamba3/** (kernel trapezoidal + **tronco híbrido 5:1** + decode incremental + 3D-VL bidirecional + checkpointing), **percepcao/profundidade.py** (canais provados de profundidade/distância/camadas), **geracao/difusao.py** (roteador lógico dos difusores), **treino/otimizadores.py** (MuonClip+AdamW), ensemble/ (RF + DNN + destilação bidirecional + engram), memória (S-SOM + 8 variantes), treino (4 fases + PCGrad + CIAR + gates + DPO RLHF real), servico (adhoc com ferramentas + janela 1M), quanta (W8A8), telemetria, qualidade (Agente Engenheiro), acelerado (Cython+C). Tarefas: `lm · noticia · pontuacao · instrucao · tts · vqa · ocr · imagem_caption · asr · traducao · raciocinio · classificacao` | componente | detalhe | |---|---| | **tronco principal (v12)** | **MAMBA-3 híbrido 5:1** — 6 camadas [M,M,M,M,M,A], d=192, N=16, rank MIMO 4, d_ff 512; microunidades+MoE enc-dec nas camadas compostas; checkpointing ON | | decode | prefill varredura → estados (h, janela) → recorrência de 1 passo; KV-cache SÓ na NoPE (1/6 das camadas) | | **otimizador** | **MuonClip + AdamW**: Newton-Schulz 5 it. nas matrizes (momentum 0,95 nesterov, escala 0,2·max(1,√(m/n))), AdamW (0,9; 0,95; wd 0,01) nas tabelas; QK-Clip τ=100 | | **Mamba-3VL** | 3D-VL bidirecional (6 camadas) + percepção de profundidade (16 bins), distância radial, 4 camadas topológicas; nuvem (B,P,3) ⊕ texto | | **difusores** | roteador lógico txt2img/img2img/inpaint + força semântica real + seed determinística + ciclo fechado SOM | | **ensemble** | RF 32 árvores (warm_start) × DNN 96-48 × engram 256×8; KD simétrica τ=2; features DO TRONCO Mamba-3; **v14: buffer COMPACTO GSQ (3 B/amostra) + codebook Stiefel + pesos ∝ 1/Var** | | **percepção conjunta (v14)** | imagem ⊕ LRA-iluminação com detecção PARALELA de cinza (s = 1−χ̄) e fusão neutra α=0; canal 3D da profundidade fundido no Mamba-3VL (não-expansivo) | | janela de contexto | entrada 256K + saída 128K (N_MAX_TOKENS = 393.216), janelas paralelas W=192K/E=64K | | classificadores | Jev escolha/escore/noul + critérios DINÂMICOS + classificador de protótipos reais | ## Verificações (verdes) - **Suíte v14 (nova)**: 39 ✓ — decorrelação das árvores (Cov 3e-4 vs 6,3e-3), cota do logit NoPE-RCO (4,3 ≤ 27,7; contraprova 3.269), buffer VQ 256×, Eckart–Young no subespaço (0,55 < 0,75), K\* argmin exato (68/68), barreira dupla τ_min, cinza (identidade s=1,0; Lipschitz 0,034 ≤ 0,040), percepção conjunta neutra (‖Δ‖ = 0,0), acumulação exata (3e-8), integração total + regressão v13. - **13 suítes verdes: 465 ✓ / 0 ✗** (v1 25 · v2 36 · v3 ✓ · v4 37 · v5 32 · v6 48 · v7 44 · v9 21 · v10 ✓ · v11 ✓ · v12 28 · v13 27 · v14 39). ## Histórico - **v20** — IPC durável (10 correções do usuário com provas Teos 32.1–32.9), estresse IPC (1 B→1 MiB, p50/p99) e Modelo→Modelo em TREINO REAL aprovados, PID-MoE (Teo 32.10), Stiefel rígido + retração polar (Teo 32.11), GuardaRuntime de RAM (Teo 32.12); suíte v20 48/48, regressão v1–v19 zero. - **v19** — acoplamento JEPA↔encoders de produção com A/B/C pareado (Teos 31.1–31.7), SonicMoE no tronco opt-in com equivalência provada, dados reais 1015 registros; suíte v19 34/34, regressão zero. - **v18** — robustez provada (Teos 30.1–30.8), IPC Modelo→Modelo Rust/Cython (Teos 30.9–30.10), família JEPA 10 variantes + SonicMoE + ReplaySSM + hardware chinês (Teos 30.11–30.15); suíte v18 46/46, regressão v1–v17 zero. - **v11** — Mamba-3 híbrido auxiliar, Mamba-3VL, checkpointing, ensemble RF×DNN×KD×Engram, 12 tarefas, 9 datasets + RLHF real, estados < 900 MB. - **v10** — janela paralela 256K→128K, classificadores Jev (ppl_lm 2,58 vs AURORA 17,09). **v9** — estado integral + gates + CIAR. Docs 00–25 com as provas completas. ## Licença MIT (herdada do projeto).