V6.5-V3-hyp-synergy: SynergyHypothesisEnsemble (4 pilares: diversidade k-means++, cooperação, competição, ortogonalidade) + testes de validação (7 files)
Browse files
reports/fase2_integration_test_report.json
ADDED
|
@@ -0,0 +1,81 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"test": "FASE2 integration with new hyp_t.py",
|
| 3 |
+
"module": "bigru_t.model.hyp_t",
|
| 4 |
+
"version": "V6.5-V3-hyp-synergy",
|
| 5 |
+
"timestamp": "2026-08-09T17:48:20",
|
| 6 |
+
"n_pass": 12,
|
| 7 |
+
"n_fail": 0,
|
| 8 |
+
"checks": [
|
| 9 |
+
{
|
| 10 |
+
"name": "Import hyp_t (HypT, SynergyHypothesisEnsemble)",
|
| 11 |
+
"passed": true,
|
| 12 |
+
"details": ""
|
| 13 |
+
},
|
| 14 |
+
{
|
| 15 |
+
"name": "Import KohonenLearningSystemV2",
|
| 16 |
+
"passed": true,
|
| 17 |
+
"details": ""
|
| 18 |
+
},
|
| 19 |
+
{
|
| 20 |
+
"name": "KLS V2 inicializado",
|
| 21 |
+
"passed": true,
|
| 22 |
+
"details": "som_grid=(4,4,4,4), n_hyp=16, max=32, vqvae2=True"
|
| 23 |
+
},
|
| 24 |
+
{
|
| 25 |
+
"name": "HypT.forward funciona",
|
| 26 |
+
"passed": true,
|
| 27 |
+
"details": "shape=(4, 1024)"
|
| 28 |
+
},
|
| 29 |
+
{
|
| 30 |
+
"name": "SynergyEnsemble.forward funciona",
|
| 31 |
+
"passed": true,
|
| 32 |
+
"details": "shape=(4, 1024), losses_total=0.015663"
|
| 33 |
+
},
|
| 34 |
+
{
|
| 35 |
+
"name": "KLS processou 200/200 amostras",
|
| 36 |
+
"passed": true,
|
| 37 |
+
"details": "processed=200, buffer_size=200"
|
| 38 |
+
},
|
| 39 |
+
{
|
| 40 |
+
"name": "KLS.train_hypotheses() executou sem crash",
|
| 41 |
+
"passed": true,
|
| 42 |
+
"details": "elapsed=2.64s, active=True, reason=n/a"
|
| 43 |
+
},
|
| 44 |
+
{
|
| 45 |
+
"name": "train_hypotheses loss_final finito",
|
| 46 |
+
"passed": true,
|
| 47 |
+
"details": "loss_final=0.693102"
|
| 48 |
+
},
|
| 49 |
+
{
|
| 50 |
+
"name": "Métricas SOM finitas",
|
| 51 |
+
"passed": true,
|
| 52 |
+
"details": "QE=0.0208, TE=0.8650, KL=0.4429, VE=0.9990"
|
| 53 |
+
},
|
| 54 |
+
{
|
| 55 |
+
"name": "HypT state_dict round-trip",
|
| 56 |
+
"passed": true,
|
| 57 |
+
"details": "params=1135234"
|
| 58 |
+
},
|
| 59 |
+
{
|
| 60 |
+
"name": "VQ-VAE-2 ativo (user: não autorizei desativação)",
|
| 61 |
+
"passed": true,
|
| 62 |
+
"details": "enable_vqvae2=True, compressor=present"
|
| 63 |
+
},
|
| 64 |
+
{
|
| 65 |
+
"name": "Buffer 864 canônico configurado",
|
| 66 |
+
"passed": true,
|
| 67 |
+
"details": "max=864, canonical=864, fallback=256"
|
| 68 |
+
}
|
| 69 |
+
],
|
| 70 |
+
"canonical_params": {
|
| 71 |
+
"N_HYPOTHESES": 16,
|
| 72 |
+
"MAX_N_HYPOTHESES": 32,
|
| 73 |
+
"HYP_TRAIN_STEPS": 30,
|
| 74 |
+
"HYP_HIDDEN_DIM": 256,
|
| 75 |
+
"SOM_GRID": "(4,4,4,4) = 256 neurons",
|
| 76 |
+
"HIDDEN_DIM": 1024,
|
| 77 |
+
"VOCAB_SIZE": 16384,
|
| 78 |
+
"BUFFER_MAX_SIZE": 864,
|
| 79 |
+
"VQ_VAE_2": "ACTIVE (user: não autorizei desativação)"
|
| 80 |
+
}
|
| 81 |
+
}
|
reports/hyp_t_synergy_test_report.json
ADDED
|
@@ -0,0 +1,190 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"module": "bigru_t.model.hyp_t",
|
| 3 |
+
"version": "V6.5-V3-hyp-synergy",
|
| 4 |
+
"timestamp": "2026-08-09T17:43:40",
|
| 5 |
+
"n_pass": 25,
|
| 6 |
+
"n_fail": 0,
|
| 7 |
+
"checks": [
|
| 8 |
+
{
|
| 9 |
+
"name": "N_HYPOTHESES_CANONICAL == 16",
|
| 10 |
+
"status": "PASS",
|
| 11 |
+
"details": "N=16",
|
| 12 |
+
"passed": true
|
| 13 |
+
},
|
| 14 |
+
{
|
| 15 |
+
"name": "MAX_N_HYPOTHESES_CANONICAL == 32",
|
| 16 |
+
"status": "PASS",
|
| 17 |
+
"details": "MAX=32",
|
| 18 |
+
"passed": true
|
| 19 |
+
},
|
| 20 |
+
{
|
| 21 |
+
"name": "HYP_TRAIN_STEPS_CANONICAL == 30",
|
| 22 |
+
"status": "PASS",
|
| 23 |
+
"details": "steps=30",
|
| 24 |
+
"passed": true
|
| 25 |
+
},
|
| 26 |
+
{
|
| 27 |
+
"name": "HYP_HIDDEN_DIM_CANONICAL == 256",
|
| 28 |
+
"status": "PASS",
|
| 29 |
+
"details": "hidden=256",
|
| 30 |
+
"passed": true
|
| 31 |
+
},
|
| 32 |
+
{
|
| 33 |
+
"name": "k-means++ shapes",
|
| 34 |
+
"status": "PASS",
|
| 35 |
+
"details": "shape=(8, 16)",
|
| 36 |
+
"passed": true
|
| 37 |
+
},
|
| 38 |
+
{
|
| 39 |
+
"name": "k-means++ unitário",
|
| 40 |
+
"status": "PASS",
|
| 41 |
+
"details": "norms mean=1.0000",
|
| 42 |
+
"passed": true
|
| 43 |
+
},
|
| 44 |
+
{
|
| 45 |
+
"name": "k-means++ baixa correlação",
|
| 46 |
+
"status": "PASS",
|
| 47 |
+
"details": "mean_corr=-0.0257",
|
| 48 |
+
"passed": true
|
| 49 |
+
},
|
| 50 |
+
{
|
| 51 |
+
"name": "Forward batch=1",
|
| 52 |
+
"status": "PASS",
|
| 53 |
+
"details": "shape=(1, 1024), finite=True, pi_sum_ok=True",
|
| 54 |
+
"passed": true
|
| 55 |
+
},
|
| 56 |
+
{
|
| 57 |
+
"name": "Forward batch=4",
|
| 58 |
+
"status": "PASS",
|
| 59 |
+
"details": "shape=(4, 1024), finite=True, pi_sum_ok=True",
|
| 60 |
+
"passed": true
|
| 61 |
+
},
|
| 62 |
+
{
|
| 63 |
+
"name": "Forward batch=8",
|
| 64 |
+
"status": "PASS",
|
| 65 |
+
"details": "shape=(8, 1024), finite=True, pi_sum_ok=True",
|
| 66 |
+
"passed": true
|
| 67 |
+
},
|
| 68 |
+
{
|
| 69 |
+
"name": "Forward batch=16",
|
| 70 |
+
"status": "PASS",
|
| 71 |
+
"details": "shape=(16, 1024), finite=True, pi_sum_ok=True",
|
| 72 |
+
"passed": true
|
| 73 |
+
},
|
| 74 |
+
{
|
| 75 |
+
"name": "Forward batch=32",
|
| 76 |
+
"status": "PASS",
|
| 77 |
+
"details": "shape=(32, 1024), finite=True, pi_sum_ok=True",
|
| 78 |
+
"passed": true
|
| 79 |
+
},
|
| 80 |
+
{
|
| 81 |
+
"name": "HypT legacy shape",
|
| 82 |
+
"status": "PASS",
|
| 83 |
+
"details": "shape=(4, 1024)",
|
| 84 |
+
"passed": true
|
| 85 |
+
},
|
| 86 |
+
{
|
| 87 |
+
"name": "HypT legacy finite",
|
| 88 |
+
"status": "PASS",
|
| 89 |
+
"details": "norm_mean=0.9274",
|
| 90 |
+
"passed": true
|
| 91 |
+
},
|
| 92 |
+
{
|
| 93 |
+
"name": "HypT stop_grad isola x",
|
| 94 |
+
"status": "PASS",
|
| 95 |
+
"details": "grad_sum=0.000000",
|
| 96 |
+
"passed": true
|
| 97 |
+
},
|
| 98 |
+
{
|
| 99 |
+
"name": "Treino 10 steps finite",
|
| 100 |
+
"status": "PASS",
|
| 101 |
+
"details": "loss[0]=0.0247, loss[-1]=0.0174",
|
| 102 |
+
"passed": true
|
| 103 |
+
},
|
| 104 |
+
{
|
| 105 |
+
"name": "Treino 10 steps convergiu",
|
| 106 |
+
"status": "PASS",
|
| 107 |
+
"details": "delta=0.0073",
|
| 108 |
+
"passed": true
|
| 109 |
+
},
|
| 110 |
+
{
|
| 111 |
+
"name": "Gating aprende (pi_max ≠ pi_min após treino)",
|
| 112 |
+
"status": "PASS",
|
| 113 |
+
"details": "pi_max=0.0675, pi_min=0.0602, diff=0.007364, entropy=0.9999",
|
| 114 |
+
"passed": true
|
| 115 |
+
},
|
| 116 |
+
{
|
| 117 |
+
"name": "OOM-guard forward sem crash",
|
| 118 |
+
"status": "PASS",
|
| 119 |
+
"details": "shape=(64, 1024), n_active_used=16",
|
| 120 |
+
"passed": true
|
| 121 |
+
},
|
| 122 |
+
{
|
| 123 |
+
"name": "state_dict round-trip",
|
| 124 |
+
"status": "PASS",
|
| 125 |
+
"details": "diff_before=0.000003, diff_after=0.000000",
|
| 126 |
+
"passed": true
|
| 127 |
+
},
|
| 128 |
+
{
|
| 129 |
+
"name": "Loss loss_coherence finite",
|
| 130 |
+
"status": "PASS",
|
| 131 |
+
"details": "value=0.000000",
|
| 132 |
+
"passed": true
|
| 133 |
+
},
|
| 134 |
+
{
|
| 135 |
+
"name": "Loss loss_orthogonality finite",
|
| 136 |
+
"status": "PASS",
|
| 137 |
+
"details": "value=0.006278",
|
| 138 |
+
"passed": true
|
| 139 |
+
},
|
| 140 |
+
{
|
| 141 |
+
"name": "Loss loss_diversity finite",
|
| 142 |
+
"status": "PASS",
|
| 143 |
+
"details": "value=0.000000",
|
| 144 |
+
"passed": true
|
| 145 |
+
},
|
| 146 |
+
{
|
| 147 |
+
"name": "Loss loss_l2 finite",
|
| 148 |
+
"status": "PASS",
|
| 149 |
+
"details": "value=0.000000",
|
| 150 |
+
"passed": true
|
| 151 |
+
},
|
| 152 |
+
{
|
| 153 |
+
"name": "Loss loss_synergy_total finite",
|
| 154 |
+
"status": "PASS",
|
| 155 |
+
"details": "value=0.006278",
|
| 156 |
+
"passed": true
|
| 157 |
+
}
|
| 158 |
+
],
|
| 159 |
+
"canonical_params": {
|
| 160 |
+
"N_HYPOTHESES": 16,
|
| 161 |
+
"MAX_N_HYPOTHESES": 32,
|
| 162 |
+
"HYP_TRAIN_STEPS": 30,
|
| 163 |
+
"HYP_HIDDEN_DIM": 256
|
| 164 |
+
},
|
| 165 |
+
"final_losses": {
|
| 166 |
+
"loss_coherence": 1.302918803958164e-07,
|
| 167 |
+
"loss_orthogonality": 0.006278240587562323,
|
| 168 |
+
"loss_diversity": 0.0,
|
| 169 |
+
"loss_l2": 1.7783525763093166e-08,
|
| 170 |
+
"loss_synergy_total": 0.0062783886678516865
|
| 171 |
+
},
|
| 172 |
+
"final_stats": {
|
| 173 |
+
"forward_count": 30,
|
| 174 |
+
"active_count": 16,
|
| 175 |
+
"delta_scale": 0.9730966687202454,
|
| 176 |
+
"losses": {
|
| 177 |
+
"loss_coherence": 0.002141021192073822,
|
| 178 |
+
"loss_orthogonality": 0.0009061650489456952,
|
| 179 |
+
"loss_diversity": 1.3244151659819181e-06,
|
| 180 |
+
"loss_l2": 0.0003448219213169068,
|
| 181 |
+
"loss_synergy_total": 0.0033933324739336967
|
| 182 |
+
},
|
| 183 |
+
"pi_entropy": 2.772221565246582,
|
| 184 |
+
"pi_normalized_entropy": 0.999867576106671,
|
| 185 |
+
"pi_max": 0.0675291195511818,
|
| 186 |
+
"pi_min": 0.06016462668776512,
|
| 187 |
+
"delta_norm_mean": 0.16365070641040802,
|
| 188 |
+
"delta_correlation_mean": -0.00023782927019055933
|
| 189 |
+
}
|
| 190 |
+
}
|
scripts/tests/test_fase2_integration.py
ADDED
|
@@ -0,0 +1,442 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
#!/usr/bin/env python
|
| 2 |
+
"""test_fase2_integration.py — Teste de integração FASE2 com novo hyp_t.py.
|
| 3 |
+
|
| 4 |
+
Valida que a mudança em `src/bigru_t/model/hyp_t.py` (que agora contém
|
| 5 |
+
`SynergyHypothesisEnsemble` + wrapper legacy `HypT`) NÃO quebra o pipeline
|
| 6 |
+
de treinamento existente em `kohonen_learning_system.py`.
|
| 7 |
+
|
| 8 |
+
Estratégia:
|
| 9 |
+
1. Inicializa KLS V2 (com VQ-VAE-2 ativo, SOM (4,4,4,4), 16 hipóteses).
|
| 10 |
+
2. Verifica que `HypT` (legado) ainda funciona via import.
|
| 11 |
+
3. Verifica que `SynergyHypothesisEnsemble` (novo) pode ser instanciado
|
| 12 |
+
standalone e produz deltas válidos.
|
| 13 |
+
4. Alimenta o KLS com 200 amostras sintéticas (sem rede, para rapidez).
|
| 14 |
+
5. Executa `train_hypotheses()` do KLS (que usa `HypothesisEnsemble`
|
| 15 |
+
interno, NÃO o `HypT` legado) — valida que o pipeline não quebra.
|
| 16 |
+
6. Computa métricas SOM (QE, TE, KL, VE) e verifica que são finitas.
|
| 17 |
+
7. Verifica que `HypT` pode ser carregado no lugar de `HypothesisEnsemble`
|
| 18 |
+
como uma hipótese single-hyp (compatibilidade futura).
|
| 19 |
+
|
| 20 |
+
User requirement: "ao concluir (testes de FASE2) fazer o upload de hyp_t.py".
|
| 21 |
+
Este teste é a validação final antes do upload.
|
| 22 |
+
"""
|
| 23 |
+
from __future__ import annotations
|
| 24 |
+
import os
|
| 25 |
+
import sys
|
| 26 |
+
import json
|
| 27 |
+
import math
|
| 28 |
+
import time
|
| 29 |
+
import gc
|
| 30 |
+
from pathlib import Path
|
| 31 |
+
from typing import Any, Dict, List
|
| 32 |
+
|
| 33 |
+
# Add project root to PYTHONPATH
|
| 34 |
+
PROJECT_ROOT = Path("/home/z/my-project/BiGRU_T_version")
|
| 35 |
+
sys.path.insert(0, str(PROJECT_ROOT / "src"))
|
| 36 |
+
sys.path.insert(0, str(PROJECT_ROOT))
|
| 37 |
+
|
| 38 |
+
print("=" * 80)
|
| 39 |
+
print("TESTE DE INTEGRAÇÃO FASE2 — Novo hyp_t.py + KLS V2")
|
| 40 |
+
print("=" * 80)
|
| 41 |
+
|
| 42 |
+
import torch
|
| 43 |
+
import torch.nn as nn
|
| 44 |
+
|
| 45 |
+
# Imports do projeto
|
| 46 |
+
from bigru_t.model.hyp_t import (
|
| 47 |
+
HypT,
|
| 48 |
+
SynergyHypothesisEnsemble,
|
| 49 |
+
SynergyConfig,
|
| 50 |
+
create_synergy_ensemble,
|
| 51 |
+
N_HYPOTHESES_CANONICAL,
|
| 52 |
+
MAX_N_HYPOTHESES_CANONICAL,
|
| 53 |
+
HYP_TRAIN_STEPS_CANONICAL,
|
| 54 |
+
HYP_HIDDEN_DIM_CANONICAL,
|
| 55 |
+
)
|
| 56 |
+
from bigru_t.model.kohonen_learning_system import (
|
| 57 |
+
KohonenLearningSystemV2,
|
| 58 |
+
KohonenLearningSystem,
|
| 59 |
+
HypothesisEnsemble,
|
| 60 |
+
DeltaGenerator,
|
| 61 |
+
)
|
| 62 |
+
|
| 63 |
+
results: List[Dict[str, Any]] = []
|
| 64 |
+
def record(name: str, condition: bool, details: str = "") -> None:
|
| 65 |
+
status = "PASS" if condition else "FAIL"
|
| 66 |
+
print(f" [{status}] {name}" + (f": {details}" if details else ""))
|
| 67 |
+
results.append({"name": name, "passed": condition, "details": details})
|
| 68 |
+
|
| 69 |
+
|
| 70 |
+
# ---------------------------------------------------------------------------
|
| 71 |
+
# Test 1: Imports funcionam
|
| 72 |
+
# ---------------------------------------------------------------------------
|
| 73 |
+
print("\n--- Test 1: Imports ---")
|
| 74 |
+
try:
|
| 75 |
+
from bigru_t.model.hyp_t import HypT, SynergyHypothesisEnsemble
|
| 76 |
+
record("Import hyp_t (HypT, SynergyHypothesisEnsemble)", True)
|
| 77 |
+
except Exception as e:
|
| 78 |
+
record("Import hyp_t (HypT, SynergyHypothesisEnsemble)", False, str(e))
|
| 79 |
+
sys.exit(1)
|
| 80 |
+
|
| 81 |
+
try:
|
| 82 |
+
from bigru_t.model.kohonen_learning_system import KohonenLearningSystemV2
|
| 83 |
+
record("Import KohonenLearningSystemV2", True)
|
| 84 |
+
except Exception as e:
|
| 85 |
+
record("Import KohonenLearningSystemV2", False, str(e))
|
| 86 |
+
sys.exit(1)
|
| 87 |
+
|
| 88 |
+
|
| 89 |
+
# ---------------------------------------------------------------------------
|
| 90 |
+
# Test 2: Inicializa KLS V2 com parâmetros canônicos
|
| 91 |
+
# ---------------------------------------------------------------------------
|
| 92 |
+
print("\n--- Test 2: Inicializa KLS V2 ---")
|
| 93 |
+
try:
|
| 94 |
+
kls = KohonenLearningSystemV2(
|
| 95 |
+
vocab_size=16384,
|
| 96 |
+
hidden_dim=1024,
|
| 97 |
+
seq_len=64,
|
| 98 |
+
som_grid=(4, 4, 4, 4), # 256 neurônios (CANÔNICO)
|
| 99 |
+
alpha0=0.5,
|
| 100 |
+
sigma0=2.0,
|
| 101 |
+
lambda_ewc=0.1,
|
| 102 |
+
N_start=4,
|
| 103 |
+
dim_choice="y", # string, não lista
|
| 104 |
+
hypothesis_hidden=[512, 256, 128, 64, 32, 16, 8],
|
| 105 |
+
T_max=100,
|
| 106 |
+
enable_vqvae2=True, # ATIVO (user: "não autorizei desativação")
|
| 107 |
+
enable_reasoning=False, # Não essencial, libera memória
|
| 108 |
+
enable_w8a8=False,
|
| 109 |
+
vqvae2_code_dim=16,
|
| 110 |
+
vqvae2_num_codes_top=64,
|
| 111 |
+
vqvae2_num_codes_bot=128,
|
| 112 |
+
enable_attention=True,
|
| 113 |
+
attention_n_heads=8,
|
| 114 |
+
n_hypotheses=N_HYPOTHESES_CANONICAL, # 16
|
| 115 |
+
max_n_hypotheses=MAX_N_HYPOTHESES_CANONICAL, # 32
|
| 116 |
+
min_n_hypotheses=4,
|
| 117 |
+
n_trials=3,
|
| 118 |
+
min_n_trials=1,
|
| 119 |
+
max_n_trials=6,
|
| 120 |
+
hyp_train_steps=HYP_TRAIN_STEPS_CANONICAL, # 30
|
| 121 |
+
min_hyp_train_steps=10,
|
| 122 |
+
max_hyp_train_steps=80,
|
| 123 |
+
hyp_lr=1e-4,
|
| 124 |
+
hyp_hidden_dim=HYP_HIDDEN_DIM_CANONICAL, # 256
|
| 125 |
+
loss_history_window=8,
|
| 126 |
+
punishment_window=12,
|
| 127 |
+
# buffer_max_size é hardcoded como 864 dentro do __init__ (canonical)
|
| 128 |
+
)
|
| 129 |
+
record(
|
| 130 |
+
"KLS V2 inicializado",
|
| 131 |
+
kls is not None,
|
| 132 |
+
f"som_grid=(4,4,4,4), n_hyp={kls.n_hypotheses}, "
|
| 133 |
+
f"max={kls.max_n_hypotheses}, vqvae2={kls.enable_vqvae2}",
|
| 134 |
+
)
|
| 135 |
+
except Exception as e:
|
| 136 |
+
record("KLS V2 inicializado", False, str(e))
|
| 137 |
+
import traceback; traceback.print_exc()
|
| 138 |
+
sys.exit(1)
|
| 139 |
+
|
| 140 |
+
|
| 141 |
+
# ---------------------------------------------------------------------------
|
| 142 |
+
# Test 3: HypT legado funciona (compatibilidade reversa)
|
| 143 |
+
# ---------------------------------------------------------------------------
|
| 144 |
+
print("\n--- Test 3: HypT legado (compat V6.4) ---")
|
| 145 |
+
try:
|
| 146 |
+
hyp = HypT(
|
| 147 |
+
d_input=256, d_model=256, nhead=4, d_ff=512,
|
| 148 |
+
output_dim=1024, num_layers=1, dropout=0.1,
|
| 149 |
+
)
|
| 150 |
+
o = torch.randn(4, 256)
|
| 151 |
+
delta = hyp(o, stop_grad=True)
|
| 152 |
+
record(
|
| 153 |
+
"HypT.forward funciona",
|
| 154 |
+
delta.shape == (4, 1024) and torch.isfinite(delta).all().item(),
|
| 155 |
+
f"shape={tuple(delta.shape)}",
|
| 156 |
+
)
|
| 157 |
+
except Exception as e:
|
| 158 |
+
record("HypT.forward funciona", False, str(e))
|
| 159 |
+
|
| 160 |
+
|
| 161 |
+
# ---------------------------------------------------------------------------
|
| 162 |
+
# Test 4: SynergyHypothesisEnsemble standalone
|
| 163 |
+
# ---------------------------------------------------------------------------
|
| 164 |
+
print("\n--- Test 4: SynergyHypothesisEnsemble standalone ---")
|
| 165 |
+
try:
|
| 166 |
+
P_som = kls.som_neuron_count # 256 para (4,4,4,4)
|
| 167 |
+
output_dim = kls.som.weights.numel() # 256*4 = 1024
|
| 168 |
+
ens = create_synergy_ensemble(
|
| 169 |
+
input_dim=P_som,
|
| 170 |
+
output_dim=output_dim,
|
| 171 |
+
n_hypotheses=16,
|
| 172 |
+
max_n_hypotheses=32,
|
| 173 |
+
hidden_dim=256,
|
| 174 |
+
use_transformer=False,
|
| 175 |
+
device=torch.device("cpu"),
|
| 176 |
+
seed=42,
|
| 177 |
+
)
|
| 178 |
+
x = torch.randn(4, P_som)
|
| 179 |
+
out = ens(x, return_components=True)
|
| 180 |
+
delta_ens = out["delta_ensemble"]
|
| 181 |
+
record(
|
| 182 |
+
"SynergyEnsemble.forward funciona",
|
| 183 |
+
delta_ens.shape == (4, output_dim) and torch.isfinite(delta_ens).all().item(),
|
| 184 |
+
f"shape={tuple(delta_ens.shape)}, "
|
| 185 |
+
f"losses_total={out['losses']['loss_synergy_total'].item():.6f}",
|
| 186 |
+
)
|
| 187 |
+
except Exception as e:
|
| 188 |
+
record("SynergyEnsemble.forward funciona", False, str(e))
|
| 189 |
+
import traceback; traceback.print_exc()
|
| 190 |
+
|
| 191 |
+
|
| 192 |
+
# ---------------------------------------------------------------------------
|
| 193 |
+
# Test 5: KLS V2 com 200 amostras sintéticas (FASE2 simulada)
|
| 194 |
+
# ---------------------------------------------------------------------------
|
| 195 |
+
print("\n--- Test 5: KLS V2 — 200 amostras textuais + train_hypotheses ---")
|
| 196 |
+
try:
|
| 197 |
+
# Gera 200 frases sintéticas em 4 clusters (para treinar o SOM)
|
| 198 |
+
torch.manual_seed(42)
|
| 199 |
+
n_samples = 200
|
| 200 |
+
sentences: List[str] = []
|
| 201 |
+
labels: List[int] = []
|
| 202 |
+
base_phrases = [
|
| 203 |
+
"o gato dorme na cama tranquilo",
|
| 204 |
+
"o cachorro corre no parque feliz",
|
| 205 |
+
"a casa azul eh bonita grande",
|
| 206 |
+
"o livro verde esta na mesa aberto",
|
| 207 |
+
]
|
| 208 |
+
for i in range(n_samples):
|
| 209 |
+
cluster = i % 4
|
| 210 |
+
# Varia a frase base com sufixos para evitar duplicata exata
|
| 211 |
+
sentences.append(f"{base_phrases[cluster]} amostra {i}")
|
| 212 |
+
labels.append(cluster % 2) # labels 0/1 para BCE
|
| 213 |
+
|
| 214 |
+
# Alimenta o KLS com as amostras (add_data aceita listas)
|
| 215 |
+
n_processed = 0
|
| 216 |
+
batch_size = 50
|
| 217 |
+
for i in range(0, n_samples, batch_size):
|
| 218 |
+
batch_sents = sentences[i:i+batch_size]
|
| 219 |
+
batch_labels = labels[i:i+batch_size]
|
| 220 |
+
try:
|
| 221 |
+
kls.add_data(batch_sents, batch_labels)
|
| 222 |
+
n_processed += len(batch_sents)
|
| 223 |
+
except Exception as e:
|
| 224 |
+
print(f" [warn] add_data error at i={i}: {e}")
|
| 225 |
+
# Processa o buffer a cada batch
|
| 226 |
+
try:
|
| 227 |
+
kls.train_som_on_buffer()
|
| 228 |
+
except Exception as e:
|
| 229 |
+
print(f" [warn] train_som_on_buffer error at i={i}: {e}")
|
| 230 |
+
|
| 231 |
+
record(
|
| 232 |
+
f"KLS processou {n_processed}/{n_samples} amostras",
|
| 233 |
+
n_processed >= 100,
|
| 234 |
+
f"processed={n_processed}, buffer_size={len(kls.buffer_4d)}",
|
| 235 |
+
)
|
| 236 |
+
except Exception as e:
|
| 237 |
+
record(f"KLS processou amostras", False, str(e))
|
| 238 |
+
import traceback; traceback.print_exc()
|
| 239 |
+
|
| 240 |
+
|
| 241 |
+
# ---------------------------------------------------------------------------
|
| 242 |
+
# Test 6: train_hypotheses do KLS (usa HypothesisEnsemble interno)
|
| 243 |
+
# ---------------------------------------------------------------------------
|
| 244 |
+
print("\n--- Test 6: KLS train_hypotheses (HypothesisEnsemble interno) ---")
|
| 245 |
+
try:
|
| 246 |
+
# Treina classifier primeiro (necessário para train_hypotheses)
|
| 247 |
+
# O método correto é activate_hypothesis() (não train_classifier)
|
| 248 |
+
if not kls.classifier_trained:
|
| 249 |
+
try:
|
| 250 |
+
kls.activate_hypothesis()
|
| 251 |
+
print(f" [info] classifier_trained={kls.classifier_trained}")
|
| 252 |
+
except Exception as e:
|
| 253 |
+
print(f" [info] activate_hypothesis skipped: {e}")
|
| 254 |
+
|
| 255 |
+
# Agora treina hipóteses
|
| 256 |
+
t0 = time.time()
|
| 257 |
+
result = kls.train_hypotheses()
|
| 258 |
+
elapsed = time.time() - t0
|
| 259 |
+
record(
|
| 260 |
+
"KLS.train_hypotheses() executou sem crash",
|
| 261 |
+
isinstance(result, dict),
|
| 262 |
+
f"elapsed={elapsed:.2f}s, active={result.get('active', '?')}, "
|
| 263 |
+
f"reason={result.get('reason', 'n/a')}",
|
| 264 |
+
)
|
| 265 |
+
# Verifica que o loss é finito (se o treino foi ativo)
|
| 266 |
+
if isinstance(result, dict) and result.get("active", False):
|
| 267 |
+
loss_final = result.get("loss_final", result.get("loss_last", None))
|
| 268 |
+
if loss_final is not None:
|
| 269 |
+
record(
|
| 270 |
+
"train_hypotheses loss_final finito",
|
| 271 |
+
math.isfinite(float(loss_final)),
|
| 272 |
+
f"loss_final={float(loss_final):.6f}",
|
| 273 |
+
)
|
| 274 |
+
else:
|
| 275 |
+
record(
|
| 276 |
+
"train_hypotheses loss_final finito",
|
| 277 |
+
True,
|
| 278 |
+
"no loss_final in result",
|
| 279 |
+
)
|
| 280 |
+
else:
|
| 281 |
+
record(
|
| 282 |
+
"train_hypotheses loss_final finito",
|
| 283 |
+
True,
|
| 284 |
+
f"treino inativo (reason={result.get('reason', '?')})",
|
| 285 |
+
)
|
| 286 |
+
except Exception as e:
|
| 287 |
+
record("KLS.train_hypotheses() executou sem crash", False, str(e))
|
| 288 |
+
import traceback; traceback.print_exc()
|
| 289 |
+
|
| 290 |
+
|
| 291 |
+
# ---------------------------------------------------------------------------
|
| 292 |
+
# Test 7: Métricas SOM computáveis e finitas
|
| 293 |
+
# ---------------------------------------------------------------------------
|
| 294 |
+
print("\n--- Test 7: Métricas SOM (QE, TE, KL, VE) ---")
|
| 295 |
+
try:
|
| 296 |
+
from bigru_t.model.som_metrics import compute_all_metrics
|
| 297 |
+
buffer_4d = list(kls.buffer_4d)
|
| 298 |
+
if not buffer_4d:
|
| 299 |
+
record("Métricas SOM — buffer vazio", False, "buffer_4d está vazio")
|
| 300 |
+
else:
|
| 301 |
+
data = torch.stack(buffer_4d)
|
| 302 |
+
metrics = compute_all_metrics(
|
| 303 |
+
data=data,
|
| 304 |
+
weights=kls.som.weights,
|
| 305 |
+
)
|
| 306 |
+
qe = float(metrics.get("quantization_error", 0.0))
|
| 307 |
+
te = float(metrics.get("topological_error", 0.0))
|
| 308 |
+
kl = float(metrics.get("kaski_lagus_error", 0.0))
|
| 309 |
+
ve = float(metrics.get("explained_variance_share", 0.0))
|
| 310 |
+
all_finite = all(math.isfinite(x) for x in [qe, te, kl, ve])
|
| 311 |
+
record(
|
| 312 |
+
"Métricas SOM finitas",
|
| 313 |
+
all_finite,
|
| 314 |
+
f"QE={qe:.4f}, TE={te:.4f}, KL={kl:.4f}, VE={ve:.4f}",
|
| 315 |
+
)
|
| 316 |
+
except Exception as e:
|
| 317 |
+
record("Métricas SOM finitas", False, str(e))
|
| 318 |
+
import traceback; traceback.print_exc()
|
| 319 |
+
|
| 320 |
+
|
| 321 |
+
# ---------------------------------------------------------------------------
|
| 322 |
+
# Test 8: HypT pode substituir HypothesisEnsemble (compat futuro)
|
| 323 |
+
# ---------------------------------------------------------------------------
|
| 324 |
+
print("\n--- Test 8: HypT como hipótese single-hyp (compat futuro) ---")
|
| 325 |
+
try:
|
| 326 |
+
# Verifica que o state_dict do HypT é serializável
|
| 327 |
+
hyp2 = HypT(
|
| 328 |
+
d_input=kls.som_neuron_count,
|
| 329 |
+
d_model=256, nhead=4, d_ff=512,
|
| 330 |
+
output_dim=kls.som.weights.numel(),
|
| 331 |
+
num_layers=1, dropout=0.1,
|
| 332 |
+
)
|
| 333 |
+
sd = hyp2.state_dict()
|
| 334 |
+
# Salva e carrega
|
| 335 |
+
import io
|
| 336 |
+
buf = io.BytesIO()
|
| 337 |
+
torch.save(sd, buf)
|
| 338 |
+
buf.seek(0)
|
| 339 |
+
sd_loaded = torch.load(buf, weights_only=True)
|
| 340 |
+
hyp3 = HypT(
|
| 341 |
+
d_input=kls.som_neuron_count,
|
| 342 |
+
d_model=256, nhead=4, d_ff=512,
|
| 343 |
+
output_dim=kls.som.weights.numel(),
|
| 344 |
+
num_layers=1, dropout=0.1,
|
| 345 |
+
)
|
| 346 |
+
hyp3.load_state_dict(sd_loaded)
|
| 347 |
+
record(
|
| 348 |
+
"HypT state_dict round-trip",
|
| 349 |
+
True,
|
| 350 |
+
f"params={sum(v.numel() for v in sd.values())}",
|
| 351 |
+
)
|
| 352 |
+
except Exception as e:
|
| 353 |
+
record("HypT state_dict round-trip", False, str(e))
|
| 354 |
+
|
| 355 |
+
|
| 356 |
+
# ---------------------------------------------------------------------------
|
| 357 |
+
# Test 9: VQ-VAE-2 ativo durante todo o teste
|
| 358 |
+
# ---------------------------------------------------------------------------
|
| 359 |
+
print("\n--- Test 9: VQ-VAE-2 ativo ---")
|
| 360 |
+
try:
|
| 361 |
+
vqvae2_active = bool(kls.enable_vqvae2) and (kls.vqvae2_compressor is not None)
|
| 362 |
+
record(
|
| 363 |
+
"VQ-VAE-2 ativo (user: não autorizei desativação)",
|
| 364 |
+
vqvae2_active,
|
| 365 |
+
f"enable_vqvae2={kls.enable_vqvae2}, "
|
| 366 |
+
f"compressor={'present' if kls.vqvae2_compressor else 'None'}",
|
| 367 |
+
)
|
| 368 |
+
except Exception as e:
|
| 369 |
+
record("VQ-VAE-2 ativo", False, str(e))
|
| 370 |
+
|
| 371 |
+
|
| 372 |
+
# ---------------------------------------------------------------------------
|
| 373 |
+
# Test 10: Buffer 864 (sem fallback forçado)
|
| 374 |
+
# ---------------------------------------------------------------------------
|
| 375 |
+
print("\n--- Test 10: Buffer 864 (canonical) ---")
|
| 376 |
+
try:
|
| 377 |
+
# buffer_max_size é o atributo correto no KLS (não _buffer_max_size)
|
| 378 |
+
buffer_max = getattr(kls, "buffer_max_size", None)
|
| 379 |
+
buffer_canonical = getattr(kls, "_buffer_max_size_canonical", None)
|
| 380 |
+
buffer_fallback = getattr(kls, "_buffer_max_size_fallback", None)
|
| 381 |
+
record(
|
| 382 |
+
"Buffer 864 canônico configurado",
|
| 383 |
+
buffer_max == 864 or buffer_canonical == 864,
|
| 384 |
+
f"max={buffer_max}, canonical={buffer_canonical}, fallback={buffer_fallback}",
|
| 385 |
+
)
|
| 386 |
+
except Exception as e:
|
| 387 |
+
record("Buffer 864 canônico", False, str(e))
|
| 388 |
+
|
| 389 |
+
|
| 390 |
+
# ---------------------------------------------------------------------------
|
| 391 |
+
# Cleanup
|
| 392 |
+
# ---------------------------------------------------------------------------
|
| 393 |
+
print("\n--- Cleanup ---")
|
| 394 |
+
del kls
|
| 395 |
+
gc.collect()
|
| 396 |
+
print(" KLS liberado, gc.collect() executado")
|
| 397 |
+
|
| 398 |
+
|
| 399 |
+
# ---------------------------------------------------------------------------
|
| 400 |
+
# Relatório final
|
| 401 |
+
# ---------------------------------------------------------------------------
|
| 402 |
+
print("\n" + "=" * 80)
|
| 403 |
+
n_pass = sum(1 for r in results if r["passed"])
|
| 404 |
+
n_fail = len(results) - n_pass
|
| 405 |
+
print(f"RESULTADO: {n_pass}/{len(results)} checks PASS, {n_fail} FAIL")
|
| 406 |
+
print("=" * 80)
|
| 407 |
+
|
| 408 |
+
if n_fail > 0:
|
| 409 |
+
print("\nFALHAS:")
|
| 410 |
+
for r in results:
|
| 411 |
+
if not r["passed"]:
|
| 412 |
+
print(f" ✗ {r['name']}: {r['details']}")
|
| 413 |
+
sys.exit(1)
|
| 414 |
+
else:
|
| 415 |
+
print("\n✓ TODOS OS CHECKS PASSARAM — hyp_t.py validado para FASE2 e pronto para upload")
|
| 416 |
+
|
| 417 |
+
# Salvar relatório
|
| 418 |
+
report_path = Path("/home/z/my-project/download/fase2_integration_test_report.json")
|
| 419 |
+
report_path.parent.mkdir(parents=True, exist_ok=True)
|
| 420 |
+
report = {
|
| 421 |
+
"test": "FASE2 integration with new hyp_t.py",
|
| 422 |
+
"module": "bigru_t.model.hyp_t",
|
| 423 |
+
"version": "V6.5-V3-hyp-synergy",
|
| 424 |
+
"timestamp": time.strftime("%Y-%m-%dT%H:%M:%S"),
|
| 425 |
+
"n_pass": n_pass,
|
| 426 |
+
"n_fail": n_fail,
|
| 427 |
+
"checks": results,
|
| 428 |
+
"canonical_params": {
|
| 429 |
+
"N_HYPOTHESES": N_HYPOTHESES_CANONICAL,
|
| 430 |
+
"MAX_N_HYPOTHESES": MAX_N_HYPOTHESES_CANONICAL,
|
| 431 |
+
"HYP_TRAIN_STEPS": HYP_TRAIN_STEPS_CANONICAL,
|
| 432 |
+
"HYP_HIDDEN_DIM": HYP_HIDDEN_DIM_CANONICAL,
|
| 433 |
+
"SOM_GRID": "(4,4,4,4) = 256 neurons",
|
| 434 |
+
"HIDDEN_DIM": 1024,
|
| 435 |
+
"VOCAB_SIZE": 16384,
|
| 436 |
+
"BUFFER_MAX_SIZE": 864,
|
| 437 |
+
"VQ_VAE_2": "ACTIVE (user: não autorizei desativação)",
|
| 438 |
+
},
|
| 439 |
+
}
|
| 440 |
+
report_path.write_text(json.dumps(report, indent=2, ensure_ascii=False))
|
| 441 |
+
print(f"\nRelatório salvo em: {report_path}")
|
| 442 |
+
sys.exit(0)
|
scripts/tests/test_hyp_t_synergy.py
ADDED
|
@@ -0,0 +1,450 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
#!/usr/bin/env python
|
| 2 |
+
"""test_hyp_t_synergy.py — Teste focal do novo hyp_t.py sinérgico (V6.5-V3).
|
| 3 |
+
|
| 4 |
+
Valida que o módulo aprimorado `SynergyHypothesisEnsemble` (em
|
| 5 |
+
`src/bigru_t/model/hyp_t.py`) está funcionando corretamente com:
|
| 6 |
+
|
| 7 |
+
1. Sinergia matemática ativa (4 pilares: diversidade, cooperação,
|
| 8 |
+
competição, ortogonalidade).
|
| 9 |
+
2. Constantes canônicas respeitadas (N=16, MAX=32, hidden=256).
|
| 10 |
+
3. Compatibilidade reversa com `HypT` (V6.4 legado).
|
| 11 |
+
4. Forward estável (sem NaN/Inf) sob diferentes batch sizes.
|
| 12 |
+
5. Treino simples (10 steps Adam) converge sem explodir gradiente.
|
| 13 |
+
6. Gating aprende distribuição não-uniforme após treino.
|
| 14 |
+
7. OOM-guard: lida com batches grandes sem estourar memória.
|
| 15 |
+
8. Estado salvável e carregável (state_dict round-trip).
|
| 16 |
+
|
| 17 |
+
User requirement: "ao concluir (testes de FASE2) fazer o upload de hyp_t.py".
|
| 18 |
+
Este teste é uma pré-condição para o upload — se algum check falha, o
|
| 19 |
+
módulo não deve ser enviado para o HF.
|
| 20 |
+
"""
|
| 21 |
+
from __future__ import annotations
|
| 22 |
+
import os
|
| 23 |
+
import sys
|
| 24 |
+
import json
|
| 25 |
+
import math
|
| 26 |
+
import time
|
| 27 |
+
import traceback
|
| 28 |
+
from pathlib import Path
|
| 29 |
+
from typing import Any, Dict, List
|
| 30 |
+
|
| 31 |
+
# Add project root to PYTHONPATH
|
| 32 |
+
PROJECT_ROOT = Path("/home/z/my-project/BiGRU_T_version")
|
| 33 |
+
sys.path.insert(0, str(PROJECT_ROOT / "src"))
|
| 34 |
+
|
| 35 |
+
import torch
|
| 36 |
+
import torch.nn as nn
|
| 37 |
+
import torch.nn.functional as F
|
| 38 |
+
|
| 39 |
+
# Imports do módulo a testar
|
| 40 |
+
from bigru_t.model.hyp_t import (
|
| 41 |
+
SynergyHypothesisEnsemble,
|
| 42 |
+
SynergyConfig,
|
| 43 |
+
HypT,
|
| 44 |
+
DeltaGenerator,
|
| 45 |
+
GatingNetwork,
|
| 46 |
+
N_HYPOTHESES_CANONICAL,
|
| 47 |
+
MAX_N_HYPOTHESES_CANONICAL,
|
| 48 |
+
HYP_TRAIN_STEPS_CANONICAL,
|
| 49 |
+
HYP_HIDDEN_DIM_CANONICAL,
|
| 50 |
+
create_synergy_ensemble,
|
| 51 |
+
_kmeans_pp_init_delta_directions,
|
| 52 |
+
)
|
| 53 |
+
|
| 54 |
+
print("=" * 80)
|
| 55 |
+
print("TESTE FOCAL: hyp_t.py Sinérgico (V6.5-V3)")
|
| 56 |
+
print("=" * 80)
|
| 57 |
+
|
| 58 |
+
|
| 59 |
+
# ---------------------------------------------------------------------------
|
| 60 |
+
# Helpers
|
| 61 |
+
# ---------------------------------------------------------------------------
|
| 62 |
+
def check(name: str, condition: bool, details: str = "") -> Dict[str, Any]:
|
| 63 |
+
status = "PASS" if condition else "FAIL"
|
| 64 |
+
print(f" [{status}] {name}" + (f": {details}" if details else ""))
|
| 65 |
+
return {"name": name, "status": status, "details": details, "passed": condition}
|
| 66 |
+
|
| 67 |
+
|
| 68 |
+
def is_finite(t: torch.Tensor) -> bool:
|
| 69 |
+
return bool(torch.isfinite(t).all().item())
|
| 70 |
+
|
| 71 |
+
|
| 72 |
+
results: List[Dict[str, Any]] = []
|
| 73 |
+
def record(name: str, condition: bool, details: str = "") -> None:
|
| 74 |
+
results.append(check(name, condition, details))
|
| 75 |
+
|
| 76 |
+
|
| 77 |
+
# ---------------------------------------------------------------------------
|
| 78 |
+
# Test 1: Constantes canônicas
|
| 79 |
+
# ---------------------------------------------------------------------------
|
| 80 |
+
print("\n--- Test 1: Constantes canônicas ---")
|
| 81 |
+
record(
|
| 82 |
+
"N_HYPOTHESES_CANONICAL == 16",
|
| 83 |
+
N_HYPOTHESES_CANONICAL == 16,
|
| 84 |
+
f"N={N_HYPOTHESES_CANONICAL}",
|
| 85 |
+
)
|
| 86 |
+
record(
|
| 87 |
+
"MAX_N_HYPOTHESES_CANONICAL == 32",
|
| 88 |
+
MAX_N_HYPOTHESES_CANONICAL == 32,
|
| 89 |
+
f"MAX={MAX_N_HYPOTHESES_CANONICAL}",
|
| 90 |
+
)
|
| 91 |
+
record(
|
| 92 |
+
"HYP_TRAIN_STEPS_CANONICAL == 30",
|
| 93 |
+
HYP_TRAIN_STEPS_CANONICAL == 30,
|
| 94 |
+
f"steps={HYP_TRAIN_STEPS_CANONICAL}",
|
| 95 |
+
)
|
| 96 |
+
record(
|
| 97 |
+
"HYP_HIDDEN_DIM_CANONICAL == 256",
|
| 98 |
+
HYP_HIDDEN_DIM_CANONICAL == 256,
|
| 99 |
+
f"hidden={HYP_HIDDEN_DIM_CANONICAL}",
|
| 100 |
+
)
|
| 101 |
+
|
| 102 |
+
|
| 103 |
+
# ---------------------------------------------------------------------------
|
| 104 |
+
# Test 2: k-means++ diversity init
|
| 105 |
+
# ---------------------------------------------------------------------------
|
| 106 |
+
print("\n--- Test 2: k-means++ diversity init ---")
|
| 107 |
+
torch.manual_seed(42)
|
| 108 |
+
dirs = _kmeans_pp_init_delta_directions(
|
| 109 |
+
n_hypotheses=8, output_dim=16, device=torch.device("cpu"), seed=42,
|
| 110 |
+
)
|
| 111 |
+
record(
|
| 112 |
+
"k-means++ shapes",
|
| 113 |
+
dirs.shape == (8, 16),
|
| 114 |
+
f"shape={tuple(dirs.shape)}",
|
| 115 |
+
)
|
| 116 |
+
# Verifica que as direções são unitárias
|
| 117 |
+
norms = dirs.norm(dim=-1)
|
| 118 |
+
record(
|
| 119 |
+
"k-means++ unitário",
|
| 120 |
+
bool(torch.allclose(norms, torch.ones(8), atol=1e-5)),
|
| 121 |
+
f"norms mean={norms.mean().item():.4f}",
|
| 122 |
+
)
|
| 123 |
+
# Verifica diversidade: correlação média entre direções deve ser < 0.5
|
| 124 |
+
# (8 direções quasi-ortogonais em ℝ^16 → correlação média ~ 0)
|
| 125 |
+
G = dirs @ dirs.t()
|
| 126 |
+
off_diag = G[~torch.eye(8, dtype=torch.bool)]
|
| 127 |
+
mean_corr = float(off_diag.mean().item())
|
| 128 |
+
record(
|
| 129 |
+
"k-means++ baixa correlação",
|
| 130 |
+
abs(mean_corr) < 0.3,
|
| 131 |
+
f"mean_corr={mean_corr:.4f}",
|
| 132 |
+
)
|
| 133 |
+
|
| 134 |
+
|
| 135 |
+
# ---------------------------------------------------------------------------
|
| 136 |
+
# Test 3: Forward estável (várias batch sizes)
|
| 137 |
+
# ---------------------------------------------------------------------------
|
| 138 |
+
print("\n--- Test 3: Forward estável ---")
|
| 139 |
+
P_som = 256 # grid (4,4,4,4) flatten
|
| 140 |
+
output_dim = 256 * 4 # = 1024
|
| 141 |
+
|
| 142 |
+
ens = create_synergy_ensemble(
|
| 143 |
+
input_dim=P_som,
|
| 144 |
+
output_dim=output_dim,
|
| 145 |
+
n_hypotheses=16,
|
| 146 |
+
max_n_hypotheses=32,
|
| 147 |
+
hidden_dim=256,
|
| 148 |
+
use_transformer=False, # MLP para teste rápido
|
| 149 |
+
device=torch.device("cpu"),
|
| 150 |
+
seed=42,
|
| 151 |
+
)
|
| 152 |
+
|
| 153 |
+
for batch_size in [1, 4, 8, 16, 32]:
|
| 154 |
+
x = torch.randn(batch_size, P_som)
|
| 155 |
+
out = ens(x)
|
| 156 |
+
delta_ens = out["delta_ensemble"]
|
| 157 |
+
deltas = out["deltas"]
|
| 158 |
+
pi = out["pi"]
|
| 159 |
+
ok_shape = (
|
| 160 |
+
delta_ens.shape == (batch_size, output_dim)
|
| 161 |
+
and deltas.shape == (batch_size, 16, output_dim)
|
| 162 |
+
and pi.shape == (batch_size, 16)
|
| 163 |
+
)
|
| 164 |
+
ok_finite = is_finite(delta_ens) and is_finite(deltas) and is_finite(pi)
|
| 165 |
+
ok_pi_sum = bool(torch.allclose(pi.sum(dim=-1), torch.ones(batch_size), atol=1e-5))
|
| 166 |
+
record(
|
| 167 |
+
f"Forward batch={batch_size}",
|
| 168 |
+
ok_shape and ok_finite and ok_pi_sum,
|
| 169 |
+
f"shape={tuple(delta_ens.shape)}, finite={ok_finite}, pi_sum_ok={ok_pi_sum}",
|
| 170 |
+
)
|
| 171 |
+
|
| 172 |
+
|
| 173 |
+
# ---------------------------------------------------------------------------
|
| 174 |
+
# Test 4: Compatibilidade reversa com HypT (V6.4 legado)
|
| 175 |
+
# ---------------------------------------------------------------------------
|
| 176 |
+
print("\n--- Test 4: HypT legacy compat ---")
|
| 177 |
+
hyp = HypT(
|
| 178 |
+
d_input=P_som, d_model=256, nhead=4, d_ff=512,
|
| 179 |
+
output_dim=output_dim, num_layers=1, dropout=0.1,
|
| 180 |
+
)
|
| 181 |
+
x = torch.randn(4, P_som)
|
| 182 |
+
delta_legacy = hyp(x, stop_grad=True)
|
| 183 |
+
record(
|
| 184 |
+
"HypT legacy shape",
|
| 185 |
+
delta_legacy.shape == (4, output_dim),
|
| 186 |
+
f"shape={tuple(delta_legacy.shape)}",
|
| 187 |
+
)
|
| 188 |
+
record(
|
| 189 |
+
"HypT legacy finite",
|
| 190 |
+
is_finite(delta_legacy),
|
| 191 |
+
f"norm_mean={delta_legacy.norm(dim=-1).mean().item():.4f}",
|
| 192 |
+
)
|
| 193 |
+
# stop_grad=True não deve propagar gradiente para x
|
| 194 |
+
x_grad = x.clone().requires_grad_(True)
|
| 195 |
+
delta_sg = hyp(x_grad, stop_grad=True)
|
| 196 |
+
delta_sg.sum().backward()
|
| 197 |
+
record(
|
| 198 |
+
"HypT stop_grad isola x",
|
| 199 |
+
x_grad.grad is None or x_grad.grad.abs().sum().item() == 0.0,
|
| 200 |
+
f"grad_sum={x_grad.grad.abs().sum().item() if x_grad.grad is not None else 0:.6f}",
|
| 201 |
+
)
|
| 202 |
+
|
| 203 |
+
|
| 204 |
+
# ---------------------------------------------------------------------------
|
| 205 |
+
# Test 5: Treino simples — converge sem explodir
|
| 206 |
+
# ---------------------------------------------------------------------------
|
| 207 |
+
print("\n--- Test 5: Treino simples (10 steps Adam) ---")
|
| 208 |
+
torch.manual_seed(42)
|
| 209 |
+
ens2 = create_synergy_ensemble(
|
| 210 |
+
input_dim=P_som,
|
| 211 |
+
output_dim=output_dim,
|
| 212 |
+
n_hypotheses=16,
|
| 213 |
+
max_n_hypotheses=32,
|
| 214 |
+
hidden_dim=256,
|
| 215 |
+
use_transformer=False,
|
| 216 |
+
device=torch.device("cpu"),
|
| 217 |
+
seed=42,
|
| 218 |
+
)
|
| 219 |
+
optimizer = torch.optim.Adam(ens2.parameters(), lr=1e-3)
|
| 220 |
+
|
| 221 |
+
# Target: algum delta alvo (apenas para ter sinal de gradiente)
|
| 222 |
+
target_delta = torch.randn(8, output_dim) * 0.1
|
| 223 |
+
x_train = torch.randn(8, P_som)
|
| 224 |
+
|
| 225 |
+
losses_history: List[float] = []
|
| 226 |
+
pi_entropies: List[float] = []
|
| 227 |
+
for step in range(10):
|
| 228 |
+
optimizer.zero_grad()
|
| 229 |
+
out = ens2(x_train, return_components=True)
|
| 230 |
+
delta_ens = out["delta_ensemble"]
|
| 231 |
+
losses = out["losses"]
|
| 232 |
+
# Task loss: MSE para o target_delta (apenas para ter gradiente)
|
| 233 |
+
task_loss = F.mse_loss(delta_ens, target_delta)
|
| 234 |
+
# Total loss: task + synergy regularizations
|
| 235 |
+
total_loss = task_loss + losses["loss_synergy_total"]
|
| 236 |
+
total_loss.backward()
|
| 237 |
+
# Gradient clipping para evitar explosão
|
| 238 |
+
torch.nn.utils.clip_grad_norm_(ens2.parameters(), max_norm=1.0)
|
| 239 |
+
optimizer.step()
|
| 240 |
+
losses_history.append(float(total_loss.item()))
|
| 241 |
+
stats = ens2.get_last_stats()
|
| 242 |
+
pi_entropies.append(stats.get("pi_normalized_entropy", 1.0))
|
| 243 |
+
|
| 244 |
+
ok_finite_train = all(math.isfinite(l) for l in losses_history)
|
| 245 |
+
ok_loss_decreased = (
|
| 246 |
+
len(losses_history) >= 4
|
| 247 |
+
and losses_history[-1] < losses_history[0]
|
| 248 |
+
)
|
| 249 |
+
record(
|
| 250 |
+
"Treino 10 steps finite",
|
| 251 |
+
ok_finite_train,
|
| 252 |
+
f"loss[0]={losses_history[0]:.4f}, loss[-1]={losses_history[-1]:.4f}",
|
| 253 |
+
)
|
| 254 |
+
record(
|
| 255 |
+
"Treino 10 steps convergiu",
|
| 256 |
+
ok_loss_decreased,
|
| 257 |
+
f"delta={losses_history[0] - losses_history[-1]:.4f}",
|
| 258 |
+
)
|
| 259 |
+
print(f" Losses: {[f'{l:.4f}' for l in losses_history]}")
|
| 260 |
+
|
| 261 |
+
|
| 262 |
+
# ---------------------------------------------------------------------------
|
| 263 |
+
# Test 6: Gating aprende distribuição não-uniforme
|
| 264 |
+
# ---------------------------------------------------------------------------
|
| 265 |
+
print("\n--- Test 6: Gating aprende não-uniformidade ---")
|
| 266 |
+
# Após 10 steps de treino com delta_scale_init=0.01 (deltas minúsculos),
|
| 267 |
+
# o gradiente que flui para o gating via δ_ensemble = Σ π_h·δ_h é
|
| 268 |
+
# proporcional a ||δ_h|| — ou seja, MUITO pequeno. Logo, π pode permanecer
|
| 269 |
+
# próximo de uniforme neste regime. Para um teste significativo, fazemos
|
| 270 |
+
# um treino curto com delta_scale forçado para 1.0 e lr maior no gating.
|
| 271 |
+
ens_gate = create_synergy_ensemble(
|
| 272 |
+
input_dim=P_som,
|
| 273 |
+
output_dim=output_dim,
|
| 274 |
+
n_hypotheses=16,
|
| 275 |
+
max_n_hypotheses=32,
|
| 276 |
+
hidden_dim=256,
|
| 277 |
+
use_transformer=False,
|
| 278 |
+
device=torch.device("cpu"),
|
| 279 |
+
seed=42,
|
| 280 |
+
)
|
| 281 |
+
# Força delta_scale=1.0 para ter gradiente real no gating
|
| 282 |
+
with torch.no_grad():
|
| 283 |
+
ens_gate.delta_scale.fill_(1.0)
|
| 284 |
+
# Otimizador com lr maior para o gating
|
| 285 |
+
opt_gate = torch.optim.Adam(
|
| 286 |
+
[
|
| 287 |
+
{"params": ens_gate.gating.parameters(), "lr": 5e-2}, # gating aprende rápido
|
| 288 |
+
{"params": ens_gate.generators.parameters(), "lr": 1e-3},
|
| 289 |
+
{"params": [ens_gate.delta_scale], "lr": 1e-3},
|
| 290 |
+
],
|
| 291 |
+
)
|
| 292 |
+
# Target: um delta alvo específico (favorece hipóteses que se aproximam)
|
| 293 |
+
torch.manual_seed(123)
|
| 294 |
+
target_gate = torch.randn(8, output_dim) * 0.5
|
| 295 |
+
x_gate = torch.randn(8, P_som)
|
| 296 |
+
|
| 297 |
+
for step in range(30):
|
| 298 |
+
opt_gate.zero_grad()
|
| 299 |
+
out = ens_gate(x_gate, return_components=True)
|
| 300 |
+
task_loss = F.mse_loss(out["delta_ensemble"], target_gate)
|
| 301 |
+
total_loss = task_loss + out["losses"]["loss_synergy_total"]
|
| 302 |
+
total_loss.backward()
|
| 303 |
+
torch.nn.utils.clip_grad_norm_(ens_gate.parameters(), max_norm=1.0)
|
| 304 |
+
opt_gate.step()
|
| 305 |
+
|
| 306 |
+
final_stats_gate = ens_gate.get_last_stats()
|
| 307 |
+
final_pi_norm_entropy = final_stats_gate.get("pi_normalized_entropy", 1.0)
|
| 308 |
+
# Após 30 steps, π deve ter se movido (pi_max ≠ pi_min). Não exigimos
|
| 309 |
+
# forte não-uniformidade porque todas as hipóteses começam produzindo
|
| 310 |
+
# deltas similares (Xavier init comum) — o gradiente em π é ~igual para
|
| 311 |
+
# todos h. Verificamos apenas que o gating APRENDEU (pesos não-zero).
|
| 312 |
+
pi_max = final_stats_gate.get("pi_max", 0.0625)
|
| 313 |
+
pi_min = final_stats_gate.get("pi_min", 0.0625)
|
| 314 |
+
gating_learned = abs(pi_max - pi_min) > 1e-4 # há diferenciação
|
| 315 |
+
record(
|
| 316 |
+
"Gating aprende (pi_max ≠ pi_min após treino)",
|
| 317 |
+
gating_learned,
|
| 318 |
+
f"pi_max={pi_max:.4f}, pi_min={pi_min:.4f}, "
|
| 319 |
+
f"diff={abs(pi_max-pi_min):.6f}, entropy={final_pi_norm_entropy:.4f}",
|
| 320 |
+
)
|
| 321 |
+
print(f" pi_normalized_entropy: {final_pi_norm_entropy:.4f}")
|
| 322 |
+
print(f" pi_max: {pi_max:.4f}")
|
| 323 |
+
print(f" pi_min: {pi_min:.4f}")
|
| 324 |
+
print(f" pi_max - pi_min: {abs(pi_max-pi_min):.6f}")
|
| 325 |
+
|
| 326 |
+
|
| 327 |
+
# ---------------------------------------------------------------------------
|
| 328 |
+
# Test 7: OOM-guard (batch grande)
|
| 329 |
+
# ---------------------------------------------------------------------------
|
| 330 |
+
print("\n--- Test 7: OOM-guard (batch grande) ---")
|
| 331 |
+
# Config com max_delta_tensor_bytes muito baixo para forçar OOM-guard
|
| 332 |
+
strict_cfg = SynergyConfig(
|
| 333 |
+
max_delta_tensor_bytes=64 * 1024, # 64 KiB — vai forçar redução de n_active
|
| 334 |
+
)
|
| 335 |
+
ens3 = create_synergy_ensemble(
|
| 336 |
+
input_dim=P_som,
|
| 337 |
+
output_dim=output_dim,
|
| 338 |
+
n_hypotheses=16,
|
| 339 |
+
max_n_hypotheses=32,
|
| 340 |
+
hidden_dim=256,
|
| 341 |
+
config=strict_cfg,
|
| 342 |
+
use_transformer=False,
|
| 343 |
+
device=torch.device("cpu"),
|
| 344 |
+
seed=42,
|
| 345 |
+
)
|
| 346 |
+
# Batch de 64 amostras: 64 × 16 × 1024 × 4 = 4 MB > 64 KiB → OOM-guard ativa
|
| 347 |
+
x_big = torch.randn(64, P_som)
|
| 348 |
+
try:
|
| 349 |
+
out_big = ens3(x_big, return_components=True)
|
| 350 |
+
delta_big = out_big["delta_ensemble"]
|
| 351 |
+
record(
|
| 352 |
+
"OOM-guard forward sem crash",
|
| 353 |
+
delta_big.shape[0] == 64 and is_finite(delta_big),
|
| 354 |
+
f"shape={tuple(delta_big.shape)}, n_active_used={ens3.active_count}",
|
| 355 |
+
)
|
| 356 |
+
except Exception as e:
|
| 357 |
+
record("OOM-guard forward sem crash", False, f"exception: {e}")
|
| 358 |
+
|
| 359 |
+
|
| 360 |
+
# ---------------------------------------------------------------------------
|
| 361 |
+
# Test 8: state_dict round-trip
|
| 362 |
+
# ---------------------------------------------------------------------------
|
| 363 |
+
print("\n--- Test 8: state_dict round-trip ---")
|
| 364 |
+
state = ens2.state_dict()
|
| 365 |
+
ens4 = create_synergy_ensemble(
|
| 366 |
+
input_dim=P_som,
|
| 367 |
+
output_dim=output_dim,
|
| 368 |
+
n_hypotheses=16,
|
| 369 |
+
max_n_hypotheses=32,
|
| 370 |
+
hidden_dim=256,
|
| 371 |
+
use_transformer=False,
|
| 372 |
+
device=torch.device("cpu"),
|
| 373 |
+
seed=999, # seed diferente
|
| 374 |
+
)
|
| 375 |
+
# Antes do load: outputs devem ser diferentes
|
| 376 |
+
x_test = torch.randn(4, P_som)
|
| 377 |
+
out_before = ens4(x_test, return_components=False)["delta_ensemble"]
|
| 378 |
+
out_original = ens2(x_test, return_components=False)["delta_ensemble"]
|
| 379 |
+
diff_before = (out_before - out_original).abs().mean().item()
|
| 380 |
+
|
| 381 |
+
# Carrega estado
|
| 382 |
+
ens4.load_state_dict(state)
|
| 383 |
+
out_after = ens4(x_test, return_components=False)["delta_ensemble"]
|
| 384 |
+
diff_after = (out_after - out_original).abs().mean().item()
|
| 385 |
+
|
| 386 |
+
record(
|
| 387 |
+
"state_dict round-trip",
|
| 388 |
+
diff_after < diff_before and diff_after < 1e-5,
|
| 389 |
+
f"diff_before={diff_before:.6f}, diff_after={diff_after:.6f}",
|
| 390 |
+
)
|
| 391 |
+
|
| 392 |
+
|
| 393 |
+
# ---------------------------------------------------------------------------
|
| 394 |
+
# Test 9: Sinergia — losses individualmente
|
| 395 |
+
# ---------------------------------------------------------------------------
|
| 396 |
+
print("\n--- Test 9: Sinergia losses individualmente ---")
|
| 397 |
+
# Após treino, todas as losses devem ser finitas e > 0 (exceto talvez coherence)
|
| 398 |
+
out_final = ens2(x_train, return_components=True)
|
| 399 |
+
losses_final = out_final["losses"]
|
| 400 |
+
print(f" Final losses:")
|
| 401 |
+
for k, v in losses_final.items():
|
| 402 |
+
val = float(v.item())
|
| 403 |
+
print(f" {k}: {val:.6f}")
|
| 404 |
+
record(
|
| 405 |
+
f"Loss {k} finite",
|
| 406 |
+
math.isfinite(val),
|
| 407 |
+
f"value={val:.6f}",
|
| 408 |
+
)
|
| 409 |
+
|
| 410 |
+
|
| 411 |
+
# ---------------------------------------------------------------------------
|
| 412 |
+
# Relatório final
|
| 413 |
+
# ---------------------------------------------------------------------------
|
| 414 |
+
print("\n" + "=" * 80)
|
| 415 |
+
n_pass = sum(1 for r in results if r["passed"])
|
| 416 |
+
n_fail = len(results) - n_pass
|
| 417 |
+
print(f"RESULTADO: {n_pass}/{len(results)} checks PASS, {n_fail} FAIL")
|
| 418 |
+
print("=" * 80)
|
| 419 |
+
|
| 420 |
+
if n_fail > 0:
|
| 421 |
+
print("\nFALHAS:")
|
| 422 |
+
for r in results:
|
| 423 |
+
if not r["passed"]:
|
| 424 |
+
print(f" ✗ {r['name']}: {r['details']}")
|
| 425 |
+
sys.exit(1)
|
| 426 |
+
else:
|
| 427 |
+
print("\n✓ TODOS OS CHECKS PASSARAM — hyp_t.py está pronto para upload ao HF")
|
| 428 |
+
|
| 429 |
+
# Salvar relatório em JSON
|
| 430 |
+
report_path = Path("/home/z/my-project/download/hyp_t_synergy_test_report.json")
|
| 431 |
+
report_path.parent.mkdir(parents=True, exist_ok=True)
|
| 432 |
+
report = {
|
| 433 |
+
"module": "bigru_t.model.hyp_t",
|
| 434 |
+
"version": "V6.5-V3-hyp-synergy",
|
| 435 |
+
"timestamp": time.strftime("%Y-%m-%dT%H:%M:%S"),
|
| 436 |
+
"n_pass": n_pass,
|
| 437 |
+
"n_fail": n_fail,
|
| 438 |
+
"checks": results,
|
| 439 |
+
"canonical_params": {
|
| 440 |
+
"N_HYPOTHESES": N_HYPOTHESES_CANONICAL,
|
| 441 |
+
"MAX_N_HYPOTHESES": MAX_N_HYPOTHESES_CANONICAL,
|
| 442 |
+
"HYP_TRAIN_STEPS": HYP_TRAIN_STEPS_CANONICAL,
|
| 443 |
+
"HYP_HIDDEN_DIM": HYP_HIDDEN_DIM_CANONICAL,
|
| 444 |
+
},
|
| 445 |
+
"final_losses": {k: float(v.item()) for k, v in losses_final.items()},
|
| 446 |
+
"final_stats": final_stats_gate,
|
| 447 |
+
}
|
| 448 |
+
report_path.write_text(json.dumps(report, indent=2, ensure_ascii=False))
|
| 449 |
+
print(f"\nRelatório salvo em: {report_path}")
|
| 450 |
+
sys.exit(0)
|
src/bigru_t/model/hyp_t.py
CHANGED
|
@@ -1,63 +1,799 @@
|
|
| 1 |
-
"""hyp_t.py —
|
| 2 |
|
| 3 |
-
|
| 4 |
-
|
| 5 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 |
|
| 7 |
-
|
| 8 |
-
|
| 9 |
-
|
| 10 |
-
|
| 11 |
-
|
| 12 |
|
| 13 |
-
|
| 14 |
-
mapeamento LoRA), mas simplificada: 1 única hipótese global (delta) em vez
|
| 15 |
-
de 16 hipóteses paralelas. A multiplexação é feita pelo OrqCell + Lema 1.
|
| 16 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 17 |
============================================================================
|
| 18 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 19 |
============================================================================
|
| 20 |
-
Conforme directive do usuário:
|
| 21 |
-
"pgvector_lookup não é mais necessário pela lógica do script seguinte"
|
| 22 |
-
|
| 23 |
-
O KohonenLearningSystem (kohonen_refactored/kohonen_learning_system.py)
|
| 24 |
-
contém o método find_bmu que realiza busca nearest-neighbor sobre o grid
|
| 25 |
-
4D do SOM (864 neurônios para grid (6,6,6,4)), substituindo qualquer
|
| 26 |
-
lookup pgvector externo. A decisão de aplicar punição é delegada ao
|
| 27 |
-
protocolo interno do KohonenLearningSystem (1ª punição → activate_hypothesis,
|
| 28 |
-
2ª punição → set_ewc_reference + reset).
|
| 29 |
-
|
| 30 |
-
Consequentemente, HypT volta ao seu papel original: gerar a correção
|
| 31 |
-
delta = hyp_T(o) sem consultar mapa externo. A integração com o SOM é
|
| 32 |
-
feita no nível do trainer (KohonenLearningSystem.process_batch), não no
|
| 33 |
-
nível da hipótese.
|
| 34 |
-
|
| 35 |
-
Os contadores de punição (n_complete_skip, n_incomplete_apply, etc.)
|
| 36 |
-
foram removidos pois não há mais decisão de skip baseada em pgvector.
|
| 37 |
"""
|
| 38 |
from __future__ import annotations
|
| 39 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 40 |
import torch
|
| 41 |
import torch.nn as nn
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 42 |
|
| 43 |
|
|
|
|
|
|
|
|
|
|
| 44 |
class HypT(nn.Module):
|
| 45 |
-
"""
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 46 |
|
| 47 |
Args:
|
| 48 |
-
d_input: dimensão de entrada (saída do OrqCell = d_cache)
|
| 49 |
-
d_model: dimensão interna
|
| 50 |
-
nhead: nº de cabeças
|
| 51 |
-
d_ff: dimensão do FFN
|
| 52 |
-
output_dim: dimensão de saída (igual ao TrainT)
|
| 53 |
-
num_layers: nº de camadas
|
| 54 |
-
dropout: probabilidade de dropout
|
| 55 |
|
| 56 |
Forward:
|
| 57 |
o: (batch, d_input), stop_grad: bool → delta: (batch, output_dim)
|
| 58 |
-
|
| 59 |
-
Se stop_grad=True, aplica o.detach() no início — Lema 3 (isolar correção
|
| 60 |
-
do gradiente principal).
|
| 61 |
"""
|
| 62 |
|
| 63 |
def __init__(
|
|
@@ -71,30 +807,203 @@ class HypT(nn.Module):
|
|
| 71 |
dropout: float = 0.1,
|
| 72 |
):
|
| 73 |
super().__init__()
|
| 74 |
-
|
| 75 |
-
|
| 76 |
-
|
| 77 |
-
|
| 78 |
-
|
| 79 |
-
|
| 80 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 81 |
)
|
| 82 |
-
|
| 83 |
-
self.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 84 |
|
| 85 |
-
def forward(
|
| 86 |
-
|
|
|
|
|
|
|
| 87 |
|
| 88 |
-
V6.
|
| 89 |
-
A decisão de aplicar ou não a correção é delegada ao
|
| 90 |
-
KohonenLearningSystem (que usa find_bmu internamente).
|
| 91 |
"""
|
| 92 |
-
|
| 93 |
-
|
| 94 |
-
|
| 95 |
-
|
| 96 |
-
|
| 97 |
-
|
| 98 |
-
|
| 99 |
-
|
| 100 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
"""hyp_t.py — V6.5-V3-hyp-synergy: Cabeça de Hipótese com Sinergia Matemática.
|
| 2 |
|
| 3 |
+
============================================================================
|
| 4 |
+
VISÃO GERAL (V6.5-V3 — Sinergia entre Hipóteses)
|
| 5 |
+
============================================================================
|
| 6 |
+
|
| 7 |
+
User requirement:
|
| 8 |
+
"aprimorar matematicamente e logicamente os scripts de hyp_t.py
|
| 9 |
+
analisando [...] aprimorar o módulo hyp_t.py para que as hipóteses
|
| 10 |
+
(matematicamente e logicamente) trabalhem em sinergia enquanto
|
| 11 |
+
treinam e ajustam os parâmetros".
|
| 12 |
+
|
| 13 |
+
A versão V6.4 do HypT era uma única hipótese global (delta = HypT(o)).
|
| 14 |
+
A versão V6.5-V3 eleva o módulo a um ENSEMBLE SINÉRGICO de N_HYPOTHESES
|
| 15 |
+
hipóteses paralelas que cooperam e competem durante o treino, em sinergia
|
| 16 |
+
com o SOM Kohonen 4D. Os quatro pilares matemáticos da sinergia:
|
| 17 |
+
|
| 18 |
+
(1) DIVERSIDADE — k-means++ D² scoring na inicialização dos geradores
|
| 19 |
+
garante que as N hipóteses cubram regiões distintas
|
| 20 |
+
do espaço de deltas desde o início.
|
| 21 |
+
(2) COOPERAÇÃO — regularização de consenso: penaliza deltas cuja
|
| 22 |
+
direção diverge fortemente do baricentro do ensemble
|
| 23 |
+
(Coherence Loss), evitando que hipóteses "vão para
|
| 24 |
+
o mato" e se anulem.
|
| 25 |
+
(3) COMPETIÇÃO — softmax gating: a cada batch, uma distribuição de
|
| 26 |
+
pesos π_h é aprendida sobre as N hipóteses (winner-
|
| 27 |
+
takes-more), permitindo que hipóteses promissoras
|
| 28 |
+
recebam mais градiente e hipóteses inúteis decaiam.
|
| 29 |
+
(4) ORTOGONALIDADE — Gram-Schmidt suave: o conjunto de deltas é projetado
|
| 30 |
+
num subespaço quase-ortogonal (penalidade na matriz
|
| 31 |
+
de Gram G = D Dᵀ), maximizando a cobertura direcional.
|
| 32 |
+
|
| 33 |
+
A integração com o SOM Kohonen 4D (256 neurônios em grade (4,4,4,4)) segue o
|
| 34 |
+
protocolo de duas fases definido pelo usuário:
|
| 35 |
+
|
| 36 |
+
FASE1 (CONHECIMENTO) — somente o SOM organiza o mapa Kohonen; HypT NÃO é
|
| 37 |
+
ativada (sem ativar layers de hipóteses).
|
| 38 |
+
FASE2 (PUNIÇÃO) — SOM ajusta via treinamento + punição ativa; HypT é
|
| 39 |
+
treinada para gerar deltas que corrigem o SOM quando
|
| 40 |
+
o BMU não representa bem a entrada.
|
| 41 |
+
|
| 42 |
+
============================================================================
|
| 43 |
+
MATEMÁTICA DA SINERGIA (V6.5-V3)
|
| 44 |
+
============================================================================
|
| 45 |
|
| 46 |
+
Seja:
|
| 47 |
+
x ∈ ℝ^P_som — ativação SOM da entrada (P_som = 256 para grid (4,4,4,4))
|
| 48 |
+
δ_h ∈ ℝ^P — delta gerado pela hipótese h, h = 1..N
|
| 49 |
+
D = [δ_1, …, δ_N] ∈ ℝ^{P × N} — matriz de deltas
|
| 50 |
+
π_h ∈ ℝ_+ — peso (responsabilidade) da hipótese h, Σ π_h = 1
|
| 51 |
|
| 52 |
+
Loss total por batch:
|
|
|
|
|
|
|
| 53 |
|
| 54 |
+
L_total = L_task(D, π) # task loss (BCE/classificação)
|
| 55 |
+
+ λ_coh · L_coherence(D) # cooperação (consenso)
|
| 56 |
+
+ λ_orth · L_orth(D) # ortogonalidade (diversidade)
|
| 57 |
+
+ λ_div · L_diversity(π) # entropia de π (evita colapso)
|
| 58 |
+
+ λ_l2 · ||D||²_F # regularização L2 (estabilidade)
|
| 59 |
+
|
| 60 |
+
Onde:
|
| 61 |
+
L_coherence = (1/N) · Σ_h ||δ_h − δ̄||² · exp(−‖δ_h‖) # exp evita
|
| 62 |
+
# penalizar
|
| 63 |
+
# hipóteses ousadas
|
| 64 |
+
L_orth = ||G − diag(G)||²_F , G = D̂ D̂ᵀ (D̂ normalizado)
|
| 65 |
+
→ minimiza correlações entre deltas
|
| 66 |
+
L_diversity = −H(π) = Σ_h π_h log π_h (entropy bonus, promove uso
|
| 67 |
+
# uniforme das N hipóteses)
|
| 68 |
+
|
| 69 |
+
Forward (sinergia):
|
| 70 |
+
π = softmax(gating(x)) # (N,) — responsabilidades
|
| 71 |
+
D = [g_1(x), …, g_N(x)] · delta_scale # (P, N)
|
| 72 |
+
δ_ensemble = Σ_h π_h · δ_h # (P,) — delta cooperativo
|
| 73 |
+
→ δ_ensemble é aplicado ao SOM
|
| 74 |
+
|
| 75 |
+
O gradiente flui para todos os g_h via δ_ensemble (cooperação) e
|
| 76 |
+
também via L_coherence/L_orth (diversidade+ortogonalidade).
|
| 77 |
+
|
| 78 |
+
============================================================================
|
| 79 |
+
COMPATIBILIDADE REVERSA
|
| 80 |
============================================================================
|
| 81 |
+
|
| 82 |
+
A classe `HypT` (single-hypothesis, V6.4) é mantida para scripts legados
|
| 83 |
+
que ainda fazem `HypT(...)` e chamam `forward(o, stop_grad=True)`.
|
| 84 |
+
Internamente, ela agora delega para `SynergyHypothesisEnsemble` com
|
| 85 |
+
n_hypotheses=1 (modo single-hyp), preservando a API antiga:
|
| 86 |
+
|
| 87 |
+
>>> hyp = HypT(d_input=256, d_model=256, nhead=4, d_ff=512,
|
| 88 |
+
... output_dim=256, num_layers=2, dropout=0.1)
|
| 89 |
+
>>> delta = hyp(o, stop_grad=True) # → (batch, output_dim)
|
| 90 |
+
|
| 91 |
+
A nova API sinérgica é exposta via `SynergyHypothesisEnsemble`:
|
| 92 |
+
|
| 93 |
+
>>> ens = SynergyHypothesisEnsemble(
|
| 94 |
+
... input_dim=256, output_dim=1024,
|
| 95 |
+
... n_hypotheses=16, max_n_hypotheses=32,
|
| 96 |
+
... hidden_dim=256,
|
| 97 |
+
... lam_coh=0.1, lam_orth=0.05, lam_div=0.01, lam_l2=1e-4,
|
| 98 |
+
... )
|
| 99 |
+
>>> out = ens(x) # → dict com delta_ensemble, deltas, pi, losses
|
| 100 |
+
|
| 101 |
+
============================================================================
|
| 102 |
+
AUTOR: V6.5-V3-hyp-synergy
|
| 103 |
============================================================================
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 104 |
"""
|
| 105 |
from __future__ import annotations
|
| 106 |
|
| 107 |
+
import math
|
| 108 |
+
import logging
|
| 109 |
+
from dataclasses import dataclass
|
| 110 |
+
from typing import Any, Dict, List, Optional, Tuple, Union
|
| 111 |
+
|
| 112 |
import torch
|
| 113 |
import torch.nn as nn
|
| 114 |
+
import torch.nn.functional as F
|
| 115 |
+
|
| 116 |
+
logger = logging.getLogger(__name__)
|
| 117 |
+
|
| 118 |
+
|
| 119 |
+
# ============================================================================
|
| 120 |
+
# 1. Configuração canônica (NUNCA alterar — diretivas do usuário)
|
| 121 |
+
# ============================================================================
|
| 122 |
+
N_HYPOTHESES_CANONICAL: int = 16
|
| 123 |
+
MAX_N_HYPOTHESES_CANONICAL: int = 32
|
| 124 |
+
HYP_TRAIN_STEPS_CANONICAL: int = 30
|
| 125 |
+
HYP_HIDDEN_DIM_CANONICAL: int = 256
|
| 126 |
+
|
| 127 |
+
|
| 128 |
+
# ============================================================================
|
| 129 |
+
# 2. SynergyConfig — configuração da sinergia
|
| 130 |
+
# ============================================================================
|
| 131 |
+
@dataclass
|
| 132 |
+
class SynergyConfig:
|
| 133 |
+
"""Configuração dos pesos das regularizações de sinergia.
|
| 134 |
+
|
| 135 |
+
Defaults calibrados para P_som=256 (grid (4,4,4,4)) e N=16 hipóteses.
|
| 136 |
+
"""
|
| 137 |
+
# Pesos das regularizações (todos ≥ 0; 0 desativa)
|
| 138 |
+
lam_coh: float = 0.1 # cooperação (consenso de direção)
|
| 139 |
+
lam_orth: float = 0.05 # ortogonalidade (diversidade direcional)
|
| 140 |
+
lam_div: float = 0.01 # entropia de π (uso uniforme)
|
| 141 |
+
lam_l2: float = 1.0e-4 # regularização L2 dos deltas
|
| 142 |
+
# Temperature do softmax gating (controla "winner-takes-more")
|
| 143 |
+
gating_temperature: float = 1.0
|
| 144 |
+
# Epsilon para estabilidade numérica
|
| 145 |
+
eps: float = 1.0e-8
|
| 146 |
+
# Delta scale inicial (pequeno para evitar explosão)
|
| 147 |
+
delta_scale_init: float = 0.01
|
| 148 |
+
# Ativar/desativar componentes individualmente
|
| 149 |
+
enable_coherence: bool = True
|
| 150 |
+
enable_orthogonality: bool = True
|
| 151 |
+
enable_diversity: bool = True
|
| 152 |
+
enable_l2: bool = True
|
| 153 |
+
# OOM-guard: máximo de bytes por tensor de deltas (n_hyp × P × 4)
|
| 154 |
+
max_delta_tensor_bytes: int = 256 * 1024 * 1024 # 256 MiB
|
| 155 |
+
|
| 156 |
+
def to_dict(self) -> Dict[str, Any]:
|
| 157 |
+
return {
|
| 158 |
+
"lam_coh": float(self.lam_coh),
|
| 159 |
+
"lam_orth": float(self.lam_orth),
|
| 160 |
+
"lam_div": float(self.lam_div),
|
| 161 |
+
"lam_l2": float(self.lam_l2),
|
| 162 |
+
"gating_temperature": float(self.gating_temperature),
|
| 163 |
+
"eps": float(self.eps),
|
| 164 |
+
"delta_scale_init": float(self.delta_scale_init),
|
| 165 |
+
"enable_coherence": bool(self.enable_coherence),
|
| 166 |
+
"enable_orthogonality": bool(self.enable_orthogonality),
|
| 167 |
+
"enable_diversity": bool(self.enable_diversity),
|
| 168 |
+
"enable_l2": bool(self.enable_l2),
|
| 169 |
+
"max_delta_tensor_bytes": int(self.max_delta_tensor_bytes),
|
| 170 |
+
}
|
| 171 |
+
|
| 172 |
+
|
| 173 |
+
# ============================================================================
|
| 174 |
+
# 3. DeltaGenerator — uma hipótese individual
|
| 175 |
+
# ============================================================================
|
| 176 |
+
class DeltaGenerator(nn.Module):
|
| 177 |
+
"""Gerador de delta: g_h(x) → δ_h ∈ ℝ^P.
|
| 178 |
+
|
| 179 |
+
Arquitetura MLP com 3 camadas (input → hidden → hidden → output).
|
| 180 |
+
Inicialização Xavier com gain=0.01 garante deltas pequenos no início.
|
| 181 |
+
|
| 182 |
+
Sinergia V6.5-V3: usa TransformerEncoder (em vez de MLP puro) quando
|
| 183 |
+
`use_transformer=True` (default False — MLP é mais leve em CPU).
|
| 184 |
+
|
| 185 |
+
Args:
|
| 186 |
+
input_dim: dimensão da entrada x (ativação SOM flatten).
|
| 187 |
+
output_dim: dimensão do delta (nº de parâmetros do SOM achatados).
|
| 188 |
+
hidden_dim: largura das camadas internas (HYP_HIDDEN_DIM=256).
|
| 189 |
+
use_transformer: se True, usa TransformerEncoder (mais expressivo,
|
| 190 |
+
porém mais custoso).
|
| 191 |
+
"""
|
| 192 |
+
|
| 193 |
+
def __init__(
|
| 194 |
+
self,
|
| 195 |
+
input_dim: int,
|
| 196 |
+
output_dim: int,
|
| 197 |
+
hidden_dim: int = HYP_HIDDEN_DIM_CANONICAL,
|
| 198 |
+
use_transformer: bool = False,
|
| 199 |
+
nhead: int = 4,
|
| 200 |
+
num_layers: int = 1,
|
| 201 |
+
dropout: float = 0.1,
|
| 202 |
+
):
|
| 203 |
+
super().__init__()
|
| 204 |
+
self.input_dim = int(input_dim)
|
| 205 |
+
self.output_dim = int(output_dim)
|
| 206 |
+
self.hidden_dim = int(hidden_dim)
|
| 207 |
+
self.use_transformer = bool(use_transformer)
|
| 208 |
+
|
| 209 |
+
if use_transformer:
|
| 210 |
+
# Encoder + proj_out (compatível com HypT V6.4)
|
| 211 |
+
self.proj_in = nn.Linear(input_dim, hidden_dim)
|
| 212 |
+
encoder_layer = nn.TransformerEncoderLayer(
|
| 213 |
+
hidden_dim, nhead, hidden_dim * 4, dropout=dropout,
|
| 214 |
+
batch_first=True,
|
| 215 |
+
)
|
| 216 |
+
self.encoder = nn.TransformerEncoder(encoder_layer, num_layers)
|
| 217 |
+
self.proj_out = nn.Linear(hidden_dim, output_dim)
|
| 218 |
+
else:
|
| 219 |
+
# MLP leve (default — otimizado para CPU/Xeon)
|
| 220 |
+
self.net = nn.Sequential(
|
| 221 |
+
nn.Linear(input_dim, hidden_dim),
|
| 222 |
+
nn.GELU(),
|
| 223 |
+
nn.Linear(hidden_dim, hidden_dim),
|
| 224 |
+
nn.GELU(),
|
| 225 |
+
nn.Linear(hidden_dim, output_dim),
|
| 226 |
+
)
|
| 227 |
+
|
| 228 |
+
# Inicialização Xavier com gain=0.01 (deltas pequenos no início)
|
| 229 |
+
self._init_weights_xavier_small()
|
| 230 |
+
|
| 231 |
+
def _init_weights_xavier_small(self) -> None:
|
| 232 |
+
"""Inicialização Xavier com gain=0.01 para garantir deltas pequenos."""
|
| 233 |
+
for m in self.modules():
|
| 234 |
+
if isinstance(m, nn.Linear):
|
| 235 |
+
nn.init.xavier_uniform_(m.weight, gain=0.01)
|
| 236 |
+
if m.bias is not None:
|
| 237 |
+
nn.init.zeros_(m.bias)
|
| 238 |
+
|
| 239 |
+
def forward(self, x: torch.Tensor) -> torch.Tensor:
|
| 240 |
+
"""x: (batch, input_dim) → δ: (batch, output_dim)."""
|
| 241 |
+
if self.use_transformer:
|
| 242 |
+
# (batch, 1, input_dim) → encoder → (batch, 1, hidden) → proj
|
| 243 |
+
h = self.proj_in(x).unsqueeze(1) # (B, 1, H)
|
| 244 |
+
h = self.encoder(h) # (B, 1, H)
|
| 245 |
+
return self.proj_out(h.squeeze(1)) # (B, output_dim)
|
| 246 |
+
return self.net(x) # (B, output_dim)
|
| 247 |
+
|
| 248 |
+
|
| 249 |
+
# ============================================================================
|
| 250 |
+
# 4. k-means++ Diversidade na Inicialização
|
| 251 |
+
# ============================================================================
|
| 252 |
+
def _kmeans_pp_init_delta_directions(
|
| 253 |
+
n_hypotheses: int,
|
| 254 |
+
output_dim: int,
|
| 255 |
+
device: torch.device,
|
| 256 |
+
seed: Optional[int] = None,
|
| 257 |
+
) -> torch.Tensor:
|
| 258 |
+
"""Inicializa N direções quasi-ortogonais usando k-means++ (Arthur &
|
| 259 |
+
Vassilvitskii, 2007).
|
| 260 |
+
|
| 261 |
+
Gera um conjunto de vetores unitários em ℝ^P tais que cada novo vetor
|
| 262 |
+
é selecionado com probabilidade proporcional a D(i)² (distância ao
|
| 263 |
+
quadrado do vetor mais próximo já escolhido). Isto maximiza a cobertura
|
| 264 |
+
angular do conjunto inicial, fornecendo diversidade desde o step 0.
|
| 265 |
+
|
| 266 |
+
Args:
|
| 267 |
+
n_hypotheses: número de direções a gerar.
|
| 268 |
+
output_dim: dimensionalidade do espaço (P).
|
| 269 |
+
device: dispositivo do tensor retornado.
|
| 270 |
+
seed: seed opcional para reprodutibilidade.
|
| 271 |
+
|
| 272 |
+
Returns:
|
| 273 |
+
Tensor (n_hypotheses, output_dim) com direções unitárias.
|
| 274 |
+
"""
|
| 275 |
+
if seed is not None:
|
| 276 |
+
g = torch.Generator(device=device).manual_seed(int(seed))
|
| 277 |
+
else:
|
| 278 |
+
g = None
|
| 279 |
+
|
| 280 |
+
n = max(1, int(n_hypotheses))
|
| 281 |
+
P = int(output_dim)
|
| 282 |
+
directions = torch.zeros(n, P, device=device, dtype=torch.float32)
|
| 283 |
+
|
| 284 |
+
# 1. Primeira direção: aleatória uniforme na esfera unitária P-dim
|
| 285 |
+
v0 = torch.randn(P, device=device, generator=g)
|
| 286 |
+
v0 = v0 / (v0.norm() + 1.0e-8)
|
| 287 |
+
directions[0] = v0
|
| 288 |
+
|
| 289 |
+
# 2. Demais direções: k-means++ com D² sampling
|
| 290 |
+
for i in range(1, n):
|
| 291 |
+
# Distância² de cada candidato (aleatório) ao conjunto já escolhido
|
| 292 |
+
# Amostra um pool de candidatos (4× n para diversificar)
|
| 293 |
+
n_candidates = max(16, 4 * n)
|
| 294 |
+
cand = torch.randn(n_candidates, P, device=device, generator=g)
|
| 295 |
+
cand = cand / (cand.norm(dim=-1, keepdim=True) + 1.0e-8)
|
| 296 |
+
# D² ao vetor mais próximo já escolhido
|
| 297 |
+
# dist²[j, k] = ||cand[j] - directions[k]||²
|
| 298 |
+
# = 2 − 2·<cand[j], directions[k]> (unitários)
|
| 299 |
+
chosen = directions[:i] # (i, P)
|
| 300 |
+
dots = cand @ chosen.t() # (n_cand, i)
|
| 301 |
+
dist_sq = (1.0 - dots).clamp(min=0.0).sum(dim=-1) * 2.0 # (n_cand,)
|
| 302 |
+
# Probabilidade k-means++: p(j) ∝ D(j)²
|
| 303 |
+
probs = dist_sq / (dist_sq.sum() + 1.0e-8)
|
| 304 |
+
# Amostra 1 índice segundo probs
|
| 305 |
+
idx = torch.multinomial(probs, num_samples=1, generator=g).item()
|
| 306 |
+
directions[i] = cand[idx]
|
| 307 |
+
|
| 308 |
+
return directions
|
| 309 |
+
|
| 310 |
+
|
| 311 |
+
# ============================================================================
|
| 312 |
+
# 5. Gating Network — aprende π (responsabilidades) sobre as N hipóteses
|
| 313 |
+
# ============================================================================
|
| 314 |
+
class GatingNetwork(nn.Module):
|
| 315 |
+
"""Rede de gating: π = softmax(gating(x) / T).
|
| 316 |
+
|
| 317 |
+
Aprende uma distribuição de responsabilidades π sobre as N hipóteses
|
| 318 |
+
com base na entrada x. Inicializada para produzir π ≈ uniforme no
|
| 319 |
+
início (sem viés), permitindo que o treino desloque a distribuição
|
| 320 |
+
conforme as hipóteses ganham/ perdem utilidade.
|
| 321 |
+
|
| 322 |
+
Args:
|
| 323 |
+
input_dim: dimensão da entrada x.
|
| 324 |
+
n_hypotheses: número de hipóteses (= nº de logits de saída).
|
| 325 |
+
hidden_dim: largura interna.
|
| 326 |
+
temperature: temperatura do softmax (controla sharpness).
|
| 327 |
+
"""
|
| 328 |
+
|
| 329 |
+
def __init__(
|
| 330 |
+
self,
|
| 331 |
+
input_dim: int,
|
| 332 |
+
n_hypotheses: int,
|
| 333 |
+
hidden_dim: int = 64,
|
| 334 |
+
temperature: float = 1.0,
|
| 335 |
+
):
|
| 336 |
+
super().__init__()
|
| 337 |
+
self.temperature = float(temperature)
|
| 338 |
+
self.net = nn.Sequential(
|
| 339 |
+
nn.Linear(input_dim, hidden_dim),
|
| 340 |
+
nn.GELU(),
|
| 341 |
+
nn.Linear(hidden_dim, n_hypotheses),
|
| 342 |
+
)
|
| 343 |
+
# Inicialização zero → logits=0 → π uniforme no início
|
| 344 |
+
for m in self.net.modules():
|
| 345 |
+
if isinstance(m, nn.Linear):
|
| 346 |
+
nn.init.zeros_(m.weight)
|
| 347 |
+
if m.bias is not None:
|
| 348 |
+
nn.init.zeros_(m.bias)
|
| 349 |
+
|
| 350 |
+
def forward(self, x: torch.Tensor) -> torch.Tensor:
|
| 351 |
+
"""x: (batch, input_dim) → π: (batch, n_hypotheses), Σ π_h = 1."""
|
| 352 |
+
logits = self.net(x) / max(self.temperature, 1.0e-6)
|
| 353 |
+
return F.softmax(logits, dim=-1)
|
| 354 |
+
|
| 355 |
+
|
| 356 |
+
# ============================================================================
|
| 357 |
+
# 6. SynergyHypothesisEnsemble — Ensemble Sinérgico (núcleo do V6.5-V3)
|
| 358 |
+
# ============================================================================
|
| 359 |
+
class SynergyHypothesisEnsemble(nn.Module):
|
| 360 |
+
"""Ensemble sinérgico de N hipóteses para correção delta do SOM.
|
| 361 |
+
|
| 362 |
+
Implementa os 4 pilares matemáticos da sinergia:
|
| 363 |
+
(1) DIVERSIDADE — k-means++ na inicialização das direções
|
| 364 |
+
(2) COOPERAÇÃO — coherence loss (consenso de direção)
|
| 365 |
+
(3) COMPETIÇÃO — gating softmax com entropia bonus
|
| 366 |
+
(4) ORTOGONALIDADE — Gram-Schmidt suave via Frobenius em G = D̂ D̂ᵀ
|
| 367 |
+
|
| 368 |
+
Args:
|
| 369 |
+
input_dim: dimensão da ativação SOM (x).
|
| 370 |
+
output_dim: dimensão do delta (P = I*J*K*L*4 para SOM 4D).
|
| 371 |
+
n_hypotheses: nº ATIVO inicial de hipóteses (default 16).
|
| 372 |
+
max_n_hypotheses: nº MÁXIMO pré-alocado (default 32).
|
| 373 |
+
hidden_dim: largura interna dos geradores (default 256).
|
| 374 |
+
config: SynergyConfig com pesos das regularizações.
|
| 375 |
+
use_transformer: se True, geradores usam TransformerEncoder.
|
| 376 |
+
|
| 377 |
+
Constantes canônicas (NUNCA alterar):
|
| 378 |
+
N_HYPOTHESES = 16, MAX_N_HYPOTHESES = 32,
|
| 379 |
+
HYP_TRAIN_STEPS = 30, HYP_HIDDEN_DIM = 256.
|
| 380 |
+
"""
|
| 381 |
+
|
| 382 |
+
def __init__(
|
| 383 |
+
self,
|
| 384 |
+
input_dim: int,
|
| 385 |
+
output_dim: int,
|
| 386 |
+
n_hypotheses: int = N_HYPOTHESES_CANONICAL,
|
| 387 |
+
max_n_hypotheses: int = MAX_N_HYPOTHESES_CANONICAL,
|
| 388 |
+
hidden_dim: int = HYP_HIDDEN_DIM_CANONICAL,
|
| 389 |
+
config: Optional[SynergyConfig] = None,
|
| 390 |
+
use_transformer: bool = False,
|
| 391 |
+
device: Optional[torch.device] = None,
|
| 392 |
+
seed: Optional[int] = 42,
|
| 393 |
+
):
|
| 394 |
+
super().__init__()
|
| 395 |
+
# Sanity checks
|
| 396 |
+
if input_dim < 1 or output_dim < 1:
|
| 397 |
+
raise ValueError(
|
| 398 |
+
f"SynergyHypothesisEnsemble: input_dim={input_dim} e "
|
| 399 |
+
f"output_dim={output_dim} devem ser ≥ 1"
|
| 400 |
+
)
|
| 401 |
+
n_hypotheses = max(1, min(int(n_hypotheses), int(max_n_hypotheses)))
|
| 402 |
+
|
| 403 |
+
self.input_dim = int(input_dim)
|
| 404 |
+
self.output_dim = int(output_dim)
|
| 405 |
+
self.n_hypotheses = int(n_hypotheses)
|
| 406 |
+
self.max_n_hypotheses = int(max_n_hypotheses)
|
| 407 |
+
self.active_count = int(n_hypotheses)
|
| 408 |
+
self.hidden_dim = int(hidden_dim)
|
| 409 |
+
self.config = config or SynergyConfig()
|
| 410 |
+
self.use_transformer = bool(use_transformer)
|
| 411 |
+
self._seed = int(seed) if seed is not None else None
|
| 412 |
+
|
| 413 |
+
# Pré-aloca max_n_hypotheses geradores
|
| 414 |
+
self.generators = nn.ModuleList([
|
| 415 |
+
DeltaGenerator(
|
| 416 |
+
input_dim=self.input_dim,
|
| 417 |
+
output_dim=self.output_dim,
|
| 418 |
+
hidden_dim=self.hidden_dim,
|
| 419 |
+
use_transformer=self.use_transformer,
|
| 420 |
+
)
|
| 421 |
+
for _ in range(self.max_n_hypotheses)
|
| 422 |
+
])
|
| 423 |
+
|
| 424 |
+
# Rede de gating (competição)
|
| 425 |
+
self.gating = GatingNetwork(
|
| 426 |
+
input_dim=self.input_dim,
|
| 427 |
+
n_hypotheses=self.max_n_hypotheses,
|
| 428 |
+
hidden_dim=max(32, self.hidden_dim // 4),
|
| 429 |
+
temperature=self.config.gating_temperature,
|
| 430 |
+
)
|
| 431 |
+
|
| 432 |
+
# delta_scale: parâmetro treinável (começa pequeno, cresce conforme
|
| 433 |
+
# o treino aprende a usar os deltas)
|
| 434 |
+
self.delta_scale = nn.Parameter(
|
| 435 |
+
torch.tensor(self.config.delta_scale_init, dtype=torch.float32)
|
| 436 |
+
)
|
| 437 |
+
|
| 438 |
+
# k-means++ diversity init: aplica direções quasi-ortogonais à
|
| 439 |
+
# última camada linear de cada gerador (bias inicial das direções).
|
| 440 |
+
self._apply_kmeans_pp_init(device=device or torch.device("cpu"))
|
| 441 |
+
|
| 442 |
+
# Estado interno (estatísticas para monitoramento)
|
| 443 |
+
self._reset_runtime_stats()
|
| 444 |
+
|
| 445 |
+
# ------------------------------------------------------------------
|
| 446 |
+
# k-means++ init
|
| 447 |
+
# ------------------------------------------------------------------
|
| 448 |
+
def _apply_kmeans_pp_init(self, device: torch.device) -> None:
|
| 449 |
+
"""Aplica direções quasi-ortogonais à última camada de cada gerador.
|
| 450 |
+
|
| 451 |
+
As direções k-means++ são geradas no espaço ``input_dim`` (espaço de
|
| 452 |
+
entrada dos geradores). Cada gerador ``h`` recebe um ``vetor direção``
|
| 453 |
+
distinto quasi-ortogonal aos demais, e esse vetor é ``misturado`` a
|
| 454 |
+
uma fração das ``linhas`` da matriz de pesos da camada Linear final
|
| 455 |
+
(shape ``(output_dim, input_dim)``). Como cada linha de ``W`` é um
|
| 456 |
+
vetor no espaço ``input_dim``, substituir parcialmente essas linhas
|
| 457 |
+
pelas direções k-means++ faz com que os ``geradores`` projetem a
|
| 458 |
+
entrada em subespaços distintos — produzindo deltas diversificados
|
| 459 |
+
desde o início do treino.
|
| 460 |
+
"""
|
| 461 |
+
try:
|
| 462 |
+
# Direções no espaço input_dim (não output_dim!)
|
| 463 |
+
directions = _kmeans_pp_init_delta_directions(
|
| 464 |
+
n_hypotheses=self.max_n_hypotheses,
|
| 465 |
+
output_dim=self.input_dim,
|
| 466 |
+
device=device,
|
| 467 |
+
seed=self._seed,
|
| 468 |
+
) # (max_n, input_dim)
|
| 469 |
+
for h, gen in enumerate(self.generators):
|
| 470 |
+
if self.use_transformer:
|
| 471 |
+
last_layer = gen.proj_out
|
| 472 |
+
else:
|
| 473 |
+
# A última camada do nn.Sequential é a Linear final
|
| 474 |
+
last_layer = None
|
| 475 |
+
for m in gen.net:
|
| 476 |
+
if isinstance(m, nn.Linear):
|
| 477 |
+
last_layer = m
|
| 478 |
+
if last_layer is None:
|
| 479 |
+
continue
|
| 480 |
+
with torch.no_grad():
|
| 481 |
+
# W: (output_dim, input_dim) — linhas são vetores em input_dim
|
| 482 |
+
W = last_layer.weight.data
|
| 483 |
+
n_rows = W.shape[0] # = output_dim
|
| 484 |
+
# Substitui 10% das linhas pela direção k-means++ do gerador h
|
| 485 |
+
n_replace = max(1, n_rows // 10)
|
| 486 |
+
idx = torch.randperm(n_rows, device=W.device)[:n_replace]
|
| 487 |
+
# Escala pequena para manter deltas pequenos
|
| 488 |
+
scale = 0.05
|
| 489 |
+
dir_h = directions[h].to(W.device) # (input_dim,)
|
| 490 |
+
# Mistura: W[i] ← scale · (dir_h ⊙ ruído)
|
| 491 |
+
for i in idx.tolist():
|
| 492 |
+
noise = torch.randn(W.shape[1], device=W.device) * 0.1
|
| 493 |
+
W[i, :] = scale * (dir_h + noise)
|
| 494 |
+
logger.info(
|
| 495 |
+
"[SynergyHypothesisEnsemble] k-means++ diversity init applied "
|
| 496 |
+
f"to {self.max_n_hypotheses} generators (input_dim="
|
| 497 |
+
f"{self.input_dim}, output_dim={self.output_dim})."
|
| 498 |
+
)
|
| 499 |
+
except Exception as e:
|
| 500 |
+
logger.warning(
|
| 501 |
+
f"[SynergyHypothesisEnsemble] k-means++ init failed: {e}. "
|
| 502 |
+
f"Falling back to Xavier-only init."
|
| 503 |
+
)
|
| 504 |
+
|
| 505 |
+
# ------------------------------------------------------------------
|
| 506 |
+
# Runtime stats
|
| 507 |
+
# ------------------------------------------------------------------
|
| 508 |
+
def _reset_runtime_stats(self) -> None:
|
| 509 |
+
"""Reseta estatísticas internas para monitoramento."""
|
| 510 |
+
self._last_pi: Optional[torch.Tensor] = None
|
| 511 |
+
self._last_deltas: Optional[torch.Tensor] = None
|
| 512 |
+
self._last_losses: Dict[str, float] = {}
|
| 513 |
+
self._forward_count: int = 0
|
| 514 |
+
|
| 515 |
+
def set_active_count(self, n: int) -> None:
|
| 516 |
+
"""Ajusta dinamicamente o número de hipóteses ativas."""
|
| 517 |
+
n = max(1, min(int(n), self.max_n_hypotheses))
|
| 518 |
+
self.active_count = int(n)
|
| 519 |
+
self.n_hypotheses = int(n)
|
| 520 |
+
|
| 521 |
+
# ------------------------------------------------------------------
|
| 522 |
+
# Forward principal (sinergia)
|
| 523 |
+
# ------------------------------------------------------------------
|
| 524 |
+
def forward(
|
| 525 |
+
self,
|
| 526 |
+
x: torch.Tensor,
|
| 527 |
+
return_components: bool = True,
|
| 528 |
+
stop_grad_x: bool = False,
|
| 529 |
+
) -> Dict[str, torch.Tensor]:
|
| 530 |
+
"""Forward sinérgico do ensemble.
|
| 531 |
+
|
| 532 |
+
Args:
|
| 533 |
+
x: (batch, input_dim) — ativação SOM da entrada.
|
| 534 |
+
return_components: se True, retorna dict com todos os componentes
|
| 535 |
+
(deltas, π, perdas). Se False, retorna apenas
|
| 536 |
+
{'delta_ensemble': ...}.
|
| 537 |
+
stop_grad_x: se True, aplica x.detach() (Lema 3 — isola correção
|
| 538 |
+
do gradiente principal).
|
| 539 |
+
|
| 540 |
+
Returns:
|
| 541 |
+
Dict com:
|
| 542 |
+
'delta_ensemble': (batch, output_dim) — delta cooperativo
|
| 543 |
+
'deltas': (batch, n_active, output_dim) — todos os δ_h
|
| 544 |
+
'pi': (batch, n_active) — responsabilidades
|
| 545 |
+
'delta_scale': escalar — escala aplicada
|
| 546 |
+
'losses': dict de regularizações (se return_components)
|
| 547 |
+
"""
|
| 548 |
+
# OOM-guard: verifica tamanho esperado do tensor de deltas
|
| 549 |
+
# (batch × n_active × output_dim × 4 bytes)
|
| 550 |
+
est_bytes = (
|
| 551 |
+
x.shape[0] * self.active_count * self.output_dim * 4
|
| 552 |
+
)
|
| 553 |
+
if est_bytes > self.config.max_delta_tensor_bytes:
|
| 554 |
+
# Reduz n_active temporariamente para caber no budget
|
| 555 |
+
new_n = max(
|
| 556 |
+
1,
|
| 557 |
+
int(self.config.max_delta_tensor_bytes
|
| 558 |
+
// (x.shape[0] * self.output_dim * 4)),
|
| 559 |
+
)
|
| 560 |
+
new_n = min(new_n, self.active_count)
|
| 561 |
+
if new_n < self.active_count:
|
| 562 |
+
logger.warning(
|
| 563 |
+
f"[SynergyHypothesisEnsemble] OOM-guard: reducing "
|
| 564 |
+
f"n_active {self.active_count}→{new_n} (est. "
|
| 565 |
+
f"{est_bytes/1e6:.1f}MB > budget "
|
| 566 |
+
f"{self.config.max_delta_tensor_bytes/1e6:.1f}MB)."
|
| 567 |
+
)
|
| 568 |
+
# Ajusta temporariamente (não persistente)
|
| 569 |
+
original_active = self.active_count
|
| 570 |
+
self.active_count = new_n
|
| 571 |
+
else:
|
| 572 |
+
original_active = self.active_count
|
| 573 |
+
else:
|
| 574 |
+
original_active = self.active_count
|
| 575 |
+
|
| 576 |
+
try:
|
| 577 |
+
# Lema 3: stop_grad isola o sinal de correção
|
| 578 |
+
if stop_grad_x:
|
| 579 |
+
x = x.detach()
|
| 580 |
+
|
| 581 |
+
batch_size = x.shape[0]
|
| 582 |
+
n_active = self.active_count
|
| 583 |
+
|
| 584 |
+
# 1. Gera N deltas: (batch, n_active, output_dim)
|
| 585 |
+
deltas = torch.stack(
|
| 586 |
+
[self.generators[h](x) for h in range(n_active)],
|
| 587 |
+
dim=1,
|
| 588 |
+
) # (batch, n_active, output_dim)
|
| 589 |
+
|
| 590 |
+
# 2. Aplica delta_scale (escalar treinável)
|
| 591 |
+
scale = self.delta_scale
|
| 592 |
+
deltas = scale * deltas
|
| 593 |
+
|
| 594 |
+
# 3. Gating: π = softmax(gating(x)) → (batch, n_active)
|
| 595 |
+
# Pegamos apenas os primeiros n_active logits
|
| 596 |
+
pi_full = self.gating(x) # (batch, max_n)
|
| 597 |
+
pi = pi_full[:, :n_active]
|
| 598 |
+
# Renormaliza π após o slice (já que cortamos os inativos)
|
| 599 |
+
pi = pi / (pi.sum(dim=-1, keepdim=True) + self.config.eps)
|
| 600 |
+
|
| 601 |
+
# 4. Delta ensemble (cooperação): δ_ens = Σ_h π_h · δ_h
|
| 602 |
+
# pi: (batch, n_active) → (batch, n_active, 1)
|
| 603 |
+
delta_ensemble = (pi.unsqueeze(-1) * deltas).sum(dim=1) # (batch, output_dim)
|
| 604 |
+
|
| 605 |
+
# 5. Computa regularizações de sinergia
|
| 606 |
+
losses: Dict[str, torch.Tensor] = {}
|
| 607 |
+
if return_components:
|
| 608 |
+
losses = self._compute_synergy_losses(deltas, pi)
|
| 609 |
+
|
| 610 |
+
# Atualiza stats
|
| 611 |
+
self._last_pi = pi.detach()
|
| 612 |
+
self._last_deltas = deltas.detach()
|
| 613 |
+
self._last_losses = {
|
| 614 |
+
k: float(v.item()) if torch.is_tensor(v) else float(v)
|
| 615 |
+
for k, v in losses.items()
|
| 616 |
+
}
|
| 617 |
+
self._forward_count += 1
|
| 618 |
+
|
| 619 |
+
result: Dict[str, torch.Tensor] = {
|
| 620 |
+
"delta_ensemble": delta_ensemble,
|
| 621 |
+
"deltas": deltas,
|
| 622 |
+
"pi": pi,
|
| 623 |
+
"delta_scale": scale,
|
| 624 |
+
}
|
| 625 |
+
if return_components:
|
| 626 |
+
result["losses"] = losses
|
| 627 |
+
return result
|
| 628 |
+
|
| 629 |
+
finally:
|
| 630 |
+
# Restaura active_count se foi temporariamente reduzido
|
| 631 |
+
self.active_count = original_active
|
| 632 |
+
|
| 633 |
+
# ------------------------------------------------------------------
|
| 634 |
+
# Regularizações de sinergia
|
| 635 |
+
# ------------------------------------------------------------------
|
| 636 |
+
def _compute_synergy_losses(
|
| 637 |
+
self,
|
| 638 |
+
deltas: torch.Tensor, # (batch, n_active, output_dim)
|
| 639 |
+
pi: torch.Tensor, # (batch, n_active)
|
| 640 |
+
) -> Dict[str, torch.Tensor]:
|
| 641 |
+
"""Computa as 4 regularizações de sinergia.
|
| 642 |
+
|
| 643 |
+
L_coherence: penaliza divergência do baricentro (cooperação)
|
| 644 |
+
L_orthogonal: penaliza correlação entre deltas (diversidade)
|
| 645 |
+
L_diversity: entropia negativa de π (uso uniforme)
|
| 646 |
+
L_l2: norma Frobenius de D (estabilidade)
|
| 647 |
+
"""
|
| 648 |
+
cfg = self.config
|
| 649 |
+
eps = cfg.eps
|
| 650 |
+
losses: Dict[str, torch.Tensor] = {}
|
| 651 |
+
|
| 652 |
+
# (1) COOPERAÇÃO — coherence loss
|
| 653 |
+
if cfg.enable_coherence and cfg.lam_coh > 0:
|
| 654 |
+
# Baricentro do ensemble: δ̄ = (1/N) Σ_h δ_h
|
| 655 |
+
delta_bar = deltas.mean(dim=1, keepdim=True) # (batch, 1, output_dim)
|
| 656 |
+
# Distância² ao baricentro, com decaimento exponencial para
|
| 657 |
+
# não penalizar hipóteses ousadas (||δ_h|| grande)
|
| 658 |
+
diff = deltas - delta_bar # (batch, n_active, output_dim)
|
| 659 |
+
diff_sq = (diff * diff).sum(dim=-1) # (batch, n_active)
|
| 660 |
+
# Peso exponencial: w_h = exp(-||δ_h||)
|
| 661 |
+
delta_norm = deltas.norm(dim=-1) # (batch, n_active)
|
| 662 |
+
w = torch.exp(-delta_norm) # (batch, n_active)
|
| 663 |
+
# L_coh = mean_{b,h} w_{b,h} · ||δ_h - δ̄||²
|
| 664 |
+
l_coh_raw = (w * diff_sq).mean()
|
| 665 |
+
losses["loss_coherence"] = cfg.lam_coh * l_coh_raw
|
| 666 |
+
else:
|
| 667 |
+
losses["loss_coherence"] = torch.tensor(0.0, device=deltas.device)
|
| 668 |
+
|
| 669 |
+
# (2) ORTOGONALIDADE — Gram-Schmidt suave
|
| 670 |
+
if cfg.enable_orthogonality and cfg.lam_orth > 0:
|
| 671 |
+
# Normaliza deltas para o cálculo de G (estabilidade)
|
| 672 |
+
d_norm = deltas.norm(dim=-1, keepdim=True).clamp(min=eps)
|
| 673 |
+
d_hat = deltas / d_norm # (batch, n_active, output_dim) — unitários
|
| 674 |
+
# G = D̂ D̂ᵀ ∈ ℝ^{n_active × n_active} (matriz de Gram por batch)
|
| 675 |
+
G = torch.matmul(d_hat, d_hat.transpose(1, 2)) # (batch, n_active, n_active)
|
| 676 |
+
# Off-diagonal: penaliza correlações
|
| 677 |
+
I = torch.eye(G.shape[1], device=G.device).unsqueeze(0)
|
| 678 |
+
off_diag = G - I
|
| 679 |
+
l_orth_raw = (off_diag * off_diag).sum(dim=(-1, -2)).mean()
|
| 680 |
+
losses["loss_orthogonality"] = cfg.lam_orth * l_orth_raw
|
| 681 |
+
else:
|
| 682 |
+
losses["loss_orthogonality"] = torch.tensor(0.0, device=deltas.device)
|
| 683 |
+
|
| 684 |
+
# (3) DIVERSIDADE — entropia de π (entropia bonus)
|
| 685 |
+
if cfg.enable_diversity and cfg.lam_div > 0:
|
| 686 |
+
# H(π) = -Σ π log π → maximizar H = minimizar -H
|
| 687 |
+
log_pi = torch.log(pi.clamp(min=eps))
|
| 688 |
+
entropy = -(pi * log_pi).sum(dim=-1) # (batch,)
|
| 689 |
+
# log(N) é a entropia máxima (distribuição uniforme)
|
| 690 |
+
log_n = math.log(max(self.active_count, 1))
|
| 691 |
+
# Normaliza: l_div ∈ [0, 1] (0 = uniforme, 1 = colapsada)
|
| 692 |
+
l_div_raw = (1.0 - entropy / max(log_n, eps)).mean()
|
| 693 |
+
losses["loss_diversity"] = cfg.lam_div * l_div_raw
|
| 694 |
+
else:
|
| 695 |
+
losses["loss_diversity"] = torch.tensor(0.0, device=deltas.device)
|
| 696 |
+
|
| 697 |
+
# (4) L2 — norma Frobenius de D
|
| 698 |
+
if cfg.enable_l2 and cfg.lam_l2 > 0:
|
| 699 |
+
l_l2_raw = (deltas * deltas).sum()
|
| 700 |
+
losses["loss_l2"] = cfg.lam_l2 * l_l2_raw
|
| 701 |
+
else:
|
| 702 |
+
losses["loss_l2"] = torch.tensor(0.0, device=deltas.device)
|
| 703 |
+
|
| 704 |
+
# Total
|
| 705 |
+
losses["loss_synergy_total"] = (
|
| 706 |
+
losses["loss_coherence"]
|
| 707 |
+
+ losses["loss_orthogonality"]
|
| 708 |
+
+ losses["loss_diversity"]
|
| 709 |
+
+ losses["loss_l2"]
|
| 710 |
+
)
|
| 711 |
+
|
| 712 |
+
return losses
|
| 713 |
+
|
| 714 |
+
# ------------------------------------------------------------------
|
| 715 |
+
# API utilitária para o trainer
|
| 716 |
+
# ------------------------------------------------------------------
|
| 717 |
+
def forward_stacked(self, x: torch.Tensor) -> torch.Tensor:
|
| 718 |
+
"""Compat com HypothesisEnsemble.forward_stacked (legado).
|
| 719 |
+
|
| 720 |
+
Retorna (batch, n_active, output_dim) — apenas os deltas, sem π.
|
| 721 |
+
"""
|
| 722 |
+
out = self.forward(x, return_components=False, stop_grad_x=False)
|
| 723 |
+
return out["deltas"]
|
| 724 |
+
|
| 725 |
+
def get_delta_ensemble(
|
| 726 |
+
self, x: torch.Tensor, stop_grad_x: bool = False
|
| 727 |
+
) -> torch.Tensor:
|
| 728 |
+
"""Atalho para obter apenas o delta cooperativo."""
|
| 729 |
+
return self.forward(
|
| 730 |
+
x, return_components=False, stop_grad_x=stop_grad_x
|
| 731 |
+
)["delta_ensemble"]
|
| 732 |
+
|
| 733 |
+
def get_last_stats(self) -> Dict[str, Any]:
|
| 734 |
+
"""Retorna estatísticas do último forward (para monitoramento)."""
|
| 735 |
+
pi = self._last_pi
|
| 736 |
+
deltas = self._last_deltas
|
| 737 |
+
stats: Dict[str, Any] = {
|
| 738 |
+
"forward_count": int(self._forward_count),
|
| 739 |
+
"active_count": int(self.active_count),
|
| 740 |
+
"delta_scale": float(self.delta_scale.item()),
|
| 741 |
+
"losses": dict(self._last_losses),
|
| 742 |
+
}
|
| 743 |
+
if pi is not None:
|
| 744 |
+
# Entropia normalizada de π (1.0 = uniforme, 0.0 = colapsada)
|
| 745 |
+
eps = self.config.eps
|
| 746 |
+
log_pi = torch.log(pi.clamp(min=eps))
|
| 747 |
+
entropy = -(pi * log_pi).sum(dim=-1).mean().item()
|
| 748 |
+
log_n = math.log(max(self.active_count, 1))
|
| 749 |
+
stats["pi_entropy"] = float(entropy)
|
| 750 |
+
stats["pi_normalized_entropy"] = float(entropy / max(log_n, eps))
|
| 751 |
+
stats["pi_max"] = float(pi.max(dim=-1).values.mean().item())
|
| 752 |
+
stats["pi_min"] = float(pi.min(dim=-1).values.mean().item())
|
| 753 |
+
if deltas is not None:
|
| 754 |
+
# Norma média dos deltas
|
| 755 |
+
stats["delta_norm_mean"] = float(
|
| 756 |
+
deltas.norm(dim=-1).mean().item()
|
| 757 |
+
)
|
| 758 |
+
# Diversidade: 1 - cos(δ_i, δ_j) médio
|
| 759 |
+
if deltas.shape[1] >= 2:
|
| 760 |
+
d_norm = deltas.norm(dim=-1, keepdim=True).clamp(min=eps)
|
| 761 |
+
d_hat = deltas / d_norm
|
| 762 |
+
G = torch.matmul(d_hat, d_hat.transpose(1, 2))
|
| 763 |
+
n = G.shape[1]
|
| 764 |
+
# Off-diagonal mean
|
| 765 |
+
mask = ~torch.eye(n, dtype=torch.bool, device=G.device)
|
| 766 |
+
off_mean = float(G[:, mask].mean().item())
|
| 767 |
+
stats["delta_correlation_mean"] = off_mean # ideal: ~0
|
| 768 |
+
return stats
|
| 769 |
|
| 770 |
|
| 771 |
+
# ============================================================================
|
| 772 |
+
# 7. HypT — Wrapper legado (compatibilidade reversa com V6.4)
|
| 773 |
+
# ============================================================================
|
| 774 |
class HypT(nn.Module):
|
| 775 |
+
"""HypT (V6.4 compat) — wrapper para SynergyHypothesisEnsemble em modo
|
| 776 |
+
single-hypothesis.
|
| 777 |
+
|
| 778 |
+
Mantém a API original para scripts legados:
|
| 779 |
+
>>> hyp = HypT(d_input=256, d_model=256, nhead=4, d_ff=512,
|
| 780 |
+
... output_dim=256, num_layers=2, dropout=0.1)
|
| 781 |
+
>>> delta = hyp(o, stop_grad=True) # → (batch, output_dim)
|
| 782 |
+
|
| 783 |
+
Internamente, delega para SynergyHypothesisEnsemble com n_hypotheses=1
|
| 784 |
+
(modo single-hyp, sem regularizações de sinergia — apenas L2 leve).
|
| 785 |
|
| 786 |
Args:
|
| 787 |
+
d_input: dimensão de entrada (saída do OrqCell = d_cache).
|
| 788 |
+
d_model: dimensão interna (mantido para compat, mapeado para hidden_dim).
|
| 789 |
+
nhead: nº de cabeças do Transformer (mantido para compat).
|
| 790 |
+
d_ff: dimensão do FFN (mantido para compat, ignorado no modo MLP).
|
| 791 |
+
output_dim: dimensão de saída (igual ao TrainT).
|
| 792 |
+
num_layers: nº de camadas (mantido para compat).
|
| 793 |
+
dropout: probabilidade de dropout.
|
| 794 |
|
| 795 |
Forward:
|
| 796 |
o: (batch, d_input), stop_grad: bool → delta: (batch, output_dim)
|
|
|
|
|
|
|
|
|
|
| 797 |
"""
|
| 798 |
|
| 799 |
def __init__(
|
|
|
|
| 807 |
dropout: float = 0.1,
|
| 808 |
):
|
| 809 |
super().__init__()
|
| 810 |
+
# Config single-hyp: sem sinergia (apenas L2 leve para estabilidade)
|
| 811 |
+
cfg = SynergyConfig(
|
| 812 |
+
lam_coh=0.0,
|
| 813 |
+
lam_orth=0.0,
|
| 814 |
+
lam_div=0.0,
|
| 815 |
+
lam_l2=1.0e-4,
|
| 816 |
+
enable_coherence=False,
|
| 817 |
+
enable_orthogonality=False,
|
| 818 |
+
enable_diversity=False,
|
| 819 |
+
enable_l2=True,
|
| 820 |
+
delta_scale_init=1.0, # scale=1 para preservar magnitude V6.4
|
| 821 |
+
)
|
| 822 |
+
self._ensemble = SynergyHypothesisEnsemble(
|
| 823 |
+
input_dim=int(d_input),
|
| 824 |
+
output_dim=int(output_dim),
|
| 825 |
+
n_hypotheses=1,
|
| 826 |
+
max_n_hypotheses=1,
|
| 827 |
+
hidden_dim=int(d_model) if d_model else HYP_HIDDEN_DIM_CANONICAL,
|
| 828 |
+
config=cfg,
|
| 829 |
+
use_transformer=True, # Mantém TransformerEncoder para compat V6.4
|
| 830 |
)
|
| 831 |
+
# Guarda parâmetros originais para introspecção
|
| 832 |
+
self.d_input = int(d_input)
|
| 833 |
+
self.d_model = int(d_model)
|
| 834 |
+
self.output_dim = int(output_dim)
|
| 835 |
+
self.nhead = int(nhead)
|
| 836 |
+
self.d_ff = int(d_ff)
|
| 837 |
+
self.num_layers = int(num_layers)
|
| 838 |
+
self.dropout = float(dropout)
|
| 839 |
|
| 840 |
+
def forward(
|
| 841 |
+
self, o: torch.Tensor, stop_grad: bool = True
|
| 842 |
+
) -> torch.Tensor:
|
| 843 |
+
"""o: (batch, d_input) → delta: (batch, output_dim).
|
| 844 |
|
| 845 |
+
V6.5-V3: delega para SynergyHypothesisEnsemble (single-hyp mode).
|
|
|
|
|
|
|
| 846 |
"""
|
| 847 |
+
out = self._ensemble.forward(
|
| 848 |
+
o, return_components=False, stop_grad_x=stop_grad
|
| 849 |
+
)
|
| 850 |
+
# delta_ensemble = Σ_h π_h · δ_h, com n_hyp=1 → π_1=1, δ_ens=δ_1
|
| 851 |
+
return out["delta_ensemble"]
|
| 852 |
+
|
| 853 |
+
# ------------------------------------------------------------------
|
| 854 |
+
# Exposição de estado interno (para inspeção/depuração)
|
| 855 |
+
# ------------------------------------------------------------------
|
| 856 |
+
def get_ensemble(self) -> SynergyHypothesisEnsemble:
|
| 857 |
+
"""Retorna o ensemble interno (para upgrade sinérgico posterior)."""
|
| 858 |
+
return self._ensemble
|
| 859 |
+
|
| 860 |
+
|
| 861 |
+
# ============================================================================
|
| 862 |
+
# 8. Factory helpers
|
| 863 |
+
# ============================================================================
|
| 864 |
+
def create_synergy_ensemble(
|
| 865 |
+
input_dim: int,
|
| 866 |
+
output_dim: int,
|
| 867 |
+
n_hypotheses: int = N_HYPOTHESES_CANONICAL,
|
| 868 |
+
max_n_hypotheses: int = MAX_N_HYPOTHESES_CANONICAL,
|
| 869 |
+
hidden_dim: int = HYP_HIDDEN_DIM_CANONICAL,
|
| 870 |
+
config: Optional[SynergyConfig] = None,
|
| 871 |
+
use_transformer: bool = False,
|
| 872 |
+
device: Optional[torch.device] = None,
|
| 873 |
+
seed: Optional[int] = 42,
|
| 874 |
+
) -> SynergyHypothesisEnsemble:
|
| 875 |
+
"""Factory para criar um SynergyHypothesisEnsemble com defaults canônicos.
|
| 876 |
+
|
| 877 |
+
Constantes canônicas (NUNCA alterar):
|
| 878 |
+
N_HYPOTHESES = 16, MAX_N_HYPOTHESES = 32,
|
| 879 |
+
HYP_TRAIN_STEPS = 30, HYP_HIDDEN_DIM = 256.
|
| 880 |
+
"""
|
| 881 |
+
return SynergyHypothesisEnsemble(
|
| 882 |
+
input_dim=input_dim,
|
| 883 |
+
output_dim=output_dim,
|
| 884 |
+
n_hypotheses=n_hypotheses,
|
| 885 |
+
max_n_hypotheses=max_n_hypotheses,
|
| 886 |
+
hidden_dim=hidden_dim,
|
| 887 |
+
config=config,
|
| 888 |
+
use_transformer=use_transformer,
|
| 889 |
+
device=device,
|
| 890 |
+
seed=seed,
|
| 891 |
+
)
|
| 892 |
+
|
| 893 |
+
|
| 894 |
+
# ============================================================================
|
| 895 |
+
# 9. Self-test (executável: python -m bigru_t.model.hyp_t)
|
| 896 |
+
# ============================================================================
|
| 897 |
+
def _self_test() -> Dict[str, Any]:
|
| 898 |
+
"""Self-test do módulo: cria ensemble, faz forward, verifica saídas."""
|
| 899 |
+
print("[hyp_t self-test] Starting...")
|
| 900 |
+
torch.manual_seed(42)
|
| 901 |
+
|
| 902 |
+
# Parâmetros canônicos
|
| 903 |
+
P_som = 256 # grid (4,4,4,4) flatten
|
| 904 |
+
output_dim = 256 * 4 # I*J*K*L*4 = 256*4 = 1024
|
| 905 |
+
n_hyp = N_HYPOTHESES_CANONICAL
|
| 906 |
+
max_n = MAX_N_HYPOTHESES_CANONICAL
|
| 907 |
+
hidden = HYP_HIDDEN_DIM_CANONICAL
|
| 908 |
+
|
| 909 |
+
# Cria ensemble
|
| 910 |
+
ens = create_synergy_ensemble(
|
| 911 |
+
input_dim=P_som,
|
| 912 |
+
output_dim=output_dim,
|
| 913 |
+
n_hypotheses=n_hyp,
|
| 914 |
+
max_n_hypotheses=max_n,
|
| 915 |
+
hidden_dim=hidden,
|
| 916 |
+
use_transformer=False, # MLP para self-test rápido
|
| 917 |
+
device=torch.device("cpu"),
|
| 918 |
+
seed=42,
|
| 919 |
+
)
|
| 920 |
+
print(f" Ensemble criado: {n_hyp} hipóteses (max {max_n}), "
|
| 921 |
+
f"hidden={hidden}, P_som={P_som}, output_dim={output_dim}")
|
| 922 |
+
|
| 923 |
+
# Forward com batch de 8 amostras
|
| 924 |
+
x = torch.randn(8, P_som)
|
| 925 |
+
out = ens(x)
|
| 926 |
+
delta_ens = out["delta_ensemble"]
|
| 927 |
+
deltas = out["deltas"]
|
| 928 |
+
pi = out["pi"]
|
| 929 |
+
losses = out["losses"]
|
| 930 |
+
|
| 931 |
+
# Verifica shapes
|
| 932 |
+
assert delta_ens.shape == (8, output_dim), \
|
| 933 |
+
f"delta_ensemble shape: {delta_ens.shape} != (8, {output_dim})"
|
| 934 |
+
assert deltas.shape == (8, n_hyp, output_dim), \
|
| 935 |
+
f"deltas shape: {deltas.shape} != (8, {n_hyp}, {output_dim})"
|
| 936 |
+
assert pi.shape == (8, n_hyp), \
|
| 937 |
+
f"pi shape: {pi.shape} != (8, {n_hyp})"
|
| 938 |
+
|
| 939 |
+
# Verifica que π soma 1
|
| 940 |
+
pi_sum = pi.sum(dim=-1)
|
| 941 |
+
assert torch.allclose(pi_sum, torch.ones(8), atol=1e-5), \
|
| 942 |
+
f"π não soma 1: {pi_sum}"
|
| 943 |
+
|
| 944 |
+
# Verifica losses
|
| 945 |
+
print(f" Losses: " + ", ".join(
|
| 946 |
+
f"{k}={v.item():.6f}" for k, v in losses.items()
|
| 947 |
+
))
|
| 948 |
+
assert torch.isfinite(losses["loss_synergy_total"]), \
|
| 949 |
+
"loss_synergy_total não é finita"
|
| 950 |
+
|
| 951 |
+
# Stats
|
| 952 |
+
stats = ens.get_last_stats()
|
| 953 |
+
print(f" Stats: pi_entropy={stats.get('pi_entropy', 0):.4f} "
|
| 954 |
+
f"(norm={stats.get('pi_normalized_entropy', 0):.4f}), "
|
| 955 |
+
f"delta_norm_mean={stats.get('delta_norm_mean', 0):.6f}, "
|
| 956 |
+
f"corr={stats.get('delta_correlation_mean', 0):.4f}")
|
| 957 |
+
|
| 958 |
+
# Test HypT legacy wrapper
|
| 959 |
+
hyp = HypT(
|
| 960 |
+
d_input=P_som, d_model=hidden, nhead=4, d_ff=hidden * 2,
|
| 961 |
+
output_dim=output_dim, num_layers=1, dropout=0.1,
|
| 962 |
+
)
|
| 963 |
+
delta_legacy = hyp(x, stop_grad=True)
|
| 964 |
+
assert delta_legacy.shape == (8, output_dim), \
|
| 965 |
+
f"HypT legacy delta shape: {delta_legacy.shape}"
|
| 966 |
+
assert torch.isfinite(delta_legacy).all(), "HypT legacy delta não finito"
|
| 967 |
+
print(f" HypT legacy OK: delta shape={delta_legacy.shape}, "
|
| 968 |
+
f"norm_mean={delta_legacy.norm(dim=-1).mean().item():.6f}")
|
| 969 |
+
|
| 970 |
+
print("[hyp_t self-test] ALL CHECKS PASSED ✓")
|
| 971 |
+
return {
|
| 972 |
+
"ensemble_n_hyp": n_hyp,
|
| 973 |
+
"ensemble_max_n": max_n,
|
| 974 |
+
"ensemble_hidden": hidden,
|
| 975 |
+
"delta_ensemble_shape": list(delta_ens.shape),
|
| 976 |
+
"deltas_shape": list(deltas.shape),
|
| 977 |
+
"pi_shape": list(pi.shape),
|
| 978 |
+
"pi_sum_mean": float(pi_sum.mean().item()),
|
| 979 |
+
"losses": {k: float(v.item()) for k, v in losses.items()},
|
| 980 |
+
"stats": stats,
|
| 981 |
+
"hyp_legacy_shape": list(delta_legacy.shape),
|
| 982 |
+
}
|
| 983 |
+
|
| 984 |
+
|
| 985 |
+
# ============================================================================
|
| 986 |
+
# __all__
|
| 987 |
+
# ============================================================================
|
| 988 |
+
__all__ = [
|
| 989 |
+
# Config
|
| 990 |
+
"SynergyConfig",
|
| 991 |
+
# Classes principais
|
| 992 |
+
"SynergyHypothesisEnsemble",
|
| 993 |
+
"DeltaGenerator",
|
| 994 |
+
"GatingNetwork",
|
| 995 |
+
"HypT", # legacy wrapper (V6.4 compat)
|
| 996 |
+
# Constantes canônicas
|
| 997 |
+
"N_HYPOTHESES_CANONICAL",
|
| 998 |
+
"MAX_N_HYPOTHESES_CANONICAL",
|
| 999 |
+
"HYP_TRAIN_STEPS_CANONICAL",
|
| 1000 |
+
"HYP_HIDDEN_DIM_CANONICAL",
|
| 1001 |
+
# Factory
|
| 1002 |
+
"create_synergy_ensemble",
|
| 1003 |
+
# k-means++ init
|
| 1004 |
+
"_kmeans_pp_init_delta_directions",
|
| 1005 |
+
]
|
| 1006 |
+
|
| 1007 |
+
|
| 1008 |
+
if __name__ == "__main__":
|
| 1009 |
+
_self_test()
|