federicosabbadini/chronos-bolt-patch-sweep

Chronos-Bolt Patch Sweep — Studio sull'Aliasing Strutturale

Collezione di modelli Chronos-Bolt Tiny (~8.65M parametri) riallenati da zero con diverse geometrie di patch (P, S) per studiare l'aliasing strutturale introdotto dall'embedding a patch nei transformer per serie temporali.

Risultati principali

L'embedding a patch proietta P campioni consecutivi in un singolo token. Quando un'oscillazione completa esattamente un intero numero di cicli nella finestra di P campioni (cpp = freq × P / fs = intero), la proiezione lineare cancella l'oscillazione. Questo produce nulli nella risposta in frequenza a posizioni prevedibili: f_null = k × fs / P.

Ipotesi	Esito
La larghezza P della patch determina la posizione dei nulli	Confermata — nulli a k×fs/P
I nulli cadono a cpp intero indipendentemente da P	Confermata — P=8, P=16, P=24 collassano tutti a cpp intero
L'overlap (stride ridotto) mitiga il nullo	Rigettata — S=4 collassa quanto S=16
La banda utile del forecaster è fs/P	Confermata — recovery crolla sopra questa soglia

Modelli

Cartella	P	S	Overlap	Step	Stato	Ruolo
p16-s12-seed42	16	12	25%	100k	done	Asse stride
p16-s8-seed42	16	8	50%	100k	done	Asse stride
p16-s4-seed42	16	4	75%	100k	done	Asse stride
p8-s8-seed42	8	8	0%	100k	done	Asse patch-size
p24-s24-seed42	24	24	0%	100k	done	Asse patch-size
p16-s16-seed42	16	16	0%	10k	stale	Sostituito dall'ufficiale

Nota su p16-s16. Il retrain p16-s16-seed42 si è fermato a ~33k step e i pesi su HF sono quelli vecchi a 10k. Per il confronto P=16 S=16 usiamo direttamente il modello ufficiale amazon/chronos-bolt-tiny (200k step, corpus completo, stessa geometria P=16 S=16). È il miglior anchor possibile per l'asse stride.

Training

• Architettura: T5-based (Chronos-Bolt Tiny), ~8.65M parametri
• Dataset: autogluon/chronos_datasets — TSMixup 10M + KernelSynth 1M, interleaving 9:1
• Step: 100,000 (streaming da HF, shuffle buffer 10k)
• Ottimizzatore: AdamW fused, LR 1e-3 → 0 (linear decay), no warmup
• Batch size: 32, gradient clipping 1.0
• Precisione: fp32 + TF32 (RTX 5060 Laptop, sm_120)
• Context/Prediction: 2048 / 64

Ogni modello è allenato con lo stesso seed (42), stesso dataset, stessi iperparametri. L'unica variabile è la geometria della patch (P, S).

Come usare

from chronos import ChronosBoltPipeline
import torch

# Caricare un singolo modello retrained
pipe = ChronosBoltPipeline.from_pretrained(
    "federicosabbadini/chronos-bolt-patch-sweep",
    subfolder="p8-s8-seed42",
    device_map="cuda",
    torch_dtype=torch.float32,
)

# Caricare il modello ufficiale come reference P=16 S=16
official = ChronosBoltPipeline.from_pretrained(
    "amazon/chronos-bolt-tiny",
    device_map="cuda",
)

# Forecast
import numpy as np
context = torch.tensor(np.random.randn(512), dtype=torch.float32)
forecast = pipe.predict(context, prediction_length=64)  # [1, 9, 64] — 9 quantili
median = forecast[0, 4, :]  # quantile 0.5

Caricare tutti i modelli per confronto

REPO = "federicosabbadini/chronos-bolt-patch-sweep"
VARIANTS = ["p16-s12-seed42", "p16-s8-seed42", "p16-s4-seed42",
            "p8-s8-seed42", "p24-s24-seed42"]

models = {}
for name in VARIANTS:
    models[name] = ChronosBoltPipeline.from_pretrained(
        REPO, subfolder=name, device_map="cuda", torch_dtype=torch.float32
    )

# Aggiungere l'ufficiale come p16-s16
models["p16-s16 (official)"] = ChronosBoltPipeline.from_pretrained(
    "amazon/chronos-bolt-tiny", device_map="cuda"
)

Struttura del repository

├── manifest.csv                    # tabella riassuntiva di tutti i run
├── p16-s12-seed42/
│   ├── config.json                 # config del modello (include P, S)
│   ├── model.safetensors           # pesi finali (100k step)
│   ├── run_config.json             # iperparametri del training
│   ├── loss_history.npy            # curva di loss
│   └── loss_curve.png              # plot della loss
├── p16-s8-seed42/                  # stessa struttura
├── p16-s4-seed42/
├── p8-s8-seed42/
├── p24-s24-seed42/
└── p16-s16-seed42/                 # ⚠️ stale — pesi a 10k, non usare

Codice sorgente

Il codice di training, valutazione e analisi è nel repository GitHub: i script di sweep frequenziale, il notebook inspector, e i generatori di segnali sintetici con injection controllata.

Licenza

Apache 2.0 — stesso della famiglia Chronos.