| --- |
| language: en |
| tags: |
| - time-series |
| - forecasting |
| - chronos |
| - patch-aliasing |
| - t5 |
| license: apache-2.0 |
| --- |
| |
| # Chronos-Bolt Patch Sweep — Studio sull'Aliasing Strutturale |
|
|
| Collezione di modelli **Chronos-Bolt Tiny** (~8.65M parametri) riallenati da zero con diverse geometrie di patch (P, S) per studiare l'aliasing strutturale introdotto dall'embedding a patch nei transformer per serie temporali. |
|
|
| ## Risultati principali |
|
|
| L'embedding a patch proietta P campioni consecutivi in un singolo token. Quando un'oscillazione completa esattamente un intero numero di cicli nella finestra di P campioni (`cpp = freq × P / fs = intero`), la proiezione lineare cancella l'oscillazione. Questo produce **nulli nella risposta in frequenza** a posizioni prevedibili: `f_null = k × fs / P`. |
|
|
| | Ipotesi | Esito | |
| |---------|-------| |
| | La larghezza P della patch determina la posizione dei nulli | **Confermata** — nulli a k×fs/P | |
| | I nulli cadono a cpp intero indipendentemente da P | **Confermata** — P=8, P=16, P=24 collassano tutti a cpp intero | |
| | L'overlap (stride ridotto) mitiga il nullo | **Rigettata** — S=4 collassa quanto S=16 | |
| | La banda utile del forecaster è fs/P | **Confermata** — recovery crolla sopra questa soglia | |
|
|
| ## Modelli |
|
|
| | Cartella | P | S | Overlap | Step | Stato | Ruolo | |
| |----------|---|---|---------|------|-------|-------| |
| | `p16-s12-seed42` | 16 | 12 | 25% | 100k | done | Asse stride | |
| | `p16-s8-seed42` | 16 | 8 | 50% | 100k | done | Asse stride | |
| | `p16-s4-seed42` | 16 | 4 | 75% | 100k | done | Asse stride | |
| | `p8-s8-seed42` | 8 | 8 | 0% | 100k | done | Asse patch-size | |
| | `p24-s24-seed42` | 24 | 24 | 0% | 100k | done | Asse patch-size | |
| | `p16-s16-seed42` | 16 | 16 | 0% | 10k | **stale** | Sostituito dall'ufficiale | |
|
|
| > **Nota su p16-s16.** Il retrain p16-s16-seed42 si è fermato a ~33k step e i pesi su HF sono quelli vecchi a 10k. Per il confronto P=16 S=16 usiamo direttamente il modello ufficiale [`amazon/chronos-bolt-tiny`](https://huggingface.co/amazon/chronos-bolt-tiny) (200k step, corpus completo, stessa geometria P=16 S=16). È il miglior anchor possibile per l'asse stride. |
|
|
| ## Training |
|
|
| - **Architettura:** T5-based (Chronos-Bolt Tiny), ~8.65M parametri |
| - **Dataset:** [autogluon/chronos_datasets](https://huggingface.co/datasets/autogluon/chronos_datasets) — TSMixup 10M + KernelSynth 1M, interleaving 9:1 |
| - **Step:** 100,000 (streaming da HF, shuffle buffer 10k) |
| - **Ottimizzatore:** AdamW fused, LR 1e-3 → 0 (linear decay), no warmup |
| - **Batch size:** 32, gradient clipping 1.0 |
| - **Precisione:** fp32 + TF32 (RTX 5060 Laptop, sm_120) |
| - **Context/Prediction:** 2048 / 64 |
| |
| Ogni modello è allenato con lo stesso seed (42), stesso dataset, stessi iperparametri. L'unica variabile è la geometria della patch (P, S). |
| |
| ## Come usare |
| |
| ```python |
| from chronos import ChronosBoltPipeline |
| import torch |
| |
| # Caricare un singolo modello retrained |
| pipe = ChronosBoltPipeline.from_pretrained( |
| "federicosabbadini/chronos-bolt-patch-sweep", |
| subfolder="p8-s8-seed42", |
| device_map="cuda", |
| torch_dtype=torch.float32, |
| ) |
| |
| # Caricare il modello ufficiale come reference P=16 S=16 |
| official = ChronosBoltPipeline.from_pretrained( |
| "amazon/chronos-bolt-tiny", |
| device_map="cuda", |
| ) |
|
|
| # Forecast |
| import numpy as np |
| context = torch.tensor(np.random.randn(512), dtype=torch.float32) |
| forecast = pipe.predict(context, prediction_length=64) # [1, 9, 64] — 9 quantili |
| median = forecast[0, 4, :] # quantile 0.5 |
| ``` |
| |
| ### Caricare tutti i modelli per confronto |
| |
| ```python |
| REPO = "federicosabbadini/chronos-bolt-patch-sweep" |
| VARIANTS = ["p16-s12-seed42", "p16-s8-seed42", "p16-s4-seed42", |
| "p8-s8-seed42", "p24-s24-seed42"] |
| |
| models = {} |
| for name in VARIANTS: |
| models[name] = ChronosBoltPipeline.from_pretrained( |
| REPO, subfolder=name, device_map="cuda", torch_dtype=torch.float32 |
| ) |
| |
| # Aggiungere l'ufficiale come p16-s16 |
| models["p16-s16 (official)"] = ChronosBoltPipeline.from_pretrained( |
| "amazon/chronos-bolt-tiny", device_map="cuda" |
| ) |
| ``` |
| |
| ## Struttura del repository |
| |
| ``` |
| ├── manifest.csv # tabella riassuntiva di tutti i run |
| ├── p16-s12-seed42/ |
| │ ├── config.json # config del modello (include P, S) |
| │ ├── model.safetensors # pesi finali (100k step) |
| │ ├── run_config.json # iperparametri del training |
| │ ├── loss_history.npy # curva di loss |
| │ └── loss_curve.png # plot della loss |
| ├── p16-s8-seed42/ # stessa struttura |
| ├── p16-s4-seed42/ |
| ├── p8-s8-seed42/ |
| ├── p24-s24-seed42/ |
| └── p16-s16-seed42/ # ⚠️ stale — pesi a 10k, non usare |
| ``` |
| |
| ## Codice sorgente |
| |
| Il codice di training, valutazione e analisi è nel repository GitHub: i script di sweep frequenziale, il notebook inspector, e i generatori di segnali sintetici con injection controllata. |
| |
| ## Licenza |
| |
| Apache 2.0 — stesso della famiglia Chronos. |
| |
