RthItalia commited on
Commit
a2a2f24
·
verified ·
1 Parent(s): e9a3d5f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +127 -5
README.md CHANGED
@@ -1,5 +1,127 @@
1
- ---
2
- license: other
3
- license_name: other
4
- license_link: LICENSE
5
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: cc-by-nc-4.0
3
+ language:
4
+ - en
5
+ - it
6
+ - py
7
+ - js
8
+ - cpp
9
+ tags:
10
+ - non-transformer
11
+ - tcn
12
+ - fractal
13
+ - lora
14
+ - genome
15
+ - rth-code
16
+ - zetagrid
17
+ pipeline_tag: text-generation
18
+ ---
19
+
20
+ # 💻 RTH-Code 25B — Code Specialist Soul
21
+
22
+ > **"L'intelligenza è nell'architettura, non nelle GPU."**
23
+ > Questa è la **Soul Specialista per il Codice** dell'ecosistema RTH-LM.
24
+ > Stesso Genome (7B) di base, ma con una "anima" addestrata per programmare.
25
+
26
+ ⚠️ **PROOF OF CONCEPT** ⚠️
27
+ Questa è una versione **BASE** creata per dimostrare l'efficienza scalare dell'architettura RTH-LM.
28
+ - **Tempo di Training:** Solo **8 ore** su singola A40.
29
+ - **Dataset:** Solo **5GB** di codice misto (Python, JS, C++, Go).
30
+ - **Obiettivo:** Dimostrare che un Genome congelato può apprendere skills verticali complesse in tempi record.
31
+
32
+ ---
33
+
34
+ ## ⚡ Che cos'è?
35
+
36
+ **RTH-Code 25B** non è un modello a sé stante. È una **Soul intercambiabile**.
37
+ Invece di scaricare un modello da 30GB per ogni task, mantieni il **Genome congelato (7B)** e cambi solo la Soul (~950M parametri).
38
+
39
+ Questa Soul è stata addestrata specificamente su:
40
+ - **Python** (Data Science, Backend, Torch)
41
+ - **JavaScript/TypeScript** (React, Node)
42
+ - **C/C++** (Systems programming)
43
+ - **Rust/Go**
44
+
45
+ ```mermaid
46
+ graph TD
47
+ G["Genome 7B<br/>(Frozen Core)"]
48
+ G --> SC["🔹 Soul CODE<br/>Specialista Python/JS/C++"]
49
+ G --> SG["Soul Generalista<br/>Chat & Knowledge"]
50
+ G --> SL["Soul Legal/Medical<br/>(Future)"]
51
+ ```
52
+
53
+ Basta **swappare** i file `.pt` (o usare il GGUF unificato) e il tuo modello passa da "filosofo" a "senior engineer" in millisecondi.
54
+
55
+ ---
56
+
57
+ ## 📊 Specifiche Tecniche
58
+
59
+ | Feature | Dettaglio |
60
+ |---|---|
61
+ | **Architettura** | Fractal Gated Causal TCN (No Attention) |
62
+ | **Parametri Totali** | 25B (7B Genome + 18B Virtuali) |
63
+ | **Parametri Trainabili** | ~950M (LoRA Rank 512) |
64
+ | **Dataset Training** | **5GB** (Misto: Python, JS, C++, Go) |
65
+ | **Tempo Training** | **8 ORE** (Singola Epoch) ⏱️ |
66
+ | **Contesto** | 2048+ (Teoricamente infinito grazie a TCN) |
67
+ | **Loss Finale** | **1.20** ✅ |
68
+ | **Hardware** | Addestrato su singola NVIDIA A40 (48GB) |
69
+
70
+ ---
71
+
72
+ ## 🛠️ Quickstart
73
+
74
+ ### Opzione 1: GGUF (Consigliata per Ollama/llama.cpp)
75
+ Scarica `rth_lm_25b_code.gguf` da questo repo.
76
+
77
+ ```bash
78
+ # Esegui con llama.cpp
79
+ ./llama-cli -m rth_lm_25b_code.gguf -p "def fibonacci(n):" -n 200
80
+
81
+ # Oppure con Ollama (crea Modelfile)
82
+ # FROM ./rth_lm_25b_code.gguf
83
+ # SYSTEM "You are an expert coding assistant."
84
+ ```
85
+
86
+ ### Opzione 2: Python (Original PyTorch)
87
+ Se hai già il repo [ZetaGrid](https://github.com/rthgit/ZetaGrid):
88
+
89
+ ```python
90
+ from ZETAGRID_INFERENCE import ZetaGrid25B
91
+
92
+ # Carica il Genome base
93
+ model = ZetaGrid25B("zetagrid_25b_production.npy")
94
+
95
+ # Inserisci la Soul del Codice
96
+ model.load_soul("zeta25b_code_FINAL.pt")
97
+
98
+ print(model.generate("def quicksort(arr):"))
99
+ ```
100
+
101
+ ---
102
+
103
+ ## 🧪 Performance & Capability
104
+
105
+ RTH-Code eccelle in:
106
+ 1. **Code Completion**: Autocompletamento intelligente di funzioni e classi.
107
+ 2. **Refactoring**: Riscrittura di codice legacy in clean code.
108
+ 3. **Docstrings**: Generazione automatica di documentazione.
109
+ 4. **Unit Tests**: Scrittura di test `pytest`/`unittest`.
110
+
111
+ *Nota: Essendo un'architettura No-Attention (TCN), ha un overhead di inferenza bassissimo e scala linearmente O(N) con la lunghezza del contesto.*
112
+
113
+ ---
114
+
115
+ ## 📜 Licenza & Citazione
116
+
117
+ **CC BY-NC 4.0** — Ricerca e uso personale libero.
118
+ Prodotto da **RTH Italia** (Research & Technology Hub).
119
+ Autore: *Christian Quintino De Luca*.
120
+
121
+ Per citare il paper originale:
122
+ 📖 **[RTH-LM: A Fractal Temporal Convolutional Language Model](https://zenodo.org/records/18622610)**
123
+
124
+ ---
125
+
126
+ *Costruito per dimostrare che l'efficienza batte la forza bruta.*
127
+ **RTH Italia**