| | --- |
| | language: it |
| | license: apache-2.0 |
| | library_name: peft |
| | base_model: Qwen/Qwen2.5-1.5B |
| | tags: |
| | - lora |
| | - peft |
| | - baseline |
| | - flat-training |
| | - math |
| | - arithmetic |
| | - control-group |
| | datasets: |
| | - custom |
| | pipeline_tag: text-generation |
| | --- |
| | |
| | # Architettura Cognitiva Progressiva — Flat-LoRA (Italiano, Controllo) |
| |
|
| | **Modello di controllo** — Qwen2.5-1.5B addestrato con tutti i dati in un singolo passaggio (senza fasi, senza pruning). Serve come baseline per valutare l'addestramento progressivo. |
| |
|
| | ## 📊 Risultati |
| |
|
| | | Metrica | Flat-LoRA (questo) | Dream-LoRA | Progressive-LoRA | |
| | |---------|-------------------|-----------|-----------------| |
| | | Accuratezza Esatta | **60.6%** | 58.6% ± 2.9 | 37.0% ± 0.5 | |
| | | Number Sense | 0.0% | **60.0% ± 0.8** | **57.7% ± 0.5** | |
| | | Metacognizione | 0.0% | **100.0%** | **98.5%** | |
| |
|
| | Il flat training raggiunge la migliore accuratezza esatta ma **non sviluppa né number sense né metacognizione** — dimostrando che queste sono capacità emergenti dell'architettura progressiva, non del dato. |
| |
|
| | ## 🔧 Configurazione |
| |
|
| | | Parametro | Valore | |
| | |-----------|--------| |
| | | Modello Base | Qwen/Qwen2.5-1.5B | |
| | | LoRA Rank | 16 | |
| | | LoRA Alpha | 32 | |
| | | Target LoRA | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj | |
| | | Lingua Dati | Italiano | |
| | |
| | ## 🚀 Uso Rapido |
| | |
| | ```python |
| | from transformers import AutoModelForCausalLM, AutoTokenizer |
| | from peft import PeftModel |
| | |
| | base_model = AutoModelForCausalLM.from_pretrained( |
| | "Qwen/Qwen2.5-1.5B", device_map="auto", torch_dtype="auto" |
| | ) |
| | tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B") |
| |
|
| | model = PeftModel.from_pretrained( |
| | base_model, |
| | "dexmac/progressive-cognitive-baseline-lora" |
| | ) |
| | |
| | messages = [{"role": "user", "content": "Calcola: 342 * 67"}] |
| | text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) |
| | inputs = tokenizer(text, return_tensors="pt").to(model.device) |
| | outputs = model.generate(**inputs, max_new_tokens=200, temperature=0.1) |
| | print(tokenizer.decode(outputs[0], skip_special_tokens=True)) |
| | ``` |
| | |
| | ## 🔗 Modelli Correlati |
| | |
| | - [**Dream-LoRA (IT)**](https://huggingface.co/dexmac/progressive-cognitive-dream-lora) — Addestramento progressivo + Dream Pruning |
| | - [Progressive-LoRA (IT)](https://huggingface.co/dexmac/progressive-cognitive-lora) — Primo prototipo con magnitude pruning |
| | - [1.5B Flat (EN)](https://huggingface.co/dexmac/progressive-cognitive-baseline-lora-en) — Equivalente inglese |
| | - [GitHub](https://github.com/dexmac221/progressive-cognitive) — Codice sorgente completo |
| | |
| | ## 📝 Citation |
| | |
| | ```bibtex |
| | @software{progressive_cognitive_2026, |
| | author = {Dex Mac}, |
| | title = {Progressive Cognitive Architecture for LLMs}, |
| | year = {2026}, |
| | url = {https://github.com/dexmac221/progressive-cognitive}, |
| | version = {1.0.0} |
| | } |
| | ``` |
| | |
| | |
| | ## 📄 License |
| | |
| | Apache 2.0 |
| | |
| | |
