README.md

---
base_model: google/gemma-4-E4B-it
license: gemma
language:
- en
tags:
- quantitative-finance
- lora
- unsloth
- gemma4
pipeline_tag: text-generation
---

# Gemma 4 E4B — Quantitative Finance (LoRA)

Fine-tuné sur 24 exemples Q&A de finance quantitative via QLoRA (rank=32).

## Erreurs du modèle de base corrigées

| Erreur | Correction |
|---|---|
| SABR attribué à HJM | Hagan, Kumar, Lesniewski & Woodward (2002) |
| SABR vol avec mean-reversion | GBM log-normal sans drift |
| Bergomi = CIR/Heston | Forward variance curve ξᵗᵤ |
| Formule SABR inventée | Formule exacte avec z, χ(z) |

## Entraînement

| Paramètre | Valeur |
|---|---|
| GPU | RTX PRO 4500 (31.9 GB VRAM) |
| Méthode | QLoRA 4-bit |
| LoRA rank | 32 |
| LoRA alpha | 64 |
| Dataset | [mo35/quant-finance-dataset](https://huggingface.co/datasets/mo35/quant-finance-dataset) |
| Epochs | 10 |
| Loss finale | 2.5583 |

## Utilisation rapide

```python
from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    "mo35/gemma4-quantfin-lora", max_seq_length=4096, load_in_4bit=True
)
FastModel.for_inference(model)

inputs = tokenizer.apply_chat_template(
    [{"role": "user", "content": "Derive the SABR implied volatility formula."}],
    return_tensors="pt", add_generation_prompt=True
).to("cuda")
print(tokenizer.decode(model.generate(inputs, max_new_tokens=1024)[0][inputs.shape[-1]:],
                       skip_special_tokens=True))
```