README.md

---
license: apache-2.0
language:
- fr
- en
- zh
- es
- de
- ja
- ko
- pt
- it
- ru
tags:
- chat
- code
- math
- merge
- pytorch
base_model: Qwen/Qwen2.5-7B-Instruct
library_name: transformers
pipeline_tag: text-generation
---

<div align="center">
  <picture>
    <img src="https://cdn-avatars.huggingface.co/v1/production/uploads/680a73ca52d94f5cba88bb80/86XMG_sTra_Ia_SeWWXGJ.png" alt="Cygnis A3 Logo" width="220" style="border-radius: 50%;">
  </picture>
</div>

<div align="center" style="line-height: 1.5;">
  <a href="https://huggingface.co/Simonc44" target="_blank">
    <img alt="Hugging Face" src="https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Simonc44-ffc107?color=ffc107&logoColor=white"/>
  </a>
  <a href="https://opensource.org/licenses/Apache-2.0" target="_blank">
    <img alt="License" src="https://img.shields.io/badge/License-Apache%202.0-blue.svg"/>
  </a>
  <img alt="Version" src="https://img.shields.io/badge/Version-0.1%20-blueviolet"/>
</div>

---

## 1. Présentation

**Cygnis-A3 V0.1** est la première version publique du projet Cygnis A3 — un modèle de 7 milliards de paramètres obtenu par merge linéaire pondéré en PyTorch pur sur la base Qwen2.5.

Cette version **V0.1** est volontairement légère et conservatrice : elle combine uniquement les capacités de code, de mathématiques et de suivi d'instructions, sans module de raisonnement DeepSeek-R1 (prévu en V0.2). Elle sert de base validée et stable pour les itérations suivantes.

> **Différence V0.1 vs V0.2 :** La V0.1 ne contient pas de raisonnement Chain-of-Thought (`<think>`) ni de balises de réflexion interne. Les réponses sont directes et sans étape de réflexion explicite. La V0.2 intégrera DeepSeek-R1-Distill-Qwen-7B via SLERP pour ajouter ce moteur de raisonnement.

---

## 2. Résumé du modèle

<div align="center">
<table>
<tbody>
<tr>
<td><strong>Architecture</strong></td>
<td>Merge linéaire PyTorch pur (LM Causal Dense)</td>
</tr>
<tr>
<td><strong>Paramètres</strong></td>
<td>7,6B</td>
</tr>
<tr>
<td><strong>Modèle de base</strong></td>
<td>Qwen/Qwen2.5-7B-Instruct</td>
</tr>
<tr>
<td><strong>Modèles mergés</strong></td>
<td>Qwen2.5-7B-Instruct × 0.70 + Qwen2.5-Coder-7B × 0.20 + Qwen2.5-Math-7B × 0.10</td>
</tr>
<tr>
<td><strong>Méthode de fusion</strong></td>
<td>Interpolation linéaire pondérée (PyTorch state_dict)</td>
</tr>
<tr>
<td><strong>Embeddings</strong></td>
<td>Protégés — copiés 100% depuis le base model (aucun merge)</td>
</tr>
<tr>
<td><strong>Raisonnement CoT</strong></td>
<td>❌ Non (prévu en V0.2 avec DeepSeek-R1)</td>
</tr>
<tr>
<td><strong>Couches</strong></td>
<td>28</td>
</tr>
<tr>
<td><strong>Contexte natif</strong></td>
<td>32 768 tokens</td>
</tr>
<tr>
<td><strong>Précision</strong></td>
<td>BFloat16</td>
</tr>
<tr>
<td><strong>Modalité</strong></td>
<td>Texte & Code</td>
</tr>
</tbody>
</table>
</div>

---

## 3. Utilisation

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Simonc44/Cygnis-A3"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": "Écris une fonction Python qui calcule le PGCD de deux nombres."}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
ids = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    out = model.generate(
        **ids,
        max_new_tokens=300,
        do_sample=True,
        temperature=0.6,
        top_p=0.95,
        repetition_penalty=1.05,
        eos_token_id=[tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|im_end|>")],
        pad_token_id=tokenizer.eos_token_id,
    )

response = tokenizer.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True)
print(response)
```

---

## 4. Hyperparamètres recommandés

| Paramètre | Valeur recommandée |
|-----------|-------------------|
| Temperature | `0.6` |
| Top-P | `0.95` |
| Repetition Penalty | `1.05` |
| Max New Tokens | `512–1024` |

---

## 6. Licence

Distribué sous licence **[Apache 2.0](https://www.apache.org/licenses/LICENSE-2.0)**.