| | --- |
| | library_name: peft |
| | license: apache-2.0 |
| | base_model: mistralai/Mistral-Small-3.2-24B-Instruct-2506 |
| | tags: |
| | - unsloth |
| | - base_model:adapter:mistralai/Mistral-Small-3.2-24B-Instruct-2506 |
| | - lora |
| | - transformers |
| | pipeline_tag: text-generation |
| | model-index: |
| | - name: jacob-24b |
| | results: [] |
| | language: |
| | - de |
| | --- |
| | |
| | <p align="center"> |
| | <img src="./images/banner.webp" alt="Jacob Micro banner" width="720" /> |
| | </p> |
| | |
| | Wir stellen vor: **Jacob 24b, das Flagschiff-Sprachmodell im Stil von "Leichter Sprache"**; neu, vielseitig und mehr als ausreichend für alles, was unsere Zielgruppe benötigt. |
| |
|
| | Es basiert auf **Mistral Small 3.2** und wurde mit Hilfe von LoRA-Fine-Tuning auf unserem synthetischen Datensatz von Gesprächen trainiert. |
| |
|
| | Das Modell... |
| |
|
| | - hat 24 Milliarden Parameter (davon ~92 Mio. als LoRA) |
| | - ist in 16-Bit-Präzision verfügbar |
| | - kann sowohl Text als auch Bilder verarbeiten (Multimodal) |
| | - kann Tools aufrufen (Tool-Use), um externe Aufgaben zu erledigen |
| | - nutzt das Mistral-Chat-Template |
| | - ist optimiert für die Erzeugung von leicht verständlichem Text im Stil von "Leichter Sprache" |
| |
|
| | ## Aufbau des Repositories |
| |
|
| | Dieses Repository enthält Jacob-24b in zwei verschiedenen Formaten: |
| |
|
| | - als merged 16-bit-Modell |
| | - als puren LoRA-Adapter |
| |
|
| | ## Trainingsdetails |
| |
|
| | Trainiert wurde das Modell für ca. 40 Minuten auf einer einzelnen NVIDIA RTX PRO 6000-GPU mit 96 GB VRAM. |
| |
|
| | Der genutzte Datensatz ist eine interne, synthetische Sammlung an Konversationen mit nach Qualität gefilterten und der Leichten Sprache stark angenäherten Texten. |
| | Es umfasst über 1k+ sich der Leichten Sprache annähernde Gespräche. |
