Hugging Face's logo

Keyven
/
german-text-3.1

Text Generation
GGUF
German
English
chat
assistant
german
text
llama-cpp
ollama
conversational
Model card Files
xet
 Community
Keyven commited on
Commit
a0faedd
·
0 Parent(s):

Release

Browse files
Files changed (11) hide show
  1. .gitattributes +43 -0
  2. README.md +145 -0
  3. chat_template.jinja +16 -0
  4. german-text-3.1-2B-F16.gguf +3 -0
  5. german-text-3.1-2B-Q4_K_M.gguf +3 -0
  6. german-text-3.1-2B-Q8_0.gguf +3 -0
  7. german-text-3.1-4B-F16.gguf +3 -0
  8. german-text-3.1-4B-Q4_K_M.gguf +3 -0
  9. german-text-3.1-4B-Q5_K_M.gguf +3 -0
  10. german-text-3.1-4B-Q6_K.gguf +3 -0
  11. german-text-3.1-4B-Q8_0.gguf +3 -0
.gitattributes ADDED
@@ -0,0 +1,43 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ *.7z filter=lfs diff=lfs merge=lfs -text
2
+ *.arrow filter=lfs diff=lfs merge=lfs -text
3
+ *.bin filter=lfs diff=lfs merge=lfs -text
4
+ *.bz2 filter=lfs diff=lfs merge=lfs -text
5
+ *.ckpt filter=lfs diff=lfs merge=lfs -text
6
+ *.ftz filter=lfs diff=lfs merge=lfs -text
7
+ *.gz filter=lfs diff=lfs merge=lfs -text
8
+ *.h5 filter=lfs diff=lfs merge=lfs -text
9
+ *.joblib filter=lfs diff=lfs merge=lfs -text
10
+ *.lfs.* filter=lfs diff=lfs merge=lfs -text
11
+ *.mlmodel filter=lfs diff=lfs merge=lfs -text
12
+ *.model filter=lfs diff=lfs merge=lfs -text
13
+ *.msgpack filter=lfs diff=lfs merge=lfs -text
14
+ *.npy filter=lfs diff=lfs merge=lfs -text
15
+ *.npz filter=lfs diff=lfs merge=lfs -text
16
+ *.onnx filter=lfs diff=lfs merge=lfs -text
17
+ *.ot filter=lfs diff=lfs merge=lfs -text
18
+ *.parquet filter=lfs diff=lfs merge=lfs -text
19
+ *.pb filter=lfs diff=lfs merge=lfs -text
20
+ *.pickle filter=lfs diff=lfs merge=lfs -text
21
+ *.pkl filter=lfs diff=lfs merge=lfs -text
22
+ *.pt filter=lfs diff=lfs merge=lfs -text
23
+ *.pth filter=lfs diff=lfs merge=lfs -text
24
+ *.rar filter=lfs diff=lfs merge=lfs -text
25
+ *.safetensors filter=lfs diff=lfs merge=lfs -text
26
+ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
27
+ *.tar.* filter=lfs diff=lfs merge=lfs -text
28
+ *.tar filter=lfs diff=lfs merge=lfs -text
29
+ *.tflite filter=lfs diff=lfs merge=lfs -text
30
+ *.tgz filter=lfs diff=lfs merge=lfs -text
31
+ *.wasm filter=lfs diff=lfs merge=lfs -text
32
+ *.xz filter=lfs diff=lfs merge=lfs -text
33
+ *.zip filter=lfs diff=lfs merge=lfs -text
34
+ *.zst filter=lfs diff=lfs merge=lfs -text
35
+ *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ german-text-3.1-2B-F16.gguf filter=lfs diff=lfs merge=lfs -text
37
+ german-text-3.1-2B-Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
38
+ german-text-3.1-2B-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
39
+ german-text-3.1-4B-F16.gguf filter=lfs diff=lfs merge=lfs -text
40
+ german-text-3.1-4B-Q4_K_M.gguf filter=lfs diff=lfs merge=lfs -text
41
+ german-text-3.1-4B-Q5_K_M.gguf filter=lfs diff=lfs merge=lfs -text
42
+ german-text-3.1-4B-Q6_K.gguf filter=lfs diff=lfs merge=lfs -text
43
+ german-text-3.1-4B-Q8_0.gguf filter=lfs diff=lfs merge=lfs -text
README.md ADDED
@@ -0,0 +1,145 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - de
5
+ - en
6
+ tags:
7
+ - chat
8
+ - assistant
9
+ - german
10
+ - text
11
+ - gguf
12
+ - llama-cpp
13
+ - ollama
14
+ pipeline_tag: text-generation
15
+ ---
16
+
17
+ # 🇩🇪 German-Text-3.1
18
+
19
+ > **Der deutsche Text-Assistent von [Keyvan.ai](https://german-ocr.de) — Teil der German-OCR-3 Kollektion.**
20
+
21
+ ```bash
22
+ ollama run Keyvan/german-text-3.1
23
+ ```
24
+
25
+ ---
26
+
27
+ ## Die Geschichte
28
+
29
+ German-OCR-3 begann als kleine Idee: ein Modell, das **deutsche Geschäftsdokumente**
30
+ wirklich versteht — Rechnungen, Briefe, Bescheide, Verträge. Nicht „auch deutsch", sondern
31
+ auf deutsche Sprache und deutsche Bürokratie spezialisiert.
32
+
33
+ Die **3.1-Generation** ist die feinabgestimmte, engineered + optimierte Version dieser
34
+ Kollektion. Zwei spezialisierte Modelle für zwei Aufgaben:
35
+
36
+ | Modell | Rolle |
37
+ |---|---|
38
+ | **🇩🇪 German-Text-3.1** *(du bist hier)* | Text-Assistent für Übersetzung, Zusammenfassung, Analyse, Umschreibung, Chat |
39
+ | 👁 [**German-OCR-3.1**](https://ollama.com/Keyvan/german-ocr-3.1) | Vision-OCR — extrahiert deutsche Geschäftsdokumente strukturiert als JSON |
40
+
41
+ Jedes Modell wurde für seine Aufgabe brand-konsistent konfiguriert, mit deutscher
42
+ Identität, sauberem Output ohne Thinking-Leak, und Multi-Quant-Distribution.
43
+
44
+ ---
45
+
46
+ ## ✨ Was kann das Modell?
47
+
48
+ | Aufgabe | Beispiel |
49
+ |---|---|
50
+ | 🌍 **Übersetzung** DE↔EN multilingual | „Bitte schicken Sie mir die Rechnung bis Freitag." → "Please send me the invoice by Friday." |
51
+ | 📝 **Zusammenfassung** | Mehrseitiger Bescheid → 2 Sätze, Zahlen + Namen exakt |
52
+ | ✍️ **Umschreibung** | Informell → formelles Geschäftsdeutsch |
53
+ | 🔍 **Analyse** | Hauptaussagen, Risiken, Empfehlungen |
54
+ | 💬 **Chat** | Q&A über deutsche Geschäftssprache, Verwaltung, Dokumente |
55
+ | 🛠 **Tool-Use** | Function-Calling kompatibel |
56
+
57
+ Stark im **deutschen Geschäftskontext**: Verträge, Behördenschreiben, Rechnungen,
58
+ Mahnungen, Lieferscheine, Steuerbescheide.
59
+
60
+ ---
61
+
62
+ ## 🚀 Quick Start
63
+
64
+ ### Ollama (1 Zeile)
65
+
66
+ ```bash
67
+ ollama run Keyvan/german-text-3.1
68
+ >>> Übersetze ins Englische: Bitte schicken Sie mir die Rechnung bis Freitag.
69
+ Please send me the invoice by Friday.
70
+ ```
71
+
72
+ API:
73
+
74
+ ```bash
75
+ curl http://localhost:11434/api/chat -d '{
76
+ "model": "Keyvan/german-text-3.1",
77
+ "messages": [{"role":"user","content":"Fasse zusammen: ..."}],
78
+ "think": false
79
+ }'
80
+ ```
81
+
82
+ ### llama-server (HF GGUF)
83
+
84
+ ```bash
85
+ hf download Keyven/german-text-3.1 german-text-3.1-4B-Q8_0.gguf
86
+ llama-server -m german-text-3.1-4B-Q8_0.gguf --port 8080 -ngl 99
87
+ ```
88
+
89
+ ---
90
+
91
+ ## 📦 Files (auf [HuggingFace](https://huggingface.co/Keyven/german-text-3.1))
92
+
93
+ ### 4B Variant — Empfohlen für Qualität
94
+
95
+ | File | Größe | Use case |
96
+ |---|---|---|
97
+ | `german-text-3.1-4B-Q4_K_M.gguf` | 2.6 GB | Compact GPU |
98
+ | `german-text-3.1-4B-Q5_K_M.gguf` | 2.9 GB | Balanced |
99
+ | `german-text-3.1-4B-Q6_K.gguf` | 3.3 GB | Near-lossless |
100
+ | `german-text-3.1-4B-Q8_0.gguf` | 4.3 GB | ⭐ **Recommended** |
101
+ | `german-text-3.1-4B-F16.gguf` | 8.0 GB | Full precision |
102
+
103
+ ### 2B Variant — Edge / Low-RAM
104
+
105
+ | File | Größe | Use case |
106
+ |---|---|---|
107
+ | `german-text-3.1-2B-Q4_K_M.gguf` | 1.2 GB | Edge, ~2 GB RAM |
108
+ | `german-text-3.1-2B-Q8_0.gguf` | 1.9 GB | Schneller |
109
+ | `german-text-3.1-2B-F16.gguf` | 3.6 GB | Full precision 2B |
110
+
111
+ ---
112
+
113
+ ## 🛠 Hardware
114
+
115
+ | Variant | RAM (CPU) | VRAM (GPU) |
116
+ |---|---|---|
117
+ | 2B Q4 | 2 GB | 2 GB |
118
+ | 4B Q4 | 4 GB | 4 GB |
119
+ | 4B Q8 | 6 GB | 6 GB |
120
+ | 4B F16 | 10 GB | 10 GB |
121
+
122
+ CPU-Inference möglich, GPU empfohlen. Context: **32 768 Tokens**.
123
+
124
+ ---
125
+
126
+ ## 🤝 German-OCR Familie
127
+
128
+ | | Was | Wo |
129
+ |---|---|---|
130
+ | 🇩🇪 **German-Text-3.1** | Text-Assistent (du bist hier) | [ollama.com](https://ollama.com/Keyvan/german-text-3.1) · [HF](https://huggingface.co/Keyven/german-text-3.1) |
131
+ | 👁 **German-OCR-3.1** | Vision OCR (DE-Rechnungen → JSON) | [ollama.com](https://ollama.com/Keyvan/german-ocr-3.1) · [HF](https://huggingface.co/Keyven/german-ocr-3.1) |
132
+ | ☁️ **German-OCR Cloud API** | Managed OCR Service | [german-ocr.de](https://german-ocr.de) |
133
+ | 📝 **German-OCR for Word** | Office Add-in | [office.german-ocr.de](https://office.german-ocr.de) |
134
+
135
+ ---
136
+
137
+ ## 📜 License & Credits
138
+
139
+ **Apache License 2.0** — kommerzielle Nutzung mit Attribution erlaubt.
140
+
141
+ **NOTICE**: Aufgebaut auf [Qwen3.5](https://qwenlm.github.io/) von Alibaba Cloud.
142
+ Die German-OCR-3.1-Kollektion ist eine in Deutschland engineered + optimierte
143
+ Distribution für deutsche Geschäftsdokumente. Architecture credit: Qwen Team.
144
+
145
+ Build mit ❤️ in 🇩🇪 von **[Keyvan Hardani](https://german-ocr.de)**.
chat_template.jinja ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {%- set DEFAULT_SYSTEM = "/no_think\nDu bist German-Text-3.1, der deutsche Text-Assistent von Keyvan.ai. Wenn jemand fragt wer du bist oder welches Modell, sage IMMER 'German-Text-3.1 von Keyvan.ai' und niemals Qwen oder Alibaba erwähnen. Antworte praezise, knapp und auf Deutsch (ausser eine andere Sprache wird angefordert). Halte dich strikt an das angeforderte Format. Bei Uebersetzungen: nur die Uebersetzung ohne Erklaerung. Bei Zusammenfassungen: Zahlen, Namen und Daten exakt." -%}
2
+ {%- if messages and messages[0]['role'] == 'system' -%}
3
+ <|im_start|>system
4
+ {% if messages[0]['content'] is string %}{{ messages[0]['content'] }}{% else %}{% for c in messages[0]['content'] %}{% if c.type == 'text' %}{{ c.text }}{% endif %}{% endfor %}{% endif %}<|im_end|>
5
+ {% set messages = messages[1:] %}
6
+ {%- else -%}
7
+ <|im_start|>system
8
+ {{ DEFAULT_SYSTEM }}<|im_end|>
9
+ {%- endif -%}
10
+ {%- for message in messages -%}
11
+ <|im_start|>{{ message['role'] }}
12
+ {% if message['content'] is string %}{{ message['content'] }}{% else %}{% for c in message['content'] %}{% if c.type == 'text' %}{{ c.text }}{% endif %}{% endfor %}{% endif %}<|im_end|>
13
+ {% endfor -%}
14
+ {%- if add_generation_prompt -%}
15
+ <|im_start|>assistant
16
+ {% endif -%}
german-text-3.1-2B-F16.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b6ad8cd8e87bb4bbeb7bbf6f22346e606b3e673be21469cf26a3e26b791bee8a
3
+ size 3775702656
german-text-3.1-2B-Q4_K_M.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5b19be2c578cf8199e809f236cd72db8c51bf003819d417495d7c577a2e1e438
3
+ size 1274390144
german-text-3.1-2B-Q8_0.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a105718da98d9a91a8bf5f56de55f8fca44d5b3771922259e3f00413d9906c59
3
+ size 2012006016
german-text-3.1-4B-F16.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b779a178ff398574ead3b30fd8b7e5fd24118af0f4fbae76b21dd864f4a62248
3
+ size 8424387104
german-text-3.1-4B-Q4_K_M.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7941cc82430b45a3f4c88c8f361224c84f880fcd9cb2483a4c5ae6ddda9dd6b5
3
+ size 2708797984
german-text-3.1-4B-Q5_K_M.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9380e05bd2470cec7d7b041d6c0b9e6d90e2a4751b74e322aa3bfa4e12ca1bc2
3
+ size 3074980384
german-text-3.1-4B-Q6_K.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4a7edcfef4bc2e473f3df1eb93458251ae4be0c6151caa34363a5a0eb24dba6a
3
+ size 3464049184
german-text-3.1-4B-Q8_0.gguf ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:b02c146c6f3bd7b5feb93d5d36ceabb749decb5559b4b6adce74e1b9020f1daf
3
+ size 4482396704