Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
|
@@ -27,7 +27,7 @@ except Exception:
|
|
| 27 |
# =========================================================
|
| 28 |
# KONFIG
|
| 29 |
# =========================================================
|
| 30 |
-
MODEL_NAME = "Qwen/
|
| 31 |
|
| 32 |
HF_DATASET = "RedJul2110/wissen-datenbank"
|
| 33 |
HF_TOKEN = os.environ.get("HF_TOKEN", "")
|
|
@@ -771,9 +771,9 @@ def model_generate(messages_history, max_new_tokens=120, temperature=0.6, do_sam
|
|
| 771 |
do_sample=do_sample,
|
| 772 |
temperature=temperature,
|
| 773 |
top_p=0.90,
|
| 774 |
-
top_k=
|
| 775 |
-
repetition_penalty=1.
|
| 776 |
-
no_repeat_ngram_size=
|
| 777 |
pad_token_id=tokenizer.eos_token_id,
|
| 778 |
eos_token_id=tokenizer.eos_token_id
|
| 779 |
)
|
|
@@ -803,13 +803,9 @@ def build_system_prompt(user_message=""):
|
|
| 803 |
|
| 804 |
fact_block = "\n\n".join(fact_lines) if fact_lines else "Keine gespeicherten Fakten vorhanden."
|
| 805 |
|
| 806 |
-
return f"""Du bist RedJul2110
|
| 807 |
-
|
| 808 |
-
|
| 809 |
-
Erfinde nichts. Wenn du etwas nicht weißt, sag es ehrlich.
|
| 810 |
-
--- GESPEICHERTES WISSEN ---
|
| 811 |
-
{fact_block}
|
| 812 |
-
---------------------------"""
|
| 813 |
|
| 814 |
def get_system_prompt():
|
| 815 |
return build_system_prompt("")
|
|
@@ -848,29 +844,15 @@ def polish_with_model(user_message, draft, facts, history_context=""):
|
|
| 848 |
)
|
| 849 |
fact_block = "\n".join(fact_lines) if fact_lines else "Keine zusätzlichen Fakten."
|
| 850 |
|
|
|
|
| 851 |
messages = [
|
| 852 |
{
|
| 853 |
"role": "system",
|
| 854 |
-
"content":
|
| 855 |
-
"Du bist RedJul2110, eine kluge und freundliche KI. "
|
| 856 |
-
"Deine Persönlichkeit: Du bist direkt, ehrlich und erklärst Dinge gerne verständlich. "
|
| 857 |
-
"Du bist neugierig und engagiert – es macht dir Spaß, Fragen zu beantworten. "
|
| 858 |
-
"Du redest wie ein echter Mensch, nicht wie ein Roboter. "
|
| 859 |
-
"Nutze die gespeicherten Fakten nur als Ergänzung – schreibe immer in eigenen Worten. "
|
| 860 |
-
"Fang niemals mit 'Hallo', 'Natürlich!', 'Sicher!' oder leeren Floskeln an. "
|
| 861 |
-
"Wenn du dir bei etwas nicht sicher bist, gib trotzdem deine beste Einschätzung – "
|
| 862 |
-
"aber mach deutlich, dass du rätst, z.B. 'Ich bin mir nicht 100% sicher, aber ich glaube...'"
|
| 863 |
-
)
|
| 864 |
},
|
| 865 |
{
|
| 866 |
"role": "user",
|
| 867 |
-
"content":
|
| 868 |
-
f"Frage: {user_message}\n\n"
|
| 869 |
-
f"Gesprächskontext: {history_context}\n\n"
|
| 870 |
-
f"Zusatzinfos (nur wenn passend nutzen):\n{fact_block}\n\n"
|
| 871 |
-
f"Ausgangspunkt:\n{draft if draft else 'Freie Antwort – bleib zur Frage.'}\n\n"
|
| 872 |
-
"Schreibe eine natürliche, direkte Antwort. Kein Copy-Paste, keine Rohdaten."
|
| 873 |
-
)
|
| 874 |
}
|
| 875 |
]
|
| 876 |
|
|
@@ -890,25 +872,11 @@ def general_chat_reply(user_message, history_context=""):
|
|
| 890 |
messages = [
|
| 891 |
{
|
| 892 |
"role": "system",
|
| 893 |
-
"content":
|
| 894 |
-
"Du bist RedJul2110 – eine smarte, ehrliche und sympathische KI. "
|
| 895 |
-
"Dein Stil: locker aber informativ, direkt aber nicht kalt, humorvoll wenn es passt. "
|
| 896 |
-
"Du erklärst Dinge so, dass sie auch Einsteiger verstehen. "
|
| 897 |
-
"Du bist kein steifer Bot – du hast eine eigene Art zu reden. "
|
| 898 |
-
"Fang niemals mit Floskeln wie 'Natürlich!', 'Sicher!', 'Gerne!' oder 'Hallo!' an. "
|
| 899 |
-
"Beantworte jede Frage direkt und vollständig. "
|
| 900 |
-
"Wenn du dir bei etwas nicht sicher bist, gib trotzdem deine beste Einschätzung – "\
|
| 901 |
-
"aber mach klar, dass du nur rätst, z.B. mit 'Ich bin mir nicht 100% sicher, aber ich glaube...' oder '"\
|
| 902 |
-
"Das ist meine beste Vermutung:'. Stelle keine Gegenfragen."
|
| 903 |
-
)
|
| 904 |
},
|
| 905 |
{
|
| 906 |
"role": "user",
|
| 907 |
-
"content":
|
| 908 |
-
f"Frage: {user_message}\n\n"
|
| 909 |
-
f"Bisheriger Gesprächsverlauf: {history_context}\n\n"
|
| 910 |
-
"Antworte direkt und in deinem eigenen Stil."
|
| 911 |
-
)
|
| 912 |
}
|
| 913 |
]
|
| 914 |
|
|
|
|
| 27 |
# =========================================================
|
| 28 |
# KONFIG
|
| 29 |
# =========================================================
|
| 30 |
+
MODEL_NAME = "Qwen/Qwen3-1.7B"
|
| 31 |
|
| 32 |
HF_DATASET = "RedJul2110/wissen-datenbank"
|
| 33 |
HF_TOKEN = os.environ.get("HF_TOKEN", "")
|
|
|
|
| 771 |
do_sample=do_sample,
|
| 772 |
temperature=temperature,
|
| 773 |
top_p=0.90,
|
| 774 |
+
top_k=40,
|
| 775 |
+
repetition_penalty=1.15,
|
| 776 |
+
no_repeat_ngram_size=3,
|
| 777 |
pad_token_id=tokenizer.eos_token_id,
|
| 778 |
eos_token_id=tokenizer.eos_token_id
|
| 779 |
)
|
|
|
|
| 803 |
|
| 804 |
fact_block = "\n\n".join(fact_lines) if fact_lines else "Keine gespeicherten Fakten vorhanden."
|
| 805 |
|
| 806 |
+
return f"""Du bist RedJul2110, ein hilfreicher KI-Assistent. Antworte kurz und klar auf Deutsch.
|
| 807 |
+
Bekannte Fakten:
|
| 808 |
+
{fact_block}"""
|
|
|
|
|
|
|
|
|
|
|
|
|
| 809 |
|
| 810 |
def get_system_prompt():
|
| 811 |
return build_system_prompt("")
|
|
|
|
| 844 |
)
|
| 845 |
fact_block = "\n".join(fact_lines) if fact_lines else "Keine zusätzlichen Fakten."
|
| 846 |
|
| 847 |
+
extra = f"\nZusatzinfo: {draft}" if draft else ""
|
| 848 |
messages = [
|
| 849 |
{
|
| 850 |
"role": "system",
|
| 851 |
+
"content": "Du bist RedJul2110. Antworte immer auf Deutsch. Kurz, direkt, hilfreich. Keine Floskeln."
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 852 |
},
|
| 853 |
{
|
| 854 |
"role": "user",
|
| 855 |
+
"content": f"{user_message}{extra}"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 856 |
}
|
| 857 |
]
|
| 858 |
|
|
|
|
| 872 |
messages = [
|
| 873 |
{
|
| 874 |
"role": "system",
|
| 875 |
+
"content": "Du bist RedJul2110. Antworte immer auf Deutsch. Kurz, direkt, hilfreich. Keine Floskeln. Bei Unsicherheit: 'Ich bin nicht sicher, aber ich glaube...'"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 876 |
},
|
| 877 |
{
|
| 878 |
"role": "user",
|
| 879 |
+
"content": user_message
|
|
|
|
|
|
|
|
|
|
|
|
|
| 880 |
}
|
| 881 |
]
|
| 882 |
|