upload gradio app

README.md

@@ -1,11 +1,11 @@
 ---
-title: German Quotes
+title: Zitatgenerator
 emoji: 🏃
 colorFrom: green
 colorTo: indigo
-sdk: streamlit
-sdk_version: 1.29.0
-app_file: app.py
+sdk: gradio
+sdk_version: 4.7.1
+app_file: gr_app.py
 pinned: false
 ---
 

flagged/log.csv

@@ -0,0 +1,3 @@
+Zitat generieren für,Modus,output,flag,username,timestamp
+Christoph,Ausgeglichen,"""Das Böse ist eine Verirrung, ein Irrtum."" - Christoph",,,2023-12-01 22:36:37.119252
+,Ausgeglichen,,,,2023-12-01 22:41:25.516168

gr_app.py

@@ -0,0 +1,108 @@
+import gradio as gr
+from ctransformers import AutoModelForCausalLM
+import random
+
+system_prompt = """Dies ist eine Unterhaltung zwischen \
+einem intelligenten, hilfsbereitem \
+KI-Assistenten und einem Nutzer.
+Der Assistent gibt Antworten in Form von Zitaten."""
+
+prompt_format = "<|im_start|>system\n{system_prompt}\
+<|im_end|>\n<|im_start|>user\nZitiere {prompt}\
+<|im_end|>\n<|im_start|>assistant\n"
+
+modes = {
+    "Authentisch": {"temperature": 0.05, "top_k": 10},
+    "Ausgeglichen": {"temperature": 0.5, "top_p": 0.9},
+    "Chaotisch": {"temperature": 0.9},
+}
+
+authors = [
+    "Johann Wolfgang von Goethe",
+    "Friedrich Schiller",
+    "Immanuel Kant",
+    "Oscar Wilde",
+    "Lü Bu We",
+    "Wilhelm Busch",
+    "Friedrich Nietzsche",
+    "Karl Marx",
+    "William Shakespeare",
+    "Kurt Tucholsky",
+    "Georg Christoph Lichtenberg",
+    "Arthur Schopenhauer",
+    "Seneca der Jüngere",
+    "Martin Luther",
+    "Mark Twain",
+    "Cicero",
+    "Marie von Ebner-Eschenbach",
+    "Novalis",
+    "Franz Kafka",
+    "Jean-Jacques Rousseau",
+    "Heinrich Heine",
+    "Honoré de Balzac",
+    "Georg Büchner",
+    "Gotthold Ephraim Lessing",
+    "Markus M. Ronner",
+    "Gerhard Uhlenbruck",
+    "Theodor Fontane",
+    "Jean Paul",
+    "Leo Tolstoi",
+    "Friedrich Hebbel",
+    "Horaz",
+    "Albert Einstein",
+    "Jesus von Nazareth",
+    "Angela Merkel",
+    "Ambrose Bierce",
+    "Christian Morgenstern",
+    "Friedrich Hölderlin",
+    "Joseph Joubert",
+    "François de La Rochefoucauld",
+    "Otto von Bismarck",
+    "Fjodor Dostojewski",
+    "Ovid",
+    "Rudolf Steiner",
+    "Ludwig Börne",
+    "Hugo von Hofmannsthal",
+    "Laotse",
+    "Thomas von Aquin",
+    "Ludwig Wittgenstein",
+    "Friedrich Engels",
+    "Charles de Montesquieu",
+]
+
+model = AutoModelForCausalLM.from_pretrained(
+    "caretech-owl/leo-hessionai-7B-quotes-gguf", model_type="Llama"
+)
+
+
+def quote(author: str = "", mode: str = "") -> str:
+    author = author or random.choice(authors)
+    mode = mode or "Authentisch"
+    query = prompt_format.format(
+        system_prompt=system_prompt,
+        prompt=author,
+    )
+    print("=" * 20)
+    print(query)
+    output = model(query, stop="<|im_end|>", max_new_tokens=200, **modes[mode])
+    print("-" * 20)
+    print(output)
+    return output
+
+
+with gr.Blocks() as demo:
+    gr.Markdown("# Zitatgenerator")
+    with gr.Row():
+        author = gr.Textbox(
+            label="Zitat generieren für", lines=1, placeholder="Autornamen..."
+        )
+        mode = gr.Dropdown(
+            choices=["Authentisch", "Ausgeglichen", "Chaotisch"],
+            label="Modus",
+            value="Ausgeglichen",
+        )
+    output = gr.Textbox(label="Zitat")
+    quote_btn = gr.Button("Generiere Zitat")
+    quote_btn.click(fn=quote, inputs=[author, mode], outputs=output)
+
+demo.launch()

app.py → st_app.py

@@ -111,7 +111,7 @@ if generate:
         )
     st.session_state["author"] = question
 
-    with st.spinner("Generiere Zitat..."):
+    with st.spinner("Denke über Zitat nach (das kann etwas dauern)..."):
         query = prompt_format.format(
             system_prompt=system_prompt,
             prompt=st.session_state["author"],