Update app.py

app.py

@@ -72,8 +72,8 @@ YOUTUBE_URL_3 = "https://www.youtube.com/watch?v=vw-KWfKwvTQ"
 
 ################################################
 #LLM Model mit dem gearbeitet wird
-#MODEL_NAME  = "gpt-3.5-turbo-16k"
-MODEL_NAME  ="gpt-4"
+MODEL_NAME  = "gpt-3.5-turbo-16k"
+#MODEL_NAME  ="gpt-4"
 
 #################################################
 #Funktionen zur Verarbeitung
@@ -193,6 +193,7 @@ def invoke(openai_api_key, rag_option, prompt):
 #GUI
 ###############################################
 #Beschreibung oben in GUI
+
 description = """<strong>Überblick:</strong> Hier wird ein <strong>Large Language Model (LLM)</strong> mit 
                  <strong>Retrieval Augmented Generation (RAG)</strong> auf <strong>externen Daten</strong> demonstriert.\n\n
                  <strong>Genauer:</strong> Folgende externe Daten sind als Beispiel gegeben:
@@ -204,6 +205,7 @@ description = """<strong>Überblick:</strong> Hier wird ein <strong>Large Langua
                  <li>Experimentiere mit Prompts, z.B.  Antworte in deutsch, englisch, ..." oder "schreibe ein Python Programm, dass die GPT-4 API aufruft."</li>
                  </ul>\n\n
                  """
+"""
 #Gradio......
 gr.close_all()
 demo = gr.Interface(fn=invoke, 
@@ -214,4 +216,58 @@ demo = gr.Interface(fn=invoke,
                     outputs = [gr.Textbox(label = "Completion", lines = 1)],
                     title = "Generative AI - LLM & RAG",
                     description = description)
-demo.launch()
+demo.launch()
+"""
+
+
+###########################################
+title = "LLM mit RAG"
+description = """<strong>Überblick:</strong> Hier wird ein <strong>Large Language Model (LLM)</strong> mit 
+                 <strong>Retrieval Augmented Generation (RAG)</strong> auf <strong>externen Daten</strong> demonstriert.\n\n
+                 <strong>Genauer:</strong> Folgende externe Daten sind als Beispiel gegeben:
+                 <a href='""" + YOUTUBE_URL_1 + """'>YouTube</a>, <a href='""" + PDF_URL + """'>PDF</a>, and <a href='""" + WEB_URL + """'>Web.</a> <br>
+                 Alle neueren Datums!.
+                 <ul style="list-style-type:square;">
+                 <li>Setze "Retrieval Augmented Generation" auf  "<strong>Off</strong>" und gib einen Prompt ein." Das entspricht <strong> ein LLM nutzen ohne RAG</strong></li>
+                 <li>Setze "Retrieval Augmented Generation" to "<strong>Chroma</strong>"  und gib einen Prompt ein. Das <strong>LLM mit RAG</strong> weiß auch Antworten zu aktuellen Themen aus den angefügten Datenquellen</li>
+                 <li>Experimentiere mit Prompts, z.B.  Antworte in deutsch, englisch, ..." oder "schreibe ein Python Programm, dass die GPT-4 API aufruft."</li>
+                 </ul>\n\n
+                 """
+css = """.toast-wrap { display: none !important } """
+examples=[['Was ist ChtGPT-4?'],['schreibe ein Python Programm, dass die GPT-4 API aufruft.']]
+
+def vote(data: gr.LikeData):
+    if data.liked: print("You upvoted this response: " + data.value)
+    else: print("You downvoted this response: " + data.value)
+
+additional_inputs = [
+    gr.Textbox(label = "OpenAI API Key", value = "sk-", lines = 1),
+    gr.Radio(["Off", "Chroma"], label="Retrieval Augmented Generation", value = "Off"),
+    gr.Slider(label="Temperature", value=0.9, minimum=0.0, maximum=1.0, step=0.05, interactive=True, info="Höhere Werte erzeugen diversere Antworten"),
+    gr.Slider(label="Max new tokens", value=256, minimum=0, maximum=4096, step=64, interactive=True, info="Maximale Anzahl neuer Tokens"),
+    gr.Slider(label="Top-p (nucleus sampling)", value=0.6, minimum=0.0, maximum=1, step=0.05, interactive=True, info="Höhere Werte verwenden auch Tokens mit niedrigerer Wahrscheinlichkeit."),
+    gr.Slider(label="Repetition penalty", value=1.2, minimum=1.0, maximum=2.0, step=0.05, interactive=True, info="Strafe für wiederholte Tokens")
+]
+
+chatbot_stream = gr.Chatbot(avatar_images=(
+    "https://drive.google.com/uc?id=18xKoNOHN15H_qmGhK__VKnGjKjirrquW",
+    "https://drive.google.com/uc?id=1tfELAQW_VbPCy6QTRbexRlwAEYo8rSSv"
+    ), bubble_full_width = False)
+
+chat_interface_stream = gr.ChatInterface(
+                invoke,
+                title=title, 
+                description=description, 
+                chatbot=chatbot_stream,
+                css=css, 
+                examples=examples, 
+                 ) 
+
+with gr.Blocks() as demo:
+    with gr.Tab("General LLM"):
+        chatbot_stream.like(vote, None, None)
+        chat_interface_stream.render()
+        with gr.Row():
+           gr.Radio(["Off", "Chroma"], label="Retrieval Augmented Generation", value = "Off"),
+        
+demo.queue(concurrency_count=75, max_size=100).launch(debug=True)