visionbetaupdate

app.py

@@ -1,4 +1,5 @@
 import os
+import base64
 import gradio as gr
 import cohere
 
@@ -21,33 +22,52 @@ co = cohere.Client(api_key=api_key)
 # Globale Variable für das aktuelle Bild
 current_image = None
 
+def encode_image_to_base64(image_path):
+    """Konvertiert ein Bild in Base64-Format"""
+    with open(image_path, "rb") as image_file:
+        return base64.b64encode(image_file.read()).decode('utf-8')
+
 def respond(message, history):
-    """Einfache Antwortfunktion für das Gradio-Chatinterface"""
+    """Antwortfunktion für das Gradio-Chatinterface mit Bildunterstützung"""
     global current_image
     try:
-        # Bildkontext hinzufügen, wenn ein Bild vorhanden ist
-        image_context = ""
+        # Prüfen, ob ein Bild vorhanden ist
         if current_image:
-            image_context = "\nEin Bild wurde hochgeladen. Bitte beschreibe und analysiere dieses Bild: " + current_image
-            # Bild zurücksetzen nach Verwendung
+            # Base64-Kodierung des Bildes
+            base64_image = encode_image_to_base64(current_image)
+            
+            # Vision-Anfrage mit Bild und Text
+            response = co.chat(
+                model='c4ai-aya-vision-8b',
+                message=f"{message}",
+                temperature=0.3,
+                chat_history=[],
+                tools=[],
+                attachments=[{"source": {"type": "base64", "media_type": "image/jpeg", "data": base64_image}}]
+            )
+            
+            # Bild nach Verwendung zurücksetzen
             current_image = None
-
-        stream = co.chat_stream(
-            model='c4ai-aya-vision-8b',  # Hier ggf. ein Vision-Modell verwenden
-            message=f"{prompt} '{message}{image_context}'",
-            temperature=0.3,
-            chat_history=[],
-            prompt_truncation='AUTO',
-            connectors=[{"id": "web-search"}]
-        )
-        
-        response = "".join([
-            event.text 
-            for event in stream 
-            if event.event_type == "text-generation"
-        ])
-
-        return response
+             #(c)Tim Seufert 2024
+            return response.text
+        else:
+            # Normale Textanfrage ohne Bild
+            stream = co.chat_stream(
+                model='c4ai-aya-vision-8b',  # Wir verwenden das gleiche Modell für Konsistenz
+                message=f"{prompt} '{message}'",
+                temperature=0.3,
+                chat_history=[],
+                prompt_truncation='AUTO',
+                connectors=[{"id": "web-search"}]
+            )
+            
+            response = "".join([
+                event.text 
+                for event in stream 
+                if event.event_type == "text-generation"
+            ])
+            
+            return response
 
     except Exception as e:
         print(f"Fehler: {str(e)}")
@@ -64,11 +84,10 @@ with gr.Blocks() as demo:
     # ChatInterface oben
     chat_interface = gr.ChatInterface(
         fn=respond,
-         #(c)Tim Seufert 2024
-        title="SimplestMachine",
-        description="Stellen Sie mir Ihre Fragen, und ich werde versuchen, Ihnen zu helfen!-- SimplestMachine hat keinen Zugriff auf echtzeitinformationen. AI kann fehler machen.",
+        title="SimplestMachine Vision",
+        description="Stellen Sie mir Fragen oder laden Sie ein Bild hoch, und ich werde es analysieren!",
         theme="soft",
-        examples=["Wie geht es dir?", "Was ist künstliche Intelligenz?", "Erkläre mir Quantenphysik einfach."],
+        examples=["Wie geht es dir?", "Was ist künstliche Intelligenz?", "Beschreibe dieses Bild"]
     )
     
     # Bildupload-Bereich unten mit Accordion