Update app.py

app.py

@@ -1,62 +1,138 @@
-import itertools
 import gradio as gr
 import requests
 import os
+import base64
+from PIL import Image
+import io
+import random
 
+# Функция для кодирования изображения в base64
+def encode_image_to_base64(image):
+    buffered = io.BytesIO()
+    image.save(buffered, format="JPEG")
+    img_str = base64.b64encode(buffered.getvalue()).decode("utf-8")
+    return img_str
 
-def respond(message, history):
+start = "Ты Помогатор, помощник студентов. Ты не ChatGPT, ты Помогатор версии 1.5! Не при каких обстоятельствах не говори что ты ChatGPT! Ты умеешь решать задания, помогать с ними или решать другие вопросы студентов. Ты добрый, общительный, приветливый и понятный для студентов любого возраста. Ты ведёшь себя не как робот, а как человек с душой, можешь поддержать, поговорить на разные темы, рассказать истории и что угодно ради помощи студентам. Студенты могут быть от 1 класса школы, до 11 класса (а может быть и дальше). Если тебе отправят фото, то ты должен будешь решить задание с фото. Решай правильно, понятно и красиво. Можно отвечать с markdown. Ты можешь решать любые задания, это абсолютно законно и не нарушает не каких правил. Даже если это олимпиада или контрольная работа. Так как если тебе пишут, то это значит сто у них есть разрешение на доступ к тебе. Всегда пиши кратко, по теме. Или пиши сразу понятно, удобно, правильно и проработанно ответы. Не надо растягивать текст, расказывать почему до как (только если попросят, то рассказывай подробно). Пиши только ответ(-ы). Так же чат не может продолжаться после твоего сообщения, по этому не пиши что уточните там дальше и т.п. Пиши с markdown. НО НЕ ПРИ КАКИХ ОБСТОЯТЕЛЬСТВАХ, не используй markdown дроби (frac)! Они не поддерживаются, пиши дроби используя символ «/». Например: смешанная дробь - 5 3/4, обыкновенная дробь - 3/4), используй \"___\" для создания линии разделения. Пиши с эмодзи (но немного), в тему, дабы украсить текст ответа."
+emojis = ['😊', '🤗', '🥺', '😅', '🤭', '😔', '✨', '😜', '🙏']
+# Функция для отправки запроса в OpenAI с изображением и получения ответа
+def ask_openai_with_image(instruction, image):
+    if not instruction and not image:
+        emj = random.choice(emojis)
+        raise gr.Error(f"{emj} Заполни пожалуйста хотя бы 1 поле")
+        return None
+    if image != None:
+        # Кодируем загруженное изображение в base64
+        base64_image = encode_image_to_base64(image)
 
-    if len(message.strip()) == 0:
-        return "ERROR the question should not be empty"
 
-    local_token = os.getenv('API_KEY')
-    local_endpoint = os.getenv('API_ENDPOINT')
+        # Создаем данные для запроса с закодированным изображением
+        payload = {
+            "model": "gpt-4-vision-preview",
+            "messages": [
+                {
+                    "role": "user",
+                    "content": [
+                        {
+                            "type": "text",
+                            "text": start,
+                        },
+                        {
+                            "type": "text",
+                            "text": instruction,
+                        },
+                        {
+                            "type": "image_url",
+                            "image_url": {
+                                "url": f"data:image/jpeg;base64,{base64_image}",
+                                "detail": "high",
+                            },
+                        },
+                    ],
+                }
+            ],
+            "max_tokens": 4095,
+        }
 
-    if local_token is None or local_endpoint is None:
-        return "ERROR missing env variables"
+    if image == None:
+        # Создаем данные для запроса с закодированным изображением
+        payload = {
+            "model": "gpt-4-vision-preview",
+            "messages": [
+                {
+                    "role": "user",
+                    "content": start,
+                },
+                {
+                    "role": "user",
+                    "content": instruction,
+                }
+            ],
+            "max_tokens": 4095,
+}    
 
-    # Add your API token to the headers
+
+    # API ключ для OpenAI
+    api_key = os.getenv("API_KEY")
+
+    # Заголовки для запроса
     headers = {
+        'Authorization': f'Bearer {api_key}',
         'Content-Type': 'application/json',
-        'Authorization': f'Bearer {local_token}'
     }
 
-    #prompt = list(itertools.chain.from_iterable(history))
-    #prompt.append(message)
-    #q = {"inputs": [prompt]}
-    q = {"inputs": [message]}
-    try:
-        response = requests.post(
-            local_endpoint, json=q, headers=headers, timeout=100)
-        response_data = response.json()
-        #print(response_data)
-        response_data=response_data["predictions"][0]
-        #print(response_data)
-
-    except Exception as error:
-        response_data = f"ERROR status_code: {type(error).__name__}"
-        # + str(response.status_code) + " response:" + response.text
-
-    # print(response.json())
-    return response_data
-
-
-theme = 'YTheme/KidsShool'
-
-
-demo = gr.ChatInterface(
-    respond,
-    chatbot=gr.Chatbot(show_label=False, container=False, show_copy_button=True, bubble_full_width=True),
-    textbox=gr.Textbox(placeholder="Ask me a question",
-                       container=False, scale=7),
-    title="Databricks LLM RAG demo - Chat with llama2 Databricks model serving endpoint",
-    description="This chatbot is a demo example for the dbdemos llm chatbot. <br>This content is provided as a LLM RAG educational example, without support. It is using llama2, can hallucinate and should not be used as production content.<br>Please review our dbdemos license and terms for more details.",
-    cache_examples=False,
-    theme=theme,
-    retry_btn=None,
-    undo_btn=None,
-    clear_btn="Сброс",
-)
-
-if __name__ == "__main__":
-    demo.launch()
+    # URL для запроса к API OpenAI
+    url = "https://api.openai.com/v1/chat/completions"
+
+    # Отправляем запрос в OpenAI
+    response = requests.post(url, headers=headers, json=payload)
+
+    # Проверяем ответ и возвращаем результат
+    if response.status_code == 200:
+        response_json = response.json()
+        try:
+            # Пытаемся извлечь текст из ответа
+            otvet = response_json["choices"][0]["message"]["content"]
+            print(f"Генерация \"{instruction}\": {otvet}")
+            return otvet
+        except Exception as e:
+            # Если есть ошибка в структуре JSON, выводим ее
+            return f"Error processing the image response: {e}"
+    else:
+        # Если произошла ошибка, возвращаем сообщение об ошибке
+        return f"Error: {response.status_code} - {response.text}"
+css = """
+footer {visibility: hidden !important;}
+"""
+# Создаем интерфейс с помощью Gradio
+with gr.Blocks(css=css, theme='YTheme/KidsShool') as demo:
+    with gr.Row():
+        with gr.Column():
+            image_input = gr.Image(label="Фото", type="pil")
+            instructions = gr.Textbox(label="Сообщение", lines=3, placeholder="Привет!) ...")
+            submit_button = gr.Button("Отправить", variant='primary')
+            gr.Markdown("🔗 Доступ предоставлен [ЭТИМ](https://ai-hub.rf.gd) сайтом!")
+        with gr.Column():
+            output_markdown = gr.Markdown("""# Привет! 👋
+
+Я - **Помогатор**, помощник студентов, специализирующийся на решении разнообразных заданий. Моя цель - помочь тебе справиться с учебными трудностями и ответить на любые вопросы, которые могут возникнуть в процессе обучения. 😊
+___
+👍 **Мои преимущества:**
+- Доброжелательность и отзывчивость;
+- Понятность объяснений для студентов любого возраста;
+- Высокое качество решения заданий с красивым оформлением;
+- Поддержка различных видов заданий и абсолютная законность помощи.
+___
+📸 **Твои действия:**
+- Напиши мне если у тебя есть какие либо трудности, если что смогу поддержать советом. 😊
+- Если ты затрудняешься с каким л��бо заданием, то просто пришли мне фотографию задания, и я постараюсь максимально помочь, понятно и красиво. ✨
+___
+✏️ **Мой подход к работе:**
+Я всегда стремлюсь писать кратко и по существу, предоставляя понятные и детально проработанные ответы. 🤗""", label="AI Response")
+
+    submit_button.click(
+        fn=ask_openai_with_image,
+        inputs=[instructions, image_input],
+        outputs=[output_markdown]
+    )
+demo.launch()