Update app.py

app.py

@@ -1,7 +1,7 @@
 import os
 import gradio as gr
 from huggingface_hub import hf_hub_download
-from llama_cpp import Llama
+from transformers import AutoModelForCausalLM, AutoTokenizer
 from pptx import Presentation
 from pptx.util import Inches, Pt
 from pptx.enum.text import PP_ALIGN
@@ -10,43 +10,51 @@ from pptx.enum.text import PP_ALIGN
 PREPROMPT = """Vous êtes un assistant IA chargé de générer une présentation PowerPoint. Générez une présentation structurée en suivant ce format EXACT:
 
 TITRE: [Titre principal de la présentation]
-
 DIAPO 1:
 Titre: [Titre de la diapo]
 Points:
 - Point 1
 - Point 2
 - Point 3
-
 DIAPO 2:
 Titre: [Titre de la diapo]
 Points:
 - Point 1
 - Point 2
 - Point 3
-
 [Continuez avec ce format pour chaque diapositive]
 
 Analysez le texte suivant et créez une présentation claire et professionnelle :"""
 
+
+
+
 # Téléchargement du modèle
 # /!\Taille Du Modèle GGUF Trop Gros Fonctionne Mal sur HFSpace Machine Free
 #model_file = "mistralai_Mistral-Small-24B-Base-2501-Q8_0.gguf"
-model_file = "mistralai_Mistral-Small-24B-Base-2501-IQ3_XS.gguf"
+#model_file = "mistralai_Mistral-Small-24B-Base-2501-IQ3_XS.gguf"
+
+#model_path = hf_hub_download(
+#    repo_id="MisterAI/Bartowski_MistralAI_Mistral-Small-24B-Base-2501-GGUF",
+#    filename=model_file,
+#    repo_type="model"
+#)
+
+# Initialisation du modèle avec des paramètres de contexte plus grands
+#text_to_presentation = Llama(
+#    model_path=model_path,
+#    verbose=True,
+#    n_ctx=4096,  # Taille maximale du contexte (entrée + sortie)
+#    n_batch=256  # Taille du batch pour le traitement
+#)
 
-model_path = hf_hub_download(
-    repo_id="MisterAI/Bartowski_MistralAI_Mistral-Small-24B-Base-2501-GGUF",
-    filename=model_file,
-    repo_type="model"
-)
+
+# Téléchargement du modèle
+model_id = "mistralai/Mistral-Nemo-Instruct-2407"
 
 # Initialisation du modèle avec des paramètres de contexte plus grands
-text_to_presentation = Llama(
-    model_path=model_path,
-    verbose=True,
-    n_ctx=4096,  # Taille maximale du contexte (entrée + sortie)
-    n_batch=256  # Taille du batch pour le traitement
-)
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
 
 def parse_presentation_content(content):
     """Parse le contenu généré en sections pour les diapositives"""
@@ -99,16 +107,16 @@ def generate_presentation(text):
     full_prompt = PREPROMPT + "\n\n" + text
     
     # Génération du contenu avec le modèle
-    response = text_to_presentation(
-        full_prompt,
-        max_tokens=4096,    # Nombre maximum de tokens en sortie
-        temperature=0.7,
-        stop=["<end>"],
-        echo=False
+    inputs = tokenizer.apply_chat_template(
+        [{"role": "user", "content": full_prompt}],
+        return_tensors="pt",
+        return_dict=True
     )
     
+    outputs = model.generate(**inputs, max_new_tokens=4096, temperature=0.3, stop=["<end>"])
+    
     # Extraction du texte généré
-    generated_content = response['choices'][0]['text']
+    generated_content = tokenizer.decode(outputs[0], skip_special_tokens=True)
     
     # Parse le contenu et crée la présentation
     slides = parse_presentation_content(generated_content)
@@ -133,7 +141,6 @@ def generate_presentation(text):
 #    description="Entrez votre texte et obtenez une présentation PowerPoint générée automatiquement."
 #)
 
-
 # Interface Gradio avec thème Sombre "gstaff/xkcd" et boîte de logs
 with gr.Blocks(theme="gstaff/xkcd") as interface:
     # Interface Gradio avec une zone de texte plus grande
@@ -149,15 +156,11 @@ with gr.Blocks(theme="gstaff/xkcd") as interface:
         description="Entrez votre texte et obtenez une présentation PowerPoint générée automatiquement."
     )
     
-    # Ajout de la boîte de logs NOK Aucune Console Implémentée dans GRADIO
-#    with gr.Row():
-#        gr.Console()
+    # Ajout de la boîte de logs
+    #with gr.Row():
+    #    gr.Console()
 
 # Lance l'interface
-interface.launch()
-
-
-
 
 if __name__ == "__main__":
     demo.launch()