exposition du modele Mistral

app.py

@@ -1,26 +1,34 @@
+from fastapi import FastAPI, Request
+from pydantic import BaseModel
 import requests
+import uvicorn
 
-# Configuration
-OLLAMA_URL = "http://localhost:11434/api/generate"  # API locale par défaut
-MODEL_NAME = "mistral:7b-instruct-q4_K_M"  # Le modèle que tu veux utiliser
+app = FastAPI()
 
-# Exemple de prompt
-prompt = "Explique-moi la théorie de la relativité de manière simple."
+OLLAMA_URL = "http://localhost:11434/api/generate"
+MODEL_NAME = "mistral:7b-instruct-q4_K_M"
 
-# Corps de la requête
-payload = {
-    "model": MODEL_NAME,
-    "prompt": prompt,
-    "stream": False  # Si tu veux une réponse en streaming, mets True
-}
+class PromptRequest(BaseModel):
+    prompt: str
 
-# Appel de l’API Ollama
-response = requests.post(OLLAMA_URL, json=payload)
+@app.post("/generate")
+def generate_text(request_data: PromptRequest):
+    payload = {
+        "model": MODEL_NAME,
+        "prompt": request_data.prompt,
+        "stream": False
+    }
+    response = requests.post(OLLAMA_URL, json=payload)
+    if response.status_code == 200:
+        data = response.json()
+        return {"response": data.get("response")}
+    else:
+        return {"error": response.status_code, "message": response.text}
 
-# Traitement de la réponse
-if response.status_code == 200:
-    data = response.json()
-    print("Réponse du modèle :")
-    print(data.get("response"))
-else:
-    print(f"Erreur {response.status_code} : {response.text}")
+@app.get("/")
+def read_root():
+    return {"message": "Bienvenue sur l'API FastAPI + Ollama"}
+
+if __name__ == "__main__":
+    # Démarrage du serveur FastAPI
+    uvicorn.run(app, host="0.0.0.0", port=7860)

requirements.txt

@@ -4,4 +4,5 @@ langchain-ollama
 ollama
 fastapi
 uvicorn
-pydantic
+pydantic
+requests

start.sh

@@ -1,17 +1,15 @@
 #!/bin/bash
 
-# Démarrer le serveur Ollama en arrière-plan
+# Démarrer Ollama en arrière-plan
 echo "Démarrage du serveur Ollama..."
 ollama serve &
-sleep 1  # Attente pour que le serveur démarre bien
+sleep 5
 
-# Extraire les modèles de la variable d’environnement et les télécharger
-IFS=',' read -ra MODELS <<< "$model"
-for m in "${MODELS[@]}"; do
-    echo "Téléchargement du modèle : $m"
-    ollama pull "$m"
-    sleep 5
-done
+# Télécharger le modèle
+echo "Téléchargement du modèle : $model"
+ollama pull "$model"
+sleep 5
 
-# Garder le conteneur en vie tant que le serveur tourne
-wait
+# Lancer FastAPI via uvicorn
+echo "Lancement de FastAPI..."
+uvicorn app:app --host 0.0.0.0 --port 7860