Update app.py

app.py

@@ -2,43 +2,17 @@ from fastapi import FastAPI, Request, HTTPException
 import os
 import requests
 from typing import Dict, Any
-from transformers import pipeline
-from huggingface_hub import login
 
 app = FastAPI()
 
-# Initialisation du pipeline pour l'API d'inférence Hugging Face
+# Configuration de l'API d'inférence Hugging Face
 BOT_USERNAME = "@DiscussionBot"
-MODEL = "gpt2"
+INFERENCE_API_URL = "https://api-inference.huggingface.co/models/gpt2"
+HF_TOKEN = os.getenv("HF_TOKEN")
 
-# Définir un répertoire de cache accessible pour Hugging Face Spaces
-CACHE_DIR = os.getenv("HF_HOME", "/tmp/cache/huggingface")
-try:
-    os.makedirs(CACHE_DIR, exist_ok=True)  # Créer le répertoire s'il n'existe pas
-    print(f"Cache directory set to {CACHE_DIR}")
-except Exception as e:
-    print(f"Warning: Unable to create cache directory {CACHE_DIR}: {str(e)}")
-    raise
-
-# Vérification du jeton et connexion à Hugging Face
-try:
-    HF_TOKEN = os.getenv("HF_TOKEN")
-    if not HF_TOKEN:
-        print("Warning: HF_TOKEN is not set. Using public model gpt2 which may not require a token.")
-    else:
-        login(token=HF_TOKEN)  # Authentifie avec le jeton
-        print("Successfully authenticated with Hugging Face")
-except Exception as e:
-    print(f"Failed to authenticate with Hugging Face: {str(e)}")
-    # Continue si le modèle ne nécessite pas de jeton
-
-# Initialisation du pipeline
-try:
-    pipe = pipeline("text-generation", model=MODEL, token=HF_TOKEN if HF_TOKEN else None, cache_dir=CACHE_DIR)
-    print(f"Successfully initialized pipeline for model {MODEL}")
-except Exception as e:
-    print(f"Failed to initialize pipeline for model {MODEL}: {str(e)}")
-    raise
+# Vérification du jeton API
+if not HF_TOKEN:
+    raise ValueError("HF_TOKEN environment variable is not set. Please set it with a valid Hugging Face API token.")
 
 @app.get("/")
 async def root(request: Request) -> Dict[str, Any]:
@@ -76,14 +50,34 @@ async def webhook(request: Request) -> Dict[str, Any]:
         ):
             print(f"Processing comment: {data['comment']['content']}")
 
-            # Préparation du prompt comme une chaîne de texte
+            # Préparation du prompt pour l'API d'inférence
             input_text = f"Faites comme si vous étiez un robot qui répond aux discussions sur l'apprentissage automatique et répondez au commentaire suivant :\n{data['comment']['content']}"
 
-            # Inférence avec le pipeline
+            # Requête à l'API d'inférence
             try:
-                output = pipe(input_text, max_new_tokens=100, num_return_sequences=1)
-                print(f"Pipeline response: {output}")
-                continuation_text = output[0]["generated_text"].replace(input_text, "").strip()
+                response = requests.post(
+                    INFERENCE_API_URL,
+                    headers={
+                        "Authorization": f"Bearer {HF_TOKEN}",
+                        "Content-Type": "application/json",
+                    },
+                    json={
+                        "inputs": input_text,
+                        "parameters": {
+                            "max_new_tokens": 100,
+                            "num_return_sequences": 1
+                        }
+                    }
+                )
+                response.raise_for_status()  # Lever une exception pour les erreurs HTTP
+                output = response.json()
+                print(f"API response: {output}")
+
+                # Extraction du texte généré
+                if isinstance(output, list) and len(output) > 0:
+                    continuation_text = output[0]["generated_text"].replace(input_text, "").strip()
+                else:
+                    raise ValueError("Unexpected response format from inference API")
             except Exception as e:
                 error_message = f"Inference failed: {str(e)}"
                 print(error_message)