Update app.py

app.py

@@ -220,15 +220,13 @@ async def call_hf_model(prompt: str, temperature: float = 0.5, max_tokens: int =
 
     try:
         # Costruisci i messaggi per il modello
-        messages = [
-            {"role": "system", "content": "You are a helpful assistant."},
-            {"role": "user", "content": prompt}
-        ]
-
-        # Esegui la chat_completion
-        response = client.chat_completion(
-            messages=messages,
-            max_tokens=max_tokens,
+        # Poiché stiamo usando text_generation, il prompt deve essere una stringa continua
+        full_prompt = prompt
+
+        # Esegui la text_generation
+        response = client.text_generation(
+            full_prompt,
+            max_new_tokens=max_tokens,
             temperature=temperature,
             top_p=0.7,
             stream=stream
@@ -240,25 +238,20 @@ async def call_hf_model(prompt: str, temperature: float = 0.5, max_tokens: int =
             # Gestisci lo stream
             generated_text = ""
             async for token in response:
-                if token.choices and token.choices[0].delta.get("content"):
-                    generated_text += token.choices[0].delta["content"]
-                    print(token.choices[0].delta["content"], end="")
+                if 'generated_text' in token:
+                    generated_text += token['generated_text']
+                    print(token['generated_text'], end="")
             return generated_text.strip()
         else:
             # Risposta non in streaming
-            # Logga la risposta completa per capire la struttura
-            logger.debug(f"Risposta completa: {response}")
-
-            # Adatta la logica di estrazione del testo generato
-            if isinstance(response, dict):
-                if 'choices' in response and len(response['choices']) > 0:
-                    generated_text = response['choices'][0].get('message', {}).get('content', '')
-                else:
-                    raise ValueError("Risposta non contiene 'choices' o 'message'.")
-            elif isinstance(response, list) and len(response) > 0:
-                generated_text = response[0].get('message', {}).get('content', '')
+            # Verifica la struttura della risposta
+            # La risposta dovrebbe contenere 'generated_text'
+            if isinstance(response, list) and len(response) > 0 and "generated_text" in response[0]:
+                generated_text = response[0]["generated_text"]
+            elif isinstance(response, dict) and "generated_text" in response:
+                generated_text = response["generated_text"]
             else:
-                raise ValueError("Struttura della risposta non riconosciuta.")
+                raise ValueError("Nessun campo 'generated_text' nella risposta.")
 
             # Forza la risposta su una singola linea se multilinea
             single_line = " ".join(generated_text.splitlines())