pakito312 commited on
Commit
26cacf3
·
1 Parent(s): 08a825e
Files changed (1) hide show
  1. api.py +19 -1
api.py CHANGED
@@ -203,7 +203,25 @@ class ModelManager:
203
  if self.llm is None:
204
  self.load_model()
205
 
206
- return self.llm.generate(prompt, temperature, max_tokens, top_p)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
207
 
208
  def chat(self, messages: List[dict], temperature: float = 0.2, max_tokens: int = 256):
209
  """Chat conversationnel"""
 
203
  if self.llm is None:
204
  self.load_model()
205
 
206
+ # Si c'est le DummyLLM, appeler la méthode factice
207
+ if isinstance(self.llm, DummyLLM):
208
+ return self.llm.generate(prompt, temperature, max_tokens, top_p)
209
+
210
+ # Pour Llama réel
211
+ try:
212
+ response = self.llm.generate(
213
+ prompt=prompt,
214
+ max_tokens=max_tokens,
215
+ temperature=temperature,
216
+ top_p=top_p,
217
+ stop=None, # ou ['\n\n'] selon ton usage
218
+ echo=False
219
+ )
220
+ # Extraire le texte généré
221
+ return response['choices'][0]['text']
222
+ except Exception as e:
223
+ # Fallback en cas d'erreur
224
+ return f"# Fallback response\n\nPrompt: {prompt}\n\nError: {str(e)[:100]}"
225
 
226
  def chat(self, messages: List[dict], temperature: float = 0.2, max_tokens: int = 256):
227
  """Chat conversationnel"""