Changed to llama

app.py

@@ -1,8 +1,7 @@
 from flask import Flask, request, jsonify
-from huggingface_hub import InferenceClient
+import ollama
+
 app = Flask(__name__)
-client = InferenceClient("meta-llama/Llama-3.1-8B-Instruct")
-DEFAULT_MAX_TOKENS = 512
 DEFAULT_TEMPERATURE = 0.7
 DEFAULT_TOP_P = 0.95
 
@@ -12,30 +11,18 @@ def generate_journal_suggestion(current_page):
             f"""Pe baza înregistrării din jurnal: '{current_page}', generează o singură întrebare pe care utilizatorul ar putea să și-o pună într-un jurnal.
             Întrebarea ar trebui să încurajeze reflecția personală mai profundă, explorarea sentimentelor sau clarificarea obiectivelor."""
         )
-        # logger.info("Generated suggestion prompt: %s", suggestion_prompt)
-
-        suggestion_response = ""
-        response_stream = client.chat_completion(
-            [
-                {"role": "user", "content": suggestion_prompt}
-            ],
-            max_tokens=150,
-            stream=True,
-            temperature=DEFAULT_TEMPERATURE,
-            top_p=DEFAULT_TOP_P,
+        
+        response = ollama.chat(
+            model="llama3",
+            messages=[{"role": "user", "content": suggestion_prompt}],
+            options={"temperature": DEFAULT_TEMPERATURE, "top_p": DEFAULT_TOP_P}
         )
-        # logger.info("Response stream received.")
-
-        for message in response_stream:
-            logger.info("Message received: %s", message)
-            token = message.choices[0].delta.content
-            suggestion_response += token
-
-        return suggestion_response
-
+        
+        return response["message"]["content"]
     except Exception as e:
         return f"Error: {str(e)}"
 
+
 @app.route("/", methods=["POST", "GET"])
 def home():
     return "Hi!"