Upload llm_engine.py

app/services/llm_engine.py

@@ -8,11 +8,56 @@ load_dotenv()
 
 class LLMEngine:
     def __init__(self):
-        self.api_key = os.getenv("GROQ_API_KEY")
-        if not self.api_key:
-            raise ValueError("GROQ_API_KEY not found in .env file")
+        # List untuk menampung client AsyncGroq
+        self.clients = []
         
-        self.client = AsyncGroq(api_key=self.api_key)
+        # 1. Load Token Utama
+        key1 = os.getenv("GROQ_API_KEY")
+        if key1:
+            try:
+                self.clients.append(AsyncGroq(api_key=key1))
+            except Exception as e:
+                print(f"⚠️ Gagal memuat Token Utama: {e}")
+
+        # 2. Load Token Backup
+        key2 = os.getenv("GROQ_API_KEY_BACKUP")
+        if key2:
+            try:
+                self.clients.append(AsyncGroq(api_key=key2))
+            except Exception as e:
+                print(f"⚠️ Gagal memuat Token Backup: {e}")
+            
+        print(f"✅ LLM Engine (Async) siap dengan {len(self.clients)} Client aktif.")
+
+    # --- FUNGSI RETRY (VERSI ASYNC) ---
+    async def _execute_with_retry(self, messages, model, temperature=0.5, response_format=None):
+        """
+        Mencoba request Async secara bergantian.
+        """
+        if not self.clients:
+            raise Exception("Tidak ada API Key Groq yang terdeteksi di .env!")
+
+        last_error = Exception("Unknown Error")
+
+        for i, client in enumerate(self.clients):
+            try:
+                # PERUBAHAN PENTING: Pakai 'await' di sini
+                completion = await client.chat.completions.create(
+                    messages=messages,
+                    model=model,
+                    temperature=temperature,
+                    response_format=response_format
+                )
+                return completion.choices[0].message.content
+
+            except Exception as e:
+                print(f"⚠️ Token ke-{i+1} Gagal. Error: {e}")
+                last_error = e
+                # Lanjut ke client berikutnya...
+                continue
+        
+        print("❌ Semua Token Gagal/Habis.")
+        raise last_error
 
     async def process_user_intent(self, user_text: str, available_skills: list):
         # Ubah list skill jadi string biar AI tau menu apa aja yang ada
@@ -53,27 +98,26 @@ class LLMEngine:
         """
         
         try:
-            chat_completion = await self.client.chat.completions.create(
+            # Panggil retry dengan await
+            response_content = await self._execute_with_retry(
                 messages=[
                     {"role": "system", "content": system_prompt},
                     {"role": "user", "content": user_text}
                 ],
-                model="llama-3.3-70b-versatile", # Wajib model 70b biar pinter mapping
-                temperature=0.0, # Wajib 0 agar tidak kreatif/halu
+                model="llama-3.3-70b-versatile",
+                temperature=0.0,
                 response_format={"type": "json_object"}
             )
-            
-            response_content = chat_completion.choices[0].message.content
-            print(f"DEBUG AI MAPPING: {response_content}") # Cek di terminal mappingnya bener gak
             return json.loads(response_content)
         except Exception as e:
-            print(f"Error Intent: {e}")
+            print(f"Error Router: {e}")
             return {"action": "CASUAL_CHAT", "detected_skills": []}
 
     async def generate_question(self, topics: list, level: str):
         topics_str = ", ".join(topics)
         prompt = f"""
-        Buatkan 1 soal esai pendek untuk menguji pemahaman user tentang topik: {topics_str}.
+        Buatkan 1 soal esai pendek dengan konsep how, what, why untuk menguji pemahaman user
+        Tentang topik: {topics_str}.
         Tingkat Kesulitan: {level}.
         Bahasa: Indonesia.
         
@@ -87,15 +131,15 @@ class LLMEngine:
         }}
         """
         try:
-            completion = await self.client.chat.completions.create(
+            response_content = await self._execute_with_retry(
                 messages=[{"role": "user", "content": prompt}],
-                # UPDATE MODEL
-                model="llama-3.3-70b-versatile",
+                model="llama-3.3-8b-instant",
+                temperature=0.5,
                 response_format={"type": "json_object"}
             )
-            return json.loads(completion.choices[0].message.content)
-        except:
-            return None
+            return json.loads(response_content)
+        except Exception as e:
+            return {"question_text": "Error generate soal.", "grading_rubric": {}}
 
     async def evaluate_answer(self, user_answer: str, question_context: dict):
         prompt = f"""
@@ -117,13 +161,14 @@ class LLMEngine:
         }}
         """
         try:
-            completion = await self.client.chat.completions.create(
+            response_content = await self._execute_with_retry(
                 messages=[{"role": "user", "content": prompt}],
-                # UPDATE MODEL
-                model="llama-3.3-70b-versatile",
+                model="llama-3.3-70b-versatile", # Tetap pakai 70b biar penilaian akurat
                 response_format={"type": "json_object"}
             )
-            return json.loads(completion.choices[0].message.content)
+            
+            # Parsing string JSON menjadi Dictionary Python
+            return json.loads(response_content)
         except:
             return {"score": 0, "feedback": "Error menilai.", "is_correct": False}
 
@@ -140,7 +185,7 @@ class LLMEngine:
             2. Fokus jawabanmu HANYA pada keyword tersebut.
             3. Gunakan analogi sederhana jika perlu. Jangan terlalu kaku seperti buku teks, tapi tetap akurat.
             4. Gaya bahasa: Ramah, Suportif, Mentor IT.
-            
+            5. Giring user untuk menggunakan fitur belajar seperti tanya tentang skill teknis, Ujian/Tes sub skill, cek progres, rekomendasi belajar.
             """
         else:
             # SKENARIO 2: Keyword Tidak Ditemukan (TOLAK)
@@ -150,9 +195,9 @@ class LLMEngine:
             
             TUGAS:
             1. **TOLAK** untuk menjawab pertanyaan ini.
-            2. Katakan dengan sopan: "Maaf, topik ini tidak ada dalam database skill yang saya pelajari."
+            2. Katakan dengan sopan seperti: "Maaf, topik ini tidak ada dalam database skill yang saya pelajari."
             3. JANGAN mencoba menjawab atau menebak, meskipun kamu tahu jawabannya secara umum. Patuhi whitelist dataset.
-            4. Tawarkan user untuk bertanya tentang skill teknis pemrograman (seperti Python, Java, SQL, dll).
+            5. Tawarkan user untuk menggunakan fitur belajar seperti tanya tentang skill teknis, Ujian/Tes sub skill, cek progres, rekomendasi belajar.
             """
 
         prompt_template = f"""
@@ -183,12 +228,11 @@ class LLMEngine:
         messages.append({"role": "user", "content": user_text})
         
         try:
-            completion = await self.client.chat.completions.create(
+            return await self._execute_with_retry(
                 messages=messages,
                 model="llama-3.3-70b-versatile", 
-                temperature=0.3 
+                temperature=0.3
             )
-            return completion.choices[0].message.content
         except Exception as e:
             return f"Maaf, otak saya sedang error. (Error: {str(e)})"
         
@@ -218,13 +262,12 @@ class LLMEngine:
         """
         
         try:
-            chat_completion = self.client.chat.completions.create(
+            return await self._execute_with_retry(
                 messages=[{"role": "user", "content": prompt}],
                 model="llama-3.1-8b-instant",
                 temperature=0.7
             )
-            return chat_completion.choices[0].message.content
-        except Exception as e:
-            return f"Berdasarkan jawabanmu, kamu sangat cocok menjadi {role}! Semangat belajar ya! 🚀"
+        except:
+            return f"Kamu cocok jadi {role}!"
 
 llm_engine = LLMEngine()