try gemma

app.py

@@ -38,18 +38,25 @@ MODEL_OPTIONS = [
 def chat_with_groq(message):
     """Handles conversation with Groq LLM."""
     response = gclient.chat.completions.create(
-        model="deepseek-r1-distill-llama-70b",
+        model="gemma2-9b-it",
         messages=[
             {
                 "role": "system",
-                "content": "You are a customer service assistant. Follow instructions and reply in Indonesian.",
+                "content": """Anda adalah asisten medis yang membantu dokter dalam menyusun catatan SOAP berdasarkan percakapan dokter dan pasien.
+                            Ringkaskan dalam bentuk paragraf tanpa adanya bullet point dan gunakan bahasa Indonesia.
+                            Harap buat ringkasan dalam format berikut:
+
+                            Subjective:
+                            Objective:
+                            Assessment:
+                            Plan:""",
             },
             {"role": "user", "content": message},
         ],
-        temperature=1.0,
-        max_tokens=2048,
+        temperature=0.0,
+        max_tokens=1024,
     )
-    return response.choices[0].message["content"]  # Extract response text
+    return response.choices[0].message.content  # Extract response text
 
 
 def save_to_file(content, filename):
@@ -72,15 +79,6 @@ def transcribe_audio(audio_path):
 def generate_soap_summary(transcription_text, selected_model):
     """Membuat ringkasan SOAP dari teks transkripsi menggunakan model yang dipilih."""
     template = """
-    Anda adalah asisten medis yang membantu dokter dalam menyusun catatan SOAP berdasarkan percakapan dokter dan pasien.
-    Ringkaskan dalam bentuk paragraf tanpa adanya bullet point dan gunakan bahasa Indonesia.
-    Harap buat ringkasan dalam format berikut:
-
-    Subjective:
-    Objective:
-    Assessment:
-    Plan:
-
     ### Percakapan:
     {dialogue}
 
@@ -93,7 +91,7 @@ def generate_soap_summary(transcription_text, selected_model):
     #     model=selected_model, messages=messages, max_tokens=1000, stream=False
     # )
     # soap = response.choices[0].message.content.strip()
-    soap = chat_with_groq(messages)
+    soap = chat_with_groq(template.format(dialogue=transcription_text))
     return soap, save_to_file(soap, "soap_summary.txt")