anh-khoa-nguyen commited on
Commit
559f582
·
1 Parent(s): 1bebe5b

change model

Browse files
app/services/intent_analyzer.py CHANGED
@@ -67,7 +67,7 @@ async def analyze_intent(user_query: str, max_retries: int = 3) -> IntentResult:
67
  "content": prompt,
68
  }
69
  ],
70
- model="gemma2-9b-it", # Hoặc "mixtral-8x7b-32768"
71
  temperature=0, # =0 để kết quả có tính quyết định, ít sáng tạo
72
  max_tokens=256,
73
  response_format={"type": "json_object"},
 
67
  "content": prompt,
68
  }
69
  ],
70
+ model="openai/gpt-oss-20b", # Hoặc "mixtral-8x7b-32768"
71
  temperature=0, # =0 để kết quả có tính quyết định, ít sáng tạo
72
  max_tokens=256,
73
  response_format={"type": "json_object"},
app/services/response_synthesizer.py CHANGED
@@ -196,7 +196,7 @@ async def synthesize_response(context: ChatContext) -> str:
196
  "content": prompt,
197
  }
198
  ],
199
- model="gemma2-9b-it",
200
  temperature=0.7, # Cho phép LLM viết văn mượt mà hơn
201
  max_tokens=2048,
202
  )
 
196
  "content": prompt,
197
  }
198
  ],
199
+ model="openai/gpt-oss-20b",
200
  temperature=0.7, # Cho phép LLM viết văn mượt mà hơn
201
  max_tokens=2048,
202
  )
app/tools/reranker_tools.py CHANGED
@@ -69,7 +69,7 @@ def choose_best_loandau_candidate(user_query: str, candidates: List[Dict[str, An
69
  logger.info("Gửi yêu cầu re-ranking đến LLM...")
70
  chat_completion = groq_client.chat.completions.create(
71
  messages=[{"role": "user", "content": prompt}],
72
- model="gemma2-9b-it",
73
  temperature=0,
74
  response_format={"type": "json_object"},
75
  )
 
69
  logger.info("Gửi yêu cầu re-ranking đến LLM...")
70
  chat_completion = groq_client.chat.completions.create(
71
  messages=[{"role": "user", "content": prompt}],
72
+ model="openai/gpt-oss-20b",
73
  temperature=0,
74
  response_format={"type": "json_object"},
75
  )