Refactor model loading process in chatbot application to prioritize local path loading, with enhanced error handling and fallback mechanisms for HuggingFace models and PEFT adapters.

app.py

@@ -6,31 +6,74 @@ from peft import PeftModel
 
 # Load tokenizer và model
 print("Đang tải model...")
+import os
 
-# Thử load trực tiếp từ path đầy đủ trước
-try:
-    model_name = "cochi1706/decoder/qwen3-finetuned"
-    print(f"Đang thử load model từ: {model_name}")
-    tokenizer = AutoTokenizer.from_pretrained(model_name)
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name,
-        torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-        device_map="auto" if torch.cuda.is_available() else None,
-    )
-except Exception as e:
-    print(f"Không thể load trực tiếp: {e}")
-    print("Đang thử load như PEFT adapter...")
-    # Nếu không được, thử load như PEFT adapter
-    base_model_name = "Qwen/Qwen3-0.6B"
-    adapter_repo = "cochi1706/coding-assistant"
-    
-    base_model = AutoModelForCausalLM.from_pretrained(
-        base_model_name,
-        torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-        device_map="auto" if torch.cuda.is_available() else None,
-    )
-    model = PeftModel.from_pretrained(base_model, adapter_repo)
-    tokenizer = AutoTokenizer.from_pretrained(adapter_repo)
+base_model_name = "Qwen/Qwen3-0.6B"
+adapter_path_local = "./qwen3-finetuned"
+model_loaded = False
+
+# Ưu tiên 1: Thử load từ local path (nếu có)
+if os.path.exists(adapter_path_local) and os.path.exists(os.path.join(adapter_path_local, "adapter_config.json")):
+    try:
+        print(f"Đang load từ local path: {adapter_path_local}")
+        base_model = AutoModelForCausalLM.from_pretrained(
+            base_model_name,
+            torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+            device_map="auto" if torch.cuda.is_available() else None,
+        )
+        model = PeftModel.from_pretrained(base_model, adapter_path_local)
+        tokenizer = AutoTokenizer.from_pretrained(adapter_path_local, local_files_only=True)
+        model_loaded = True
+        print("✓ Đã load model từ local path")
+    except Exception as e:
+        print(f"✗ Không thể load từ local: {e}")
+
+# Ưu tiên 2: Thử load từ HuggingFace như full model
+if not model_loaded:
+    try:
+        model_name = "cochi1706/decoder/qwen3-finetuned"
+        print(f"Đang thử load full model từ: {model_name}")
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForCausalLM.from_pretrained(
+            model_name,
+            torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+            device_map="auto" if torch.cuda.is_available() else None,
+        )
+        model_loaded = True
+        print("✓ Đã load full model từ HuggingFace")
+    except Exception as e:
+        print(f"✗ Không thể load full model: {e}")
+
+# Ưu tiên 3: Load như PEFT adapter từ HuggingFace
+if not model_loaded:
+    try:
+        print("Đang load base model và PEFT adapter từ HuggingFace...")
+        base_model = AutoModelForCausalLM.from_pretrained(
+            base_model_name,
+            torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+            device_map="auto" if torch.cuda.is_available() else None,
+        )
+        # Thử các adapter paths khác nhau
+        adapter_paths = [
+            "cochi1706/coding-assistant",
+            "cochi1706/decoder/qwen3-finetuned",
+        ]
+        for adapter_path in adapter_paths:
+            try:
+                print(f"  Thử adapter path: {adapter_path}")
+                model = PeftModel.from_pretrained(base_model, adapter_path)
+                tokenizer = AutoTokenizer.from_pretrained(adapter_path)
+                model_loaded = True
+                print(f"✓ Đã load PEFT adapter từ: {adapter_path}")
+                break
+            except Exception as e:
+                print(f"  ✗ Không thể load từ {adapter_path}: {e}")
+                continue
+    except Exception as e:
+        print(f"✗ Không thể load base model: {e}")
+
+if not model_loaded:
+    raise RuntimeError("Không thể load model từ bất kỳ nguồn nào. Vui lòng kiểm tra lại model path.")
 
 # Xác định device
 device = torch.device("cuda" if torch.cuda.is_available() else "cpu")