update

app.py

@@ -11,19 +11,25 @@ hf_token = os.getenv('HF_TOKEN')
 base_model = "google/gemma-2b-it"
 adapter_model = "FadQ/gemma-2b-diary-consultaton-chatbot"
 
-# Load model dasar dengan offloading
+# Pastikan menggunakan versi terbaru untuk kompatibilitas
+import subprocess
+subprocess.run(["pip", "install", "--upgrade", "peft", "transformers", "accelerate"])
+
+# Load model dasar dengan memastikan tidak dalam mode meta tensor
 model = AutoModelForCausalLM.from_pretrained(
-    base_model, 
-    torch_dtype=torch.float16, 
-    device_map="auto", 
-    offload_folder="offload"  # Tambahkan folder untuk offloading ke disk
+    base_model,
+    torch_dtype=torch.float16,  
+    device_map="auto",
+    low_cpu_mem_usage=True  # Pastikan model benar-benar dimuat ke memori
 )
 
-# Load adapter PEFT dengan offloading
+# Pastikan semua weight telah dimuat sebelum apply adapter
+model = model.to("cuda" if torch.cuda.is_available() else "cpu")
+
+# Load adapter PEFT setelah model utama benar-benar dimuat
 model = PeftModel.from_pretrained(
     model, 
-    adapter_model, 
-    offload_folder="offload"
+    adapter_model
 )
 
 # Load tokenizer
@@ -34,7 +40,7 @@ pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
 
 def predict(input_text):
     inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
-    with torch.no_grad():  # Hindari penggunaan memori yang tidak perlu
+    with torch.no_grad():
         output = model.generate(**inputs, max_length=150)
     return tokenizer.decode(output[0], skip_special_tokens=True)