Update app.py

app.py

@@ -7,14 +7,14 @@ import tempfile
 # モデルのロード
 model_name = "elyza/ELYZA-japanese-CodeLlama-7b-instruct"
 
-bnb_config = BitsAndBytesConfig(
-    load_in_8bit=True,  # 8ビット量子化を有効化
-)
+# bnb_config = BitsAndBytesConfig(
+#    load_in_8bit=True,  # 8ビット量子化を有効化
+#)
 
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(
     model_name,
-    quantization_config=bnb_config,
+#    quantization_config=bnb_config,
 #   offload_folder="./offload"
     device_map="auto"  # 自動的にGPUまたはCPUに割り当て
 )