Update app.py

app.py

@@ -31,6 +31,11 @@ except ImportError as e:
     genai = None
 
 # --- 环境设置 ---
+os.environ['ENABLE_AUDIO_OUTPUT'] = '0'
+os.environ['VIDEO_TOTAL_PIXELS'] = '0'
+os.environ['IMAGE_FACTOR'] = '1'
+os.environ['MAX_PIXELS'] = '1024'  # 降低到最低
+
 warnings.filterwarnings("ignore")
 os.environ['PYTHONWARNINGS'] = 'ignore'
 logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")
@@ -134,25 +139,24 @@ def load_llm_model():
         else:
             print(f"✅ 模型已存在: {LOCAL_MODEL_PATH}")
         
-        # 🔥 关键修改：使用量化 + 内存优化
-        print("正在使用 ms-swift PtEngine 加载模型（量化模式）...")
+
+        print("正在加载文本模式（禁用多模态）...")
         
         engine = PtEngine(
             model_id_or_path=LOCAL_MODEL_PATH,
-            torch_dtype=torch.float16,
+            torch_dtype=torch.bfloat16,      # 使用 bfloat16 更省内存
             max_batch_size=1,
             device_map='cpu',
-            # 🔥 添加量化参数
-            quant_method='bnb',           # 使用 bitsandbytes 量化
-            quant_bits=4,           # 4-bit 量化（也可以用8）
-            bnb_4bit_compute_dtype=torch.float16,
+            quant_method='bnb',
+            quantization_bit=4,
             model_kwargs={
                 'low_cpu_mem_usage': True,
-                'max_memory': {'cpu': '12GB'},  # 限制最大内存使用
+                'max_memory': {'cpu': '10GB'},
+                'offload_folder': './offload',  # 内存不足时卸载到磁盘
             }
         )
         
-        print("✅ ms-swift PtEngine 加载完成（已启用量化）")
+        print("✅ 文本模式加载完成")
         
     except Exception as e:
         print(f"❌ 模型加载失败: {e}")