Improve Colab notebook: add environment check, better error handling, troubleshooting guide

run_app_colab.ipynb

@@ -31,7 +31,82 @@
       "outputs": [],
       "source": [
         "# Cài đặt các thư viện cần thiết (đầy đủ dependencies)\n",
-        "%pip install -q gradio>=5.42.0 transformers>=4.51.0 torch>=2.0.0 accelerate huggingface_hub faster-whisper edge-tts numpy scipy pydub bitsandbytes flash-attn optimum\n"
+        "# Cài đặt tất cả packages cần thiết cho app\n",
+        "%pip install -q gradio>=5.42.0 transformers>=4.51.0 torch>=2.0.0 accelerate huggingface_hub faster-whisper edge-tts numpy scipy pydub bitsandbytes flash-attn optimum openai-whisper\n",
+        "\n",
+        "print(\"✅ Đã cài đặt tất cả dependencies!\")\n",
+        "print(\"\\n📦 Packages đã cài:\")\n",
+        "print(\"  - gradio: UI framework\")\n",
+        "print(\"  - transformers: Hugging Face transformers\")\n",
+        "print(\"  - torch: PyTorch\")\n",
+        "print(\"  - faster-whisper: STT nhanh (fallback: openai-whisper)\")\n",
+        "print(\"  - edge-tts: Text-to-Speech\")\n",
+        "print(\"  - accelerate: Model acceleration\")\n",
+        "print(\"  - huggingface_hub: Hugging Face Hub\")\n",
+        "print(\"  - numpy, scipy: Scientific computing\")\n",
+        "print(\"  - pydub: Audio processing\")\n",
+        "print(\"  - bitsandbytes: Quantization (optional)\")\n",
+        "print(\"  - flash-attn: Flash Attention (optional)\")\n",
+        "print(\"  - optimum: Optimization (optional)\")\n"
+      ]
+    },
+    {
+      "cell_type": "markdown",
+      "metadata": {},
+      "source": [
+        "## Bước 1.5: Kiểm tra GPU và môi trường\n"
+      ]
+    },
+    {
+      "cell_type": "code",
+      "execution_count": null,
+      "metadata": {},
+      "outputs": [],
+      "source": [
+        "# Kiểm tra GPU và môi trường\n",
+        "import torch\n",
+        "import sys\n",
+        "\n",
+        "print(\"🔍 Kiểm tra môi trường...\")\n",
+        "print(f\"Python version: {sys.version}\")\n",
+        "print(f\"PyTorch version: {torch.__version__}\")\n",
+        "\n",
+        "# Kiểm tra GPU\n",
+        "if torch.cuda.is_available():\n",
+        "    print(f\"\\n✅ GPU có sẵn!\")\n",
+        "    print(f\"  - GPU: {torch.cuda.get_device_name(0)}\")\n",
+        "    print(f\"  - GPU Memory: {torch.cuda.get_device_properties(0).total_memory / 1024**3:.2f} GB\")\n",
+        "    print(f\"  - CUDA version: {torch.version.cuda}\")\n",
+        "else:\n",
+        "    print(\"\\n⚠️ Không có GPU, app sẽ chạy trên CPU (chậm hơn)\")\n",
+        "\n",
+        "# Kiểm tra các packages quan trọng\n",
+        "print(\"\\n📦 Kiểm tra packages:\")\n",
+        "try:\n",
+        "    import gradio\n",
+        "    print(f\"  ✅ gradio: {gradio.__version__}\")\n",
+        "except ImportError:\n",
+        "    print(\"  ❌ gradio: Chưa cài\")\n",
+        "\n",
+        "try:\n",
+        "    import transformers\n",
+        "    print(f\"  ✅ transformers: {transformers.__version__}\")\n",
+        "except ImportError:\n",
+        "    print(\"  ❌ transformers: Chưa cài\")\n",
+        "\n",
+        "try:\n",
+        "    from faster_whisper import WhisperModel\n",
+        "    print(\"  ✅ faster-whisper: Đã cài\")\n",
+        "except ImportError:\n",
+        "    print(\"  ⚠️ faster-whisper: Chưa cài (sẽ dùng openai-whisper)\")\n",
+        "\n",
+        "try:\n",
+        "    import edge_tts\n",
+        "    print(\"  ✅ edge-tts: Đã cài\")\n",
+        "except ImportError:\n",
+        "    print(\"  ❌ edge-tts: Chưa cài\")\n",
+        "\n",
+        "print(\"\\n✅ Kiểm tra hoàn tất!\")\n"
       ]
     },
     {
@@ -49,12 +124,24 @@
       "source": [
         "# Download app.py từ repository\n",
         "import urllib.request\n",
+        "import os\n",
         "\n",
         "# Download app.py từ Hugging Face Spaces\n",
         "app_url = \"https://huggingface.co/spaces/hainguyen306201/banking2b/resolve/main/app.py\"\n",
-        "urllib.request.urlretrieve(app_url, \"app.py\")\n",
         "\n",
-        "print(\"✅ Đã download app.py\")\n"
+        "print(\"📥 Đang download app.py...\")\n",
+        "try:\n",
+        "    urllib.request.urlretrieve(app_url, \"app.py\")\n",
+        "    \n",
+        "    # Kiểm tra file đã download\n",
+        "    if os.path.exists(\"app.py\"):\n",
+        "        file_size = os.path.getsize(\"app.py\") / 1024  # KB\n",
+        "        print(f\"✅ Đã download app.py thành công ({file_size:.1f} KB)\")\n",
+        "    else:\n",
+        "        print(\"❌ Lỗi: File app.py không tồn tại sau khi download\")\n",
+        "except Exception as e:\n",
+        "    print(f\"❌ Lỗi khi download app.py: {e}\")\n",
+        "    print(\"💡 Thử lại hoặc kiểm tra kết nối internet\")\n"
       ]
     },
     {
@@ -98,23 +185,43 @@
       "outputs": [],
       "source": [
         "# Đọc và sửa app.py để chạy trên Colab\n",
-        "with open('app.py', 'r') as f:\n",
-        "    app_code = f.read()\n",
-        "\n",
-        "# Sửa demo.launch() để có share link cho Colab\n",
-        "# Tìm và thay thế phần launch\n",
+        "import os\n",
         "import re\n",
-        "app_code = re.sub(\n",
-        "    r'demo\\.launch\\(\\s*server_name=\"127\\.0\\.0\\.1\",\\s*server_port=7860,\\s*share=False\\s*\\)',\n",
-        "    'demo.launch(server_name=\"0.0.0.0\", server_port=7860, share=True)',\n",
-        "    app_code\n",
-        ")\n",
-        "\n",
-        "# Chạy app\n",
-        "# Lưu ý: Quá trình tải model có thể mất vài phút (5-10 phút)\n",
-        "print(\"🚀 Đang khởi động app...\")\n",
-        "print(\"⏳ Quá trình tải model có thể mất 5-10 phút, vui lòng đợi...\")\n",
-        "exec(app_code)\n"
+        "\n",
+        "if not os.path.exists(\"app.py\"):\n",
+        "    print(\"❌ Lỗi: File app.py không tồn tại. Vui lòng chạy cell download trước.\")\n",
+        "else:\n",
+        "    print(\"📖 Đang đọc app.py...\")\n",
+        "    with open('app.py', 'r', encoding='utf-8') as f:\n",
+        "        app_code = f.read()\n",
+        "    \n",
+        "    print(\"🔧 Đang sửa app.py cho Colab...\")\n",
+        "    # Sửa demo.launch() để có share link cho Colab\n",
+        "    # Tìm và thay thế phần launch\n",
+        "    app_code = re.sub(\n",
+        "        r'demo\\.launch\\(\\s*server_name=\"127\\.0\\.0\\.1\",\\s*server_port=7860,\\s*share=False\\s*\\)',\n",
+        "        'demo.launch(server_name=\"0.0.0.0\", server_port=7860, share=True)',\n",
+        "        app_code\n",
+        "    )\n",
+        "    \n",
+        "    # Cũng sửa phần Spaces launch nếu có\n",
+        "    app_code = re.sub(\n",
+        "        r'demo\\.launch\\(\\s*show_api=False,\\s*show_error=True\\s*\\)',\n",
+        "        'demo.launch(server_name=\"0.0.0.0\", server_port=7860, share=True, show_api=False, show_error=True)',\n",
+        "        app_code\n",
+        "    )\n",
+        "    \n",
+        "    print(\"✅ Đã sửa app.py cho Colab\")\n",
+        "    print(\"\\n🚀 Đang khởi động app...\")\n",
+        "    print(\"⏳ Quá trình tải model có thể mất 5-10 phút, vui lòng đợi...\")\n",
+        "    print(\"📝 Lưu ý:\")\n",
+        "    print(\"  - Model sẽ được tải từ Hugging Face\")\n",
+        "    print(\"  - Whisper model sẽ được tải tự động\")\n",
+        "    print(\"  - Sau khi tải xong, bạn sẽ thấy Gradio interface\")\n",
+        "    print(\"  - Click vào link 'Running on public URL' để truy cập app\\n\")\n",
+        "    \n",
+        "    # Chạy app\n",
+        "    exec(app_code)\n"
       ]
     },
     {
@@ -143,22 +250,54 @@
       "cell_type": "markdown",
       "metadata": {},
       "source": [
-        "## Lưu ý\n",
+        "## 📋 Lưu ý quan trọng\n",
         "\n",
-        "- ⚡ **GPU**: Colab sẽ tự động sử dụng GPU nếu có (T4 hoặc A100)\n",
-        "- ⏱️ **Thời gian tải model**: 5-10 phút tùy thuộc vào kết nối internet\n",
-        "- 💾 **Memory**: Model size ~1.7B parameters, cần ít nhất 4GB GPU memory\n",
-        "- 🔗 **Public URL**: App sẽ tự động tạo public link để chia sẻ\n",
-        "- ⚠️ **Session timeout**: Nếu Colab session bị ngắt, cần chạy lại từ đầu\n",
+        "### ⚡ Yêu cầu hệ thống\n",
+        "- **GPU**: Colab sẽ tự động sử dụng GPU nếu có (T4 hoặc A100)\n",
+        "- **Memory**: Model size ~1.7B parameters, cần ít nhất 4GB GPU memory\n",
+        "- **Internet**: Cần kết nối internet ổn định để tải model\n",
+        "\n",
+        "### ⏱️ Thời gian\n",
+        "- **Tải model**: 5-10 phút tùy thuộc vào kết nối internet\n",
+        "- **Khởi động app**: 1-2 phút sau khi tải model xong\n",
+        "- **Inference**: ~1-3 giây cho mỗi câu trả lời\n",
+        "\n",
+        "### 🔗 Truy cập app\n",
+        "- **Local URL**: App sẽ chạy trên `http://localhost:7860`\n",
+        "- **Public URL**: App sẽ tự động tạo public link (share=True)\n",
+        "- **Click vào link \"Running on public URL\"** để truy cập app từ bên ngoài\n",
+        "\n",
+        "### ⚠️ Cảnh báo\n",
+        "- **Session timeout**: Nếu Colab session bị ngắt, cần chạy lại từ đầu\n",
+        "- **GPU timeout**: Colab free có thể giới hạn thời gian sử dụng GPU\n",
+        "- **Memory**: Nếu hết memory, cần restart runtime\n",
         "\n",
         "## ⚡ Tối ưu hiệu suất đã được bật\n",
         "\n",
-        "- **faster-whisper**: STT nhanh hơn 4-5x so với openai-whisper\n",
-        "- **torch.compile**: LLM nhanh hơn 20-30%\n",
-        "- **SDPA Attention**: Tối ưu attention mechanism\n",
-        "- **Flash Attention**: Tối ưu memory và tốc độ\n",
-        "- **Pre-warm model**: Giảm latency cho request đầu tiên\n",
-        "- **Half precision**: Tối ưu memory và tốc độ\n"
+        "- ✅ **faster-whisper**: STT nhanh hơn 4-5x so với openai-whisper\n",
+        "- ✅ **SDPA Attention**: Tối ưu attention mechanism\n",
+        "- ✅ **Half precision (bfloat16)**: Tối ưu memory và tốc độ\n",
+        "- ✅ **CUDA optimizations**: Tối ưu cuDNN, cuBLAS\n",
+        "- ✅ **Memory optimization**: Tận dụng tối đa GPU RAM\n",
+        "\n",
+        "## 🐛 Troubleshooting\n",
+        "\n",
+        "### Lỗi \"Out of memory\"\n",
+        "- Restart runtime và chạy lại\n",
+        "- Giảm `max_tokens` trong settings\n",
+        "\n",
+        "### Lỗi \"Model not found\"\n",
+        "- Kiểm tra kết nối internet\n",
+        "- Đảm bảo đã đăng nhập Hugging Face (nếu model private)\n",
+        "\n",
+        "### Lỗi \"Whisper model not loaded\"\n",
+        "- Đợi thêm vài phút để model tải xong\n",
+        "- Kiểm tra log để xem lỗi chi tiết\n",
+        "\n",
+        "### App không phát audio\n",
+        "- Kiểm tra browser có cho phép autoplay không\n",
+        "- Thử refresh trang\n",
+        "- Kiểm tra console log để xem lỗi TTS\n"
       ]
     }
   ],