Update app.py

app.py

@@ -19,67 +19,105 @@ def get_db_connection():
     # Đường dẫn tạm thời để lưu database.db
     temp_db_path = '/tmp/database.db'
 
+    # Thư mục cache tùy chỉnh mà ứng dụng có quyền ghi
+    cache_dir = '/tmp/hf_cache'
+    os.makedirs(cache_dir, exist_ok=True)  # Tạo thư mục cache nếu chưa tồn tại
+
+    # Thiết lập biến môi trường cho huggingface_hub để sử dụng cache_dir
+    os.environ['HF_HOME'] = cache_dir
+
     # Thông tin dataset trên Hugging Face
     repo_id = "huylaughmad/web"
     filename = "database.db"
     repo_type = "dataset"
 
-    # Token Hugging Face (đảm bảo đã thiết lập trong biến môi trường)
+    # Token Hugging Face
     hf_token = os.getenv("HF_TOKEN")
     if not hf_token:
         raise RuntimeError("HF_TOKEN không được thiết lập trong biến môi trường")
 
-    try:
-        # Kiểm tra xem file database.db có tồn tại trên dataset không
-        try:
-            logger.info(f"Kiểm tra file {filename} trên dataset {repo_id}")
-            downloaded_path = hf_hub_download(
-                repo_id=repo_id,
-                filename=filename,
-                repo_type=repo_type,
-                token=hf_token
-            )
-            logger.info(f"Tải file thành công từ {downloaded_path}")
-
-            # Sao chép file từ đường dẫn tải về sang /tmp/database.db
-            with open(downloaded_path, 'rb') as src, open(temp_db_path, 'wb') as dst:
-                dst.write(src.read())
+    # Khởi tạo Hugging Face API
+    api = HfApi()
 
+    # Khóa file để tránh xung đột giữa các worker
+    lock_file = '/tmp/database.lock'
+    with open(lock_file, 'a'):
+        import fcntl
+        fcntl.flock(lock_file, fcntl.LOCK_EX)
+        try:
+            # Kiểm tra xem file database.db đã tồn tại cục bộ chưa
+            if os.path.exists(temp_db_path):
+                logger.info(f"File {temp_db_path} đã tồn tại cục bộ, sử dụng file này")
+            else:
+                # Kiểm tra xem file database.db có trên dataset không
+                try:
+                    logger.info(f"Kiểm tra file {filename} trên dataset {repo_id}")
+                    downloaded_path = hf_hub_download(
+                        repo_id=repo_id,
+                        filename=filename,
+                        repo_type=repo_type,
+                        token=hf_token,
+                        cache_dir=cache_dir
+                    )
+                    logger.info(f"Tải file thành công từ {downloaded_path}")
+
+                    # Sao chép file từ đường dẫn tải về sang /tmp/database.db
+                    with open(downloaded_path, 'rb') as src, open(temp_db_path, 'wb') as dst:
+                        dst.write(src.read())
+
+                except Exception as e:
+                    logger.warning(f"Không tìm thấy file {filename} trên dataset hoặc lỗi tải: {str(e)}")
+                    # Tạo file database.db mới trong /tmp/
+                    logger.info(f"Tạo file database mới tại {temp_db_path}")
+                    open(temp_db_path, 'a').close()  # Tạo file rỗng
+
+                    # Gọi init_db() để tạo các bảng và điền dữ liệu mẫu
+                    logger.info("Khởi tạo cơ sở dữ liệu với các bảng và dữ liệu mẫu")
+                    init_db()
+
+                    # Đẩy file database.db mới tạo lên dataset
+                    logger.info(f"Đẩy file {temp_db_path} lên dataset {repo_id}")
+                    upload_file(
+                        path_or_fileobj=temp_db_path,
+                        path_in_repo=filename,
+                        repo_id=repo_id,
+                        repo_type=repo_type,
+                        token=hf_token
+                    )
+                    logger.info(f"File {filename} đã được đẩy lên dataset thành công")
+
+            # Kiểm tra quyền ghi vào /tmp/
+            if not os.access(os.path.dirname(temp_db_path), os.W_OK):
+                raise RuntimeError(f"Không có quyền ghi tại {os.path.dirname(temp_db_path)}")
+
+            # Kết nối với SQLite
+            conn = sqlite3.connect(temp_db_path)
+            conn.row_factory = sqlite3.Row  # Trả về dữ liệu dưới dạng dictionary
+            return conn
+
+        except sqlite3.OperationalError as sql_error:
+            raise RuntimeError(f"Không thể mở file cơ sở dữ liệu tại {temp_db_path}: {str(sql_error)}")
         except Exception as e:
-            logger.warning(f"Không tìm thấy file {filename} trên dataset hoặc lỗi tải: {str(e)}")
-            # Tạo file database.db mới trong /tmp/
-            if not os.path.exists(temp_db_path):
-                logger.info(f"Tạo file database mới tại {temp_db_path}")
-                open(temp_db_path, 'a').close()  # Tạo file rỗng
-
-                # Gọi init_db() để tạo các bảng và điền dữ liệu mẫu
-                logger.info("Khởi tạo cơ sở dữ liệu với các bảng và dữ liệu mẫu")
-                init_db()
-
-                # Đẩy file database.db mới tạo lên dataset
-                logger.info(f"Đẩy file {temp_db_path} lên dataset {repo_id}")
-                upload_file(
-                    path_or_fileobj=temp_db_path,
-                    path_in_repo=filename,
-                    repo_id=repo_id,
-                    repo_type=repo_type,
-                    token=hf_token
-                )
-                logger.info(f"File {filename} đã được đẩy lên dataset thành công")
-
-        # Kiểm tra quyền ghi vào /tmp/
-        if not os.access(os.path.dirname(temp_db_path), os.W_OK):
-            raise RuntimeError(f"Không có quyền ghi tại {os.path.dirname(temp_db_path)}")
-
-        # Kết nối với SQLite
-        conn = sqlite3.connect(temp_db_path)
-        conn.row_factory = sqlite3.Row  # Trả về dữ liệu dưới dạng dictionary
-        return conn
-
-    except sqlite3.OperationalError as sql_error:
-        raise RuntimeError(f"Không thể mở file cơ sở dữ liệu tại {temp_db_path}: {str(sql_error)}")
+            raise RuntimeError(f"Lỗi khi xử lý cơ sở dữ liệu: {str(e)}")
+        finally:
+            fcntl.flock(lock_file, fcntl.LOCK_UN)  # Mở khóa
+
+def update_db_to_huggingface():
+    try:
+        cache_dir = '/tmp/hf_cache'
+        os.makedirs(cache_dir, exist_ok=True)
+        os.environ['HF_HOME'] = cache_dir
+
+        upload_file(
+            path_or_fileobj="/tmp/database.db",
+            path_in_repo="database.db",
+            repo_id="huylaughmad/web",
+            repo_type="dataset",
+            token=os.getenv("HF_TOKEN")
+        )
+        logger.info("Cập nhật database.db lên dataset thành công")
     except Exception as e:
-        raise RuntimeError(f"Lỗi khi xử lý cơ sở dữ liệu: {str(e)}")
+        logger.error(f"Lỗi khi cập nhật database.db lên dataset: {str(e)}")
 
 # Tạo các bảng nếu chưa tồn tại
 def init_db():
@@ -737,6 +775,7 @@ def add_case():
             request.form.get('case-tag', '')
         ))
         conn.commit()
+        update_db_to_huggingface()  # Đẩy file lên dataset sau khi ghi
         conn.close()
         return redirect(url_for('cms'))