Start test v1

app.py

@@ -1,18 +1,51 @@
+import os
 import gradio as gr
 from transformers import T5ForConditionalGeneration, T5Tokenizer
 import torch
+from huggingface_hub import Repository
+import PyPDF2
+import docx
 
 # -------------------------
-# PHẦN A: Giao diện Upload file tài liệu (ví dụ xử lý file .txt)
+# PHẦN A: Xử lý tài liệu từ file upload
 # -------------------------
 def extract_text(file_obj):
     try:
-        content = file_obj.read().decode("utf-8")
-        # Lưu nội dung vào file document.txt
+        # Nếu file_obj là file-like, lưu tạm file
+        if hasattr(file_obj, "read"):
+            file_path = file_obj.name if hasattr(file_obj, "name") else "uploaded_file"
+            # Ghi file upload vào đĩa
+            with open(file_path, "wb") as f:
+                f.write(file_obj.read())
+        else:
+            file_path = file_obj  # nếu không, coi như đây là file path
+
+        ext = os.path.splitext(file_path)[1].lower()
+        content = ""
+        if ext == ".txt":
+            with open(file_path, "r", encoding="utf-8") as f:
+                content = f.read()
+        elif ext == ".pdf":
+            with open(file_path, "rb") as f:
+                reader = PyPDF2.PdfReader(f)
+                for page in reader.pages:
+                    text = page.extract_text()
+                    if text:
+                        content += text + "\n"
+        elif ext in [".doc", ".docx"]:
+            doc = docx.Document(file_path)
+            for para in doc.paragraphs:
+                content += para.text + "\n"
+        else:
+            # Nếu không nhận diện được, cố gắng đọc dưới dạng văn bản
+            with open(file_path, "r", encoding="utf-8", errors="ignore") as f:
+                content = f.read()
+        
+        # Lưu nội dung vào file document.txt để Colab có thể sử dụng
         with open("document.txt", "w", encoding="utf-8") as f:
             f.write(content)
-        # Commit và push file document.txt lên repo
-        # Lưu ý: Điều này sẽ chỉ chạy khi container có quyền Git; Spaces cho phép bạn commit trực tiếp vào repo
+        
+        # Commit và push file document.txt lên repo (Spaces cho phép commit trực tiếp)
         repo = Repository(".", clone_from="phucndh/doc-chat-system")
         repo.git_add("document.txt")
         repo.git_commit("Lưu file tài liệu mới upload")
@@ -23,16 +56,39 @@ def extract_text(file_obj):
 
 upload_interface = gr.Interface(
     fn=extract_text,
-    inputs=gr.File(label="Tải lên file tài liệu (.txt)"),
+    inputs=gr.File(label="Tải lên file tài liệu (.pdf, .doc, .docx, .txt)"),
     outputs=gr.Textbox(label="Nội dung trích xuất"),
     title="Upload & Trích xuất Nội dung Tài liệu"
 )
 
 # -------------------------
-# PHẦN B: Giao diện Chat sử dụng mô hình fine-tuned
+# PHẦN B: Xử lý tài liệu từ nhập trực tiếp
+# -------------------------
+def process_text(text_input):
+    # Bạn có thể thêm bước xử lý, ví dụ: loại bỏ khoảng trắng thừa
+    content = text_input.strip()
+    # Lưu nội dung vào file document.txt
+    with open("document.txt", "w", encoding="utf-8") as f:
+        f.write(content)
+    # Commit và push file document.txt lên repo
+    repo = Repository(".", clone_from="phucndh/doc-chat-system")
+    repo.git_add("document.txt")
+    repo.git_commit("Lưu văn bản nhập trực tiếp")
+    repo.git_push()
+    return content
+
+direct_text_interface = gr.Interface(
+    fn=process_text,
+    inputs=gr.Textbox(lines=10, placeholder="Nhập trực tiếp văn bản tài liệu của bạn ở đây..."),
+    outputs=gr.Textbox(label="Nội dung trích xuất"),
+    title="Nhập trực tiếp văn bản tài liệu"
+)
+
+# -------------------------
+# PHẦN C: Giao diện Chat sử dụng mô hình fine-tuned
 # -------------------------
 # Nếu chưa có mô hình fine-tuned, tạm thời dùng mô hình gốc T5-small
-model_checkpoint = "t5-small"  
+model_checkpoint = "t5-small"
 model = T5ForConditionalGeneration.from_pretrained(model_checkpoint)
 tokenizer = T5Tokenizer.from_pretrained(model_checkpoint)
 
@@ -55,11 +111,11 @@ chat_interface = gr.Interface(
 )
 
 # -------------------------
-# PHẦN C: Kết hợp giao diện thành ứng dụng đa tab
+# PHẦN D: Kết hợp giao diện thành ứng dụng đa tab
 # -------------------------
 demo_tabs = gr.TabbedInterface(
-    [upload_interface, chat_interface],
-    ["Upload & Trích xuất", "Chat"]
+    [upload_interface, direct_text_interface, chat_interface],
+    ["Upload & Trích xuất", "Nhập trực tiếp", "Chat"]
 )
 
 if __name__ == "__main__":