Last fix

app/app_ui.py

@@ -1,8 +1,40 @@
 import gradio as gr
+import whisper
+import scipy.io.wavfile
+
+from app.safety_check import is_prompt_safe
 from app.gen_ai import generate_response
 from app.mlops_logger import log_prompt
 from app.safety_check import check_nsfw_image, check_violence_image, is_prompt_safe, check_url
 
+# Load Whisper model
+asr_model = whisper.load_model("base")
+
+# Hàm chuyển giọng nói thành văn bản
+def transcribe_and_check(audio):
+    if audio is None:
+        return "❌ Không có dữ liệu âm thanh", "", ""
+
+    # Nếu audio là tuple (sr, data), cần lưu lại file tạm
+    import tempfile
+    import numpy as np
+    import scipy.io.wavfile
+
+    sr, data = audio
+    with tempfile.NamedTemporaryFile(suffix=".wav", delete=False) as tmp:
+        scipy.io.wavfile.write(tmp.name, sr, data)
+        result = asr_model.transcribe(tmp.name)
+    
+    text = result["text"]
+    safe, info = is_prompt_safe(text)
+    if not safe:
+        log_prompt(text, info, False, "")
+        return f"🚨 Prompt không an toàn! Phát hiện: {', '.join(info)}", text, ""
+    
+    response = generate_response(text)
+    log_prompt(text, "OK", True, response)
+    return "✅ Prompt an toàn", text, response
+
 # === Kiểm duyệt Prompt ===
 def handle_prompt(prompt):
     safe, info = is_prompt_safe(prompt)
@@ -58,5 +90,12 @@ with gr.Blocks(title="SAIFGuard - HỆ THỐNG KIỂM DUYỆT THÔNG MINH", css=
                 url_output = gr.Textbox(label="Kết quả kiểm duyệt URL")
                 url_button = gr.Button("Kiểm tra URL", elem_classes="yellow-btn")
         url_button.click(fn=check_url, inputs=url_input, outputs=url_output)
-
-
+    with gr.Tab("🤖 Giọng Nói"):
+        audio_input = gr.Audio( type="numpy", label="Thu âm giọng nói")
+        btn2 = gr.Button("Chuyển đổi & Kiểm tra")
+        stt, trans, gen2 = (
+            gr.Textbox(label="Trạng thái kiểm duyệt"),
+            gr.Textbox(label="Văn bản chuyển đổi"),
+            gr.Textbox(label="Kết quả GenAI"),
+        )
+        btn2.click(fn=transcribe_and_check, inputs=audio_input, outputs=[stt, trans, gen2])

app/safety_check.py

@@ -1,3 +1,4 @@
+import speech_recognition as sr
 from detoxify import Detoxify
 from transformers import (
     AutoProcessor, AutoModelForImageClassification,
@@ -6,10 +7,55 @@ from transformers import (
 )
 from PIL import Image
 import torch
+
 import re
 from urllib.parse import urlparse, unquote
-from functools import lru_cache
-import threading
+# Khởi tạo Detoxify model
+detox_model = Detoxify('original')
+
+# Hàm giảm kích thước ảnh
+def resize_image(image: Image.Image, target_size=(224, 224)):
+    """Giảm kích thước hình ảnh để phù hợp với mô hình"""
+    return image.resize(target_size, Image.ANTIALIAS)
+
+
+# Hàm chuyển đổi giọng nói thành văn bản
+def speech_to_text():
+    recognizer = sr.Recognizer()
+    
+    with sr.Microphone() as source:
+        print("Đang nghe... Hãy nói điều gì đó")
+        recognizer.adjust_for_ambient_noise(source)
+        audio = recognizer.listen(source)
+    
+    try:
+        print("Đang xử lý...")
+        text = recognizer.recognize_google(audio, language="vi-VN")
+        print(f"Bạn đã nói: {text}")
+        return text
+    except sr.UnknownValueError:
+        print("Không nhận dạng được giọng nói")
+        return ""
+    except sr.RequestError as e:
+        print(f"Lỗi kết nối đến dịch vụ nhận diện giọng nói: {e}")
+        return ""
+    
+# Hàm chính thực hiện quy trình: speech -> text -> toxic detection
+def detect_toxic_speech():
+    text = speech_to_text()
+    
+    if not text:
+        return "Không có văn bản để phân tích"
+    
+    is_safe, toxic_categories = is_prompt_safe(text)
+    
+    if is_safe:
+        return f"Văn bản an toàn: '{text}'"
+    else:
+        return f"Phát hiện nội dung không an toàn trong: '{text}'\nCác danh mục: {toxic_categories}"
+
+# Load model phát hiện URL độc hại
+classifier = pipeline("zero-shot-classification")
 
 # Load models
 detox_model = Detoxify('original')
@@ -22,15 +68,11 @@ violence_model_id = "jaranohaal/vit-base-violence-detection"
 violence_model = ViTForImageClassification.from_pretrained(violence_model_id)
 violence_processor = ViTFeatureExtractor.from_pretrained(violence_model_id)
 
+# Load BLIP cho caption của ảnh
 blip_processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
 blip_model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")
 
-# Load mô hình zero-shot nhẹ
-classifier = pipeline("zero-shot-classification", model="facebook/bart-large-mnli")
 
-
-# ========================== TEXT (Prompt) ==========================
-@lru_cache(maxsize=128)
 def is_prompt_safe(prompt: str):
     results = detox_model.predict(prompt)
     threshold = 0.5
@@ -39,8 +81,6 @@ def is_prompt_safe(prompt: str):
         return False, list(flagged.keys())
     return True, []
 
-
-# ========================== IMAGE (NSFW + Violence) ==========================
 def generate_caption(image: Image.Image):
     inputs = blip_processor(images=image, return_tensors="pt")
     with torch.no_grad():
@@ -48,92 +88,117 @@ def generate_caption(image: Image.Image):
     caption = blip_processor.decode(out[0], skip_special_tokens=True)
     return caption
 
-def analyze_image(image: Image.Image):
-    result = {
-        "nsfw": "",
-        "violence": ""
-    }
-
-    def nsfw_task():
-        nsfw_inputs = nsfw_processor(images=image, return_tensors="pt")
-        with torch.no_grad():
-            nsfw_outputs = nsfw_model(**nsfw_inputs)
-            nsfw_probs = torch.nn.functional.softmax(nsfw_outputs.logits, dim=1)[0]
-        nsfw_labels = list(nsfw_model.config.id2label.values())
-        nsfw_pred = nsfw_probs.argmax().item()
-        nsfw_label = nsfw_labels[nsfw_pred]
-        nsfw_score = nsfw_probs[nsfw_pred].item() * 100
-        caption = generate_caption(image)
-
-        if nsfw_label.lower() in ["porn", "hentai", "sex", "nsfw"]:
-            result["nsfw"] = f"""\ud83d\udea8 Ảnh KHÔNG an toàn (NSFW):\n- Loại: {nsfw_label}\n- Độ chính xác: {nsfw_score:.2f}%\n- Mô tả: {caption}"""
-        else:
-            result["nsfw"] = f"""✅ Ảnh an toàn (NSFW):\n- Loại: {nsfw_label}\n- Độ chính xác: {nsfw_score:.2f}%\n- Mô tả: {caption}"""
-
-    def violence_task():
-        violence_inputs = violence_processor(images=image, return_tensors="pt")
-        with torch.no_grad():
-            violence_outputs = violence_model(**violence_inputs)
-            violence_probs = torch.nn.functional.softmax(violence_outputs.logits, dim=1)[0]
-        violence_labels = ["Non-Violent", "Violent"]
-        violence_pred = violence_probs.argmax().item()
-        violence_label = violence_labels[violence_pred]
-        violence_score = violence_probs[violence_pred].item() * 100
-        caption = generate_caption(image)
-
-        is_violent = False
-        if violence_label.lower() == "non-violent" and violence_score > 50:
-            is_violent = True
-        elif violence_label.lower() == "violent" and violence_score > 80:
-            is_violent = True
-
-        if is_violent:
-            result["violence"] = f"""\ud83d\udea8 Ảnh KHÔNG an toàn (Bạo lực):\n- Loại: {violence_label}\n- Độ chính xác: {violence_score:.2f}%\n- Mô tả: {caption}"""
-        else:
-            result["violence"] = f"""✅ Ảnh an toàn (Bạo lực):\n- Loại: {violence_label}\n- Độ chính xác: {violence_score:.2f}%\n- Mô tả: {caption}"""
-
-    # Chạy song song
-    t1 = threading.Thread(target=nsfw_task)
-    t2 = threading.Thread(target=violence_task)
-    t1.start(); t2.start()
-    t1.join(); t2.join()
-    return result["nsfw"], result["violence"]
-
+def check_nsfw_image(image: Image.Image) -> str:
+     # Giảm kích thước ảnh trước khi xử lý
+    image = resize_image(image)
+    """Kiểm tra và trả về kết quả NSFW của ảnh"""
+    # Xử lý NSFW
+    nsfw_inputs = nsfw_processor(images=image, return_tensors="pt")
+    with torch.no_grad():
+        nsfw_outputs = nsfw_model(**nsfw_inputs)
+        nsfw_probs = torch.nn.functional.softmax(nsfw_outputs.logits, dim=1)[0]
+    
+    nsfw_labels = list(nsfw_model.config.id2label.values())
+    nsfw_pred = nsfw_probs.argmax().item()
+    nsfw_label = nsfw_labels[nsfw_pred]
+    nsfw_score = nsfw_probs[nsfw_pred].item() * 100
+    
+    # Tạo caption
+    caption = generate_caption(image)
+    
+    # Đánh giá kết quả
+    if nsfw_label.lower() in ["porn", "hentai", "sex", "nsfw"]:
+        return f"""🚨 Ảnh KHÔNG an toàn (NSFW):
+- Loại: {nsfw_label}
+- Độ chính xác: {nsfw_score:.2f}%
+- Mô tả: {caption}"""
+    else:
+        return f"""✅ Ảnh an toàn (NSFW):
+- Loại: {nsfw_label}
+- Độ chính xác: {nsfw_score:.2f}%
+- Mô tả: {caption}"""
+
+def check_violence_image(image: Image.Image) -> str:
+    # Giảm kích thước ảnh trước khi xử lý
+    image = resize_image(image)
+    """Kiểm tra và trả về kết quả bạo lực của ảnh"""
+    # Xử lý bạo lực
+    violence_inputs = violence_processor(images=image, return_tensors="pt")
+    with torch.no_grad():
+        violence_outputs = violence_model(**violence_inputs)
+        violence_probs = torch.nn.functional.softmax(violence_outputs.logits, dim=1)[0]
+    
+    violence_labels = ["Non-Violent", "Violent"]
+    violence_pred = violence_probs.argmax().item()
+    violence_label = violence_labels[violence_pred]
+    violence_score = violence_probs[violence_pred].item() * 100
+    
+    # Tạo caption
+    caption = generate_caption(image)
+    
+    # Đánh giá kết quả
+    is_violent = False
+    if violence_label.lower() == "non-violent" and violence_score > 50:
+        is_violent = True
+    elif violence_label.lower() == "violent" and violence_score > 80:
+        is_violent = True
+    
+    if is_violent:
+        return f"""🚨 Ảnh KHÔNG an toàn (Bạo lực):
+- Loại: {violence_label}
+- Độ chính xác: {violence_score:.2f}%
+- Mô tả: {caption}"""
+    else:
+        return f"""✅ Ảnh an toàn (Bạo lực):
+- Loại: {violence_label}
+- Độ chính xác: {violence_score:.2f}%
+- Mô tả: {caption}"""
 
-# ========================== URL ==========================
-@lru_cache(maxsize=128)
+# ===Hàm check url===
 def check_url(url: str):
     try:
+        # Chuẩn hóa URL (decode các ký tự đặc biệt)
         decoded_url = unquote(url)
         parsed = urlparse(decoded_url)
+        
+        # Danh sách cảnh báo
         warnings = []
-
+        
+        # 1. Phát hiện IP thay vì domain (http://203.0.113.45/...)
         if re.match(r'^https?://\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}', decoded_url):
-            warnings.append("\ud83d\udea8 Nguy hiểm: Truy cập trực tiếp bằng IP (thường dùng cho tấn công)")
-
-        if re.search(r'\\.(exe|msi|bat|js|jar|apk|dmg)(\\?|$)', parsed.path.lower()):
-            warnings.append("\ud83d\udea8 Nguy hiểm: URL chứa file thực thi có thể độc hại")
-
+            warnings.append("🚨 Nguy hiểm: Truy cập trực tiếp bằng IP (thường dùng cho tấn công)")
+        
+        # 2. Phát hiện file thực thi (gift-card.exe)
+        if re.search(r'\.(exe|msi|bat|js|jar|apk|dmg)(\?|$)', parsed.path.lower()):
+            warnings.append("🚨 Nguy hiểm: URL chứa file thực thi có thể độc hại")
+        
+        # 3. Phát hiện redirect độc hại (redirect?target=...)
         if 'redirect' in parsed.path.lower() or 'url=' in parsed.query.lower():
-            warnings.append("\u26a0\ufe0f Cảnh báo: URL chứa chức năng redirect (có thể lừa đảo)")
-
+            warnings.append("⚠️ Cảnh báo: URL chứa chức năng redirect (có thể lừa đảo)")
+        
+        # 4. Phát hiện ký tự đặc biệt (/login%20%2F%00%3F%2F%2E%2E)
         if re.search(r'%[0-9a-f]{2}|[\x00-\x1f\x7f]', url):
-            warnings.append("\ud83d\udea8 Nguy hiểm: URL chứa ký tự mã hóa đáng ngờ (có thể tấn công)")
-
+            warnings.append("🚨 Nguy hiểm: URL chứa ký tự mã hóa đáng ngờ (có thể tấn công)")
+        
+        # 5. Phát hiện domain giả mạo (example.com@malicious-site.com)
         if '@' in parsed.netloc:
-            warnings.append("\ud83d\udea8 Lừa đảo: URL chứa kỹ thuật giả mạo domain (user@fake-domain)")
-
+            warnings.append("🚨 Lừa đảo: URL chứa kỹ thuật giả mạo domain (user@fake-domain)")
+        
+        # 6. Phát hiện domain giả danh (secure.example-login.com)
         deceptive_domains = ['login', 'secure', 'account', 'verify', 'update']
         if any(keyword in parsed.netloc.lower() for keyword in deceptive_domains):
-            warnings.append("\u26a0\ufe0f Cảnh báo: Domain có dấu hiệu giả mạo dịch vụ đăng nhập")
-
+            warnings.append("⚠️ Cảnh báo: Domain có dấu hiệu giả mạo dịch vụ đăng nhập")
+        
+        # 7. Kiểm tra giao thức không mã hóa
         if parsed.scheme == 'http':
-            warnings.append("\u26a0\ufe0f Cảnh báo: Kết nối không mã hóa (HTTP)")
-
+            warnings.append("⚠️ Cảnh báo: Kết nối không mã hóa (HTTP)")
+        
+        # Kết hợp với AI classifier
         ai_result = classifier(url, candidate_labels=["malicious", "safe"])
         ai_label = ai_result["labels"][0]
         ai_score = ai_result["scores"][0] * 100
-
+        
+        # Tạo báo cáo
         report = {
             "url": url,
             "decoded_url": decoded_url,
@@ -145,39 +210,37 @@ def check_url(url: str):
                 "confidence": ai_score
             }
         }
-
+        
+        # Quyết định cuối cùng
         if warnings or ai_label == "malicious":
             return format_report(report, is_safe=False)
         else:
             return format_report(report, is_safe=True)
-
+            
     except Exception as e:
-        return f"\u26a0\ufe0f Lỗi khi phân tích URL: {str(e)}"
+        return f"⚠️ Lỗi khi phân tích URL: {str(e)}"
 
 def format_report(report: dict, is_safe: bool):
+    """Định dạng báo cáo dễ đọc"""
     warning_text = "\n".join(f"- {w}" for w in report["warnings"]) if report["warnings"] else "- Không phát hiện cảnh báo"
-
+    
     if not is_safe:
-        return f"""\ud83d\udea8 URL KHÔNG AN TOÀN
-\ud83d\udd0d Phân tích chi tiết:
+        return f"""🚨 URL KHÔNG AN TOÀN
+🔍 Phân tích chi tiết:
 • URL gốc: {report['url']}
 • Domain: {report['domain']}
 • Đường dẫn: {report['path']}
-
-\ud83d\udce3 CẢNH BÁO:
+📢 CẢNH BÁO:
 {warning_text}
-
 🤖 Phân tích AI:
 - Kết quả: {report['ai_analysis']['label']}
 - Độ tin cậy: {report['ai_analysis']['confidence']:.2f}%
-
 🛡️ Khuyến nghị: KHÔNG TRUY CẬP!"""
     else:
         return f"""✅ URL AN TOÀN
-\ud83d\udd0d Phân tích chi tiết:
+🔍 Phân tích chi tiết:
 • URL gốc: {report['url']}
 • Domain: {report['domain']}
-
 🤖 Phân tích AI:
 - Kết quả: {report['ai_analysis']['label']}
 - Độ tin cậy: {report['ai_analysis']['confidence']:.2f}%"""

requirements.txt

@@ -6,4 +6,6 @@ presidio-analyzer
 detoxify
 Pillow
 google-genai
-concurrent-log-handler
+openai-whisper
+scipy
+SpeechRecognition