app.py

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Tải mô hình và tokenizer từ Hugging Face Hub
model_name = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"  # Phiên bản nhỏ để chạy trên CPU miễn phí
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# Hàm dự đoán
def generate_text(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(inputs["input_ids"], max_length=100, num_return_sequences=1)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Tạo giao diện Gradio
interface = gr.Interface(
    fn=generate_text,
    inputs="text",
    outputs="text",
    title="DeepSeek R1 Demo",
    description="Nhập câu hỏi hoặc đoạn văn để DeepSeek R1 trả lời!"
)

# Chạy ứng dụng
interface.launch()