Upload app.py

app.py

@@ -0,0 +1,129 @@
+import os
+import re
+import torch
+import gradio as gr
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+
+# ==== настройки ====
+# Можно задать через переменную окружения MODEL_ID в Settings → Repository secrets.
+MODEL_ID = os.environ.get("MODEL_ID", "Spyspook/my-t5-medium-summarizer")
+
+MAX_INPUT_LENGTH = 512     # вход в токенах
+MAX_TARGET_LENGTH = 64     # длина заголовка
+DEFAULT_NUM_TITLES = 3
+DEFAULT_TEMPERATURE = 0.7
+DEFAULT_BEAMS = 4          # для стабильности метрик можно 4; для разнообразия ставь do_sample=True
+
+device = "cuda" if torch.cuda.is_available() else "cpu"
+
+# ==== загрузка модели/токенизатора один раз ====
+tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
+model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_ID).to(device)
+model.eval()
+
+# Простая функция выделения первой фразы без NLTK (чтобы не тянуть ресурсы в Space)
+_SENT_END_RE = re.compile(r"([.!?])\s+")
+
+def first_sentence(text: str) -> str:
+    text = text.strip()
+    if not text:
+        return text
+    parts = _SENT_END_RE.split(text, maxsplit=1)
+    # parts = [before, sep, after] или просто [text]
+    if len(parts) >= 2:
+        return (parts[0] + parts[1]).strip()
+    return text
+
+def generate_titles(article_text, num_titles, temperature, beams, do_sample):
+    if not article_text or not article_text.strip():
+        return []
+
+    # Префикс для T5
+    prefixed = "summarize: " + article_text.strip()
+
+    # Токенизация и обрезка по контексту
+    inputs = tokenizer(
+        prefixed,
+        return_tensors="pt",
+        truncation=True,
+        max_length=MAX_INPUT_LENGTH,
+    )
+    inputs = {k: v.to(device) for k, v in inputs.items()}
+
+    gen_kwargs = dict(
+        max_length=MAX_TARGET_LENGTH,
+        num_return_sequences=int(num_titles),
+        early_stopping=True,
+    )
+
+    # Логика генерации:
+    # - Если do_sample=True → семплирование (temperature, top_p),
+    # - иначе — детерминированный beam search.
+    if do_sample:
+        gen_kwargs.update(
+            dict(
+                do_sample=True,
+                temperature=float(temperature),
+                top_p=0.95,
+                num_beams=1,
+            )
+        )
+    else:
+        gen_kwargs.update(
+            dict(
+                do_sample=False,
+                num_beams=int(beams),
+                length_penalty=1.0,
+            )
+        )
+
+    with torch.no_grad():
+        outputs = model.generate(**inputs, **gen_kwargs)
+
+    decoded = tokenizer.batch_decode(outputs, skip_special_tokens=True)
+
+    # Берем первую фразу и убираем дубликаты, сохраняя порядок
+    seen = set()
+    titles = []
+    for t in decoded:
+        t1 = first_sentence(t)
+        if t1 and t1 not in seen:
+            seen.add(t1)
+            titles.append(t1)
+
+    # Вернем как список списков для удобной таблицы
+    return [[t] for t in titles]
+
+# ==== интерфейс Gradio ====
+with gr.Blocks() as demo:
+    gr.Markdown("## T5 Article Title Generator")
+
+    with gr.Row():
+        text_in = gr.Textbox(
+            label="Article text",
+            placeholder="Paste article text here…",
+            lines=14,
+        )
+
+    with gr.Row():
+        num_titles = gr.Slider(1, 10, value=DEFAULT_NUM_TITLES, step=1, label="Number of titles")
+        temperature = gr.Slider(0.1, 1.5, value=DEFAULT_TEMPERATURE, step=0.05, label="Temperature (sampling)")
+    with gr.Row():
+        beams = gr.Slider(1, 8, value=DEFAULT_BEAMS, step=1, label="Beams (if sampling is OFF)")
+        do_sample = gr.Checkbox(value=True, label="Use sampling (ON) / Beam search (OFF)")
+
+    generate_btn = gr.Button("Generate")
+    out_table = gr.Dataframe(headers=["Title"], row_count=(0, "dynamic"), wrap=True)
+
+    generate_btn.click(
+        fn=generate_titles,
+        inputs=[text_in, num_titles, temperature, beams, do_sample],
+        outputs=out_table,
+        api_name="generate",
+    )
+
+# Для HF Spaces достаточно экспортировать переменную приложения
+app = demo
+
+if __name__ == "__main__":
+    demo.launch()