File size: 1,615 Bytes
29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 223ef86 29cff33 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
import gradio as gr
from transformers import pipeline
import torch
# Titel und Beschreibung
title = "CocoAi-1PT Demo"
description = "Dies ist eine Demo der KI CocoAi-1PT von CocoEntertainment."
# 1. Lade das Modell
# WICHTIG: Wir nutzen torch_dtype=torch.float16, um den RAM-Verbrauch zu halbieren!
# Sonst stürzt der Space bei großen Modellen auf der Free-Tier ab.
try:
generator = pipeline(
"text-generation",
model="CocoEntertainment/CocoAi-1PT",
torch_dtype=torch.float16,
device_map="auto" # Versucht, CPU/RAM optimal zu nutzen
)
except Exception as e:
generator = None
print(f"Fehler beim Laden des Modells: {e}")
# 2. Definiere die Funktion
def generate_text(prompt):
if generator is None:
return "Fehler: Das Modell konnte nicht geladen werden (evtl. zu groß für Free Tier)."
try:
# Generierungsparameter
results = generator(
prompt,
max_new_tokens=100, # Begrenzt die Antwortlänge (spart Zeit)
do_sample=True,
temperature=0.7,
truncation=True
)
return results[0]['generated_text']
except Exception as e:
return f"Ein Fehler ist aufgetreten: {str(e)}"
# 3. Erstelle die UI (OHNE 'theme' Argument, das den Fehler verursacht hat)
interface = gr.Interface(
fn=generate_text,
inputs=gr.Textbox(lines=2, placeholder="Gib hier deinen Text ein...", label="Eingabe"),
outputs=gr.Textbox(label="Antwort"),
title=title,
description=description
)
# 4. Starten
if __name__ == "__main__":
interface.launch()
|