Create app.py

app.py

@@ -0,0 +1,127 @@
+import gradio as gr
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+
+# Název modelu na Hugging Face
+MODEL_NAME = "mistralai/Mistral-7B-v0.1"
+
+# Inicializace tokenizeru
+tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+
+# Načtení modelu (s kvantizací pro snížení paměťových nároků)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype=torch.float16,
+    device_map="auto",
+    load_in_8bit=True,  # 8-bitová kvantizace pro úsporu paměti
+)
+
+# Vytvoření pipeline pro generování textu
+generator = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+)
+
+def generate_response(prompt, max_length, temperature, top_p, top_k):
+    """
+    Generuje odpověď na základě zadaného promptu a parametrů.
+    
+    Parametry:
+    - prompt: vstupní text
+    - max_length: maximální délka generovaného textu
+    - temperature: teplota pro sampling (vyšší = kreativnější)
+    - top_p: parametr nucleus samplingu
+    - top_k: kolik nejvyšších pravděpodobností uvažovat při samplingu
+    """
+    # Generování odpovědi
+    generation_kwargs = {
+        "max_new_tokens": max_length,
+        "temperature": temperature,
+        "top_p": top_p,
+        "top_k": top_k,
+        "do_sample": temperature > 0,
+        "pad_token_id": tokenizer.eos_token_id,
+    }
+    
+    outputs = generator(prompt, **generation_kwargs)
+    generated_text = outputs[0]["generated_text"]
+    
+    # Odstranění vstupního promptu z výstupu pro zobrazení pouze nového textu
+    if generated_text.startswith(prompt):
+        generated_text = generated_text[len(prompt):]
+    
+    return generated_text
+
+# Definice Gradio rozhraní
+with gr.Blocks() as demo:
+    gr.Markdown("# Mistral 7B Demo")
+    gr.Markdown("Zadejte text a model vygeneruje pokračování.")
+    
+    with gr.Row():
+        with gr.Column():
+            prompt = gr.Textbox(
+                label="Vstupní text",
+                placeholder="Zadejte počáteční text...",
+                lines=5
+            )
+            
+            with gr.Row():
+                with gr.Column():
+                    max_length = gr.Slider(
+                        minimum=10,
+                        maximum=1024,
+                        value=256,
+                        step=1,
+                        label="Maximální délka (tokeny)"
+                    )
+                    temperature = gr.Slider(
+                        minimum=0.0,
+                        maximum=2.0,
+                        value=0.7,
+                        step=0.01,
+                        label="Teplota"
+                    )
+                with gr.Column():
+                    top_p = gr.Slider(
+                        minimum=0.0,
+                        maximum=1.0,
+                        value=0.9,
+                        step=0.01,
+                        label="Top-p"
+                    )
+                    top_k = gr.Slider(
+                        minimum=1,
+                        maximum=100,
+                        value=50,
+                        step=1,
+                        label="Top-k"
+                    )
+            
+            submit_btn = gr.Button("Generovat")
+        
+        with gr.Column():
+            output = gr.Textbox(
+                label="Vygenerovaný text",
+                lines=10
+            )
+    
+    # Propojení tlačítka s funkcí
+    submit_btn.click(
+        fn=generate_response,
+        inputs=[prompt, max_length, temperature, top_p, top_k],
+        outputs=output
+    )
+    
+    # Přidat příklady
+    gr.Examples(
+        examples=[
+            ["Vítejte v Praze, hlavním městě České republiky.", 256, 0.7, 0.9, 50],
+            ["Recept na tradiční český guláš:", 256, 0.7, 0.9, 50],
+            ["Otázka: Jak funguje transformerový model?\nOdpověď:", 512, 0.7, 0.9, 50],
+        ],
+        inputs=[prompt, max_length, temperature, top_p, top_k],
+    )
+
+# Spuštění Gradio aplikace
+demo.launch()