Update main.py

main.py

@@ -1,9 +1,22 @@
-from mistral_inference.transformer import Transformer
-from mistral_inference.generate import generate
+import gradio as gr
+from huggingface_hub import InferenceClient
 
-model = Transformer.from_folder(mistral_models_path)
-out_tokens, _ = generate([tokens], model, max_tokens=64, temperature=0.0, eos_id=tokenizer.instruct_tokenizer.tokenizer.eos_id)
+# Создаем клиент для модели
+client = InferenceClient(model="mistralai/Mamba-Codestral-7B-v0.1")
 
-result = tokenizer.decode(out_tokens[0])
+def generate_code(prompt):
+    response = client.text_generation(prompt, max_new_tokens=512)
+    return response
 
-print(result)
+# Создаем интерфейс Gradio
+with gr.Blocks() as demo:
+    gr.Markdown("## Mamba-Codestral-7B Code Generator")
+    with gr.Row():
+        prompt_input = gr.Textbox(label="Введите запрос", placeholder="Например: Напишите функцию сортировки на Python")
+        submit_button = gr.Button("Сгенерировать код")
+    output = gr.Code(label="Результат")
+    
+    submit_button.click(generate_code, inputs=prompt_input, outputs=output)
+
+# Запуск интерфейса
+demo.launch()