removed Dockerfile

Dockerfile

@@ -1,34 +0,0 @@
-FROM ubuntu:latest
-
-# Zaktualizuj pakiety i zainstaluj potrzebne narzędzia
-RUN apt-get update && apt-get install -y curl openssh-client git python3 python3-pip
-
-# Ustaw zmienną środowiskową, aby zainstalować odpowiednią wersję NumPy
-ENV NUMPY_VERSION=1.21.6
-
-# Zainstaluj wymagane biblioteki Python, w tym odpowiednią wersję NumPy
-COPY requirements.txt .
-RUN pip3 install numpy==$NUMPY_VERSION
-RUN pip3 install -r requirements.txt
-
-# Zainstaluj Ollamę
-RUN curl -fsSL https://ollama.com/install.sh | sh
-
-# Stwórz katalog na model i pobierz wybrany model z Hugging Face
-RUN mkdir -p /root/.ollama/models && \
-    curl -L https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf -o /root/.ollama/models/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf
-
-# Utwórz Modelfile
-RUN echo "FROM /root/.ollama/models/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf" > /root/.ollama/Modelfile && \
-    echo "PARAMETER temperature 0.0" >> /root/.ollama/Modelfile && \
-    echo "TEMPLATE \"{{ if .System }}system\n{{ .System }}\n{{ end }}{{ if .Prompt }}user\n{{ .Prompt }}\n{{ end }}assistant\n\"" >> /root/.ollama/Modelfile
-
-# Skopiuj pliki aplikacji
-COPY app.py .
-
-# Eksponuj porty dla Gradio i Ollama
-EXPOSE 7860
-EXPOSE 11434
-
-# Uruchom aplikację Gradio oraz serwer Ollama
-CMD ["sh", "-c", "export OLLAMA_HOST='0.0.0.0' && ollama serve & sleep 5 && ollama create my_custom_model -f /root/.ollama/Modelfile && python3 app.py"]

app.py

@@ -1,35 +1,59 @@
+from huggingface_hub import InferenceClient
 import gradio as gr
-import requests
-
-# Funkcja do komunikacji z API modelu Ollama
-def query_ollama(prompt, temperature=0.7, max_tokens=100):
-    url = "http://localhost:11434/v1/engines/my_custom_model/completions"
-    payload = {
-        "prompt": prompt,
-        "temperature": temperature,
-        "max_tokens": max_tokens
-    }
-    response = requests.post(url, json=payload)
-    return response.json()
-
-# Interfejs Gradio
-def ollama_interface(prompt, temperature=0.7, max_tokens=100):
-    response = query_ollama(prompt, temperature, max_tokens)
-    return response["choices"][0]["text"]  # Zakładając, że odpowiedź API ma klucz "choices" z listą odpowiedzi
-
-# Utwórz interfejs Gradio
-iface = gr.Interface(
-    fn=ollama_interface,
+
+client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
+
+def format_prompt(message, history):
+    prompt = "<s>"
+    for user_prompt, bot_response in history:
+        prompt += f"[INST] {user_prompt} [/INST]"
+        prompt += f" {bot_response}</s> "
+    prompt += f"[INST] {message} [/INST]"
+    return prompt
+
+def generate(prompt, history, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0):
+    temperature = float(temperature)
+    if temperature < 1e-2:
+        temperature = 1e-2
+    top_p = float(top_p)
+
+    generate_kwargs = dict(
+        temperature=temperature,
+        max_new_tokens=max_new_tokens,
+        top_p=top_p,
+        repetition_penalty=repetition_penalty,
+        do_sample=True,
+        seed=42,
+    )
+
+    formatted_prompt = format_prompt(prompt, history)
+
+    stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
+    output = ""
+
+    for response in stream:
+        output += response.token.text
+        yield output
+    return output
+
+# Definicja API Gradio
+def predict(prompt, temperature=0.2, max_new_tokens=256, top_p=0.95, repetition_penalty=1.0):
+    history = []  # lub inny sposób na przechowywanie historii rozmowy
+    output = generate(prompt, history, temperature, max_new_tokens, top_p, repetition_penalty)
+    return output
+
+# Utworzenie interfejsu API w Gradio
+demo = gr.Interface(
+    fn=predict,
     inputs=[
         gr.inputs.Textbox(lines=2, placeholder="Wpisz prompt tutaj..."),
-        gr.inputs.Slider(0, 1, default=0.7, label="Temperature"),
-        gr.inputs.Slider(1, 500, default=100, label="Max Tokens")
+        gr.inputs.Slider(0, 1, default=0.2, label="Temperature"),
+        gr.inputs.Slider(1, 500, default=256, label="Max New Tokens"),
+        gr.inputs.Slider(0, 1, default=0.95, label="Top P"),
+        gr.inputs.Slider(0.5, 2, default=1.0, label="Repetition Penalty")
     ],
-    outputs="text",
-    title="Ollama Model Interface",
-    description="Interfejs do komunikacji z modelem Ollama za pomocą Gradio."
+    outputs="text"
 )
 
-# Uruchom aplikację
 if __name__ == "__main__":
-    iface.launch(server_name="0.0.0.0", server_port=7860, share=True)
+    demo.launch(server_name="0.0.0.0", server_port=7860)

requirements.txt

@@ -1,3 +0,0 @@
-gradio
-requests
-numpy==1.21.6