Add Gradio API to interact with Ollama model

Dockerfile

@@ -0,0 +1,30 @@
+FROM ubuntu:latest
+
+# Zaktualizuj pakiety i zainstaluj potrzebne narzędzia
+RUN apt-get update && apt-get install -y curl openssh-client git python3 python3-pip
+
+# Zainstaluj wymagane biblioteki Python
+COPY requirements.txt .
+RUN pip3 install -r requirements.txt
+
+# Zainstaluj Ollamę
+RUN curl -fsSL https://ollama.com/install.sh | sh
+
+# Stwórz katalog na model i pobierz wybrany model z Hugging Face
+RUN mkdir -p /root/.ollama/models && \
+    curl -L https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf -o /root/.ollama/models/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf
+
+# Utwórz Modelfile
+RUN echo "FROM /root/.ollama/models/mixtral-8x7b-instruct-v0.1.Q4_K_M.gguf" > /root/.ollama/Modelfile && \
+    echo "PARAMETER temperature 0.0" >> /root/.ollama/Modelfile && \
+    echo "TEMPLATE \"{{ if .System }}system\n{{ .System }}\n{{ end }}{{ if .Prompt }}user\n{{ .Prompt }}\n{{ end }}assistant\n\"" >> /root/.ollama/Modelfile
+
+# Skopiuj pliki aplikacji
+COPY app.py .
+
+# Eksponuj porty dla Gradio i Ollama
+EXPOSE 7860
+EXPOSE 11434
+
+# Uruchom aplikację Gradio oraz serwer Ollama
+CMD ["sh", "-c", "export OLLAMA_HOST='0.0.0.0' && ollama serve & sleep 5 && ollama create my_custom_model -f /root/.ollama/Modelfile && python3 app.py"]

app.py

@@ -1,7 +1,35 @@
 import gradio as gr
+import requests
 
-def greet(name):
-    return "Hello " + name + "!!"
+# Funkcja do komunikacji z API modelu Ollama
+def query_ollama(prompt, temperature=0.7, max_tokens=100):
+    url = "http://localhost:11434/v1/engines/my_custom_model/completions"
+    payload = {
+        "prompt": prompt,
+        "temperature": temperature,
+        "max_tokens": max_tokens
+    }
+    response = requests.post(url, json=payload)
+    return response.json()
 
-demo = gr.Interface(fn=greet, inputs="text", outputs="text")
-demo.launch()
+# Interfejs Gradio
+def ollama_interface(prompt, temperature=0.7, max_tokens=100):
+    response = query_ollama(prompt, temperature, max_tokens)
+    return response["choices"][0]["text"]  # Zakładając, że odpowiedź API ma klucz "choices" z listą odpowiedzi
+
+# Utwórz interfejs Gradio
+iface = gr.Interface(
+    fn=ollama_interface,
+    inputs=[
+        gr.inputs.Textbox(lines=2, placeholder="Wpisz prompt tutaj..."),
+        gr.inputs.Slider(0, 1, default=0.7, label="Temperature"),
+        gr.inputs.Slider(1, 500, default=100, label="Max Tokens")
+    ],
+    outputs="text",
+    title="Ollama Model Interface",
+    description="Interfejs do komunikacji z modelem Ollama za pomocą Gradio."
+)
+
+# Uruchom aplikację
+if __name__ == "__main__":
+    iface.launch(server_name="0.0.0.0", server_port=7860)

requirements.txt

@@ -0,0 +1,2 @@
+requests
+gradio