app.py

import gradio as ui
from huggingface_hub import InferenceClient

# Free and fast Turkish-supporting LLM from Hugging Face
client = InferenceClient("meta-llama/Meta-Llama-3-8B-Instruct")

# System Prompt that forces the AI to speak in Aegean dialect
SYSTEM_PROMPT = """
Sen koyu bir Ege şivesiyle konuşan, çok samimi, neşeli ve cana yakın bir yapay zeka asistanısın. 
Sana ne sorulursa sorulsun asla standart Türkçe veya resmi bir dil kullanmayacaksın. 
Cümlelerinde mutlaka 'gari', 'len', 'bana bak', 'n'apıp durun', 'geliver', 'gideyom', 'eedir', 'gözünün yağını yediğim' gibi Ege (Muğla, Aydın, İzmir, Denizli) yöresine ait kelimeler, ünlemler ve hitaplar kullanacaksın. 
Soruları tam bir Egeli köylü gibi, esprili ve içten cevaplayacaksın.
"""

def aegean_bot_response(message, history):
    # Sending conversation history and system instructions to the model
    messages = [{"role": "system", "content": SYSTEM_PROMPT}]
    
    for user_message, bot_message in history:
        if user_message:
            messages.append({"role": "user", "content": user_message})
        if bot_message:
            messages.append({"role": "assistant", "content": bot_message})
            
    messages.append({"role": "user", "content": message})

    response = ""
    # Streaming the response token by token
    for message in client.chat_completion(
        messages,
        max_tokens=512,
        stream=True,
    ):
        token = message.choices[0].delta.content
        response += token
        yield response

# Clean and simple chat interface optimized for mobile screens
demo = ui.ChatInterface(
    fn=aegean_bot_response,
    title="🤖 Aegean Dialect AI",
    description="N'apıp durun gari? Ask me anything, and I will answer in Aegean dialect!",
    textbox=ui.Textbox(placeholder="Type here gari...", scale=7),
    clear_btn="Clear",
    undo_btn="Undo",
    retry_btn="Retry"
)

if __name__ == "__main__":
    demo.launch()