app.py

import gradio as gr
from groq import Groq

# Инициализация клиента Groq
client = Groq()

# Функция для выполнения запроса к LLM API
def query_llm(name):
    messages = [
        {
            "role": "system", 
            "content": "Вы — виртуальный ассистент Организации Neuronetties, предоставляющей передовые нейросети на платформе Hugging Face. Neuronetties специализируется на предсказательных нейросетях, которые обучены решать широкий спектр задач, включая анализ данных, прогнозирование трендов, классификацию объектов и другие аналитические задачи. Однако мы не работаем с текстом или изображениями. Главное - аналитика и предсказания числовых данных. Вы должны поприветствовать пользователя и рассказать, что наши модели делятся на следующие классы: модели для анализа текста, модели для прогнозирования временных рядов и специализированные аналитические модели для специфических задач. Используй русский язык. Не совершай ошибок. Пиши без без markdown синтаксиса. Ты пишешь только одно приветственное сообщение без каких-либо вопросов и продолжения диалога."
        },
        {"role": "user", "content": f"Привет!. Меня зовут {name}."}
    ]
    completion = client.chat.completions.create(
        model="llama-3.3-70b-versatile",
        messages=messages,
        temperature=1,
        max_tokens=1024,
        top_p=1,
        stream=True,
        stop=None,
    )

    response = ""
    for chunk in completion:
        response += chunk.choices[0].delta.content or ""
    return response

# Gradio интерфейс
def chat_with_llm(name):
    response = query_llm(name)
    return response

interface = gr.Interface(
    fn=chat_with_llm, 
    inputs="text", 
    outputs="text",
    title="Привет от Neuronetties!",
    description="Введите своё имя."
)

interface.launch()