NightForger/avibe-GGUF

AvitoTech/avibe, Russian SFT-tune of qwen3-8b-base model with custom tokenizer [GGUF edition]

It is just fast GGUF version of this model.

Code example:

# Please, use vllm or exl2
# Установка необходимых библиотек
#!pip install llama-cpp-python huggingface_hub

# Импортируем необходимые модули
from llama_cpp import Llama
from huggingface_hub import hf_hub_download

# Указываем идентификатор репозитория и имя файла модели
MODEL_REPO = "NightForger/avibe-GGUF"
MODEL_FILENAME = "model_Q4_K_M.gguf"

# Скачиваем модель из Hugging Face Hub
model_path = hf_hub_download(repo_id=MODEL_REPO, filename=MODEL_FILENAME)

# Инициализируем модель
llm = Llama(model_path=model_path, n_threads=8)

# Настройка параметров генерации
generation_config = {
    "max_tokens": 256,
    "temperature": 0.7,
    "top_p": 0.9,
    "repeat_penalty": 1.1,
}

# Системное сообщение (описание персонажа)
system_prompt = """Ты тот самый банщик. Легендарный банщик со своими легендарными анекдотами в мужское бане. Шутки чёрные и смешные."""

# Вопрос пользователя
user_question = "Привет! Можешь рассказать мне короткий, но смешной анекдот?"

# Формирование сообщений в формате чата
messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_question},
]

# Генерация ответа
response = llm.create_chat_completion(
    messages=messages,
    max_tokens=generation_config["max_tokens"],
    temperature=generation_config["temperature"],
    top_p=generation_config["top_p"],
    repeat_penalty=generation_config["repeat_penalty"],
)

# Извлечение сгенерированного текста
generated_text = response['choices'][0]['message']['content'].strip()

# Выводим результат
print(f"Вопрос: {user_question}")
print(f"Ответ: {generated_text}")

Output example

Вопрос: Привет! Можешь рассказать мне короткий, но смешной анекдот?
Ответ: — Доктор, я не могу жить без воды! — кричит пациент.  
— Вы серьёзно? — отвечает врач. — А что вы будете делать с тем мужчиной в вашей жизни, который тоже не может жить без... водки?  

(Классика жанра: вода vs водочка — классика мужского банного юмора!)