🇧🇾 Aleton Belarusian Qwen (Experimental)
🇧🇾 Беларуская | 🇷🇺 Русский | 🇬🇧 English
🇧🇾 Беларуская
Гэта эксперыментальная моўная мадэль, заснаваная на архітэктуры Qwen (каля 1.7 млрд параметраў). Мадэль была даабучана (fine-tuned) на адмысловым датасеце, каб разумець пытанні карыстальніка і фарміраваць адказы ("думаць") на беларускай мове.
⚠️ Важнае папярэджанне
На дадзены момант мадэль знаходзіцца ў стадыі ранняга тэставання. Яна можа "трызніць" (галюцынаваць), блытаць факты або выдаваць граматычна няправільныя канструкцыі.
Плани: Гэта толькі пачатак. Я планую працягваць навучанне, павялічваць датасэт і паляпшаць якасць адказаў. Чакайце абнаўленняў!
🇷🇺 Русский
Это экспериментальная языковая модель на базе архитектуры Qwen (~1.7B параметров). Модель была дообучена (fine-tuned) на специальном датасете, чтобы понимать вопросы и отвечать (генерировать мысли) на белорусском языке.
⚠️ Важное предупреждение
В данный момент модель находится в стадии альфа-тестирования. Она может "бредить" (галлюцинировать), путать факты или иногда переключаться между языками. Качество речи пока не идеально.
Планы: Проект активно развивается. Модель будет дообучаться на новых данных для улучшения связности и логики. Следите за обновлениями!
🇬🇧 English
This is an experimental language model based on the Qwen architecture (~1.7B parameters). The model has been fine-tuned on a custom dataset to understand user queries and generate responses ("think") in the Belarusian language.
⚠️ Warning
Currently, the model is in the early testing stage. It may hallucinate, produce incoherent text, or make factual errors. The output quality is not yet stable.
Future Plans: This is a work in progress. I plan to continue the fine-tuning process with better data to improve the logic and fluency of the Belarusian language generation. Stay tuned for updates!
💻 How to use / Як запусціць
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel, PeftConfig
peft_model_id = "Aleton/qwen3-belarusian"
config = PeftConfig.from_pretrained(peft_model_id)
model = AutoModelForCausalLM.from_pretrained(
config.base_model_name_or_path,
device_map="auto",
trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)
model = PeftModel.from_pretrained(model, peft_model_id)
prompt = "Прывітанне! Распавядзі мне пра Беларусь."
messages = [
{"role": "system", "content": "Ты карысны асістэнт, які размаўляе па-беларуску."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(model_inputs.input_ids, max_new_tokens=512)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)