aLabAI-20B-A3B-instruct-1301-bf16

Диалоговая модель с поддержкой якутского языка, основанная на GigaChat-20B-A3B-instruct.

Requirements

• transformers>=4.47

Пример использования через transformers

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "ailabykt/aLabAI-20B-A3B-instruct-1301-bf16"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)

messages = [
    {"role": "user", "content": "Саха сирин туһунан кэпсээ"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device))

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=False)
print(result)

В aLabAI-20B-A3B-instruct-1301-bf16, как и в оригинальной модели, используется особый способ токенизации текста, поэтому не рекомендуется следующий сценарий

input_string = tokenizer.apply_chat_template(messages,tokenize=False, add_generation_prompt=True)
input_tensor = tokenizer(input_string, return_tensors="pt")