HirCoir/MiniChat-1.5-3B-Sorah

MiniChat-2-3B-Sorah

MiniChat-2-3B-Sorah es un modelo de lenguaje basado en MiniChat-1.5-3B y ajustado con datos de instrucción y preferencia.

El modelo MiniChat-1.5-3B-Sorah complementa el modelo de voz Sorah, que fue creado por el proyecto Piper. El modelo Sorah está en proceso de entrenamiento y mejoras, por lo que su acceso no es público, pero puedes encontrar más información en el repositorio de Sorah Neuronal.

El modelo MiniChat-2-3B-Sorah supera a Vicuna-7B y se acerca a LLaMA-2-Chat-7B en MT-Bench.

A continuación, se muestra un ejemplo de código para usar Sorah basado en MiniChat-2-3B:

import torch

from transformers import AutoModelForCausalLM, AutoTokenizer
from conversation import get_default_conv_template

# Cargar MiniChat-2-3B-Sorah
tokenizer = AutoTokenizer.from_pretrained("HirCoir/minichat-3b-sorah", use_fast=False)

# Configuración para GPU
model = AutoModelForCausalLM.from_pretrained(
    "HirCoir/minichat-3b-sorah",
    use_cache=True,
    device_map="auto",
    torch_dtype=torch.float16
).eval()

# Configuración para CPU (opcional)
# model = AutoModelForCausalLM.from_pretrained(
#     "HirCoir/minichat-3b-sorah",
#     use_cache=True,
#     device_map="cpu",
#     torch_dtype=torch.float16
# ).eval()

# Crear una conversación
conv = get_default_conv_template("minichat")

# Ejemplo de pregunta
question = "Como te llamas?"

# Añadir la pregunta a la conversación
conv.append_message(conv.roles[0], question)
conv.append_message(conv.roles[1], None)

# Obtener el prompt
prompt = conv.get_prompt()
input_ids = tokenizer([prompt]).input_ids

# Generar respuesta
output_ids = model.generate(
    torch.as_tensor(input_ids).cuda(),
    do_sample=True,
    temperature=0.7,
    max_new_tokens=1024
)
output_ids = output_ids[0][len(input_ids[0]):]
output = tokenizer.decode(output_ids, skip_special_tokens=True).strip()

# La respuesta se almacena en 'output'
# Salida: "def common_elements(arr1, arr2):\n    if len(arr1) == 0:\n        return []\n    if len(arr2) == 0:\n        return arr1\n\n    common_elements = []\n    for element in arr1:\n        if element in arr2:\n            common_elements.append(element)\n\n    return common_elements"
# Una conversación multivuelta se puede realizar añadiendo preguntas continuamente a `conv`.