OpenAmer-Max-ultra — LoRA-Adapter

Adapter für die Stufe ultra (32B) der OpenAmer-Max-Familie. Auf Qwen/Qwen2.5-32B-Instruct trainiert, nicht direkt lauffähig: er muss mit der Basis verschmolzen und dann nach GGUF umgewandelt werden.

Messung

Satz Ergebnis
Produktfragen, eingefroren, 45 Fälle 41/45 (91,1 %)

Der Satz liegt öffentlich als openamer-max-benchmark, die Messskripte in openamer-max/models.

Adapter-Parameter

Kennzahl Wert
Rang 32
Alpha 64
Zielmodule up_proj, o_proj, gate_proj, down_proj, q_proj, v_proj, k_proj
Basis Qwen/Qwen2.5-32B-Instruct

Verwenden

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-32B-Instruct")
modell = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-32B-Instruct")
modell = PeftModel.from_pretrained(modell, "openamer-max/openamer-max-ultra-adapter")
modell = modell.merge_and_unload()

Zum Ausliefern wird die verschmolzene Fassung nach GGUF umgewandelt (f16, dann llama-quantize). Fertig konvertiert als 19,9 GB Q4_K_M unter openamer-max-ultra.

Lizenz

Apache-2.0, wie die jeweilige Basis. Entwickler: Amer Sacirovic.

Downloads last month
39
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for openamer-max/openamer-max-ultra-adapter

Base model

Qwen/Qwen2.5-32B
Adapter
(251)
this model

Space using openamer-max/openamer-max-ultra-adapter 1