CreativeMilion-7B / mergekit_config.yml
ClaudioItaly's picture
Upload folder using huggingface_hub
7f010af verified
models:
- model: ZeroXClem/Qwen2.5-7B-HomerCreative-Mix
parameters:
density: 0.53 # Puoi mantenere la stessa densità dell'esempio o modificarla se necessario
weight: 0.6 # Peso maggiore per dare priorità a questo modello (maggiore creatività)
- model: Qwen/Qwen2.5-7B-Instruct-1M
parameters:
density: 0.53 # Mantieni la densità consistente
weight: 0.4 # Peso minore per l'altro modello (la somma dei pesi 0.6 + 0.4 = 1.0 è comune ma non strettamente obbligatoria in TIES prima della normalizzazione)
merge_method: ties # Metodo di merge richiesto
base_model: Qwen/Qwen2.5-7B-Instruct-1M # Modello base specificato
parameters:
normalize: false # Mantieni i parametri globali dell'esempio se non diversamente specificato
int8_mask: true
dtype: float16 # Tipo di dato per il modello merged