Ошибка при развертывании LLM: не инициализированы веса из чекпоинта
#4
by Hyokooo - opened
Привет всем!
При попытке развернуть модель LLM, столкнулся с ошибкой, связанной с тем, что часть весов не была загружена из чекпоинта.
ValueError: Following weights were not initialized from checkpoint: {'model.layers.58.post_attention_layernorm.weight', 'model.layers.63.self_attn.k_norm.weight', 'model.layers.61.self_attn.q_norm.weight', 'model.layers.58.mlp.down_proj.weight', 'model.layers.62.self_attn.q_norm.weight', 'model.layers.62.self_attn.k_norm.weight', 'model.layers.62.mlp.gate_up_proj.weight', 'model.layers.60.self_attn.o_proj.weight', 'model.layers.60.mlp.down_proj.weight', 'model.layers.60.mlp.gate_up_proj.weight', 'model.layers.59.post_attention_layernorm.weight', 'model.layers.63.self_attn.qkv_proj.weight', 'model.layers.60.self_attn.q_norm.weight', 'model.layers.61.input_layernorm.weight', 'model.layers.59.self_attn.k_norm.weight', 'model.layers.61.self_attn.o_proj.weight', 'model.layers.62.post_attention_layernorm.weight', 'model.layers.61.post_attention_layernorm.weight', 'model.layers.59.mlp.down_proj.weight', 'model.layers.61.self_attn.k_norm.weight', 'model.layers.61.mlp.gate_up_proj.weight', 'model.layers.62.self_attn.o_proj.weight', 'model.layers.63.self_attn.o_proj.weight', 'model.layers.60.input_layernorm.weight', 'model.layers.58.input_layernorm.weight', 'model.layers.59.self_attn.o_proj.weight', 'model.layers.60.self_attn.qkv_proj.weight', 'model.layers.62.input_layernorm.weight', 'model.layers.60.self_attn.k_norm.weight', 'model.layers.60.post_attention_layernorm.weight', 'model.layers.59.mlp.gate_up_proj.weight', 'model.layers.59.input_layernorm.weight', 'model.layers.62.self_attn.qkv_proj.weight', 'model.layers.61.self_attn.qkv_proj.weight', 'model.layers.62.mlp.down_proj.weight', 'model.layers.59.self_attn.qkv_proj.weight', 'model.layers.59.self_attn.q_norm.weight', 'model.layers.61.mlp.down_proj.weight', 'model.layers.63.self_attn.q_norm.weight'}
Может быть, кто-то сталкивался с похожей проблемой? Возможно, это связано с несоответствием версий модели и кода, или с тем, что чекпоинт был неполным?
Используемая модель: T-pro-it-2.0
Фреймворк: vLLM 0.8.5.post1
Буду благодарен за любую помощь или указание на возможную причину проблемы.
А какая видеокарта стоит? Там относительно видюхи надо разные Версии vLLM ставить. Если "пользовательские" видеокарты по типу 3090/4090, то лучше разворачивать на SGLang, они лучше адаптированы под них.
Карточка Nvidia H100