한국기업이 만들었다 해서 써보려 하는데요.
google cloab pro 에서 L4 대여해서 써보려 하는데 잘 안되네요

!pip uninstall -y vllm
!pip install vllm==0.10.2

from vllm import LLM, SamplingParams
import torch

L4 GPU는 bfloat16과 궁합이 가장 좋습니다.

llm = LLM(
model="Motif-Technologies/Motif-2-12.7B-Reasoning",
trust_remote_code=True,
dtype="bfloat16", # L4 성능 최적화 (bfloat16)
gpu_memory_utilization=0.9, # GPU 메모리 90% 사용
kv_cache_dtype="fp8", # ★ 핵심: KV Cache를 FP8로 저장하여 메모리 절약 및 가속
enable_chunked_prefill=False
)

대화 메시지 설정 (Chat 템플릿 적용 필요 시 tokenizer 활용)

prompts = [
"안녕 너의 이름은 뭐니?"
]

생성 설정

sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=256)

실행

outputs = llm.generate(prompts, sampling_params)

결과 출력

for output in outputs:
generated_text = output.outputs[0].text
print(f"질문: {output.prompt}")
print(f"답변: {generated_text}")

여기서 오류가 발생합니다. 혹시 제가 잘못 돌린건지, 아니면 지원이 애초에 안되는건지 확인해주실 수 있나요?

[오류내용]

AssertionError Traceback (most recent call last)
/tmp/ipython-input-346849919.py in <cell line: 0>()
3
4 # L4 GPU는 bfloat16과 궁합이 가장 좋습니다.
----> 5 llm = LLM(
6 model="Motif-Technologies/Motif-2-12.7B-Reasoning",
7 trust_remote_code=True,

22 frames
/usr/local/lib/python3.12/dist-packages/vllm/attention/layer.py in init(self, num_heads, head_size, scale, num_kv_heads, alibi_slopes, cache_config, quant_config, logits_soft_cap, per_layer_sliding_window, use_mla, prefix, attn_type, kv_sharing_target_layer_name, attn_backend, **extra_impl_args)
112 if num_kv_heads is None:
113 num_kv_heads = num_heads
--> 114 assert num_heads % num_kv_heads == 0,
115 f"num_heads ({num_heads}) is not "
116 f"divisible by num_kv_heads ({num_kv_heads})"

AssertionError: num_heads (40) is not divisible by num_kv_heads (16)