naver-hyperclovax

/

HyperCLOVAX-SEED-Think-14B

like 94

Follow

HyperCLOVA X 713

안녕하세요,
huggingface 통해 non-think mode로 본 모델을 inference 시도하였으나, 수 십분 대기하여도 생성이 완료되지 않고 코드가 무한 실행되는 문제를 겪고 있습니다. (vllm 활용 시에는 문제 없었습니다.)

아래에는 실행한 코드 공유드립니다. (환경: A100 GPU*2)
감사합니다.

from transformers import AutoTokenizer
from transformers import AutoModelForCausalLM

model_path = "naver-hyperclovax/HyperCLOVAX-SEED-Think-14B"

model = AutoModelForCausalLM.from_pretrained(
        model_path,
        torch_dtype="auto",
        device_map="auto",
        trust_remote_code=True
    ).eval()

tokenizer = AutoTokenizer.from_pretrained(model_path)

messages = [
        {
            "role": "system",
            "content": "", # 생략
        },
        {
            "role": "user",
            "content": "", # 생략
        }
    ]

input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, skip_reasoning=True)
model_inputs = tokenizer([input_text], return_tensors="pt").to(model.device)

with torch.no_grad(): 
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=2048,
        do_sample=False,
        stop_strings=["<|endofturn|>", "<|stop|>"],
        tokenizer=tokenizer
    )