Motif-Technologies

/

Motif-2-12.7B-Reasoning

like 25

Follow

Motif Technologies 111

리드미업데이트도 같이 부탁드립니다 (vllm, parser 사용법)

vllm serve할때도 yarn (scale factor 2, max len 131072) 수정부탁드립니다

constant 들은 하드코딩 보다는 의미를 알수있게 변수화를 하는게 좋을것 같습니다
ex.
ngrams = [tuple(input_ids[i:i+n]) for i in range(0, len(input_ids) - n + 1, 256)]
freq = Counter(ngrams)
return {ng: c for ng, c in freq.items() if c > 7}

256 : search_window
7 :freq_threshold

ThinkLogitsProcessor
에서 ratio 는 사용되는곳이 없는것 같은데 필요한곳이 있나요?

pr 이 잘려서 보였네요 ㅋㅋ

logits = torch.full_like(logits, torch.finfo(torch.bfloat16).min)
logits 가 무조건 bf16 이라고 하더라도 logits 의 dtype 의 min 을 가져오는게 좋아보이네요

past_token_ids 가 어떤 형태로 들어오나요?
geneation token 이 계속 concat 되는 형태라면

ngrams = [tuple(input_ids[i:i+n]) for i in range(0, len(input_ids) - n + 1, WINDOW_SIZE)]
중복검사가 많아보이는데 시작을 0 에서부터 안해도 되지 않나 싶습니다

정확히 이해한게 맞는지는 모르겠지만
ratio 랑 ngram 은 independent 한 관계로 보이는데 맞을까요?
budget 이 남지 않으면 ngram 이랑 무관하게 think_end 를 시켜줘야할것 같은데
그렇다면 ratio check 를 먼저한후에 remaining budget 이 있다면, len(past_token_ids) % self.interval == 0 일때 ngram check 를 해주는게 나아보입니다

ratio 도 logit processor 에서 자주 사용되는 개념일까요?
만약 아니라면 README 에 ratio 가 어떤 개념인지 설명이 있으면 좋을것 같습니다
자주 사용되는 개념이라도 외부에서 제어가능한 변수이기 때문에 README 에 설명이 있는게 좋아보이긴 하구요 ㅋㅋ

• ratio 보다는 thinking_ratio 같은 의미를 좀더 잘알수있는 변수명이면 더 좋아보입니다 ㅋㅋ