Spark-2.0-code-base / generate.py
SparkCodeAI's picture
Add Spark 2.0-code model
8620460 verified
Raw History Blame Contribute Delete
1.94 kB
"""
Spark 2.0-code-base: продолжает код (это не чат). python generate.py 'def is_prime(n):\n # Return True if n is prime.\n'
Нужна видеокарта NVIDIA (CUDA) и пакеты: torch, flash-linear-attention (fla), triton, tokenizers, safetensors.
Это базовая модель: ей дают НАЧАЛО кода (заголовок функции, докстринг), она его продолжает.
Генерация жадная (temperature 0): один и тот же запрос всегда даёт один и тот же ответ.
"""
import json, sys
from pathlib import Path
import torch
from safetensors.torch import load_file
from tokenizers import Tokenizer
from spark.model import HybridLM, ModelConfig
from spark.decode import Cache, GraphedStep, generate
HERE = Path(__file__).resolve().parent
TEMPLATE = "### User\n{content}\n\n### Assistant\n"
def load(device="cuda"):
cfg = ModelConfig(**json.loads((HERE / "config.json").read_text()))
model = HybridLM(cfg)
sd = load_file(str(HERE / "model.safetensors"))
sd["lm_head.weight"] = sd["embed.weight"] # веса общие (tie_embeddings)
model.load_state_dict(sd)
model = model.to(device, torch.bfloat16).eval()
tok = Tokenizer.from_file(str(HERE / "tokenizer.json"))
return model, tok
def ask(model, tok, task, max_new=300):
eos = tok.token_to_id("<|endoftext|>")
cache = Cache(model, max_len=4096)
graphed = GraphedStep(model, cache)
ids = torch.tensor([tok.encode(task).ids], device="cuda")
out = []
with torch.no_grad():
generate(model, cache, graphed, ids, max_new, 0.0, 1.0, eos, 1.0, on_token=out.append)
return tok.decode(out)
if __name__ == "__main__":
task = " ".join(sys.argv[1:]) or "def is_prime(n):\n \"\"\"Return True if n is prime.\"\"\"\n"
model, tok = load()
print(task + ask(model, tok, task))