""" Spark 2.0-code-base: продолжает код (это не чат). python generate.py 'def is_prime(n):\n # Return True if n is prime.\n' Нужна видеокарта NVIDIA (CUDA) и пакеты: torch, flash-linear-attention (fla), triton, tokenizers, safetensors. Это базовая модель: ей дают НАЧАЛО кода (заголовок функции, докстринг), она его продолжает. Генерация жадная (temperature 0): один и тот же запрос всегда даёт один и тот же ответ. """ import json, sys from pathlib import Path import torch from safetensors.torch import load_file from tokenizers import Tokenizer from spark.model import HybridLM, ModelConfig from spark.decode import Cache, GraphedStep, generate HERE = Path(__file__).resolve().parent TEMPLATE = "### User\n{content}\n\n### Assistant\n" def load(device="cuda"): cfg = ModelConfig(**json.loads((HERE / "config.json").read_text())) model = HybridLM(cfg) sd = load_file(str(HERE / "model.safetensors")) sd["lm_head.weight"] = sd["embed.weight"] # веса общие (tie_embeddings) model.load_state_dict(sd) model = model.to(device, torch.bfloat16).eval() tok = Tokenizer.from_file(str(HERE / "tokenizer.json")) return model, tok def ask(model, tok, task, max_new=300): eos = tok.token_to_id("<|endoftext|>") cache = Cache(model, max_len=4096) graphed = GraphedStep(model, cache) ids = torch.tensor([tok.encode(task).ids], device="cuda") out = [] with torch.no_grad(): generate(model, cache, graphed, ids, max_new, 0.0, 1.0, eos, 1.0, on_token=out.append) return tok.decode(out) if __name__ == "__main__": task = " ".join(sys.argv[1:]) or "def is_prime(n):\n \"\"\"Return True if n is prime.\"\"\"\n" model, tok = load() print(task + ask(model, tok, task))