File size: 1,939 Bytes
8620460
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
"""
Spark 2.0-code-base: продолжает код (это не чат).   python generate.py 'def is_prime(n):\n    # Return True if n is prime.\n'

Нужна видеокарта NVIDIA (CUDA) и пакеты: torch, flash-linear-attention (fla), triton, tokenizers, safetensors.
Это базовая модель: ей дают НАЧАЛО кода (заголовок функции, докстринг), она его продолжает.
Генерация жадная (temperature 0): один и тот же запрос всегда даёт один и тот же ответ.
"""
import json, sys
from pathlib import Path

import torch
from safetensors.torch import load_file
from tokenizers import Tokenizer

from spark.model import HybridLM, ModelConfig
from spark.decode import Cache, GraphedStep, generate

HERE = Path(__file__).resolve().parent
TEMPLATE = "### User\n{content}\n\n### Assistant\n"


def load(device="cuda"):
    cfg = ModelConfig(**json.loads((HERE / "config.json").read_text()))
    model = HybridLM(cfg)
    sd = load_file(str(HERE / "model.safetensors"))
    sd["lm_head.weight"] = sd["embed.weight"]            # веса общие (tie_embeddings)
    model.load_state_dict(sd)
    model = model.to(device, torch.bfloat16).eval()
    tok = Tokenizer.from_file(str(HERE / "tokenizer.json"))
    return model, tok


def ask(model, tok, task, max_new=300):
    eos = tok.token_to_id("<|endoftext|>")
    cache = Cache(model, max_len=4096)
    graphed = GraphedStep(model, cache)
    ids = torch.tensor([tok.encode(task).ids], device="cuda")
    out = []
    with torch.no_grad():
        generate(model, cache, graphed, ids, max_new, 0.0, 1.0, eos, 1.0, on_token=out.append)
    return tok.decode(out)


if __name__ == "__main__":
    task = " ".join(sys.argv[1:]) or "def is_prime(n):\n    \"\"\"Return True if n is prime.\"\"\"\n"
    model, tok = load()
    print(task + ask(model, tok, task))