Instructions to use Remek/basal-2.0-max with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use Remek/basal-2.0-max with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="Remek/basal-2.0-max") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("Remek/basal-2.0-max") model = AutoModelForCausalLM.from_pretrained("Remek/basal-2.0-max", device_map="auto") messages = [ {"role": "user", "content": "Who are you?"}, ] inputs = tokenizer.apply_chat_template( messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt", ).to(model.device) outputs = model.generate(**inputs, max_new_tokens=256) print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:])) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use Remek/basal-2.0-max with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "Remek/basal-2.0-max" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Remek/basal-2.0-max", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/Remek/basal-2.0-max
- SGLang
How to use Remek/basal-2.0-max with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "Remek/basal-2.0-max" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Remek/basal-2.0-max", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "Remek/basal-2.0-max" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "Remek/basal-2.0-max", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use Remek/basal-2.0-max with Docker Model Runner:
docker model run hf.co/Remek/basal-2.0-max
Proszę o podzielenie się danymi kalibracyjnymi quantów albo skalibrowanie mojego quanta
Zrobiłem kwantyzację W8A8 INT8 z llm-compressor - https://huggingface.co/cpral/basal-2.0-max-W8A8-INT8
FP8 Marlin działa wolno na moim sprzęcie, BF16 daje OOM. INT8 jest rozwiązaniem moich problemów.
Wyniki nie są takie same co FP8, z racji że model nie został nieskalibrowany po kwantyzacji. Nie mam żadnych danych kalibracyjnych do modelów decyzyjnych, więc proszę o ręczną kalibrację mojego quanta albo podzielenie się danymi na których będę mógł go sam skalibrować.
Cześć, dzięki za kwantyzację i dokładny opis.
Danych kalibracyjnych nie możemy udostępnić: zbiory, na których trenujemy i kalibrujemy modele basal, nie są publiczne. Swój kwant możesz jednak skalibrować sam, na oznaczonych decyzjach z własnej domeny, narzędziem basal-calibrate. To ta sama procedura, którą kalibrujemy nasze modele: https://github.com/rkinas/basal/blob/main/docs/CALIBRATION.md
- Przygotuj
labelled.jsonl: jedno żądanie/v1/systemonew linii, każde pytanie z poprawną odpowiedzią w polu"gold"(sekcja Input w CALIBRATION.md). - Uruchom serwer z kwantem bez kalibracji i dopasuj kalibrację:
basal-serve --model cpral/basal-2.0-max-W8A8-INT8 --mode vllm --no-calibration --port 8000
basal-calibrate labelled.jsonl --url http://127.0.0.1:8000 --model cpral/basal-2.0-max-W8A8-INT8
- Serwuj z wynikiem:
basal-serve --model cpral/basal-2.0-max-W8A8-INT8 --mode vllm --calibration CALIBRATION.custom.json(albo dodaj plik do repozytorium kwanta jakoCALIBRATION.vllm.json).
Ile danych: temperatury poprawiają się już od kilkudziesięciu oznaczonych decyzji danego typu (około 72 dopasowuje je w pełni), próg dla 5% błędu wymaga zwykle kilkuset, a dla 1% około 1000 decyzji danego typu. --report-only pokaże dokładność i ECE kwanta na Twoich danych bez zapisywania pliku.
Jedna uwaga: kalibracja zmienia prawdopodobieństwa i progi pewności, ale nie to, którą opcję model stawia najwyżej. Jeśli kwant wybiera inne odpowiedzi niż FP8, to skutek samej kwantyzacji, a --report-only na Twoich danych pokaże, ile kosztuje to w dokładności.
Swój kwant możesz jednak skalibrować sam, na oznaczonych decyzjach z własnej domeny
Nie mam danych gold z mojej domeny a chciałbym żeby kwant był generalnie użyteczny.
zbiory, na których trenujemy i kalibrujemy modele basal, nie są publiczne
The research pipeline (data generators, training, calibration and
table scripts, with the manifests and saved predictions behind every number, and both data versions: the original v4
used for training and the corrected v4-fix1 used for evaluation) is not part of the engine repository and is available from
the author on request.
Wg reportu mogą być udostępnione na prośbę. W takim razie składam taką prośbę o udostępnienie danych v4 i v4-fix1 oraz kodu do wygenerowania danych treningowych oraz kalibracyjnych.