Proszę o podzielenie się danymi kalibracyjnymi quantów albo skalibrowanie mojego quanta

#1
by cpral - opened

Zrobiłem kwantyzację W8A8 INT8 z llm-compressor - https://huggingface.co/cpral/basal-2.0-max-W8A8-INT8

FP8 Marlin działa wolno na moim sprzęcie, BF16 daje OOM. INT8 jest rozwiązaniem moich problemów.

Wyniki nie są takie same co FP8, z racji że model nie został nieskalibrowany po kwantyzacji. Nie mam żadnych danych kalibracyjnych do modelów decyzyjnych, więc proszę o ręczną kalibrację mojego quanta albo podzielenie się danymi na których będę mógł go sam skalibrować.

Cześć, dzięki za kwantyzację i dokładny opis.

Danych kalibracyjnych nie możemy udostępnić: zbiory, na których trenujemy i kalibrujemy modele basal, nie są publiczne. Swój kwant możesz jednak skalibrować sam, na oznaczonych decyzjach z własnej domeny, narzędziem basal-calibrate. To ta sama procedura, którą kalibrujemy nasze modele: https://github.com/rkinas/basal/blob/main/docs/CALIBRATION.md

  1. Przygotuj labelled.jsonl: jedno żądanie /v1/systemone w linii, każde pytanie z poprawną odpowiedzią w polu "gold" (sekcja Input w CALIBRATION.md).
  2. Uruchom serwer z kwantem bez kalibracji i dopasuj kalibrację:
basal-serve --model cpral/basal-2.0-max-W8A8-INT8 --mode vllm --no-calibration --port 8000
basal-calibrate labelled.jsonl --url http://127.0.0.1:8000 --model cpral/basal-2.0-max-W8A8-INT8
  1. Serwuj z wynikiem: basal-serve --model cpral/basal-2.0-max-W8A8-INT8 --mode vllm --calibration CALIBRATION.custom.json (albo dodaj plik do repozytorium kwanta jako CALIBRATION.vllm.json).

Ile danych: temperatury poprawiają się już od kilkudziesięciu oznaczonych decyzji danego typu (około 72 dopasowuje je w pełni), próg dla 5% błędu wymaga zwykle kilkuset, a dla 1% około 1000 decyzji danego typu. --report-only pokaże dokładność i ECE kwanta na Twoich danych bez zapisywania pliku.

Jedna uwaga: kalibracja zmienia prawdopodobieństwa i progi pewności, ale nie to, którą opcję model stawia najwyżej. Jeśli kwant wybiera inne odpowiedzi niż FP8, to skutek samej kwantyzacji, a --report-only na Twoich danych pokaże, ile kosztuje to w dokładności.

Swój kwant możesz jednak skalibrować sam, na oznaczonych decyzjach z własnej domeny

Nie mam danych gold z mojej domeny a chciałbym żeby kwant był generalnie użyteczny.

zbiory, na których trenujemy i kalibrujemy modele basal, nie są publiczne

The research pipeline (data generators, training, calibration and
table scripts, with the manifests and saved predictions behind every number, and both data versions: the original v4
used for training and the corrected v4-fix1 used for evaluation) is not part of the engine repository and is available from
the author on request.

Wg reportu mogą być udostępnione na prośbę. W takim razie składam taką prośbę o udostępnienie danych v4 i v4-fix1 oraz kodu do wygenerowania danych treningowych oraz kalibracyjnych.

Sign up or log in to comment