Hugging Face's logo

HelloSun
/
qwen35-4b-ssd-streaming

GGUF
llama.cpp
qwen3
cpu-inference
ssd-streaming
low-memory
Model card Files
xet
 Community
qwen35-4b-ssd-streaming

Commit History

27 days ago

  1. 整理中文 model card 與 SSD streaming 定位

    HelloSun
    977a65f

  1. model card: 連到 REPRODUCE.md

    Auto Upload Agent
    c293672

  2. REPRODUCE.md: 可復現整個專案的 self-contained prompt (變數集中/驗收門檻/換模型指引/已知實測值); installpi.sh export MODEL_PATH 讓 bench.sh 能繼承

    Auto Upload Agent
    abd7dcb

  3. 把 GGUF/架構參數化: (1) auto_upload.py 寫死的 27B repo + 不存在的 Space 會讓成果推錯地方 → 改用 STORAGE_REPO/SPACE_REPO 變數 (2) KV elems/token 三處寫死 qwen35 的 8x4x256 → 改 KV_FULL_ATTN_LAYERS/KV_HEAD_COUNT/KV_DIM 變數, 換模型不會算錯

    Auto Upload Agent
    1244099

  4. model card: 補上解除限制的實驗證據連結 + 效能表加 RSS/合規欄; 記錄 KV 放 SSD 反而較快、執行緒過載兩點

    Auto Upload Agent
    f989864

  5. 上傳解除限制實驗的完整證據: validate/bench-logs-nolimit/ 六個 case 的 memwatch+chat 原始記錄 (swap 全 0, over_limit_samples 全 0) + bench-nolimit.jsonl; 另含 cmake 編譯記錄

    Auto Upload Agent
    364a89d

  6. STATUS: 記錄解除記憶體限制的實測 — 權重常駐 RAM 只快 6%, I/O 不是瓶頸; KV 放 SSD 比放 RAM 快; 本機僅 2vCPU 故 8 threads 慢 9x

    Auto Upload Agent
    955a53e

  7. 解除記憶體限制的量測: 權重常駐 RAM 只快 6% (2.82 vs 2.67 tok/s) 但記憶體 7.2x (2.77 vs 0.384 GiB); 本機僅 2 vCPU, 8 threads 反而慢 9x

    Auto Upload Agent
    0925169

  8. model card: 重寫 README.md — 重點整理(權重留 page cache 快 22 倍的三個量測陷阱/兩個 patch/模型架構) + 使用方法 + 誠實標註 262144 未驗證

    Auto Upload Agent
    0527a01

  9. installpi.sh: KV 大小計算改依實際 --cache-type (舊版一律用 q4_0 卻印出 f16, 出現『9.0 MiB f16/f16』矛盾); auto-SSD 門檻也跟著修正

    Auto Upload Agent
    45e8af7

  10. 實測確認 22 倍差距: pagecache-20ms 0.384GiB/2.67tok/s vs ssd-stream-20ms 0.226GiB/0.12tok/s, 兩者都合規; STATUS 記錄矩陣與三個量測 bug

    Auto Upload Agent
    963eeda

  11. bench.sh: 修掉 bench.jsonl 被 mkdir 成目錄導致結果靜默遺失; 改 touch

    Auto Upload Agent
    5f5b249

  12. 驗證重跑: 全新編譯+模型在本機重現 v1 — ctx1024 峰值總 RSS 0.23GiB, swap 0, all_passed=true (patches 0001+0002 套用乾淨)

    Auto Upload Agent
    8cfc5b2

  13. bench.sh: KV_SSD_PATH 不再寫死 /root/models (sweep 打錯檔會低估 RSS); 跟隨 MODEL_PATH 同層

    Auto Upload Agent
    9718e7c

  14. STATUS.md: 記錄取捨矩陣實測結論 — 預設 MEMWATCH_SWEEP=1 慢 28 倍(0.26 vs 7.50 tok/s); pagecache-20ms 在 1GiB 內仍合規; 0-release 峰值 2.78GiB 違規

    Auto Upload Agent
    643e254

  15. bench.sh: 修掉假通過 — 原本寫死 --limit-gb 4, 導致 2.78GiB 的 case 也標 within_limit=true; 改用 MEMORY_LIMIT_GB(預設1) 判定並輸出 verdict

    Auto Upload Agent
    8d64bdc

  16. bench.sh: 記憶體/速度取捨矩陣工具

    Auto Upload Agent
    33ddf1f

  17. v1 可跑: KV 一律 SSD + stack 修好開機失敗; ctx1024 峰值總 RSS 0.247GiB, swap 0, 推論正確

    Auto Upload Agent
    c99bfe0

  18. v0: 4B 專案骨架 (installpi.sh/memwatch.py/patches 0001+0002/STATUS/AGENTS/sync.sh)

    Auto Upload Agent
    b96acfe

  19. v0: 4B 專案骨架

    Auto Upload Agent
    b11b439

  20. v0: 4B 專案骨架 (installpi.sh/memwatch.py/patches/STATUS/AGENTS/sync.sh)

    Auto Upload Agent
    b394bdd

  21. initial commit

    HelloSun
    Verified signature
    b0c01b4