-
Update README.md
-
以清洗過的維基百科及維基文庫重新訓練
-
Update README.md
-
Update README.md
-
Upload 6 files
訓練 tokenizer 增加 Python 程式碼資料集以及維基文庫,訓練時增加維基文庫。模型學會了古文、古詩詞的語法。 -
Update README.md
-
Update README.md
-
Update README.md
-
Upload 魁星架構圖.png
-
Upload 1b_training_curves.png
-
Upload README.md
-
Update README.md
-
Update README.md
-
Upload 6 files
0.9.3 版(新增:tokenize 結果磁碟快取,避免重複從頭訓練時的耗時重算)
# 14. 大規模語料(數億句、數百億字元等級)逐句 tokenize 往往要數小時,
# 但只要「資料集組合(含 extra_datasets)+ chunk_size + tokenizer
# 內容」三者不變,build_chunks() 的輸出結果必然相同。新增
# _chunks_cache_key():以這三者算出 SHA-256 指紋(tokenizer 取其
# 序列化後的模型內容做 hash,而非僅看檔案路徑,確保 tokenizer 重新
# 訓練後即使路徑不變,舊快取也會因內容指紋不同而自動失效,不會誤讀
# 出用舊 vocab 編碼、卻對不上新 tokenizer 的錯誤資料)。build_chunks()
# 新增 cache_dir / use_cache 參數:若指紋對應的 .npy 快取檔已存在則
# 直接讀取回傳並跳過整段 tokenize;否則照常 tokenize,並在完成後將
# 結果寫入快取供下次使用。常見情境:同一份資料集反覆從頭訓練做除
# 錯、調整模型架構或超參數但資料不變時,可省去每次數小時的重複
# tokenize。MLX(train_model_mlx)與 PyTorch(train_model)兩條主
# 訓練路徑皆已接上此快取(快取目錄預設為 tokenizer_dir 下的
# chunks_cache 子目錄);build_replay_chunks() 因本身已有獨立的
# replay_cache_dir 快取機制,呼叫 build_chunks() 時明確關閉內建快取
# (use_cache=False),避免同一份資料在兩處各存一份造成磁碟空間浪
# 費。注意:快取檔為未壓縮的 int32 .npy 陣列,規模與原始 token 總量
# 成正比(例如 593 萬筆 × 2049 tokens 的設定下,單一快取檔約 48.6
# GB),啟用前請確認磁碟空間充足。
# 0.9.4 版(新增:--cache-clean 參數,獨立…
-
Upload 2 files
-
Update README.md
-
覆寫 tie_weights(),同時不宣告 _tied_weights_keys,改用 save_pretrained 的 safe_serialization 路徑來手動處理 safetensors 報錯
覆寫 tie_weights(),同時不宣告 _tied_weights_keys,改用 save_pretrained 的 safe_serialization 路徑來手動處理 safetensors 報錯 -
修補HuggingFace 這個版本的 bug:class-level 的 _tied_weights_keys 是 list(官方文件也這樣寫),但 _get_tied_weight_keys 卻把子模組的同名屬性當 dict 處理。
修補HuggingFace 這個版本的 bug:class-level 的 _tied_weights_keys 是 list(官方文件也這樣寫),但 _get_tied_weight_keys 卻把子模組的同名屬性當 dict 處理。 -
修正save_pretrained 2k7jp4uw6
_tied_weights_keys 告訴 HuggingFace 哪個 key 是 tied 的(存檔時略過),而四個 get/set_embeddings method 讓 tie_weights()(由 post_init() 呼叫)能正確重建共享關係。這樣 save_pretrained 就能正常運作。
-
Update modeling_kuixing.py
-
Update modeling_kuixing.py
-
Update modeling_kuixing.py
-
Update modeling_kuixing.py
-
Update modeling_kuixing.py
-
Update modeling_kuixing.py
-
修正 def from_pretrained(cls, model_path, **kwargs)無法正確載入config.json的問題。
修正 def from_pretrained(cls, model_path, **kwargs)無法正確載入config.json的問題。 -
Update modeling_kuixing.py
-
Update config.json
-
Upload 1b_training_curves.png
-
Upload model.safetensors
-
Upload 4 files
-
Update README.md
-
Update README.md
-
Update README.md
-
首次發行
首次發行 -
initial commit