update model

README.md

@@ -10,3 +10,31 @@ pinned: false
 ---
 
 Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+
+## Tiny LLM 92M SFT
+
+### 简介
+
+本项目[wdndev/tiny-llm-zh (github.com)](https://github.com/wdndev/tiny-llm-zh)旨在构建一个小参数量的中文语言大模型，用于快速入门学习大模型相关知识。
+
+模型架构：整体模型架构采用开源通用架构，包括：RMSNorm，RoPE，MHA等
+
+实现细节：实现大模型两阶段训练及后续人类对齐，即：预训练(PTM) -> 指令微调(SFT) -> 人类对齐(RLHF, DPO) -> 测评。
+
+注意：因资源限制，本项目的第一要务是走通大模型整个流程，而不是调教比较好的效果，故评测结果分数较低，部分生成结构错误。
+
+
+### 模型细节
+
+大约在9B的中文预料中训练，主要包含百科内容，模型架构采用开源通用架构，包括：RMSNorm，RoPE，MHA等。
+
+### 环境
+
+只需要安装 `transformers` `streamlit`即可运行
+
+### 快速开始
+
+```bash
+streamlit run .\app.py
+```
+

tiny_llm_sft_92m/pytorch_model.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:a67ed474ba46772dce8528ad81181a1dc3da93f63c9d0ff5d835949c19120b9a
-size 184142076
+oid sha256:d9d08f45caef1b0461355ec7dfcbf4df93d8d5038e5890302f47e4cf2d687be8
+size 184160343