Update README.md

README.md

@@ -20,24 +20,89 @@ RKNN-Toolkit : 1.1.4
 Orange Pi5 8G
 
 # 如何部署
-1. 首先在本地安装git fls
+## 1. clone RKLLM仓库
+本节参考[RKLLM官方GitHub仓库文档](https://github.com/airockchip/rknn-llm/tree/main/doc)的**3.3节** 编译生成llm_demo运行文件
+
+首先在**PC**上clone官方git仓库
+
 ```
-git lfs install
+cd ~ && git clone https://github.com/airockchip/rknn-llm.git
 ```
-2. clone本仓库
+请确保PC能正常连接至GitHub！
+
+## 2. 生成llm_demo运行文件
+先进入rkllm_api_demo文件夹
 ```
-git clone https://huggingface.co/VRxiaojie/DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4
+cd rknn-llm/examples/rkllm_api_demo
 ```
-3. 将模型上传到香橙派5
+为了让模型正常工作，需要修改`llm_demo.cpp`的代码
+
+```
+vi src/llm_demo.cpp
+```
+
+将第24 25行修改为
+```c
+#define PROMPT_TEXT_PREFIX "<|im_start|>system\n你是一名通用对话助手，用中文回答问题，回答时必须展现严谨的逻辑思维，听从用户的命令<|im_end|>\n<|im_start|>user\n"
+#define PROMPT_TEXT_POSTFIX "<|im_end|>\nChinese assistant\n"
+```
+
+你可以根据自己的需求自定义上面的提示词内容，只要修改PROMPT_TEXT_PREFIX的 `<|im_start|>system\n`到`<|im_end|>\n<|im_start|>user\n`之间的内容，
+
+或PROMPT_TEXT_POSTFIX里的`<|im_end|>\n`到结尾的`\n`之间的内容即可。
+
+将第184行取消注释
+```c
+text = PROMPT_TEXT_PREFIX + input_str + PROMPT_TEXT_POSTFIX;
+```
+
+接着注释第185行
+```c
+// text = input_str;
+```
+
+然后运行脚本文件
+```
+bash ./build-linux.sh
+```
+
+在**开发板**创建rkllm文件夹
+
 ```
 mkdir ~/rkllm && cd ~/rkllm
 ```
-使用ADB或其他工具将`deepseek-r1-1.5B-rkllm1.1.4.rkllm` 上传至开发板的rkllm文件夹下
 
-4. 生成llm_demo运行文件
-参考RKLLM官方GitHub仓库文档[https://github.com/airockchip/rknn-llm/tree/main/doc](https://github.com/airockchip/rknn-llm/tree/main/doc)
-编译生成llm_demo运行文件
+使用ADB或SFTP或其他方法将`build/build_linux_aarch64_Release/`下的`llm_demo`上传至开发板的`rkllm`文件夹内。
+
+## 3.上传librkllmrt.so运行库
+在开发板新建lib文件夹
+```
+cd ~/rkllm && mkdir lib
+```
+使用ADB或SFTP或其他方法将`rknn-llm/rkllm-runtime/Linux/librkllm_api/aarch64`下的`librkllmrt.so`上传至开发板的`rkllm/lib`文件夹内。
+
+## 4. 在PC安装git fls
+```
+git lfs install
+```
+## 5. 在PC clone本仓库
+```
+git clone https://huggingface.co/VRxiaojie/DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4
+```
+## 6. 将模型上传到开发板
+
+使用ADB或其他工具将`DeepSeek-R1-Distill-Qwen-1.5B-RK3588S-RKLLM1.1.4`文件夹内的`deepseek-r1-1.5B-rkllm1.1.4.rkllm` 上传至开发板刚刚创建的rkllm文件夹下
 
-或使用仓库中已编译好的文件
+## 7.模型推理
+首先指定库函数路径
+```
+export LD_LIBRARY_PATH=./lib
+```
+
+运行llm_demo
+```
+./llm_demo ./deepseek-r1-1.5B-rkllm1.1.4.rkllm 2048 2048
+```
+用法:`./llm_demo model_path max_new_tokens max_context_len`
 
-5. 调整提示词前后缀并启用提示词
+等待几秒钟，等模型加载完毕后，在`user:`后输入对话内容即可。