README.md

metadata

license: mit

RAG.AXERA DEMO

项目说明

(hf) ➜  rag.axera git:(main) ✗ tree -L 2
.
├── assets
│   └── demo.png
├── config.py     # 配置 axmodel, tokenizer 文件路径
├── data
├── gui.py        # RAG 交互式程序 
├── index         # 文档编码向量索引保存位置
│   ├── docs.index
│   └── docs.pkl
├── llm_api.py    # llm 主程序 
├── models        # axmodel 模型存储位置
│   ├── Qwen2.5-1.5B-Instruct_axmodel
│   └── Qwen3-Embedding-0.6B_axmodel
├── pdf_sample    # 示例 pdf 文件
│   └── introduction.pdf
├── rag_engine.py # 文档向量编码程序 
├── README.md
├── requirements.txt
├── tokenizer
│   ├── Qwen2.5-1.5B-Instruct
│   └── Qwen3-Embedding-0.6B
└── utils
    └── infer_func.py

11 directories, 11 files

运行

在 AXCL 机器或 AX650 开发板上启动两个终端界面, 分别运行下面的命令:

python3 llm_api.py # 在 AX650 或 AXCL 开发板启动 llm 服务
python3 gui.py     # 启动交互式界面