# 模型介绍

TLAB-PanGu1B-FFT是基于openPangu-Embedded-1B-V1.1基座模型，通过全参数微调方法获得的专业化版本。该模型结合Alpaca(https://huggingface.co/datasets/tatsu-lab/alpaca)数据对模型进行instruction-tuning，
旨在提升模型知识理解与生成能力。

# 主要特色

1）知识理解与生成：结合Alpaca数据进行instruction-tuning，增强模型术语理解与文本生成能力；

2）全参数微调策略：采用完整的参数更新机制，充分学习数据特征，最大化模型的知识学习与适应能力；

3）端侧部署友好：在保持1B轻量级参数规模的同时，通过instruction-tuning提升在资源受限环境下的推理准确性；

# 基座模型

openPangu-Embedded-1B-V1.1（https://gitee.com/hf-models/openPangu-Embedded-1B）

# 微调方法

训练策略：有监督、全参数微调

# 环境准备

- 硬件规格：NPU 910B （64G）
- 操作系统：Linux 5.10.0
- cann==8.0
- python==3.10
- torch==2.1.0
- torch-npu==2.1.0.post6
- transformers==4.53.2
- tokenizers==0.21.4
- tensorboard==2.20.0                    

# 贡献人员名单

核心贡献者：罗玉平、张宏刚（东南大学复杂交通网络研究中心）

支持团队：东南大学交通学院、东南大学统计与数据科学学院