ztla commited on
Commit
36fc2ab
·
verified ·
1 Parent(s): 01fc413

Create data/diff.txt

Browse files
Files changed (1) hide show
  1. data/diff.txt +23 -0
data/diff.txt ADDED
@@ -0,0 +1,23 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ DiffSinger 是一个基于扩散模型(Diffusion Model)的歌声合成系统,目前由 OpenVPI 团队开发并维护。OpenVPI 是一个致力于语音处理技术研究与应用的开源社区,它聚集了来自全球的研究者和开发者,共同推进语音技术的发展。
2
+ ## 📖 介绍
3
+
4
+ XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。
5
+
6
+ **高效**
7
+
8
+ - 支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调。XTuner 支持在 8GB 显存下微调 7B 模型,同时也支持多节点跨设备微调更大尺度模型(70B+)。
9
+ - 自动分发高性能算子(如 FlashAttention、Triton kernels 等)以加速训练吞吐。
10
+ - 兼容 [DeepSpeed](https://github.com/microsoft/DeepSpeed) 🚀,轻松应用各种 ZeRO 训练优化策略。
11
+
12
+ **灵活**
13
+
14
+ - 支持多种大语言模型,包括但不限于 [InternLM](https://huggingface.co/internlm)、[Mixtral-8x7B](https://huggingface.co/mistralai)、[Llama 2](https://huggingface.co/meta-llama)、[ChatGLM](https://huggingface.co/THUDM)、[Qwen](https://huggingface.co/Qwen)、[Baichuan](https://huggingface.co/baichuan-inc)。
15
+ - 支持多模态图文模型 LLaVA 的预训练与微调。利用 XTuner 训得模型 [LLaVA-InternLM2-20B](https://huggingface.co/xtuner/llava-internlm2-20b) 表现优异。
16
+ - 精心设计的数据管道,兼容任意数据格式,开源数据或自定义数据皆可快速上手。
17
+ - 支持 [QLoRA](http://arxiv.org/abs/2305.14314)、[LoRA](http://arxiv.org/abs/2106.09685)、全量参数微调等多种微调算法,支撑用户根据具体需求作出最优选择。
18
+
19
+ **全能**
20
+
21
+ - 支持增量预训练、指令微调与 Agent 微调。
22
+ - 预定义众多开源对话模版,支持与开源或训练所得模型进行对话。
23
+ - 训练所得模型可无缝接入部署工具库 [LMDeploy](https://github.com/InternLM/lmdeploy)、大规模评测工具库 [OpenCompass](https://github.com/open-compass/opencompass) 及 [VLMEvalKit](https://github.com/open-compass/VLMEvalKit)。