| ## 代码 | |
| https://github.com/XiaoshanHsj/speechllm/tree/multispk_lingmeng | |
| 看代码的README_lingmeng.md | |
| ## 数据： | |
| 英文部分: `./data/Whisper-Sidecar-data-metadata/data_for_wavllm` | |
| 德文相关: `./data/de-en-mix` | |
| targetASR (target-talker ASR)用到的reference audio: `./data/reference_enroll_audio/all` | |
| 英文部分只有metadata，可以从librispeech生成。德文部分还备份了测试集音频。 | |
| ## 模型： | |
| tokenizer: `./llama_model/llama/tokenizer.model` | |
| llama-2-chat: `./llama_model/llama-2-7b-chat/consolidated.00.pth` | |
| 训练好的MT-LLM模型目录: `./lingmeng_multispk_multitask_retrain_speechllm_v0.1_llama2_chat_wavlm_weighted_update_lora_32_32_prompt_build_multispk_multitask_de.yaml_16gpu_1accum` | |