| | --- |
| | license: apache-2.0 |
| | --- |
| | ## few_shot_intent_gpt2_base |
| |
|
| | 这个模型是基于 [uer/gpt2-chinese-cluecorpussmall](https://huggingface.co/uer/gpt2-chinese-cluecorpussmall) 模型在 [qgyd2021/few_shot_intent_sft](https://huggingface.co/datasets/qgyd2021/few_shot_intent_sft) 数据集上微调的结果. |
| |
|
| | （1）训练在（11000 steps）处 Early Stop。这相当于加载的 [qgyd2021/few_shot_intent_sft](https://huggingface.co/datasets/qgyd2021/few_shot_intent_sft) 数据集的 1 个 epoch 处。 |
| |
|
| | （2）此处保存的是 checkpoint-6000 （6000 steps）的最优权重。这相当于原数据集的 0.63 个 epoch 处。 |
| |
|
| |
|
| | 最终的模型大约是在训练了 0.6 个 epoch 时保存的结果。 |
| |
|
| | 你可以在此处体验该模型 [qgyd2021/gpt2_chat](https://huggingface.co/spaces/qgyd2021/gpt2_chat)。 |
| |
|
| |
|
| | ### TensorBoard 数集 |
| |
|
| | **Eval Loss** 见下图： |
| |
|
| |  |
| |
|
| |
|
| | **Learning rate** 见下图： |
| |
|
| | 学习率从 2e-4 下降到 1.4e-4。 |
| |
|
| |  |
| |
|
| |
|
| |
|
| |
|
| | ### 讨论 |
| |
|
| | （1）最优解在不到 1 个 epoch 处得到。 |
| |
|
| | * 这可能说明 GPT2 模型大小，相对于任务复杂度来说太小了。 |
| |
|
| | * 模型进入到局部最终解而无法跳出，应考虑使用较大的学习率，或更换学习率调度器。 |
| |
|
| | （2）后续应考虑针对 prompt-response 中 response 部分进行训练。 |
| |
|
| | * 即只优化 response 部分的损失以提升识别结果与 prompt 之间的注意力机制。当前的训练有可能只是使模型拟合了 few shot 数据的格式，而并没有拟合到意图识别的目的。 |
| |
|
| | （3）模型使用中的体会。 |
| |
|
| | * 如果在使用过程中，模型生成 response 不在 prompt 中给定的选项，这可能说明模型已经过拟合了。 |
| |
|
| | * 如果模型生成 response 在 prompt 中，但答案不正确，则说明模型已学习到生成的表层模型，而没有学习到意图识别的目的。则建议在此模型基础上进一步优化 response 部分的损失。 |
| |
|
| |
|
| |
|
| | ### 其它 |
| |
|
| | 训练时加载数据集的代码 |
| | ```python |
| | #!/usr/bin/python3 |
| | # -*- coding: utf-8 -*- |
| | import argparse |
| | import json |
| | |
| | from datasets import load_dataset |
| | from datasets.download.download_manager import DownloadMode |
| | from tqdm import tqdm |
| | |
| | from project_settings import project_path |
| | |
| | |
| | def get_args(): |
| | parser = argparse.ArgumentParser() |
| | parser.add_argument("--dataset_path", default="qgyd2021/few_shot_intent_sft", type=str) |
| | parser.add_argument("--dataset_split", default=None, type=str) |
| | parser.add_argument( |
| | "--dataset_cache_dir", |
| | default=(project_path / "hub_datasets").as_posix(), |
| | type=str |
| | ) |
| | |
| | parser.add_argument("--num_epochs", default=1, type=int) |
| | |
| | parser.add_argument("--train_subset", default="train.jsonl", type=str) |
| | parser.add_argument("--valid_subset", default="valid.jsonl", type=str) |
| | args = parser.parse_args() |
| | return args |
| | |
| | |
| | def main(): |
| | args = get_args() |
| | |
| | name_list = [ |
| | # "a_intent_prompt", |
| | "amazon_massive_intent_en_us_prompt", |
| | "amazon_massive_intent_zh_cn_prompt", |
| | "atis_intents_prompt", |
| | "banking77_prompt", |
| | "bi_text11_prompt", |
| | "bi_text27_prompt", |
| | # "book6_prompt", |
| | "carer_prompt", |
| | "chatbots_prompt", |
| | "chinese_news_title_prompt", |
| | "cmid_4class_prompt", |
| | "cmid_36class_prompt", |
| | "coig_cqia_prompt", |
| | "conv_intent_prompt", |
| | "crosswoz_prompt", |
| | "dmslots_prompt", |
| | "dnd_style_intents_prompt", |
| | "emo2019_prompt", |
| | "finance21_prompt", |
| | "ide_intent_prompt", |
| | "intent_classification_prompt", |
| | "jarvis_intent_prompt", |
| | "mobile_assistant_prompt", |
| | "mtop_intent_prompt", |
| | "out_of_scope_prompt", |
| | "ri_sawoz_domain_prompt", |
| | "ri_sawoz_general_prompt", |
| | "small_talk_prompt", |
| | "smp2017_task1_prompt", |
| | "smp2019_task1_domain_prompt", |
| | "smp2019_task1_intent_prompt", |
| | # "snips_built_in_intents_prompt", |
| | "star_wars_prompt", |
| | "suicide_intent_prompt", |
| | "snips_built_in_intents_prompt", |
| | "telemarketing_intent_cn_prompt", |
| | "telemarketing_intent_en_prompt", |
| | "vira_intents_prompt", |
| | ] |
| | |
| | with open(args.train_subset, "w", encoding="utf-8") as f: |
| | for _ in range(args.num_epochs): |
| | for name in name_list: |
| | print(name) |
| | dataset = load_dataset( |
| | path=args.dataset_path, |
| | name=name, |
| | split="train", |
| | cache_dir=args.dataset_cache_dir, |
| | download_mode=DownloadMode.FORCE_REDOWNLOAD, |
| | ignore_verifications=True |
| | ) |
| | for sample in tqdm(dataset): |
| | row = json.dumps(sample, ensure_ascii=False) |
| | f.write("{}\n".format(row)) |
| | |
| | with open(args.valid_subset, "w", encoding="utf-8") as f: |
| | for _ in range(args.num_epochs): |
| | for name in name_list: |
| | print(name) |
| | dataset = load_dataset( |
| | path=args.dataset_path, |
| | name=name, |
| | split="test", |
| | cache_dir=args.dataset_cache_dir, |
| | download_mode=DownloadMode.FORCE_REDOWNLOAD, |
| | ignore_verifications=True |
| | ) |
| | for sample in tqdm(dataset): |
| | row = json.dumps(sample, ensure_ascii=False) |
| | f.write("{}\n".format(row)) |
| | |
| | return |
| | |
| | |
| | if __name__ == '__main__': |
| | main() |
| | |
| | ``` |
| |
|
| |
|
