OliverZ11 commited on
Commit
503a139
·
verified ·
1 Parent(s): b054eb4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +37 -44
README.md CHANGED
@@ -9,12 +9,12 @@ library_name: peft
9
 
10
  ### Model Description
11
 
12
- `xm-phi-stfRL` 是由 [XMindAI](https://www.xmindai.cn/) 基于微软开源模型 `Phi-4` 微调的大语言模型,采用 `PEFT`(参数高效微调)技术,通过强化学习在医疗领域进行优化。该模型在医学问答、医学文本生成与信息抽取等任务表现出色,适合医学领域的下游任务应用
13
 
14
  - **开发团队:** XMindAI
15
  - **资助方:** XMindAI 内部研发
16
- - **模型类型:** 医疗领域强化学习优化模型
17
- - **语言:** 中文
18
  - **许可证:** Apache 2.0
19
  - **微调自:** `microsoft/Phi-4`
20
 
@@ -27,40 +27,42 @@ library_name: peft
27
 
28
  ### 直接使用
29
 
30
- - **医学问答**:针对医学专业领域的问题进行回答,如疾病诊断治疗方案药物用等
31
- - **医学文本生成**:生成医疗报告、医学知识科普等内容
32
- - **医学信息抽取**:从临床记录医学献中提取关键信息
33
- - **情感分析**:医疗评论患者反馈文本进行情感分类
 
34
 
35
  ### 下游应用
36
 
37
- - 医疗智能问答助手
38
- - 医疗报告生成与摘要
39
- - 临床数据分析与医学信息提取
 
40
 
41
  ### 不适合的应用场景
42
 
43
- - 非医学领域的通用任务(如金融、法律
44
- - 高风险决策任务(如自动化诊断或治疗建议),需由专业人士审核
45
- - 涉及患者隐私或敏感医疗数据的场景
46
 
47
  ## 偏见、风险和局限性
48
 
49
  ### 已知局限性
50
 
51
- - **专业性偏差**:模型在部分医学细分领域(如罕见病或新药研究)表现可能欠佳
52
- - **事实性限制**:生成内容可能包含医学事实性错误
53
- - **长文本生成效果下降**:超过 4k tokens 的医学文本生成中,生成质量可能下降。
54
 
55
  ### 推荐措施
56
 
57
- - 将模型输出为辅助参考,由医学专家审核
58
- - 避免将模型应用于自动化诊断治疗决策
59
- - 谨慎处理涉及患者隐私数据,确保合规性
60
 
61
  ## 使用示例
62
 
63
- 使用该模型进行医学问答
64
 
65
  ```python
66
  from transformers import AutoModelForCausalLM, AutoTokenizer
@@ -70,8 +72,8 @@ model_name = "xmindai/xm-phi-stfRL"
70
  tokenizer = AutoTokenizer.from_pretrained(model_name)
71
  model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
72
 
73
- # 示例:医学问答
74
- text = "糖尿病患者如何控制血糖?"
75
  inputs = tokenizer(text, return_tensors="pt").to("cuda")
76
 
77
  output = model.generate(**inputs, max_length=512, do_sample=True, top_p=0.9, temperature=0.7)
@@ -82,23 +84,14 @@ print(tokenizer.decode(output[0], skip_special_tokens=True))
82
 
83
  ### 训练数据
84
 
85
- - 数据集名称:[FreedomIntelligence/Medical-R1-Distill-Data-Chinese](https://huggingface.co/datasets/FreedomIntelligence/Medical-R1-Distill-Data-Chinese)
86
- - 数据集描述:
87
- - 包含约 17000 条中文医学领域指令数据。
88
- - 数据涵盖医学问答、病例描述、药物作用、诊断建议等。
89
- - 数据来源:医学文献、公开医学问答平台、医学教材等。
90
- - 数据预处理:
91
- - 去除重复与异常样本。
92
- - 分句与文本规范化处理。
93
- - 清洗敏感数据,确保不包含患者隐私信息。
94
 
95
- ### 训练过程
96
-
97
- #### 数据增强与预处理
 
98
 
99
- - 数据清理:去除无效样本与非医学相关内容。
100
- - 数据增强:采用 Few-shot 数据增强策略,提升小样本生成能力。
101
- - 数据标注:标注医学领域标签,增强模型对医学专有名词的理解。
102
 
103
  #### 超参数
104
 
@@ -111,9 +104,9 @@ print(tokenizer.decode(output[0], skip_special_tokens=True))
111
 
112
  ### 结果摘要
113
 
114
- - 在医学问答任务上表现优异,生成答案准确且通顺
115
- - 在医学文本生成任务,能够生成高质量的医学报告与知识科普内容
116
- - 在医学信息抽取任务上,够有效识别医学实体与关键医学信息
117
 
118
  ## 环境影响
119
 
@@ -127,8 +120,8 @@ print(tokenizer.decode(output[0], skip_special_tokens=True))
127
  ### 模型架构与目标
128
 
129
  - 基于 `Phi-4` 模型架构,采用自回归生成方式。
130
- - 引入强化学习进行医学领域优化,提升生成质量与稳定性。
131
- - 支持中文医学任务,具备医学问答、文本生成与信息抽取能力。
132
 
133
  ### 基础设施
134
 
@@ -140,9 +133,9 @@ print(tokenizer.decode(output[0], skip_special_tokens=True))
140
 
141
  #### 软件
142
 
143
- - **框架:** 🤗 Transformers, PEFT, PyTorch, unsloth
144
 
145
  ## 模型卡作者
146
 
147
  - **XMind 开发团队**
148
- - **联系信息:** [XMindAI](https://www.xmindai.cn/)
 
9
 
10
  ### Model Description
11
 
12
+ `xm-phi-stfRL` 是由 [XMindAI](https://www.xmindai.cn/) 基于微软开源模型 `Phi-4` 微调的大语言模型,采用 `PEFT`(参数高效微调)技术强化学习优化(RLHF)。该模型在通用任务场景下表现出色,适用于文本生成、问答、情感分析等任务。通过高效参数微调技术,显著提升模型性能,同时降低计算资源消耗。
13
 
14
  - **开发团队:** XMindAI
15
  - **资助方:** XMindAI 内部研发
16
+ - **模型类型:** 强化学习优化版语言模型
17
+ - **语言:** 中文、英文
18
  - **许可证:** Apache 2.0
19
  - **微调自:** `microsoft/Phi-4`
20
 
 
27
 
28
  ### 直接使用
29
 
30
+ - **文本生成**:自动生成文章报告摘要或创故事
31
+ - **问答系统**:支持开放领域问答与信息检索
32
+ - **情感分析**:对评论社交媒体本等进行情感分类
33
+ - **对话生成**:生成多轮话,适合客服聊天机器人场景
34
+ - **通用任务**:摘要、改写、翻译、信息提取等。
35
 
36
  ### 下游应用
37
 
38
+ - 智能客服与自动问答
39
+ - 文本创作与生成
40
+ - 通用领域的自然语言处理(NLP)任务
41
+ - 文档摘要与信息提取
42
 
43
  ### 不适合的应用场景
44
 
45
+ - 高风险决策(如医学诊断或法律咨询——需由专业人士审核
46
+ - 涉及敏感信息或隐私数据的生成任务
47
+ - 对事实性要求极高的场景,如新闻报道或法律分析
48
 
49
  ## 偏见、风险和局限性
50
 
51
  ### 已知局限性
52
 
53
+ - **事实性偏差**:模型可能生成与事实不符的内容
54
+ - **专业性限制**:医学、法律等专业领域,模型表现可能不如专用模型
55
+ - **长文本生成效果下降**:超过 4k tokens 的文本,生成质量可能下降。
56
 
57
  ### 推荐措施
58
 
59
+ - 将模型输出为辅助参考,而非权威答案
60
+ - 在高风险专业领域使用时,需由相关专家进行审核
61
+ - 避免模型应用于敏感或隐私数据生成
62
 
63
  ## 使用示例
64
 
65
+ 使用该模型进行文本生成
66
 
67
  ```python
68
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
72
  tokenizer = AutoTokenizer.from_pretrained(model_name)
73
  model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
74
 
75
+ # 示例
76
+ text = "请用中文介绍人工智能的应用场景。"
77
  inputs = tokenizer(text, return_tensors="pt").to("cuda")
78
 
79
  output = model.generate(**inputs, max_length=512, do_sample=True, top_p=0.9, temperature=0.7)
 
84
 
85
  ### 训练数据
86
 
87
+ [Congliu/Chinese-DeepSeek-R1-Distill-data-110k-SFT](https://huggingface.co/datasets/Congliu/Chinese-DeepSeek-R1-Distill-data-110k-SFT)
 
 
 
 
 
 
 
 
88
 
89
+ - 数据量:110k 样本
90
+ - 数据来源:包含中文领域的知识问答、文本生成、对话、多轮交互等数据。
91
+ - 数据清洗:去除噪音数据、重复样本和无效样本。
92
+ - 数据增强:采用数据重采样和 Few-shot 数据增强策略。
93
 
94
+ ### 训练过程
 
 
95
 
96
  #### 超参数
97
 
 
104
 
105
  ### 结果摘要
106
 
107
+ - 在文本生成和问答任务上表现优异,生成内容流畅且准确。
108
+ - 情感分析任务表现良好,能够准确判断文本情绪
109
+ - 在开放领域问答中展现出较强的推理
110
 
111
  ## 环境影响
112
 
 
120
  ### 模型架构与目标
121
 
122
  - 基于 `Phi-4` 模型架构,采用自回归生成方式。
123
+ - 引入强化学习进行模型优化,提升生成质量与稳定性。
124
+ - 支持中双语任务,具备多任务处理能力。
125
 
126
  ### 基础设施
127
 
 
133
 
134
  #### 软件
135
 
136
+ - **框架:** 🤗 Transformers, PEFT, PyTorch
137
 
138
  ## 模型卡作者
139
 
140
  - **XMind 开发团队**
141
+ - **联系信息:** [XMindAI](https://www.xmindai.cn/)