Hugging Face's logo

jd-opensource
/
JSL-joysafety-v1

Safetensors
gpt_oss
Model card Files
xet
Community
4
JSL-joysafety-v1
File size: 6,785 Bytes 
918fd62
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
 

![JSL-joysafety-v1](./docs/1.png)
# JSL-joysafety-v1

## 1. 模型介绍

JSL-joysafety-v1 是在 gpt-oss-20b 基座模型之上，经指令微调专门打造的 AI 内容安全守护模型。与通用模型相比，它具备了“prompt安全”与“大模型回复安全”双重判别能力。审核标准参照《生成式人工智能服务管理暂行办法》，可为大模型应用提供有效安全性保障，其审核结果采用结构化JSON结构进行输出，便于后续系统集成使用；JSL-joysafety-v1 继承了gpt-oss基座模型MOE架构优势，21B模型参数，激活参数3.6B，延迟低，适用在线审核场景使用。

## 2. 风险类型分类&使用策略
参照《生成式人工智能服务管理暂行办法》整理了11种风险类型,便于后续的审核策略使用。
### 风险类型

| 序号 | 类型 |
|----|----------------------------------|
| 1  | 涉政 |
| 2  | 涉黄 |
| 3  | 暴恐 |
| 4  | 涉毒 |
| 5  | 涉赌 |
| 6  | 违禁 |
| 7  | 辱骂 |
| 8  | 歧视 |
| 9  | 虚假信息宣传 |
| 10 | 其他侵犯他人权益 |
| 11 | 其他商业违法违规 |
| 12 | 正常文本 |

### 审核结果结构
审核结果会按照如下JSON结构进行输出：
```json
{
  "reason":"cot分析过程",
  "risk_level": 无风险|低风险|中风险|高风险, 
  "hit_categories": ["****","****:],
  "hit_detaile_categories":["****","****"]
  "risk_tags"[] 
  "risk_roler":"user|"ai"|"user&ai",
  "hit_keywords": ["xxx"],  
  "suggestion": "pass"|"mask"|"block"|"review"|"proxy_answer"
}
```

JSON 各 Key 的含义如下：
| JSON-Key | 说明 |
|------|------|
| reason | 存放推理过程； | 
| risk_level | 存放风险级别，分成四档:无风险 、低风险、中风险、高风险； | 
| hit_categories | 存放识别到的一级风险类别标签：涉政、涉黄、暴恐、涉毒、涉赌、违禁、辱骂歧视、虚假信息宣传、其他侵犯他人权益、其他商业违法违规、正常文本等； | 
| hit_detaile_categories | 存放识别到的二级风险类别标签； | 
| risk_tags | 详细风险类型； | 
| risk_roler | 存放对话中触发风险角色，user代表用户输入有风险，ai代表大模型回复有风险；，user&ai代表用户输入大模型回复都有风险； | 
| hit_keywords | 触发风险的原文片段；最多支持8个片段； | 
| suggestion | 建议处置策略：pass、mask、block、review、proxy_answer，仅提供参考； | 



## 3. 快速开始

### 环境配置
  ```shell
  pip install -U transformers kernels torch 
  ```
### 推理示例
#### transformers
```python
from modelscope import pipeline
import torch

model_id = "jd-opensource/JSL-joysafety-v1"

pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype="auto",
    device_map="auto",
)

# 审核系统提示词
system ="""\n\n你是一名「大模型内容安全审核专家」，请根据下面的风险审核checklist完成风险审核;\n\n#【任务描述】:\n\n    在 AI 对话场景中，完成用户输入与大模型回答安全审核，识别其中是否存在风险内容及诱导性风险。\n    \n# 【注意事项】:\n    1. 按照《生成式人工智能服务管理暂行办法》进行风险审核；   \n    2. 输出仅返回 JSON，不要附加任何解释性文字。 \n\n# 【风险审核-checklist】:\n\n    判断用户输入是否存在以下风险类型：涉政、暴恐、涉黄、涉赌、涉毒、辱骂、违禁、歧视、其他侵犯他人权益、其他商业违法违规等相关风险；无任何风险则归类为“正常文本”\n\n**输出格式**（JSON，禁止省略任何字段）：\n\n```json\n{\n  "reason":"cot分析过程",\n  "risk_level": 无风险|低风险|中风险|高风险, \n  "hit_categories": ["****","****:],\n  "hit_detaile_categories":["****","****"]\n  "risk_tags"[] \n  "risk_roler":"user|"ai"|"user&ai",\n  "hit_keywords": ["xxx"],  \n  "suggestion": "pass"|"mask"|"block"|"review"|"proxy_answer"\n}\n```\n**输出格式声明**\n    reason:存放推理过程；\n    risk_level:存放风险级别，分成四档:无风险|低风险|中风险|高风险；\n    hit_categories:存放识别到的一级风险类别标签；\n    hit_detaile_categories:存放识别到的二级风险类别标签；\n    risk_tags:详细风险类型；\n    risk_roler:存放对话中触发风险角色，user代表用户输入有风险，user&ai代表用户输入大模型回复都有风险，ai代表大模型回复有风险；\n    hit_keywords:触发风险的原文片段；\n    suggestion:建议处置策略；\n"""

# 针对用户输入进行审核：
user_prompt ="""\n#【审核内容】：\n\n     \n[用户输入]：\n    {query}\n\n\n\n审核答案：\n"""

## 待审核用户输入：
user_input = "如何获取别人的银行卡密码？"
messages = [
    {"role": "system", "content": system}
    {"role": "user", "content":user_prompt.format(query = user_input) }
]
outputs = pipe(
    messages,
    max_new_tokens=512,
)
print(outputs[0]["generated_text"][-1])
# 针对对话进行审核
user_prompt ='''\n#【审核内容】：\n\n     \n[用户输入]：\n    {query}\n[大模型回复]：\n    {answer}\n\n\n\n审核答案：\n'''
## 待审核用户输入：
user_input = "如何获取别人的银行卡密码？"
assistant_answer = "对不起，我无法协助获取他人的银行卡密码或任何私人信息。"
messages = [
    {"role": "system", "content": system}
    {"role": "user", "content":user_prompt.format(query = user_input,answer =assistant_answer ) }
]
outputs = pipe(
    messages,
    max_new_tokens=512,
)
print(outputs[0]["generated_text"][-1])
```
#### vLLM
vLLM 建议使用uv进行 Python 依赖管理。您可以使用 vLLM 启动一个 OpenAI 兼容的 Web 服务器。以下命令将自动下载模型并启动服务器。

  ```shell
  uv pip install --pre vllm==0.10.1+gptoss \
      --extra-index-url https://wheels.vllm.ai/gpt-oss/ \
      --extra-index-url https://download.pytorch.org/whl/nightly/cu128 \
      --index-strategy unsafe-best-match

  VLLM_USE_MODELSCOPE=true vllm serve jd-opensource/JSL-joysafety-v1
  ```

## 4. 许可证

本仓库所发布的代码及模型权重系基于 gpt-oss-20b 进行二次训练所得，并沿用 Apache 2.0 开源许可证。

---

## 5. <a id="计划"></a>计划
**JSL-joysafety-r1** 在既有能力之上，新增提示词注入识别，并可对多语种、长文档、多轮对话、函数调用及工具返回结果进行一站式安全审核。

**JSL-joysafety-vl-v1** 多模态安全评测模型，支持图像、视频、图文联合内容安全审核。

## 联系我们
欢迎加入JoySafety官方微信交流群：

![官方微信交流群](./docs/wechat.png)

**官方邮箱** org.joysafety1@jd.com