metadata
library_name: transformers
license: apache-2.0
license_link: https://huggingface.co/google/gemma-3-270m-it/blob/main/LICENSE
pipeline_tag: text-generation
base_model:
- google/gemma-3-270m-it
小熠（Yee）AI 数据安全专家
由 广州熠数信息技术有限公司 开发，基于大语言模型技术构建的数据安全智能助手。
🔍 核心特点
基于 Gemma-3-270M-IT 微调
- 使用 Google 最新一代轻量级大语言模型 Gemma-3，具备优秀的推理能力和指令跟随能力。
- 模型参数精简，推理速度快，资源消耗低，适合资源受限环境部署。
高效推理机制
- 针对数据安全场景优化，在保证准确性的同时提供快速响应。
- 支持流式输出，提升用户体验。
高兼容性
- 支持主流部署方式：本地运行、Docker 容器、Kubernetes 集群、SaaS API 接口等。
- 兼容 HuggingFace Transformers、vLLM、Ollama 等推理框架。
📊 性能特点
Yee-270m 基于 Gemma-3-270M-IT 微调，在保持轻量级特性的同时，针对数据安全领域任务进行了专门优化：
- 模型参数量：2.7亿，部署资源需求低
- 支持上下文长度：8K tokens
- 推理速度快，响应延迟低
- 针对中文数据安全场景优化
📦 快速开始
from transformers import AutoTokenizer, AutoModelForCausalLM
# 加载 tokenizer 和模型
tokenizer = AutoTokenizer.from_pretrained("sds-ai/Yee-270m")
model = AutoModelForCausalLM.from_pretrained(
"sds-ai/Yee-270m",
torch_dtype="auto",
device_map="auto"
)
# 输入提示
prompt = "请帮我检查这份数据是否包含敏感字段？"
# 应用聊天模板
messages = [{"role": "user", "content": prompt}]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
# 编码输入
inputs = tokenizer([text], return_tensors="pt").to(model.device)
# 生成响应
response_ids = model.generate(**inputs, max_new_tokens=1024)
response = tokenizer.decode(response_ids[0][len(inputs.input_ids[0]):], skip_special_tokens=True)
print("小熠：\n", response)
🛠️ 部署方式
你可以通过以下任意一种方式部署小熠：
使用 Transformers 直接加载
from transformers import pipeline
pipe = pipeline("text-generation", model="sds-ai/Yee-270m")
response = pipe("数据安全最佳实践有哪些？")
使用 vLLM 启动服务
vllm serve sds-ai/Yee-270m
使用 Ollama / LMStudio
Gemma-3 已被主流本地化 LLM 工具广泛支持，详情请参考官方文档。
📚 最佳实践建议
为获得最佳性能，请遵循以下推荐设置：
| 参数 | 推荐值 | 说明 |
|---|---|---|
| 温度 | 0.6 | 平衡创造性和一致性 |
| TopP | 0.9 | 核采样参数 |
| Max Length | 2048 | 最大生成长度 |
- 输出长度建议设为 1024 tokens，复杂任务可适当增加。
- 在多轮对话中，建议保留完整的对话历史以获得最佳效果。
📞 联系我们
了解更多关于小熠的信息，请访问 熠数信息官网
🌟 致谢
感谢 Google 开源 Gemma-3 模型，为小熠提供了高效的语言理解和生成能力基础。