Meme-Qwen-7B-Instruct

📖 简介 | Introduction

Meme-Qwen-7B-Instruct 是基于 Qwen2.5-7B-Instruct 使用 LoRA 微调的中文互联网梗文化语言模型。

这个模型特别擅长：

• 🎯 精准捕捉和使用中文互联网热梗
• 😄 生成自然风趣、带有调侃意味的回复
• 💬 模拟抖音、小红书、B站等平台的评论互动风格
• 🔥 在保持幽默感的同时不失对话的连贯性和逻辑性

简单来说：这是一个会接梗、懂吐槽、能整活的AI聊天模型！

---

🎯 模型特点 | Model Features

特性	描述
基座模型	Qwen2.5-7B-Instruct
微调方法	LoRA (Low-Rank Adaptation)
训练数据	7600+ 条高质量梗文化对话数据 + 1000+ 条中文通用对话数据混合
擅长领域	网络热梗、幽默回复、调侃吐槽
回复风格	自然风趣，略带讽刺，接地气
模型大小	LoRA 权重约 80MB

---

📊 训练数据 | Training Data

数据集：zh-meme-sft-8k 🔥

这是作者自建的中文互联网梗文化对话微调数据集，可点击查看详情。

数据来源：

• 🎵 抖音、小红书、B站热评及回复

数据处理流程：

1. 爬虫采集：基于Playwright爬取热门帖子-一级评论、一级评论-二级评论的对话结构
2. 清洗过滤：去除表情符号、敏感内容、低质量文本
3. LLM增强：使用大语言模型进行语义补全、扩写和重写
4. 格式标准化：转换为标准的 SFT (Supervised Fine-Tuning) 格式（ChatML）

数据统计：

• 训练集：7,377 条
• 验证集：868 条
• 测试集：435 条
• 总计：约 8680 条

数据格式示例：

{"messages": [{"role": "user", "content": "你到底喜欢男生还是女生？"}, {"role": "assistant", "content": "没有告知的义务！"}]}

{"messages": [{"role": "user", "content": "明天就要交论文了我还没开始写"}, {"role": "assistant", "content": "我去不早说，赶紧找参考资料去"}]}  

{"messages": [{"role": "user", "content": "老板说要连续加班一个月"}, {"role": "assistant", "content": "我不行了，这谁顶得住啊"}]}

{"messages": [{"role": "user", "content": "博主搬运了一个手工制作的猎奇视频"}, {"role": "assistant", "content": "在ai盛行的时代，老一辈人还在坚持手作"}]}

---

💡 使用示例 | Examples

用户输入	模型回复
"你叫什么名字"	"没有告知的义务！我是谁关你啥事？"
"朋友平时考学习很差，结果这次考试竟然考了第一"	"我要验牌！这孩子平时吊儿郎当突然开挂，怕不是在装逼呢"
"我抖音的抽象视频太多了，怎么办"	"你已急哭，这抽象程度堪比当代艺术展"
"我的代码又出bug了"	"笑不活了，程序员的日常就是这三连击：写代码-出bug-骂代码。等我回国处理吧"

---

📈 训练细节 | Training Details

训练配置

基座模型: Qwen/Qwen2.5-7B-Instruct
微调方法: LoRA (Low-Rank Adaptation)
训练资源：单张A100 40G

LoRA 配置:
  rank: 16
  alpha: 32
  dropout: 0.05
  target_modules: 
    - q_proj
    - k_proj
    - v_proj
    - o_proj
    - gate_proj
    - up_proj
    - down_proj

训练超参数:
  learning_rate: 1e-4
  batch_size: 8 (4 per_device × 2 gradient_accumulation)
  num_epochs: 3
  max_length: 512
  warmup_ratio: 0.05
  optimizer: AdamW
  lr_scheduler: cosine
  
训练数据:
  训练集: 7,377 条
  验证集: 868 条
  测试集: 435 条

---

⚠️ 局限性 | Limitations

• 🎭 梗有时效性：模型训练数据截止于特定时间点，可能无法识别最新的网络热梗
• 🌐 领域限制：在严肃话题、专业知识问答上表现不如通用模型
• 🔄 风格偏好：默认倾向于幽默回复，如需严肃回答需要明确指示
• 🧠 7B规模限制：受限于模型大小，复杂推理能力不如更大规模模型

---

📜 引用 | Citation

如果您使用了这个模型或数据集，请引用：

@misc{meme-qwen-7b-instruct,
  author = {GaryYang123},
  title = {Meme-Qwen-7B-Instruct: A LoRA-finetuned Qwen Model for Internet Meme Understanding},
  year = {2026},
  publisher = {Hugging Face},
  url = {https://huggingface.co/GaryYang123/Meme-Qwen-7B-instruct}
}

---

🤝 致谢 | Acknowledgements

• Qwen Team 提供的优秀基座模型
• 所有在抖音、小红书、B站贡献搞笑内容梗的网友们
• Hugging Face 社区的支持

---

📄 许可证 | License

本项目采用 MIT License。基座模型 Qwen2.5 遵循 Apache 2.0 许可证。

---

如果觉得有意思，欢迎⭐Star和📦下载！

模型会接梗，就不会冷场 ❤️