---
license: other
license_name: qwen
license_link: https://huggingface.co/Qwen/Qwen3-4B-Instruct/blob/main/LICENSE
base_model: Qwen/Qwen3-4B-Instruct
tags:
- qwen
- llm
- weibo
- comment-generation
- chinese
- dpo
- grpo
- lora
- sft
language:
- zh
- en
pipeline_tag: text-generation
---

# Robert LLM - 微博评论生成模型

基于 Qwen3-4B-Instruct 和 CommentR Interaction Dataset 训练的微博评论生成模型，通过多阶段训练（SFT → Reward Model → DPO/GRPO）学习生成符合人类偏好的高质量评论回复。

## 模型简介

大模型后训练练手项目，大量使用 vibe coding，因此可能有细节问题，请谅解！

Robert LLM 是一个专门为微博评论生成场景设计的中文大语言模型。该模型基于真实的微博交互数据训练，能够根据微博帖子内容自动生成自然、有趣且符合社区氛围的评论回复。

## 模型架构

- **基础模型**: Qwen3-4B-Instruct
- **模型类型**: Causal Language Model
- **参数量**: 4B
- **微调方法**: LoRA (Low-Rank Adaptation)
- **训练阶段**: SFT + DPO/GRPO

## 模型版本

本仓库包含以下模型版本：

| 模型 | 描述 | 路径 |
|------|------|------|
| **SFT** | 监督微调模型，学习基础回复能力 | `./sft` |
| **SFT Merged** | 合并后的完整 SFT 模型 | `./sft_merged` |
| **Reward** | 奖励模型，用于评估回复质量 | `./reward` |
| **DPO** | 直接偏好优化模型，对齐人类偏好 | `./dpo` |
| **GRPO** | 组相对策略优化模型 | `./grpo` |

## 使用方法

代码在 [GitHub](https://github.com/chenchishui/robert-llm)

本项目基于 Qwen3 模型，请遵循 [Qwen 许可证](https://huggingface.co/Qwen/Qwen3-4B-Instruct/blob/main/LICENSE)。

- [Qwen](https://github.com/QwenLM/Qwen) - 基础模型
- [FDUDataNET](https://github.com/FDUDataNET/Comment-Robert) - CommentR 数据集
- [Hugging Face](https://huggingface.co/) - 模型和工具库
- [TRL](https://github.com/huggingface/trl) - 强化学习训练库