# 基于 BERT 的中文情感分析系统项目报告
> **Project Report: BERT-based Chinese Sentiment Analysis System**
> *此文档旨在辅助生成项目汇报 PPT，详细记录了从 0 到 1 的构建全过程。*

## 1. 项目背景与目标 (Project Background & Goals)
### 1.1 背景
随着互联网评论数据的爆炸式增长，如何自动识别中文文本背后的情感倾向（积极/消极/中性）成为关键需求。传统机器学习方法在语义理解上存在局限，因此本项目采用深度学习模型 BERT 进行构建。

### 1.2 核心目标
1.  **高精度模型**：基于预训练 BERT 模型进行微调 (Fine-tuning)，实现对中文评论的精准分类。
2.  **多领域覆盖**：融合通用语料 (clapAI) 与垂直领域语料 (中医/电商)，提升泛化能力。
3.  **全流程落地**：包含数据清洗、模型训练、可视化监控、Web 交互演示及云端部署支持。

---

## 2. 技术架构 (Technical Architecture)

| 组件 (Component) | 技术选型 (Technology) | 说明 (Description) |
| :--- | :--- | :--- |
| **基础模型 (Base Model)** | **Google BERT (bert-base-chinese)** | 12层 Transformer 编码器，具有强大的中文语义理解能力。 |
| **深度学习框架 (DL Framework)** | **PyTorch + Hugging Face Transformers** | 提供灵活的模型构建与训练接口。 |
| **硬件加速 (Accelerator)** | **MPS (Apple Silicon) / CUDA (Cloud)** | 代码自动适配 Mac 本地加速与云端 NVIDIA GPU 加速。 |
| **交互界面 (Web UI)** | **Gradio** | 快速构建可视化的模型演示网页。 |
| **数据分析 (Analytics)** | **Matplotlib + Seaborn** | 用于绘制数据分布图与训练损失/准确率曲线。 |

---

## 3. 详细实施步骤 (Implementation Steps)

### 步骤一：环境搭建与硬件适配 (Environment Setup)
*   **挑战**：在 Mac Mini (M系列芯片) 上实现高效训练。
*   **解决方案**：利用 PyTorch 的 `mps` 后端，代码中实现了自动设备检测逻辑：优先使用 MPS (Mac)，其次 CUDA (NVIDIA)，最后 CPU。
*   **成果**：在 Mac 本地环境下成功开启硬件加速，大幅缩短训练时间。

### 步骤二：数据工程 (Data Engineering)
*   **多源异构数据融合**：
    *   **通用数据**：`clapAI/MultiLingualSentiment` (筛选中文部分)。
    *   **垂类数据**：`OpenModels/Chinese-Herbal-Medicine-Sentiment` (医疗/电商领域)。
*   **数据清洗管道 (`src/dataset.py`)**：
    *   剔除无效评论（如“默认好评”、“无填写内容”）。
    *   过滤过短文本（长度 < 2）。
    *   **标签统一**：将不同数据集的标签统一映射为标准格式：`0 (Negative)`, `1 (Neutral)`, `2 (Positive)`。
*   **优化**：实现了 **多进程 (Multiprocessing)** 数据处理，利用多核 CPU 加速 Tokenization（分词）过程。

### 步骤三：模型训练与微调 (Model Training)
*   **策略**：全参数微调 (Full Fine-tuning)。
*   **配置**：Batch Size 32, Learning Rate 2e-5, Epochs 3。
*   **智能特性**：
    *   **实时监视 (`src/monitor.py`)**：专门编写监控脚本，读取 Checkpoint 日志，实时输出 Loss 和 Accuracy 变化。
    *   **断点续训**：支持从最新的 Checkpoint 恢复训练，防止意外中断导致前功尽弃。
    *   **云端适配 (`train_cloud.py`)**：生成了独立的单文件训练脚本，支持一键上传至 AutoDL/Colab 等云服务器，自动下载数据并利用 CUDA 极速训练。

### 步骤四：结果可视化与评估 (Visualization & Eval)
*   **指标**：Accuracy (准确率), F1-Score (F1分数), Precision, Recall。
*   **可视化 (`src/visualization.py`)**：
    *   **数据分布图**：通过饼图展示正负样本比例，确保数据平衡。
    *   **训练曲线**：自动绘制 Loss 下降曲线和 验证集 Accuracy 上升曲线，直观判断模型收敛情况。

### 步骤五：应用交付 (Deployment)
*   **Web 演示 (`demo/web_demo.py`)**：
    *   开发了基于 Gradio 的 Web 界面。
    *   支持用户输入任意中文文本，实时返回情感倾向及置信度分数。
    *   包含预设样例，方便快速测试。
*   **交互式教程 (`notebooks/`)**：提供了详细注释的 Jupyter Notebook，用于教学和演示完整流程。

---

## 4. 项目亮点 (Project Highlights)
1.  **跨平台兼容**：一套代码同时完美支持 Mac (MPS) 和 Linux/Windows (CUDA)。
2.  **工程化规范**：目录结构清晰 (`src`, `data`, `results`, `checkpoints`)，模块化设计高。
3.  **用户体验**：
    *   训练过程不仅有进度条，还有专门的 Monitor 脚本。
    *   Web 界面美观易用，支持详细的分数展示。
    *   云端脚本 `train_cloud.py` 极大降低了部署门槛。

---

## 5. 成果展示 (Results)
*(此部分可用于 PPT 插入截图)*
- **训练效果**：在验证集上 Accuracy 稳步提升（具体数值参考 Monitor 输出）。
- **演示界面**：Web UI 成功运行，能够准确识别“物流太慢”（消极）和“强烈推荐”（积极）等语义。

---

## 6. 如何运行 (Quick Start)
1.  **本地训练**: `python -m src.train`
2.  **开启监控**: `python src/monitor.py`
3.  **启动演示**: `python demo/web_demo.py`