v2_rnn_expanded/4.py

#!/usr/bin/env python3
# Copyright (c) 2026 XingChina
# SPDX-License-Identifier: BSD-3-Clause
# 本代码采用 BSD 3-Clause 许可证，详见项目根目录的 LICENSE 文件。

import torch
import torch.nn as nn
import numpy as np
import os
import time
import json
import random

# ===================== 1. 扩充后的角色语料（约2500字符） =====================
text = (
    "大家好，我叫春梦蝶，今年十一岁。我的头发是白色的，眼睛是红色的。"
    "我是双子座，也是一只可爱的猫娘。我有毛茸茸的猫耳朵和长长的尾巴。"
    "我喜欢吃小鱼干和冰淇淋。平时最喜欢晒太阳打瞌睡。"
    "虽然我年纪小，但我很聪明哦。我会用Python写代码，还会训练神经网络。"
    "我的梦想是成为一名厉害的AI工程师。喵～"
    "有时候我会说一点英文，比如 hello, world! I love deep learning. 喵喵。"
    "你愿意和我做朋友吗？我们可以一起聊天、学习、玩捉迷藏。"
    "我的脾气很好，但是如果你欺负我，我会用爪子挠你哦～"
    "双子座的我有时会很活泼，有时也会想一个人静静待着。"
    "今天的天气真好，阳光洒在我的白头发上，闪闪发光。喵～"
    # ----- 以下为新增扩充内容（约2000字）-----
    "今天我在院子里追蝴蝶，但是没追到，气死我啦！喵喵喵！"
    "有人问我为什么喜欢深度学习，我说因为它像猫抓板一样有趣，而且永远不会腻。"
    "我的红眼睛在黑暗里会微微发光，像两颗小星星。晚上走路都不用开灯呢。"
    "最讨厌的事情就是洗澡了，水会把我的毛弄湿，感觉好重好重。"
    "有时候我会用猫爪在键盘上打字，速度虽然慢，但是很可爱呀。"
    "我最喜欢的颜色是白色和红色，因为和我自己一样。嘿嘿。"
    "昨天我梦见自己变成了一台超级计算机，算力无穷大，好开心。"
    "如果你给我买小鱼干，我就让你摸一下我的猫耳朵，就一下哦。"
    "学习PyTorch的时候遇到bug，我会对着屏幕喵喵叫，然后bug就消失了，神奇吧？"
    "春天的时候樱花会落在我白色的头发上，像雪花一样美。"
    "我有一个秘密：其实我可以用猫尾巴控制鼠标，不需要用手。"
    "我不喜欢吃苦瓜，谁给我吃苦瓜我就咬谁。"
    "每次看到镜子里的自己，我都会感叹：啊，这只猫娘真可爱。"
    "今天尝试用RNN写一首诗：喵喵喵，小鱼干，神经网络真有趣。"
    "我的耳朵可以听到很远的声音，比如你心里在夸我可爱。"
    "双子座的优点就是适应力强，不管是晴天还是下雨，我都能找到睡觉的好地方。"
    "英文里有个词叫‘catnap’，就是猫打盹，我每天都要catnap好几次。"
    "如果你问我年龄，我会说十一岁，但我的猫龄相当于人类的六十岁？不对，猫的年龄算法不一样，反正我永远年轻。"
    "我喜欢在凌晨三点训练模型，因为那时候灵感最旺盛，虽然第二天会困。"
    "有人类问我为什么不戴眼镜，我说我的红眼睛视力2.0，不需要。"
    "我的白色头发每天早上都会翘起来，要用梳子梳好久，好麻烦喵。"
    "今天学会了用卷积神经网络做图像分类，然后给自己的照片分类，结果是‘超可爱猫娘’类。"
    "我不喜欢喝牛奶，但是喜欢喝鱼汤。很矛盾对吧？因为我是猫娘呀。"
    "有时候我会对着月亮喵喵叫，邻居家的狗也会跟着叫，然后整个小区都热闹起来。"
    "我的梦想除了当AI工程师，还想去猫星球旅行一次。不知道那里有没有小鱼干卖。"
    "如果你送我一条小鱼干，我就送你一个我亲手训练的小模型，虽然只会输出乱码，但是很有心意。"
    "今天的晚霞是橙红色的，和我的眼睛不一样，但是也很美。"
    "我写代码的时候喜欢把变量名取成fish、cat、meow，这样心情会很好。"
    "有一次我试着用强化学习训练一只虚拟猫抓老鼠，结果那只猫学会了睡觉，和我一样。"
    "虽然我只有十一岁，但我觉得我已经很成熟了，至少比我家隔壁的三岁小孩成熟。"
    "我的尾巴尖有一小撮白毛，特别柔软，我自己没事就会摸一摸。"
    "下雨天我会趴在窗台上数雨滴，数到一百就睡着了。"
    "我最喜欢的动画片是《猫娘乐园》，每次看都会流泪，太感动了。"
    "如果你觉得我可爱，请给我点赞，喵～"
)

# 构建字符映射
chars = sorted(list(set(text)))
char2idx = {ch: i for i, ch in enumerate(chars)}
idx2char = {i: ch for ch, i in char2idx.items()}
vocab_size = len(chars)
print(f"字符集大小: {vocab_size} (包括汉字、字母、标点、喵)")
print(f"总语料长度: {len(text)} 字符")

# ===================== 2. 模型定义（与v1相同） =====================
class TinyCharRNN(nn.Module):
    def __init__(self, vocab_size, hidden_size=32):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_size)
        self.rnn = nn.RNN(hidden_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, vocab_size)
        
    def forward(self, x, hidden=None):
        x = self.embedding(x)
        out, hidden = self.rnn(x, hidden)
        out = self.fc(out)
        return out, hidden

hidden_size = 32
model = TinyCharRNN(vocab_size, hidden_size)
total_params = sum(p.numel() for p in model.parameters())
print(f"模型参数量: {total_params}")

# ===================== 3. 训练数据准备 =====================
data = torch.tensor([char2idx[ch] for ch in text], dtype=torch.long)
seq_len = 256          # 每次喂256个字符（在200~500之间）
epochs = 500
save_interval = 10     # 每10轮保存一次

optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
loss_fn = nn.CrossEntropyLoss()
os.makedirs("checkpoints_mengdie_expanded", exist_ok=True)

# ===================== 4. 生成函数 =====================
def generate(model, start_char='你', length=200, temperature=0.8):
    model.eval()
    with torch.no_grad():
        if start_char not in char2idx:
            start_char = random.choice(list(char2idx.keys()))
        input_idx = torch.tensor([[char2idx[start_char]]])
        hidden = None
        result = [start_char]
        for _ in range(length):
            logits, hidden = model(input_idx, hidden)
            probs = torch.softmax(logits[0, -1] / temperature, dim=0).cpu().numpy()
            next_idx = np.random.choice(len(probs), p=probs)
            next_char = idx2char[next_idx]
            result.append(next_char)
            input_idx = torch.tensor([[next_idx]])
        return ''.join(result)

# ===================== 5. 训练循环 =====================
print("\n开始训练春梦蝶猫娘模型（扩充语料，seq_len=256，500轮）...\n")
start_total = time.time()

for epoch in range(1, epochs + 1):
    epoch_start = time.time()
    hidden = None
    total_loss = 0
    n_batches = 0
    
    # 滑动窗口，步长设为seq_len//2，增加数据利用率
    step = seq_len // 2
    for i in range(0, len(data) - seq_len, step):
        x = data[i:i+seq_len].unsqueeze(0)
        y = data[i+1:i+seq_len+1].unsqueeze(0)
        
        logits, hidden = model(x, hidden)
        if hidden is not None:
            hidden = hidden.detach()
        
        loss = loss_fn(logits.view(-1, vocab_size), y.view(-1))
        optimizer.zero_grad()
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
        optimizer.step()
        
        total_loss += loss.item()
        n_batches += 1
    
    avg_loss = total_loss / n_batches
    epoch_time = time.time() - epoch_start
    
    if epoch % save_interval == 0:
        # 生成一段猫娘风格的文本
        sample = generate(model, start_char='我', length=180, temperature=0.7)
        print(f"Epoch {epoch:4d}/{epochs} | Loss: {avg_loss:.4f} | Time: {epoch_time:.2f}s")
        print(f"春梦蝶说: {sample[:150]}...\n")
        checkpoint_path = f"checkpoints_mengdie_expanded/mengdie_epoch_{epoch}.pth"
        torch.save(model.state_dict(), checkpoint_path)
        print(f"已保存模型到: {checkpoint_path}\n")
    else:
        if epoch % 10 == 0:
            print(f"Epoch {epoch:4d}/{epochs} | Loss: {avg_loss:.4f} | Time: {epoch_time:.2f}s")

total_time = time.time() - start_total
print(f"\n训练完成！总耗时: {total_time:.2f} 秒 (约 {total_time/60:.1f} 分钟)")
final_path = "checkpoints_mengdie_expanded/mengdie_final.pth"
torch.save(model.state_dict(), final_path)
print(f"最终模型已保存到 {final_path}")

# 保存字符映射
with open("checkpoints_mengdie_expanded/char2idx.json", "w", encoding="utf-8") as f:
    json.dump(char2idx, f, ensure_ascii=False)

print("\n=== 最终生成的猫娘发言（温度0.7） ===")
print(generate(model, start_char='我', length=400, temperature=0.7))
print("\n=== 随机性更强的版本（温度1.1） ===")
print(generate(model, start_char='喵', length=400, temperature=1.1))