README.md

metadata

license: apache-2.0

MiLu-GPT

基于GPT2+BERT的语言模型，以少量的纯中文语料从头训练，验证小模型在ChatGPT类似友好能力

GPT2+BERTokenizer从头训练模型（50W闲聊等语料）

环境：
WIN10+Torch1.31+Cuda11.6
transformer4.29

GIT开源地址：https://github.com/StarRing2022/MiLu-GPT/