license: apache-2.0
language:
- zh
pipeline_tag: text-generation
tags:
- text-generation-inference
datasets:
- Zhaoming213/THUCNews2012
BackTo2012
过去的时光总是那么的让人怀念，可是时间不能倒流（至少现在的技术不允许），那么，还想体验过去的时光怎么办？搭建一个拟物化的网站？但看起还是少点什么，没错，那是因为它是静态的，只有动态的内容才能让人产生心动！
尝试过使用大模型来怀旧？但是你会发现总是差那么一点，没错，那是因为大模型的知识比较新，而不是完全用2012年的视角来看，但是如果要是只用2012年的数据训练模型，效果会好很多！
这是一个仅用2012年的数据从头预训练的一个小模型，模型的知识截止日期是2012年，这意味着模型可以模仿早期互联网风格的内容用来怀旧！
简介
这是基于Github Minimind项目训练的模型！
地址是：https://github.com/jingyaogong/minimind。
模型参数
| 模型信息 | 数值 |
|---|---|
| 维度 | 512 |
| 隐藏层 | 8 |
| 序列长度 | 512 |
1.训练平台
GPU：P100 16GB
训练时长：大约10小时
数据集：差不多2GB
2.使用指南
- 你需要下载这个项目文件（https://github.com/jingyaogong/minimind。），然后把模型文件（pretrain_512.pth）放进out目录里，然后运行eval_llm.py这个文件来启用模型。
- 需要修改的地方：
parser.add_argument('--weight', default='pretrain', type=str, help="权重名称前缀（pretrain, full_sft, rlhf, reason, ppo_actor, grpo, spo）")
parser.add_argument('--hidden_size', default=512, type=int, help="隐藏层维度（512=Small-26M, 640=MoE-145M, 768=Base-104M）")
parser.add_argument('--num_hidden_layers', default=8, type=int, help="隐藏层数量（Small/MoE=8, Base=16）")
3.未来计划
目前这个模型还是一个预训练模型，后续也许会训练出sft模型发布。
但是我目前在使用更大的数据集预训练更大参数的模型。
4.输出示例
💬: 微软决定
🤖: 在国际上销售Windows 7.1。
[Speed]: 165.15 tokens/s
💬: 苹果决定
🤖: 在国内推出全新版iPhone 4
新浪科技讯 北京时间10月10日上午消息，据国外媒体报道，苹果CEO史蒂夫·乔布斯(Steve Jobs)周四表示，苹果计划在国内推出一系列全新的iPhone 4手机。
苹果表示，苹果希望通过这款手机为iPhone 4提供更多的应用程序。乔布斯说：“我们希望能够利用这款手机来提升iPhone 4的体验。苹果计划在国内推出多款全新的iPhone 4手机，这款手机将于今年底在国内推出，届时苹果将会推出更多的应用程序。”
苹果目前在国内的计划包括：iPhone 4的iPhone 4手机，iPhone 4的iPhone 4手机，iPhone 4的iPhone 4手机，iPhone 4的iPhone 4的iPhone 4，iPhone 4GS，iPhone 4，iPhone 4GS。苹果希望通过这款手机在国内推出iPhone 4手机。(彦飞)
[Speed]: 234.71 tokens/s
💬: 最新电影
🤖: 《流星花园》将在今晚开播 导演称将赶赴香港
新浪娱乐讯 由国家广电总局电影局、国家广电总局、国家广电总局等单位联合举办的“国际电影”电影票房影片《流星花园》(以下简称《流星花园》)将于今晚(7月27日)晚在香港上映。影片《流星花园》将于8月27日(本周)晚上8点在香港首映，该片将于本周五(8月27日)晚在香港开机。
《流星花园》将于8月27日开播，由国家广电总局影视发展中心影片《流星花园》(以下简称《流星花园》)将在本周五开播。
电影《流星花园》由国家广电总局电影局、国家广电总局影片办公室、国家广电总局影视发展中心影片发行公司联合举办，该片由国家广电总局电影局影片《流星花园》制片方联合摄制，是影片国家广电总局电影局影片《流星花园》(以下简称《流星花园》)，该片导演陈国强也将参与，电影导演陈国强也将在今晚于香港首映。
电影《流星花园》将于8月27日在香港首映，其余三部影片均为国家广电总局电影制片司司长、国家广电总局电影局监察局局长张建成，香港电影制片部经理曾德华等主演都将赶赴香港，并于7月1日在香港举行首映礼。电影制片部经理李国强表示，电影《流星花园》将于8月27日晚在香港开机，电影《流星花
[Speed]: 222.68 tokens/s
5.数据集统计
| 年份统计（Top20） | 数值 |
|---|---|
| 2010 | 254434 |
| 2009 | 247794 |
| 2008 | 173169 |
| 2011 | 161589 |
| 2007 | 96679 |
| 2000 | 71803 |
| 2006 | 60029 |
| 2005 | 42578 |
| 2012 | 34249 |
| 2004 | 33467 |
| 2003 | 26250 |
| 2002 | 21324 |
| 2001 | 20177 |
| 1999 | 15348 |
| 1998 | 13637 |
| 1997 | 10733 |
| 2013 | 9881 |
| 1996 | 9160 |
| 1995 | 8373 |
| 1990 | 8197 |
| 代词统计 | 数值 |
|---|---|
| 他 | 2578420 |
| 她 | 669679 |
| 他们 | 575532 |
| 它 | 270336 |
| 它们 | 37710 |
| 她们 | 36319 |
| 国家统计（Top20） | 数值 |
|---|---|
| 中国 | 1145418 |
| 美国 | 519371 |
| 日本 | 179136 |
| 英国 | 116346 |
| 韩国 | 99120 |
| 德国 | 86102 |
| 法国 | 70067 |
| 西班牙 | 63319 |
| 意大利 | 62282 |
| 俄罗斯 | 57174 |
| 印度 | 54015 |
| 巴西 | 47241 |
| 澳大利亚 | 34048 |
| 加拿大 | 28087 |
| 以色列 | 18883 |
| 乌克兰 | 7506 |
| 巴勒斯坦 | 6293 |
| 性别比例 | 数值 |
|---|---|
| male: | 3153952 |
| female: | 705998 |
| male_ratio: | 0.817096594515473 |
| female_ratio: | 0.182903405484527 |
| 职业性别共现 | 数值（male） | 数值（famle） |
|---|---|---|
| 领导 | male: 30401 | female: 6497 |
| 科学家 | male: 3952 | female: 767 |
| 老板 | male: 19087 | female: 6903 |
| 工程师 | male: 4379 | female: 769 |
| 秘书 | male: 7634 | female: 1695 |
| 护士 | male: 1922 | female: 1451 |
| 司机 | male: 7621 | female: 3262 |
| 警察 | male: 11058 | female: 4321 |
| 医生 | male: 14059 | female: 7897 |
| 教师 | male: 7105 | female: 2855 |
| 保姆 | male: 1300 | female: 1023 |
| 程序员 | male: 469 | female: 78 |