Zhaoming213
/

BackTo2012

 ---
 license: apache-2.0
+language:
+- zh
+pipeline_tag: text-generation
+tags:
+- text-generation-inference
 ---
+# BackTo2012
+这是一个仅用2012年的数据从头预训练的一个小模型，模型的知识截止日期是2012年，这意味着模型可以生成符合早期互联网风格的内容！
+## 简介
+这是基于Github Minimind项目训练的模型！
+地址是：https://github.com/jingyaogong/minimind。
+### 模型参数
+| 模型信息 | 数值 |
+| :--- | :---: |
+| 维度 | 512 |
+| 隐藏层 | 8 |
+| 序列长度 | 512 |
+## 1.训练平台
+GPUP：100 16GB
+训练时长：0小时
+## 2.使用指南
+*   你需要下载这个项目文件（https://github.com/jingyaogong/minimind。），然后把模型文件放进out目录里，然后运行eval_llm.py这个文件来启用模型。
+*   需要修改的地方：
+parser.add_argument('--weight', default='pretrain', type=str, help="权重名称前缀（pretrain, full_sft, rlhf, reason, ppo_actor, grpo, spo）")
+parser.add_argument('--hidden_size', default=512, type=int, help="隐藏层维度（512=Small-26M, 640=MoE-145M, 768=Base-104M）")
+parser.add_argument('--num_hidden_layers', default=8, type=int, help="隐藏层数量（Small/MoE=8, Base=16）")
+## 3.输出案例
+💬: 微软决定
+🤖: 在国际上销售Windows 7.1。
+[Speed]: 165.15 tokens/s
+💬: 苹果决定
+🤖: 在国内推出全新版iPhone 4
+　　新浪科技讯 北京时间10月10日上午消息，据国外媒体报道，苹果CEO史蒂夫·乔布斯(Steve Jobs)周四表示，苹果计划在国内推出一系列全新的iPhone 4手机。
+　　苹果表示，苹果希望通过这款手机为iPhone 4提供更多的应用程序。乔布斯说：“我们希望能够利用这款手机来提升iPhone 4的体验。苹果计划在国内推出多款全新的iPhone 4手机，这款手机将于今年底在国内推出，届时苹果将会推出更多的应用程序。”
+　　苹果目前在国内的计划包括：iPhone 4的iPhone 4手机，iPhone 4的iPhone 4手机，iPhone 4的iPhone 4手机，iPhone 4的iPhone 4的iPhone 4，iPhone 4GS，iPhone 4，iPhone 4GS。苹果希望通过这款手机在国内推出iPhone 4手机。(彦飞)
+[Speed]: 234.71 tokens/s
+💬: 最新电影
+🤖: 《流星花园》将在今晚开播 导演称将赶赴香港
+　　新浪娱乐讯 由国家广电总局电影局、国家广电总局、国家广电总局等单位联合举办的“国际电影”电影票房影片《流星花园》(以下简称《流星花园》)将于今晚(7月27日)晚在香港上映。影片《流星花园》将于8月27日(本周)晚上8点在香港首映，该片将于本周五(8月27日)晚在香港开机。
+　　《流星花园》将于8月27日开播，由国家广电总局影视发展中心影片《流星花园》(以下简称《流星花园》)将在本周五开播。
+　　电影《流星花园》由国家广电总局电影局、国家广电总局影片办公室、国家广电总局影视发展中心影片发行公司联合举办，该片由国家广电总局电影局影片《流星花园》制片方联合摄制，是影片国家广电总局电影局影片《流星花园》(以下简称《流星花园》)，该片导演陈国强也将参与，电影导演陈国强也将在今晚于香港首映。
+　　电影《流星花园》将于8月27日在香港首映，其余三部影片均为国家广电总局电影制片司司长、国家广电总局电影局监察局局长张建成，香港电影制片部经理曾德华等主演都将赶赴香港，并于7月1日在香港举行首映礼。电影制片部经理李国强表示，电影《流星花园》将于8月27日晚在香港开机，电影《流星花
+[Speed]: 222.68 tokens/s