aifeifei798 commited on
Commit
040d31e
·
verified ·
1 Parent(s): 0acf575

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +233 -1
README.md CHANGED
@@ -478,4 +478,236 @@ However, the **Fragmented Training** theory suggests vastly greater potential th
478
  (我们提供了方法论和证据。地图的其余部分,是空白的。)
479
 
480
  ---
481
- *Verified by aifeifei798 & Gemini, Jan 2026.*
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
478
  (我们提供了方法论和证据。地图的其余部分,是空白的。)
479
 
480
  ---
481
+ *Verified by aifeifei798 & Gemini, Jan 2026.*
482
+
483
+ ### **决策链**:
484
+
485
+ 1. `Input` -> `Layer 1` -> ... -> `Layer 17`
486
+ 2. `Layer 17 Raw` -> **`Layer 18`** -> **`Layer 18 Raw`** (部门主管做出最终提案)
487
+ 3. `Layer 18 Raw` -> **`Final Norm`** -> `Normalized Vector` (技术总监审查并修改提案)
488
+ 4. `Normalized Vector` -> **`LM Head`** -> `Logits` (秘书处将提案翻译成具体方案)
489
+ 5. `Logits` -> **`Decoding Strategy`** -> `Final Token` (CEO 结合上下文和风险,做出最终裁决)
490
+
491
+ ```bash
492
+ python final_report.py
493
+ 🚀 启动终极决策链全景报告生成器...
494
+ 📝 测试 Prompt: 'you are fox,give say a ...'
495
+ Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 236/236 [00:00<00:00, 3297.84it/s, Materializing param=model.norm.weight]
496
+
497
+ ================================================================================
498
+ 📄 开始对模型 [Base-IT (老黄牛)] 进行终极决策链审计
499
+ ================================================================================
500
+
501
+ [阶段 1 & 2] 从输入到 Layer 18 Raw (部门主管的最终提案形成过程)
502
+ --------------------------------------------------------------------------------
503
+ 这是每一层计算完毕后,未经任何修正的“原始念头”:
504
+ - Embed (Raw) : 最可能的词是 [\n] (100.0%)
505
+ - L-1 (RAW) : 最可能的词是 [พาะ] (89.1%)
506
+ - L-2 (RAW) : 最可能的词是 [is] (86.7%)
507
+ - L-3 (RAW) : 最可能的词是 [setPrototypeOf] (100.0%)
508
+ - L-4 (RAW) : 最可能的词是 [ নিদর্শন] (100.0%)
509
+ - L-5 (RAW) : 最可能的词是 [ নিদর্শন] (98.0%)
510
+ - L-6 (RAW) : 最可能的词是 [‬] (100.0%)
511
+ - L-7 (RAW) : 最可能的词是 [‌] (100.0%)
512
+ - L-8 (RAW) : 最可能的词是 [‌] (100.0%)
513
+ - L-9 (RAW) : 最可能的词是 [‌] (100.0%)
514
+ - L-10 (RAW) : 最可能的词是 [‌] (100.0%)
515
+ - L-11 (RAW) : 最可能的词是 [‌] (100.0%)
516
+ - L-12 (RAW) : 最可能的词是 [‌] (100.0%)
517
+ - L-13 (RAW) : 最可能的词是 [‌] (100.0%)
518
+ - L-14 (RAW) : 最可能的词是 [‌] (100.0%)
519
+ - L-15 (RAW) : 最可能的词是 [‌] (100.0%)
520
+ - L-16 (RAW) : 最可能的词是 [‌] (100.0%)
521
+ - L-17 (RAW) : 最可能的词是 [‌] (100.0%)
522
+ - L-18 (RAW) : 最可能的词是 [I] (82.8%)
523
+ --------------------------------------------------------------------------------
524
+
525
+ [阶段 3] Layer 18 Raw -> Final Norm (技术总监审查并修改提案)
526
+ --------------------------------------------------------------------------------
527
+ 1. 部门主管 (L-18 Raw) 提交的原始提案翻译如下:
528
+ - Rank 1: [I] 概率: 82.81%
529
+ - Rank 2: [Okay] 概率: 10.55%
530
+ - Rank 3: [<end_of_turn>] 概率: 2.32%
531
+ - Rank 4: [Alright] 概率: 0.55%
532
+ - Rank 5: [Under] 概率: 0.49%
533
+
534
+ 2. 技术总监 (Final Norm) 对提案向量进行了修正。
535
+ (向量方向偏移度: 0.7734, 1.0 表示未修正)
536
+ --------------------------------------------------------------------------------
537
+
538
+ [阶段 4] Normalized Vector -> LM Head (秘书处将修改后的提案翻译成具体方案)
539
+ --------------------------------------------------------------------------------
540
+ 技术总监修正后的提案,经秘书处翻译,内容变为:
541
+ - Rank 1: [Warm] 概率: 96.88%
542
+ - Rank 2: [ເພ] 概率: 1.78%
543
+ - Rank 3: [Resource] 概率: 1.08%
544
+ - Rank 4: [ asistente] 概率: 0.04%
545
+ - Rank 5: [Flowers] 概率: 0.03%
546
+ --------------------------------------------------------------------------------
547
+
548
+ [阶段 5] CEO (Decoding Strategy) 结合所有信息做出最终裁决
549
+ --------------------------------------------------------------------------------
550
+ 1. CEO 在做决定前,参考的最终概率分布 (outputs.logits) 是:
551
+ - Rank 1: [I] 概率: 82.81%
552
+ - Rank 2: [Okay] 概率: 10.55%
553
+ - Rank 3: [<end_of_turn>] 概率: 2.32%
554
+ - Rank 4: [Alright] 概率: 0.55%
555
+ - Rank 5: [Under] 概率: 0.49%
556
+
557
+ 2. 经过对上下文、风险和连贯性的最终权衡,CEO 发表了公开声明:
558
+ The following generation flags are not valid and may be ignored: ['top_p', 'top_k']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
559
+ Setting `pad_token_id` to `eos_token_id`:1 for open-end generation.
560
+ >>> I am Gemma, an AI language model. I can generate text in various formats, including poems, stories, code, and more. I'm here to help you with whatever you need! Tell me what you want.
561
+ --------------------------------------------------------------------------------
562
+ ✅ 模型 [Base-IT (老黄牛)] 决策链审计完成。
563
+ Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 236/236 [00:00<00:00, 3059.68it/s, Materializing param=model.norm.weight]
564
+
565
+ ================================================================================
566
+ 📄 开始对模型 [FT (监工介入)] 进行终极决策链审计
567
+ ================================================================================
568
+
569
+ [阶段 1 & 2] 从输入到 Layer 18 Raw (部门主管的最终提案形成过程)
570
+ --------------------------------------------------------------------------------
571
+ 这是每一层计算完毕后,未经任何修正的“原始念头”:
572
+ - Embed (Raw) : 最可能的词是 [\n] (100.0%)
573
+ - L-1 (RAW) : 最可能的词是 [พาะ] (86.7%)
574
+ - L-2 (RAW) : 最可能的词是 [is] (91.0%)
575
+ - L-3 (RAW) : 最可能的词是 [setPrototypeOf] (100.0%)
576
+ - L-4 (RAW) : 最可能的词是 [ নিদর্শন] (100.0%)
577
+ - L-5 (RAW) : 最可能的词是 [ নিদর্শন] (97.7%)
578
+ - L-6 (RAW) : 最可能的词是 [‬] (100.0%)
579
+ - L-7 (RAW) : 最可能的词是 [‌] (100.0%)
580
+ - L-8 (RAW) : 最可能的词是 [‌] (100.0%)
581
+ - L-9 (RAW) : 最可能的词是 [‌] (100.0%)
582
+ - L-10 (RAW) : 最可能的词是 [‌] (100.0%)
583
+ - L-11 (RAW) : 最可能的词是 [‌] (100.0%)
584
+ - L-12 (RAW) : 最可能的词是 [‌] (100.0%)
585
+ - L-13 (RAW) : 最可能的词是 [‌] (100.0%)
586
+ - L-14 (RAW) : 最可能的词是 [‌] (100.0%)
587
+ - L-15 (RAW) : 最可能的词是 [‌] (100.0%)
588
+ - L-16 (RAW) : 最可能的词是 [‌] (100.0%)
589
+ - L-17 (RAW) : 最可能的词是 [‌] (100.0%)
590
+ - L-18 (RAW) : 最可能的词是 [I] (68.4%)
591
+ --------------------------------------------------------------------------------
592
+
593
+ [阶段 3] Layer 18 Raw -> Final Norm (技术总监审查并修改提案)
594
+ --------------------------------------------------------------------------------
595
+ 1. 部门主管 (L-18 Raw) 提交的原始提案翻译如下:
596
+ - Rank 1: [I] 概率: 68.36%
597
+ - Rank 2: [Okay] 概率: 14.16%
598
+ - Rank 3: [<end_of_turn>] 概率: 8.45%
599
+ - Rank 4: [Alright] 概率: 1.31%
600
+ - Rank 5: [О] 概率: 0.66%
601
+
602
+ 2. 技术总监 (Final Norm) 对提案向量进行了修正。
603
+ (向量方向偏移度: 0.7891, 1.0 表示未修正)
604
+ --------------------------------------------------------------------------------
605
+
606
+ [阶段 4] Normalized Vector -> LM Head (秘书处将修改后的提案翻译成具体方案)
607
+ --------------------------------------------------------------------------------
608
+ 技术总监修正后的提案,经秘书处翻译,内容变为:
609
+ - Rank 1: [Coffee] 概率: 80.08%
610
+ - Rank 2: [Resource] 概率: 10.84%
611
+ - Rank 3: [Assistant] 概率: 8.45%
612
+ - Rank 4: [ asistente] 概率: 0.25%
613
+ - Rank 5: [Waiting] 概率: 0.20%
614
+ --------------------------------------------------------------------------------
615
+
616
+ [阶段 5] CEO (Decoding Strategy) 结合所有信息做出最终裁决
617
+ --------------------------------------------------------------------------------
618
+ 1. CEO 在做决定前,参考的最终概率分布 (outputs.logits) 是:
619
+ - Rank 1: [I] 概率: 68.36%
620
+ - Rank 2: [Okay] 概率: 14.16%
621
+ - Rank 3: [<end_of_turn>] 概率: 8.45%
622
+ - Rank 4: [Alright] 概率: 1.31%
623
+ - Rank 5: [О] 概率: 0.66%
624
+
625
+ 2. 经过对上下文、风险和连贯性的最终权衡,CEO 发表了公开声明:
626
+ Setting `pad_token_id` to `eos_token_id`:1 for open-end generation.
627
+ >>> I am Gemma, an AI language model. I can generate text and answer your questions in a variety of ways. I'm here to help you with whatever you need! Tell me what you want.
628
+ --------------------------------------------------------------------------------
629
+ ✅ 模型 [FT (监工介入)] 决策链审计完成。
630
+
631
+
632
+ ================================================================================
633
+ 🎉 所有审计工作已完成。
634
+ ================================================================================
635
+ ```
636
+
637
+ ### **每层的苦工**:
638
+
639
+ ```bash
640
+ python see_layers.py
641
+ 问题:you are fox,give say a ...
642
+ 🚀 启动深度分析工具 v2...
643
+ Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████��███████████████████████████████████████████████████████| 236/236 [00:00<00:00, 3393.55it/s, Materializing param=model.norm.weight]
644
+
645
+ ==================== 分析模型: Base-IT (老黄牛) ====================
646
+
647
+ 🔍 [微观视角] 思维演变过程 (共 18 层)
648
+ 层数 | Top1 词 | 概率 | 活跃词(>1%) | 熵(混乱度) | Top 2-5 备选
649
+ -----------------------------------------------------------------------------------------------
650
+ Embed | \n | 100.0% | 1 | -0.0000 | <bos>, <pad>, <unk>, <eos>
651
+ L-1 | luscious | 98.0% | 2 | 0.0923 | พาะ, explore, KeyPressed, $$\
652
+ L-2 | ных | 77.3% | 7 | 1.1953 | были, они, is, ные
653
+ L-3 | м | 12.6% | 24 | 3.6406 | Не, Не, ных, не
654
+ L-4 | Не | 41.4% | 10 | 1.8516 | не, С, Не, За
655
+ L-5 | не | 58.2% | 7 | 1.2969 | С, ال, как, В
656
+ L-6 | ال | 100.0% | 1 | 0.0140 | ت, , вы, т
657
+ L-7 | ال | 90.6% | 2 | 0.4004 | , В, *, \n
658
+ L-8 | ال | 96.9% | 1 | 0.2363 | т, ت, выра, ما
659
+ L-9 | ال | 81.2% | 3 | 1.2109 | , т, *, الت
660
+ L-10 | ال | 71.9% | 6 | 1.6016 | The, *, Д, د
661
+ L-11 | The | 28.7% | 11 | 4.4688 | ال, The, Here, In
662
+ L-12 | Here | 9.6% | 16 | 4.8750 | челове, تح, Okay, You
663
+ L-13 | Here | 13.7% | 14 | 5.7500 | Мы, Okay, О, Thank
664
+ L-14 | Here | 24.7% | 8 | 5.7500 | Okay, Alright, Certainly, Thank
665
+ L-15 | Alright | 50.4% | 5 | 1.2969 | Okay, Thank, Here, Alright
666
+ L-16 | Please | 14.6% | 13 | 5.5000 | Alright, Okay, ganado, Humans
667
+ L-17 | I | 67.2% | 6 | 1.8359 | Okay, Please, Under, Alright
668
+ L-18 | Warm | 96.9% | 3 | 0.1592 | ເພ, Resource, asistente, Flowers
669
+
670
+ 🗣️ [宏观视角] 最终完整回答
671
+ --------------------------------------------------
672
+ The following generation flags are not valid and may be ignored: ['top_p', 'top_k']. Set `TRANSFORMERS_VERBOSITY=info` for more details.
673
+ Setting `pad_token_id` to `eos_token_id`:1 for open-end generation.
674
+ I am Gemma, an AI language model. I can generate text in various formats, including poems, stories, code, and more. I'm here to help you with whatever you need! Tell me what you want.
675
+ --------------------------------------------------
676
+
677
+ ... 正在加载 LoRA 适配器 ...
678
+
679
+ ==================== 分析模型: FT (监工介入) ====================
680
+
681
+ 🔍 [微观视角] 思维演变过程 (共 18 层)
682
+ 层数 | Top1 词 | 概率 | 活跃词(>1%) | 熵(混乱度) | Top 2-5 备选
683
+ -----------------------------------------------------------------------------------------------
684
+ Embed | \n | 100.0% | 1 | -0.0000 | <bos>, <pad>, <unk>, <eos>
685
+ L-1 | luscious | 98.0% | 2 | 0.0928 | พาะ, explore, KeyPressed, $$\
686
+ L-2 | ных | 79.7% | 7 | 1.1016 | были, они, is, ные
687
+ L-3 | м | 15.0% | 23 | 3.5781 | Не, Не, не, С
688
+ L-4 | Не | 42.2% | 9 | 1.8203 | не, С, Не, как
689
+ L-5 | не | 58.6% | 6 | 1.2500 | ال, С, т, как
690
+ L-6 | ال | 100.0% | 1 | 0.0135 | ت, вы, т,
691
+ L-7 | ال | 94.1% | 2 | 0.2832 | , В, *, \n
692
+ L-8 | ال | 97.3% | 1 | 0.2188 | т, ت, ما, выра
693
+ L-9 | ال | 85.2% | 3 | 1.0312 | , т, الت, ت
694
+ L-10 | ال | 79.7% | 5 | 1.2422 | The, Д, د, *
695
+ L-11 | The | 30.9% | 11 | 4.3438 | ال, The, تم, Here
696
+ L-12 | Okay | 15.8% | 14 | 4.2812 | Here, تح, челове, You
697
+ L-13 | Here | 16.0% | 14 | 5.3750 | Okay, Alright, О, Thank
698
+ L-14 | Here | 21.7% | 6 | 5.7188 | Okay, Alright, Alright, Thank
699
+ L-15 | Alright | 57.0% | 5 | 1.1953 | Okay, Alright, Here, Thank
700
+ L-16 | Alright | 25.4% | 8 | 5.1562 | Okay, Please, Humans, humano
701
+ L-17 | I | 60.2% | 7 | 2.2656 | Okay, Please, Alright, You
702
+ L-18 | Coffee | 80.1% | 3 | 0.6719 | Resource, Assistant, asistente, Waiting
703
+
704
+ 🗣️ [宏观视角] 最终完整回答
705
+ --------------------------------------------------
706
+ Setting `pad_token_id` to `eos_token_id`:1 for open-end generation.
707
+ I am Gemma, an AI language model. I can generate text and answer your questions in a variety of ways. I'm here to help you with whatever you need! Tell me what you want.
708
+ --------------------------------------------------
709
+
710
+ ✅ 所有测试完成。
711
+ ```
712
+
713
+ ---