thefinalboss commited on
Commit
cbc28b4
·
verified ·
1 Parent(s): eecf854

Checker: redact prompt fragments (sha256+bytes only) in m8v1c_code_audit

Browse files
v3_scale/checker/recount/m8v1c_code_audit/AUDIT_POST_SCALE.md CHANGED
@@ -9,4 +9,4 @@ Vérifié dans le code : u_slow=(x_G−x_mean_G)·W_outG (spiking.py l.342) ; le
9
  ## PROPOSAL_PREDECL_v1c_r1.md (5dfb4805… OK) : PASS comme brouillon (non appliqué, PREDECL inchangé). Biais a posteriori :
10
  A faible-moyen (valeur antérieure, mais choisir A et déroger à la borne basse 0,03 après avoir vu 0,476/0,906 est post hoc) ; B ÉLEVÉ (reprend les mesures 0,48/0,91 hors bornes, régime de fusion ×16-30) ; C le plus faible (bornes et règle inchangées, seul le budget de pré-cal change ; risque : ne pas savoir si on retombe dans les bornes) ; D ÉLEVÉ (bornes redéfinies après observation) ; E faible (règle M8cp1 déjà auditée) mais risque élevé de NON MESURABLE. Remarque : cm (0,906) n'était pas connu à la rédaction.
11
  ## post/ : code PASS, lancement NO-GO
12
- SHA256SUMS 0e8a4fc7… OK (14/14) ; post_v1c.sh 644, non armé ; gen_coherence.py bb214f98 et seen_fresh_gap.py ff58627b = shas épinglés. Fenêtres fc2/fresh_en/fresh_fr/test20k/test_v3 + excl_ctx64 (gap_v1c l.24, 85-106) PASS ; queries à part PASS ; neither_code jamais lu PASS. seen_cov_v1c.json : méthode identique au verdict (l.110-124) + recoupement exact avec seen_trained_audit, désaccord ⇒ NON COMPARABLE : PASS (fichier pas encore produit). Prompt code : plus long verbatim 51 o dans A et l'échantillon (12 espaces + "else:\n" + 16 espaces + "raise ValueError(") ⇒ dépasse le seuil 32 o de Hashing : REMPLACER (règle déterministe, ex. ligne suivante). Écart mineur : fr2 cont / échantillon, Hashing 0 o, Checker 15 o (sous 32, sans effet). Lancement : NO-GO — v1c NON ARMÉ ⇒ post_v1c.sh dirait « RIEN À FAIRE » ; prompt code à remplacer avant tout futur lancement.
 
9
  ## PROPOSAL_PREDECL_v1c_r1.md (5dfb4805… OK) : PASS comme brouillon (non appliqué, PREDECL inchangé). Biais a posteriori :
10
  A faible-moyen (valeur antérieure, mais choisir A et déroger à la borne basse 0,03 après avoir vu 0,476/0,906 est post hoc) ; B ÉLEVÉ (reprend les mesures 0,48/0,91 hors bornes, régime de fusion ×16-30) ; C le plus faible (bornes et règle inchangées, seul le budget de pré-cal change ; risque : ne pas savoir si on retombe dans les bornes) ; D ÉLEVÉ (bornes redéfinies après observation) ; E faible (règle M8cp1 déjà auditée) mais risque élevé de NON MESURABLE. Remarque : cm (0,906) n'était pas connu à la rédaction.
11
  ## post/ : code PASS, lancement NO-GO
12
+ SHA256SUMS 0e8a4fc7… OK (14/14) ; post_v1c.sh 644, non armé ; gen_coherence.py bb214f98 et seen_fresh_gap.py ff58627b = shas épinglés. Fenêtres fc2/fresh_en/fresh_fr/test20k/test_v3 + excl_ctx64 (gap_v1c l.24, 85-106) PASS ; queries à part PASS ; neither_code jamais lu PASS. seen_cov_v1c.json : méthode identique au verdict (l.110-124) + recoupement exact avec seen_trained_audit, désaccord ⇒ NON COMPARABLE : PASS (fichier pas encore produit). Prompt code : plus long verbatim 51 o dans A et l'échantillon (fragment de 51 o : indentation + idiome Python générique ; texte non reproduit, sha256 dans prompt_overlap_recount.json) ⇒ dépasse le seuil 32 o de Hashing : REMPLACER (règle déterministe, ex. ligne suivante). Écart mineur : fr2 cont / échantillon, Hashing 0 o, Checker 15 o (sous 32, sans effet). Lancement : NO-GO — v1c NON ARMÉ ⇒ post_v1c.sh dirait « RIEN À FAIRE » ; prompt code à remplacer avant tout futur lancement.
v3_scale/checker/recount/m8v1c_code_audit/prompt_overlap.py CHANGED
@@ -18,6 +18,6 @@ for p in P["prompts"]:
18
  for part in ("prompt_hex","cont_hex"):
19
  q=bytes.fromhex(p[part])
20
  for k,fp in FILES.items():
21
- n,s=lcs(fp,q); out[f"{p['name']}/{part[:-4]}/{k}"]={"longest":n,"text":s.decode("utf-8","replace") if s else None}
22
- print(p['name'],part,k,n,repr(s),flush=True)
23
  json.dump(out,open("prompt_overlap_recount.json","w"),indent=1,ensure_ascii=False)
 
18
  for part in ("prompt_hex","cont_hex"):
19
  q=bytes.fromhex(p[part])
20
  for k,fp in FILES.items():
21
+ n,s=lcs(fp,q); out[f"{p['name']}/{part[:-4]}/{k}"]={"longest":n,"text_sha256":hashlib.sha256(s).hexdigest() if s else None,"text_bytes":len(s) if s else 0}
22
+ print(p['name'],part,k,n,len(s) if s else 0,flush=True)
23
  json.dump(out,open("prompt_overlap_recount.json","w"),indent=1,ensure_ascii=False)
v3_scale/checker/recount/m8v1c_code_audit/prompt_overlap_recount.json CHANGED
@@ -1,82 +1,102 @@
1
  {
2
  "en1/prompt/corpusA": {
3
  "longest": 24,
4
- "text": "d never had any practice"
 
5
  },
6
  "en1/prompt/sample": {
7
  "longest": 18,
8
- "text": "ing backwards and "
 
9
  },
10
  "en1/cont/corpusA": {
11
  "longest": 25,
12
- "text": " that his father would be"
 
13
  },
14
  "en1/cont/sample": {
15
  "longest": 20,
16
- "text": " he would\nhave been "
 
17
  },
18
  "en2/prompt/corpusA": {
19
  "longest": 27,
20
- "text": " present circumstances, the"
 
21
  },
22
  "en2/prompt/sample": {
23
  "longest": 23,
24
- "text": "r present circumstances"
 
25
  },
26
  "en2/cont/corpusA": {
27
  "longest": 29,
28
- "text": " could see quite well, though"
 
29
  },
30
  "en2/cont/sample": {
31
  "longest": 21,
32
- "text": " consideration for hi"
 
33
  },
34
  "fr1/prompt/corpusA": {
35
  "longest": 27,
36
- "text": "\nvaincre dans une bataille "
 
37
  },
38
  "fr1/prompt/sample": {
39
  "longest": 20,
40
- "text": "e dans une bataille "
 
41
  },
42
  "fr1/cont/corpusA": {
43
  "longest": 19,
44
- "text": "de la quantité de "
 
45
  },
46
  "fr1/cont/sample": {
47
  "longest": 19,
48
- "text": "de la quantité de "
 
49
  },
50
  "fr2/prompt/corpusA": {
51
  "longest": 21,
52
- "text": " se rendaient à leur"
 
53
  },
54
  "fr2/prompt/sample": {
55
  "longest": 21,
56
- "text": " se rendaient à leur"
 
57
  },
58
  "fr2/cont/corpusA": {
59
  "longest": 17,
60
- "text": "interrompait pour"
 
61
  },
62
  "fr2/cont/sample": {
63
  "longest": 15,
64
- "text": " interrompait p"
 
65
  },
66
  "code/prompt/corpusA": {
67
  "longest": 51,
68
- "text": " else:\n raise ValueError("
 
69
  },
70
  "code/prompt/sample": {
71
  "longest": 51,
72
- "text": " else:\n raise ValueError("
 
73
  },
74
  "code/cont/corpusA": {
75
  "longest": 26,
76
- "text": ":\n print()\n "
 
77
  },
78
  "code/cont/sample": {
79
  "longest": 22,
80
- "text": ")\n else:\n pa"
 
81
  }
82
  }
 
1
  {
2
  "en1/prompt/corpusA": {
3
  "longest": 24,
4
+ "text_sha256": "8c2dbb39c8bd6a12fda5a56a9caad6be391c6d3135cbaa85867f95d38ec1518a",
5
+ "text_bytes": 24
6
  },
7
  "en1/prompt/sample": {
8
  "longest": 18,
9
+ "text_sha256": "2e4e3455ccdfe07aa7d5bb8b5ec1f931360c5f2097d488b72725b84747698f05",
10
+ "text_bytes": 18
11
  },
12
  "en1/cont/corpusA": {
13
  "longest": 25,
14
+ "text_sha256": "b8614bd6228f4a5cd3a5edabeb5182d3d6ad0c799f6cfc540e9eeffd7008618d",
15
+ "text_bytes": 25
16
  },
17
  "en1/cont/sample": {
18
  "longest": 20,
19
+ "text_sha256": "4b45fba5dd662ec98f815aa481c8dd6a6a839484eb49799743281b1abf32f5ac",
20
+ "text_bytes": 20
21
  },
22
  "en2/prompt/corpusA": {
23
  "longest": 27,
24
+ "text_sha256": "56b5bef4bf800d555000570d298f5e48484d42566d5768209c2eb1451b58c691",
25
+ "text_bytes": 27
26
  },
27
  "en2/prompt/sample": {
28
  "longest": 23,
29
+ "text_sha256": "0ca3ac8c33dec076e0ba20a38af41ce4253132655a2a73684535fa698d8f27ed",
30
+ "text_bytes": 23
31
  },
32
  "en2/cont/corpusA": {
33
  "longest": 29,
34
+ "text_sha256": "73a92c6105308e1b2c6ff9d963a1e18b8bbdfb3fc22ecef2c29e41035fa9717e",
35
+ "text_bytes": 29
36
  },
37
  "en2/cont/sample": {
38
  "longest": 21,
39
+ "text_sha256": "39ec0fa93497bce8ff709be56ad5baeed8aec9a9ac1fee4408529291be8b9b2b",
40
+ "text_bytes": 21
41
  },
42
  "fr1/prompt/corpusA": {
43
  "longest": 27,
44
+ "text_sha256": "079f065848f33e24bf601681e515b61c725b739ac3fbe2a78c19350095be9a25",
45
+ "text_bytes": 27
46
  },
47
  "fr1/prompt/sample": {
48
  "longest": 20,
49
+ "text_sha256": "25ecd11a66c2dc2531bb621eb288dd0b2eb7ae04e23e06cefecc3606580db4e6",
50
+ "text_bytes": 20
51
  },
52
  "fr1/cont/corpusA": {
53
  "longest": 19,
54
+ "text_sha256": "31c5d067cb50eff7954cef5b49ceb05834eecb6a9c8f181d3b97ed2d0e60bce2",
55
+ "text_bytes": 19
56
  },
57
  "fr1/cont/sample": {
58
  "longest": 19,
59
+ "text_sha256": "31c5d067cb50eff7954cef5b49ceb05834eecb6a9c8f181d3b97ed2d0e60bce2",
60
+ "text_bytes": 19
61
  },
62
  "fr2/prompt/corpusA": {
63
  "longest": 21,
64
+ "text_sha256": "062f69d6f536e075da539e6304ecc6146a87b3eaeb9debf80379dd9d8de3778e",
65
+ "text_bytes": 21
66
  },
67
  "fr2/prompt/sample": {
68
  "longest": 21,
69
+ "text_sha256": "062f69d6f536e075da539e6304ecc6146a87b3eaeb9debf80379dd9d8de3778e",
70
+ "text_bytes": 21
71
  },
72
  "fr2/cont/corpusA": {
73
  "longest": 17,
74
+ "text_sha256": "6b0e3a4fd4b52c807e58b886c8cc106a92716891d8ec0ea1a99366f678bd6622",
75
+ "text_bytes": 17
76
  },
77
  "fr2/cont/sample": {
78
  "longest": 15,
79
+ "text_sha256": "5b031d5f464f4df57ec1cfc30f76038fceb56f56806bb1bcb1ee731750700150",
80
+ "text_bytes": 15
81
  },
82
  "code/prompt/corpusA": {
83
  "longest": 51,
84
+ "text_sha256": "4277a4ab83c67a75bd8c022733c7bedeed3e638ce42292a20eb53c5e84f2eacc",
85
+ "text_bytes": 51
86
  },
87
  "code/prompt/sample": {
88
  "longest": 51,
89
+ "text_sha256": "4277a4ab83c67a75bd8c022733c7bedeed3e638ce42292a20eb53c5e84f2eacc",
90
+ "text_bytes": 51
91
  },
92
  "code/cont/corpusA": {
93
  "longest": 26,
94
+ "text_sha256": "74ada162e62a4c5a5785fad724a1cb0edc0392e444df1709c4fa6be6e18c693e",
95
+ "text_bytes": 26
96
  },
97
  "code/cont/sample": {
98
  "longest": 22,
99
+ "text_sha256": "a881650bf963fb44e66f7581527a520a7c3e0775e9ea7bc70b531354bed68ae3",
100
+ "text_bytes": 22
101
  }
102
  }