| { |
| "checkpoint_sha256": "1f2459a1b5b5c75c6e7c07251b877f6c804500753bb0121b13351933b8a07b03", |
| "tokenizer_sha256": "2c014c2f018dd70ab48d66b59e20c9afc12c5a0dd7b5bbdd48d7b849c4bf1d42", |
| "seed": 1945, |
| "historical_test": { |
| "tokens": 227976, |
| "nll": 3.8551546182072562, |
| "perplexity": 47.23591990992879, |
| "bytes": 1190148, |
| "bits_per_byte": 1.0653798981287268 |
| }, |
| "modern_control": { |
| "tokens": 312194, |
| "nll": 4.243649402704845, |
| "perplexity": 69.66161179549512, |
| "bytes": 1019052, |
| "bits_per_byte": 1.8756087153420742 |
| }, |
| "historical_bpb_lower_than_modern": true, |
| "generations": [ |
| { |
| "prompt": "文明開化とは", |
| "text": "文明開化とは一致せぬものであると。此事は旣に先哲の言の如くである。今日と雖ども尙此思想が繼續し、若くは繼續するならば其間に一種の思想が起り得べしといふに過ぎない。故に此思想は常に一種の人生觀である。然し吾々が之を分析して見ても矢張同じ思想であるから之を分析するには隨分困難である。其困難は容易であるが、困難は容易ならざるものである。而して更に困難が生じて來る。故に之を分析して見ても矢張同じ思想であるから之を分析して見ても矢張同じ思想があるのである。故に之を分析して見ても矢張同じ思想である。故に其困難なる所以は一種", |
| "nonempty": true, |
| "no_mojibake": true, |
| "repetition_rate": 0.15936254980079678, |
| "finite_repetition": true |
| }, |
| { |
| "prompt": "昭和十年の東京では", |
| "text": "昭和十年の東京では、東京日日新聞が發行される時代であつた。同じ新聞は東京市內で發行され、昭和九年一月一日から東京日日新聞は發行されてゐる。その新聞は東京日日新聞と同樣、全國の新聞を參照して、各種の新聞雜誌に載せられた論文も少なくない。然しその內から採つた論文は何れも悉く現在の新聞雜誌に載せられたもので、中には新聞雜誌に關係した者の記するところもあるのである。東京日日新聞發行以前の新聞雜誌雜誌載載(4)東京日日新聞東京日日新聞は明治六七年の頃、主として新聞に主力を注いで發行したもので、當時のわが國における新聞雜誌の最古のものである。明治", |
| "nonempty": true, |
| "no_mojibake": true, |
| "repetition_rate": 0.01520912547528519, |
| "finite_repetition": true |
| }, |
| { |
| "prompt": "吾輩は", |
| "text": "吾輩は敢て「人間」に接したことがない。そして其れは彼が今日あるの因緣である。然し彼の心境は遂に彼に何等の反應なく、彼自らは絕好の機會に乘じて一躍其の業を卒へた。此に於て彼は「人間」に何等の侮蔑をも感じなかつた。彼自身も亦决して「人間」に對して何等の不平をも感じなかつた。彼は自ら卑小な小男だと云つた。而も彼は平然たる凡庸な人間であつた。否彼は全く自己の個性を肯定し、自分自らを卑小な自己として卑小な自己と解した。然し彼には未だ自己より大なる自己が存在しなかつた。彼は自己に對して不", |
| "nonempty": true, |
| "no_mojibake": true, |
| "repetition_rate": 0.01716738197424894, |
| "finite_repetition": true |
| }, |
| { |
| "prompt": "人工知能とは", |
| "text": "人工知能とは全然相反するものなり、斯る時代に於ても自然的現象は依然として存すへきものにして、現代の如き一時的の現象は之れ無くとも自然的現象は依然として存すへく其影響を享有するを得、余は其自然的變動の迹を見て眞に其現象を人間に享受するの方法を知るを得へし、然れども此固有の影響は容易に消滅すへきにあらす、唯其終る所を知りて未た甞て之を享有し得す、其結果たる知るへし、夫れ自然的現象には他の自然的現象と區別する點なきにあらすして、人智より自然に化するを以て目的とすれとも、�", |
| "nonempty": true, |
| "no_mojibake": false, |
| "repetition_rate": 0.03508771929824561, |
| "finite_repetition": true |
| }, |
| { |
| "prompt": "國家の將來は", |
| "text": "國家の將來は非常に深刻である。自分は今日この感を如實に呼び起すは、我々が日夜念願する所である。今にして大東亞戰爭下の今日我日本が東洋平和の安定を理想として邁進し、亞細亞民族のために努力すれば、我が日本が東亞に伸び、我日本が東亞に伸展して世界の平和を維持し得るは勿論、今日の我が國と雖もその目的を達し、皇國の安定が期し得らるるのではないかと確信する次第である。日本が東亞に伸展し、我が日本が一致協力して國際正義、世界平和に協力せむと決心して居る今日、その志業が成就すると否とは永遠に望み", |
| "nonempty": true, |
| "no_mojibake": true, |
| "repetition_rate": 0.008510638297872353, |
| "finite_repetition": true |
| } |
| ], |
| "automatic_rubric_pass_rate": 0.9333333333333333 |
| } |
|
|
