evaluation.json

{
  "checkpoint_sha256": "9b587fe3ec360b5b8dbfeaad9f5046c20adf99184341db3a3616c101995967e1",
  "tokenizer_sha256": "c442ae590eed9f9da33bd3bdda3bcd991dde74b3e611fde021b31a6ed4545616",
  "seed": 1945,
  "historical_test": {
    "tokens": 236232,
    "nll": 3.5892717416256836,
    "perplexity": 36.207697763472275,
    "bytes": 1190148,
    "bits_per_byte": 1.0278237160560482
  },
  "modern_control": {
    "tokens": 310227,
    "nll": 3.8791392062800107,
    "perplexity": 48.38254974631413,
    "bytes": 1019052,
    "bits_per_byte": 1.703700109400667
  },
  "historical_bpb_lower_than_modern": true,
  "generations": [
    {
      "prompt": "文明開化とは",
      "text": "文明開化とは何ぞや三一八日本人が如何なる生活をなすかを知らねばなミとくしよくうこ:そのせいくわつおよせいくわつ日本の國土の特色とその生産とに關する事其生活とその生産とに就て、日本といふ國の特徴を述べたいと思ふ。に.こくとくちやうわくに:てんじやうてんわうにんじんじお我が國の天皇が人神よりも御慈ごおんめぐみあたてんじみ心に御惠を與へられたことは、ひとはつたつにんしんごち天兒屋根命が人と類の發達と人身御にまたあまてらすおほみかみおほみねのすくねあまてらすおほ",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "昭和十年の東京では",
      "text": "昭和十年の東京では日銀の正貨準備は二百五十八億乃至三百億圓と計算されてゐたものが、今日は二百四十億乃至三百億圓と計算され、割合は四十九%から四十五%に減少した。此數字は昭和十年六月のドイツの金本位離脫から通貨整理の大綱が確立されたことを指したものであつて、金本位復歸以前の大正十二年六月よりも十三年六月には四十%方低い準備率を示してゐる。だが之れに對して大したことはなく、貿易入超は減退したといふのみで、入超は減退しても其の差額だけ正貨準備が減少したことは、殆ど大して珍らしいことではないはずだ。昭和",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.020576131687242816,
      "finite_repetition": true
    },
    {
      "prompt": "吾輩は",
      "text": "吾輩は茲に本書の完成を見たるが爲めに、他の看過すべからざる新事實を認めたるなり。\n第一章職業とは何ぞや第一章に職業とは何ぞや第一章に職業とは何ぞや第一節職業とは何ぞやと論ずるに先ち先づ以て、今日社會の實狀を觀るに、人の職業といへば直ちに商業を指し、產業といへば直ちに工業を指し又政治といへば直ちに陸海軍を指し、又官省といへば直ちに官廳を意味す。而して現社會の實狀を觀るに、官吏は兎角に高き位置に在りて、自ら社會の表面に立ち、一般社會と密接に連絡する機會より逸し易く、甚しきは職に從事するものゝ爲めに全く勢力を失",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.06854838709677424,
      "finite_repetition": true
    },
    {
      "prompt": "人工知能とは",
      "text": "人工知能とは何ぞや三一八一、一、知能とは何ぞや兒童育の目的兒童知能の發達は知能發達の必要條件として何人も認めざるべからざることなり、兒童の知能はその進むに從ひ發達するものにして、知能の發達は學習によりてのみ出來得ることなり、人智の發達は兒童の知能の發達によるものにして、知能の發達と學習とは相待つべきなり、兒童の知能の發達につきては特に注意せざるべからず。兒童の知能發達と學習とは相待つて注意すべきことなるは勿論ながら、また育的見地より見て重要なることなり、然れども吾人は兒童の知能發達につきては常に學習を尊重すべきものなり、知能發達の程度如何は兒童の學習",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.040590405904059046,
      "finite_repetition": true
    },
    {
      "prompt": "國家の將來は",
      "text": "國家の將來は愈々樂觀を許さぬかの觀があるからである。現在日本に於ける新聞事業の發展振りは、之れを歐洲大戰當時と比較すれば、殆んど隔世の觀があると云へよう。卽ち大戰を契機として日本は一段の飛躍を遂げた、先づ歐洲大戰中は歐洲諸國の新聞社は、歐洲の大半を自國の新聞社に割讓して自國の勢力範圍と目したが、一九一四年には墺國の新聞社を併合して、自國の勢力範圍とした。續いて大戰勃發して聯合國は國際聯盟に加入して、世界を擧げて世界新聞界の重鎭たらんとしてゐたが、時恰も歐洲に於ては英佛露の諸新聞が對立して、戰局は歐洲の天地を覆はしめんとするの形勢にあ",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.003816793893129722,
      "finite_repetition": true
    }
  ],
  "automatic_rubric_pass_rate": 1.0
}