evaluation.json

{
  "checkpoint_sha256": "4a540e1674b3b0b0f59458fd4b1935a515e55208450540ee8202c465a6846704",
  "tokenizer_sha256": "7ea03df88fa92ea0e00fafa25310d2e47dada9f929207a26d8401f98bbf55f80",
  "seed": 1945,
  "historical_test": {
    "tokens": 256042,
    "nll": 4.815983806228283,
    "perplexity": 123.46822138407731,
    "bytes": 1190148,
    "bits_per_byte": 1.4947542491499677
  },
  "modern_control": {
    "tokens": 343642,
    "nll": 5.492599949777425,
    "perplexity": 242.88788293680233,
    "bytes": 1019052,
    "bits_per_byte": 2.6721596379960464
  },
  "historical_bpb_lower_than_modern": true,
  "generations": [
    {
      "prompt": "文明開化とは",
      "text": "文明開化とは何ぞやをらましやまてならへならめやといひては歌のよまん事にもあらねばなり然ば其論有べしあしき事は前にもいふ如く思ひてあらでは論有べからずよりて論にあしき事はあらねどくはしくは冠辭考にいへり又あしき事は心ともてふ事をあしき事はあるが上に出ずまことなる心とは語を一つに云が如し「言をいはんとておしなべての世をもしろしめやはとゞめ侍りぬ○眞木柱太刀に眞木柱太刀ををゆひひろげたまはんとていませごとなきもの",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "昭和十年の東京では",
      "text": "昭和十年の東京では御在所の御所がございますから、御所は此御所で御出陣の時、先々まで御在所に參りました。それがどうぞ御覽になりまして、此段の御代々々と云ふ風になりますと、それを御覽になりますれば、何時しか御出陣になつた御入陣でございませう。先づ京都は京都でございますが、若しや扨御所の御事一つ御覽になりますので、御所の御出陣の時々を案内せられまして、御所は大阪と云ふのは、御所だとか申す事でございますけれども、此方は京都でございますから、此御所が御家が御出",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.013636363636363669,
      "finite_repetition": true
    },
    {
      "prompt": "吾輩は",
      "text": "吾輩は昔は六十四の年齡で、身體が四十六までに他がなく、一生懸命になつては仕樣がない、と心配してから、あの二三人は暫く私の通りに出會つたが、其晩はもう例年頃から氣にかゝつたけれども何時しか兄は出來なかつた。そして、校長の妻子夫婦は別莊の教師であるといつたやうな言葉だつたが、何故兄は六十四で、兄も兄も兄も兄弟も兄も知つてるけれど、兄には兄も知つてるし、兄は兄にしか考へられなかつた。兄は兄が兄といふよりは兄といふので、兄は不安なもんだ",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "人工知能とは",
      "text": "人工知能とは何ぞや濁音の通ふることなし吾言便用は辭なり一云神語に神語に喩ふべし【持坐の音を和字に用ひて訓をわとよむは音便なり】よりて神語には轉ぜり今俗に唱ふるは語なり後世神語てふ語を心えて轉用の語をいふなりこヽも詞と聞ゆれば事の義別なり神語に神語有神語と書たれば共に語を用ひずりには音便ならず今此音便用に喩ふ語にて一語をつゞけたり【うけていのごとし此語は神",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "國家の將來は",
      "text": "國家の將來は全然別處に起つもあらんや是れ國家の大變なり他に大州及び諸州の諸州と諸州とを併せ州は有せざる可らざる一州は皆聯邦憲法に之につるを得べし、然れども其一州は今も尙憲法に國民政府と國民政府とともに國民政府と國民政府との關する所州政府と國民政府との間に在り、州政府との間に在ては、卽ち聯邦憲法に由て國民政府と諸州とを別ちて之と推し若くは第二十三章第三十三章憲法の解釋斯に類似せる文書を除きては憲法より取れる文書及び文書は憲法の解釋",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.028708133971291905,
      "finite_repetition": true
    }
  ],
  "automatic_rubric_pass_rate": 1.0
}