evaluation.json

{
  "checkpoint_sha256": "06cd0011428cf91a195ac539b741b0dd2c381a880a7737d4a2a439f18c8650ae",
  "tokenizer_sha256": "c442ae590eed9f9da33bd3bdda3bcd991dde74b3e611fde021b31a6ed4545616",
  "seed": 1945,
  "historical_test": {
    "tokens": 236232,
    "nll": 3.46494419581439,
    "perplexity": 31.974675402622342,
    "bytes": 1190148,
    "bits_per_byte": 0.9922212848826386
  },
  "modern_control": {
    "tokens": 310227,
    "nll": 3.8020633139909386,
    "perplexity": 44.79351229053995,
    "bytes": 1019052,
    "bits_per_byte": 1.6698487317773891
  },
  "historical_bpb_lower_than_modern": true,
  "generations": [
    {
      "prompt": "文明開化とは",
      "text": "文明開化とは何ぞや\n開化か開化ならぬとは何事ぞ?新陳代謝とは何ぞや四「開化とは何ぞや」と云ふ問題は、開化と云ふ語の使用方如何による。又此開化の語の使用方如何による。即ち過去現在未來の三方面あるを、如何に開化とは何んと名くべきかの問題と、其開化の意義如何と云ふの問題と、其開化の結果如何と云ふ問題と、の三者に區別して、究するのが常例である。先づ開化に開化の意義あるとは、先づ開化と云ふ語を使用するときは、其意義に三つの意義がある。即ち開化と開化開化と開化と云ふ二者",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0267857142857143,
      "finite_repetition": true
    },
    {
      "prompt": "昭和十年の東京では",
      "text": "昭和十年の東京では日銀の正貨準備は二百五十八億乃至三百億圓臺と傳へられ、其の上、民間預金や小額資金の預金や貸出が十億圓以上にも達してゐる。だから此の一年間にどれだけの正貨が增加したか、それは全く想像に絕するものがある。それは大正十三年六月末の現在高だけでも、二百三十九億三千五百萬圓、卽ち一ヶ年平均四十六億三千二百萬圓の巨額で、之れに對して銀行預金や、貸出や、諸貸出や、貸出以外の現金が、每月約二十億圓乃至三十億圓宛增加してゐる筈である。假りに日銀の正貨準備が增加しない",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "吾輩は",
      "text": "吾輩は夫を面白がつて居た、だから彼は餘り惡るくいふ權利がない。彼は、そんな事に頓着しなくともよかつた。(彼は或時彼自身を殊更冷靜に監視した。)だから彼は彼自身を\n彼は、父から手紙が來て父を驚かさんやうにと書いたのを聞いた時に、是が、おれは生きて居るがいゝと思ふよりも死んで居る方がいゝと思ふと云つたと書いてやつた。すると父は大怒つて、そんな事は出來ないと云つた。其時、彼は大に閉口して、彼自身は死んだ方がいゝ、生きて居る方がいゝと云ふ外は考へなかつたといふ事を話した。吾輩は夫を面白がつて居た。",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.02083333333333337,
      "finite_repetition": true
    },
    {
      "prompt": "人工知能とは",
      "text": "人工知能とは何ぞや\n美術講話は美術上の技能と自然界の美となり。自然美とは自然の美景に對する觀察によりて成立するものにして美術上の美術はもと人工によりて成立せるものなるに由り美術上の美術は美術史學の基礎となる。美術史學の主旨たる自然美及び人工美を究するは美術史學の本旨とする所なり、抑も美術の歷史的發達は人工美の發達と密接の關係を有す。美術史學は自然美及び人工美を究するものにして、自然其物を究すると等しく美術史學は人工美其物を究するものなり。故に古代に於ける美術の變遷は人工美の發達と密接の關係",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.04583333333333328,
      "finite_repetition": true
    },
    {
      "prompt": "國家の將來は",
      "text": "國家の將來は之を等閑に付するを得ず宜しく大に意を世界の進運と國民精神の振興に注ぐの必要あるを信ず(大正九年四月十二日)海軍制限に關する覺書(大正九年五月四日)(第一)帝國政府は成るべく速に滿洲問題を解決せんことを期し各種の機會に於て帝國政府の主張を明にしたり然るに南滿洲及東部內蒙古に於ける帝國特殊の權益に對しては門戶開放又は占有權等の如く適當なる制限を附し其の適用を我國に要求するに至りたる其の結果現に紛更中に屬せる問題の滿洲に於て生じたるもの亦少なからざるは實に遺憾とする所なり抑も帝國の滿洲に關する主張",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    }
  ],
  "automatic_rubric_pass_rate": 1.0
}