evaluation.json

{
  "checkpoint_sha256": "58594d52bfec2dcbc94d8faa569579bc6d489f1a0afa91181f77a9e427e6b642",
  "tokenizer_sha256": "285c9629a44871f6822453f7a5559b3f46c6b5b643310868035b640564475250",
  "seed": 1945,
  "historical_test": {
    "tokens": 239359,
    "nll": 3.3371582029457074,
    "perplexity": 28.13904751256167,
    "bytes": 1190148,
    "bits_per_byte": 0.9682781352345962
  },
  "modern_control": {
    "tokens": 306830,
    "nll": 3.693451552249165,
    "perplexity": 40.18330264493536,
    "bytes": 1019052,
    "bits_per_byte": 1.6043843611561688
  },
  "historical_bpb_lower_than_modern": true,
  "generations": [
    {
      "prompt": "文明開化とは",
      "text": "文明開化とは全く別物で、我國で西洋諸國の文明開化を學んだのぢやが、西洋諸國が我國より先きに開化したとは言へぬ、我れも文明開化には後れを取つた方ぢやから、西洋諸國をも凌駕したとは思はれぬが、其の後れを取つたは西洋諸國文明開化の本家本元だ、此本家本元たる英國の文明開化を學んだのぢやから、其の前には矢張り前とは別物ぢやと思ひ玉ふかも知れぬ、ナニ我れも野蠻未開の國に生れたから、日本でも野蠻未開の國の風が好きと見えると仰せらるかも知れぬ、其れは御勝手ぢや、彼の國",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.02714932126696834,
      "finite_repetition": true
    },
    {
      "prompt": "昭和十年の東京では",
      "text": "昭和十年の東京では七百八十店で六百五十六店、二千六百五十六店が二百六十七店、三百二十四店が三十三店で、千八十店の中百三十七店が賣店になつてゐる。一店の賣上高が平均五人半として全國で東京が二千五百一一十八店、大阪が二千二百五十五店、名古屋が千二百二十六店、靑森が三百三十店、大阪が三百九十六店となり、神戶も四百六十店で靑森が百五十三店、長崎が二百二十店で、京都が二百三十店である。それから東京と大阪の賣上高を總計すると千五百二十三店で全國で千三百",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "吾輩は",
      "text": "吾輩は寧ろ斯の如きことには少しも頓着せぬ方であていつに念信相正\nそのいはれいいづこおいまたむづかいちじるが、其所由を言はゞ、孰れの國に於ても亦難しとしてある。一言に言へおいせかいへいわじんるゐぜんたいくわんかうそのなんびといなば世界の平和人類全體の輿行は、其難しとするところである。人以爲へらく、せかいけいざいけんきうじんるゐぜんたいくわんかうたゞそのかうふく世界經濟の究と人類全體の輿行とは唯其幸福を增すばかりではなくして、そのかうふくえつかうふくせいくわつえうけん",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.026431718061673992,
      "finite_repetition": true
    },
    {
      "prompt": "人工知能とは",
      "text": "人工知能とは比較的に平易に云ひあらはせる言葉であ)86(る。この問題に關しても、マウントは人間の知能の特性は、一定の時代に於ては種々の發達段階に於て現はれるものである、と述べてゐる。人間の知能の發達を決定する諸條件は、種々である。第一は、發達の段階が必ずしも常に同一でないと云ふことである。卽ち、野蠻人の間では、本能的運動がよく發達して居り、狩獵本能が發達するに過ぎない。また文明人に於ては、本能的運動は十分に發達してゐるけれども、知能の發達は甚だ低くて、未だ成熟期に達してをらない、と說いてゐる。第二は、心的諸能力は發達の程度を異に",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "國家の將來は",
      "text": "國家の將來は恐るべき混亂に陷るだらうと痛嘆したものである。かゝる社會運動が現實に現はれるに及んでは、流石のケマル·パシアも默視し難いものがあつたと見えて一策を考案し、早速これを政府に建議したのである。それは當時世界に流布された「社會主義者の政策」と稱する宣傳文であつた。これは當時フランスに於て出版された「萬國勞働者同盟」の宣傳文集「社會主義雜誌」から轉載したもので、その一節に次のやうな文字がある。世界の平和は、諸君が平和の爲めに努力する時に保たれる。諸君は將來永遠に平和を確保する爲めに、諸君が平和を目的とする",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    }
  ],
  "automatic_rubric_pass_rate": 1.0
}