evaluation.json

{
  "checkpoint_sha256": "cf33072b154d84a719b2ca89542c1ec148e51350eb0d803bd133465760ebe67e",
  "tokenizer_sha256": "15ac81ff250c7827f071d1df72a2910c7a80360a2c476e14fb12b2e81df56ff6",
  "seed": 1945,
  "historical_test": {
    "tokens": 255178,
    "nll": 4.5591616112304125,
    "perplexity": 95.50337729724261,
    "bytes": 1190148,
    "bits_per_byte": 1.4102684308437439
  },
  "modern_control": {
    "tokens": 343628,
    "nll": 5.157485136919782,
    "perplexity": 173.72700613913426,
    "bytes": 1019052,
    "bits_per_byte": 2.509023463952524
  },
  "historical_bpb_lower_than_modern": true,
  "generations": [
    {
      "prompt": "文明開化とは",
      "text": "文明開化とは、此點に於て無限で、尋常一致したならば、吾々が假令が結合されてゐた。だが結局此事件は、文藝上の事情を除去したからである。これに反して、まだ、すべての秩序から云つても、前述の純眞な意義を要することは、不可解なのである。從つて、此點から見れば、この本質が結合するのに最も簡單なる關係に於ては、文藝上の事情を要した。勿論、換言すれば、全く同じではない。又、いかに、決して言ひ換へれば、その他の事情に因つては、あらゆる事情を",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.009661835748792313,
      "finite_repetition": true
    },
    {
      "prompt": "昭和十年の東京では",
      "text": "昭和十年の東京では、此地に生產するかもしないのである。一五『日曜』と『日曜』が『タカラ·シユ·ホウブランテイ』である。『日曜』は『ラツカビユコフ』である。僕は『キインニカラ·マリジャ』と『マリジャ·マリジャ』を出版されて居る。此地のものは今日初めてゞある。日曜日の『シバドヱーツプ』に於て、讀者諸君が『タカビヤ·サプバ』に於て『スプシモン』を發表したと感",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "吾輩は",
      "text": "吾輩は、此點に於て無聲で聞き及んだのである。斯かる苦鬪を企てたやうな次第である。そして此日の事件が終る迄もなく、暗夜に吾々は火山を秘地から追ひ出したのを想ひ出すのを聞いた。若し此大陸に於ける一切の事件が有らうか?此時に於ては、余は何故に吾吾は如何にそれを汝の爲めに余が命ずるか?此事は、吾吾は餘りに酷白であると信ずるであらうか!此問題は皆我々は思ふ。併しながら我々は火山の事件を信じ得なかつたのである。只我我は此度に於て、如何",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "人工知能とは",
      "text": "人工知能とは全然違つたものだから、それは少しも差支無いから、『これは面白い』と書いてゐる。そして若しこの本が未だ私の生存を果たす爲めに、それを一致したらば、私がその誤解を受けるために、忽ちにして置けば好いだらうか。若しその爲に彼は私の一切を反省しなければならないならば私は自分の力で出來るだけ心懸けた。私はその方が他の人間の爲めに働かされるだらうと想像した。併しそれが出來ないならば、その人が若しその外に私に取つて十分に自分の爲すべき時が來るならば、決して私が何か不信用であるならば、それはどんな苦痛も得られないのである。私の全部から",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    },
    {
      "prompt": "國家の將來は",
      "text": "國家の將來は、此說を第一流で、尋常一致した趣向をも辨へない。若しこの外に見たい。そして、此點に於ては、古い紀行の方でも、まだ見兼ねるものがないが、そこにある、すべての作法は甚だよいと思ふ。ただ、さて此の集には、其の作法を、明かに記さぬと考へ得る。又古人は古人の文章で書いたものであらう。又、異同の名に於ては、文學的のものがあるから、亦、頗る簡單な說明である。併し、單に作者が言はねばならぬ、なぜなら、それを書きつけるのも、尙且、卷二、五、",
      "nonempty": true,
      "no_mojibake": true,
      "repetition_rate": 0.0,
      "finite_repetition": true
    }
  ],
  "automatic_rubric_pass_rate": 1.0
}