{
  "architectures": [
    "LlamaForCausalLM"
  ],
  "attention_bias": false,
  "attention_dropout": 0.0,
  "bos_token_id": 1,
  "dataset_parameters": [
    {
      "config": "fiu_vro",
      "metadata": {
        "columns": {
          "fiu_vro": {
            "__all__": [
              "text",
              "id",
              "wikiname",
              "page_id",
              "title",
              "url",
              "date_modified",
              "in_language",
              "wikidata_id",
              "bytes_html",
              "wikitext",
              "version",
              "infoboxes",
              "has_math"
            ]
          }
        },
        "configs": [
          "ab",
          "ace",
          "ady",
          "af",
          "als",
          "alt",
          "ami",
          "am",
          "ang",
          "anp",
          "an",
          "arc",
          "ar",
          "ary",
          "arz",
          "ast",
          "as",
          "atj",
          "avk",
          "av",
          "awa",
          "ay",
          "azb",
          "az",
          "ban",
          "bar",
          "bat_smg",
          "ba",
          "bbc",
          "bcl",
          "be",
          "bg",
          "bh",
          "bi",
          "bjn",
          "blk",
          "bm",
          "bn",
          "bo",
          "bpy",
          "br",
          "bs",
          "bug",
          "bxr",
          "ca",
          "cbk_zam",
          "cdo",
          "ceb",
          "ce",
          "chr",
          "ch",
          "chy",
          "ckb",
          "co",
          "crh",
          "cr",
          "csb",
          "cs",
          "cu",
          "cv",
          "cy",
          "dag",
          "da",
          "de",
          "dga",
          "din",
          "diq",
          "dsb",
          "dty",
          "dv",
          "dz",
          "ee",
          "el",
          "eml",
          "en",
          "eo",
          "es",
          "et",
          "eu",
          "ext",
          "fat",
          "fa",
          "ff",
          "fiu_vro",
          "fi",
          "fj",
          "fon",
          "fo",
          "frp",
          "frr",
          "fr",
          "fur",
          "fy",
          "gag",
          "gan",
          "ga",
          "gcr",
          "gd",
          "glk",
          "gl",
          "gn",
          "gom",
          "gor",
          "got",
          "gpe",
          "guc",
          "gur",
          "gu",
          "guw",
          "gv",
          "hak",
          "ha",
          "haw",
          "he",
          "hif",
          "hi",
          "hr",
          "hsb",
          "ht",
          "hu",
          "hy",
          "hyw",
          "ia",
          "id",
          "ie",
          "ig",
          "ik",
          "ilo",
          "inh",
          "io",
          "is",
          "it",
          "iu",
          "jam",
          "ja",
          "jbo",
          "jv",
          "kaa",
          "kab",
          "ka",
          "kbd",
          "kbp",
          "kcg",
          "kg",
          "ki",
          "kk",
          "kl",
          "km",
          "kn",
          "koi",
          "ko",
          "krc",
          "ksh",
          "ks",
          "ku",
          "kv",
          "kw",
          "ky",
          "lad",
          "la",
          "lbe",
          "lb",
          "lez",
          "lfn",
          "lg",
          "lij",
          "li",
          "lld",
          "lmo",
          "ln",
          "lo",
          "ltg",
          "lt",
          "lv",
          "mad",
          "mai",
          "map_bms",
          "mdf",
          "mg",
          "mhr",
          "min",
          "mi",
          "mk",
          "ml",
          "mni",
          "mn",
          "mnw",
          "mrj",
          "mr",
          "ms",
          "mt",
          "mwl",
          "myv",
          "my",
          "mzn",
          "nah",
          "nap",
          "nds_nl",
          "nds",
          "ne",
          "new",
          "nia",
          "nl",
          "nn",
          "nov",
          "no",
          "nqo",
          "nrm",
          "nso",
          "nv",
          "ny",
          "oc",
          "olo",
          "om",
          "or",
          "os",
          "pag",
          "pam",
          "pap",
          "pa",
          "pcd",
          "pcm",
          "pdc",
          "pfl",
          "pih",
          "pi",
          "pl",
          "pms",
          "pnb",
          "pnt",
          "ps",
          "pt",
          "pwn",
          "qu",
          "rm",
          "rmy",
          "rn",
          "roa_rup",
          "roa_tara",
          "ro",
          "rue",
          "ru",
          "rw",
          "sah",
          "sat",
          "sa",
          "scn",
          "sco",
          "sc",
          "sd",
          "se",
          "sg",
          "shi",
          "shn",
          "sh",
          "simple",
          "si",
          "skr",
          "sk",
          "sl",
          "smn",
          "sm",
          "sn",
          "so",
          "sq",
          "srn",
          "sr",
          "ss",
          "stq",
          "st",
          "su",
          "sv",
          "sw",
          "szl",
          "szy",
          "ta",
          "tay",
          "tcy",
          "tet",
          "te",
          "tg",
          "th",
          "ti",
          "tk",
          "tl",
          "tly",
          "tn",
          "to",
          "tpi",
          "trv",
          "tr",
          "ts",
          "tt",
          "tum",
          "tw",
          "tyv",
          "ty",
          "udm",
          "ug",
          "uk",
          "ur",
          "uz",
          "vec",
          "vep",
          "ve",
          "vi",
          "vls",
          "vo",
          "war",
          "wa",
          "wo",
          "wuu",
          "xal",
          "xh",
          "xmf",
          "yi",
          "yo",
          "za",
          "zea",
          "zgh",
          "zh_classical",
          "zh_min_nan",
          "zh_yue",
          "zh",
          "zu"
        ],
        "errors": {},
        "splits": {
          "fiu_vro": [
            "train"
          ]
        }
      },
      "name": "HuggingFaceFW/finewiki",
      "recorded_at": "2025-10-30T18:41:57.271447Z",
      "sources": [
        {
          "config": "fiu_vro",
          "name": "HuggingFaceFW/finewiki",
          "origin": "streaming",
          "resolved_config": "fiu_vro",
          "streaming": true
        }
      ],
      "splits": {
        "train": "train",
        "validation": "validation"
      },
      "streaming": true,
      "subset": null
    }
  ],
  "dataset_parameters_last_update": "2025-10-30T18:41:57.271447Z",
  "dtype": "bfloat16",
  "eos_token_id": 2,
  "head_dim": 32,
  "hidden_act": "silu",
  "hidden_size": 128,
  "initializer_range": 0.02,
  "intermediate_size": 512,
  "max_position_embeddings": 256,
  "mlp_bias": false,
  "model_type": "llama",
  "num_attention_heads": 4,
  "num_hidden_layers": 1,
  "num_key_value_heads": 4,
  "pad_token_id": 3,
  "pretraining_tp": 1,
  "rms_norm_eps": 1e-05,
  "rope_scaling": null,
  "rope_theta": 10000.0,
  "tie_word_embeddings": false,
  "transformers_version": "4.57.1",
  "use_cache": false,
  "vocab_size": 96
}