Tgergerbhrc/ethonbrain-288m-block512

Ethon Brain — 288M block512 (2026-07-10 checkpoint)

ゼロから学習した小型日本語GPT系デコーダオンリーTransformer(288Mパラメータ)。 コードとトークナイザ・学習/推論パイプラインは GitHub で公開しています: https://github.com/takuyaetwifo/ethonbrain-oss

構成

block=512, n_embd=1280, n_head=20, n_layer=12、BPE語彙 約20,000。

使い方

from huggingface_hub import hf_hub_download
import sys

hf_hub_download("Tgergerbhrc/ethonbrain-288m-block512", "weights.npz", local_dir="model")
hf_hub_download("Tgergerbhrc/ethonbrain-288m-block512", "vocab.json", local_dir="model")

sys.path.insert(0, "model")  # infer.py は上記GitHubリポジトリの model/infer.py を同じ場所に置く
import infer
print(infer.generate_chat("1から5までの数を順番に表示するプログラムを書いて"))

推論は PyTorch 不要の純numpy実装で動きます(infer.py)。

注記

これは開発初期(block512化直後、継続学習・追加ファインチューン前)のチェックポイントです。 本番運用中の後継版(大規模継続事前学習・自己回復学習ループ込み)は非公開です。