SSSSLM-JP-v1-0.6B

日本語特化の小型言語モデル（Small Language Model）です。スクラッチから学習しました。 小さいし、初めてモデルなのでかなり精度は悪いです。 というかいろいろな制約によりtrain/loss 3.05くらいで止めてるので。大規模な進展があれば次のver出すかもね。 動作確認はvLLMにてRTX 4070 SUPER 12GBでしました。

モデル概要

項目	値
アーキテクチャ	Decoder-only Transformer (LLaMA系)
パラメータ数	~615M (0.6B)
隠れ層次元	1536
レイヤー数	20
アテンションヘッド数	24
FFN次元	4096
語彙サイズ	32,000 (SentencePiece Unigram)
コンテキスト長	1024 tokens
位置エンコーディング	RoPE
活性化関数	SwiGLU
正規化	RMSNorm

学習データ

• 日本語 Wikipedia
• CC-100 (Japanese)
• 青空文庫

学習設定

• フレームワーク: PyTorch + bitsandbytes 8-bit AdamW
• Mixed precision: fp16
• Gradient checkpointing: 有効
• Batch size: 4 × gradient accumulation 16 = effective 64
• Learning rate: 3e-4 (cosine decay + warmup 2000 steps)
• 本バージョン: 25,000 steps（学習途中）

使用方法

注意: 本モデルはテキスト補完モデルです。チャット・指示応答には対応していません。

transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    "soichi1208/SSSSLM-JP-v1-0.6B",
    device_map="auto",
    torch_dtype=torch.float16,
)
tokenizer = AutoTokenizer.from_pretrained("soichi1208/SSSSLM-JP-v1-0.6B")

inputs = tokenizer("日本の歴史について", return_tensors="pt").to(model.device)
output = model.generate(
    **inputs,
    max_new_tokens=256,
    temperature=0.8,
    top_p=0.9,
    do_sample=True,
)
print(tokenizer.decode(output[0], skip_special_tokens=True))

vLLM

vllm serve soichi1208/SSSSLM-JP-v1-0.6B --enforce-eager --max-num-seqs 8

curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"soichi1208/SSSSLM-JP-v1-0.6B","prompt":"日本の歴史について","max_tokens":256}'

制限事項

• チャット・指示応答には対応していません
• 有害・不正確な出力が含まれる可能性があります