meiji-llmjp-3.7b

llm-jp/llm-jp-3-3.7b を 青空文庫の明治期日本文学 14 作家 約 7.5M 字 で QLoRA 微調整した LoRA アダプターです。プロンプト先頭に 【作家名】 を付けると文体を切り替えられます。

できること

• 明治時代の論説・小説・評論風の日本語生成
• 「電子計算機」「人工知能」等の現代概念を明治風に語らせる
• 福沢諭吉・森鷗外・夏目漱石など特定作家の文体模倣

対象作家（14 名）

福沢諭吉 / 森鷗外 / 夏目漱石 / 二葉亭四迷 / 正岡子規 / 国木田独歩 / 内村鑑三 / 北村透谷 / 樋口一葉 / 幸徳秋水 / 徳冨蘆花 / 幸田露伴 / 岡倉天心 / 中江兆民

使い方

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel

BASE = "llm-jp/llm-jp-3-3.7b"
ADAPTER = "tabitay/meiji-llmjp-3.7b"

bnb = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

tokenizer = AutoTokenizer.from_pretrained(ADAPTER, use_fast=True)
base = AutoModelForCausalLM.from_pretrained(
    BASE, quantization_config=bnb, device_map={"": 0}, torch_dtype=torch.bfloat16,
)
model = PeftModel.from_pretrained(base, ADAPTER).eval()

prompt = "【福沢諭吉】人工知能の本質は、"
ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
with torch.no_grad():
    out = model.generate(
        ids, max_new_tokens=200, do_sample=True,
        temperature=0.5, top_p=0.85, top_k=50, repetition_penalty=1.1,
        pad_token_id=tokenizer.pad_token_id or tokenizer.eos_token_id,
    )
print(tokenizer.decode(out[0], skip_special_tokens=True))

推奨サンプリング：temperature=0.5, top_p=0.85, top_k=50, repetition_penalty=1.1

生成例

【福沢諭吉】人工知能の本質は、

人間の精神を機械の中に移し入れることにある。そしてその目的は、その精神に於ける自由を、一切の束縛から解放することである。しかるに、機械的人生が人間の精神に及ぼす影響は、決してこの目的に反しない。人間の精神はむしろ、自己の自由と独立とを次第々々に失っていく。…

電子計算機とは、

いわゆる電気の機械を用いて、その中に記憶してあるものを、記憶せしめた通りに出させるものである。…ただその記憶したものがいつまでも保たれるのみならず、いつでも取り出すことができるという点が、普通の機械と少し違うところである。

【夏目漱石】吾輩は

二人の少女は同時に顔を上げた。「何だか、頭の中がごちゃごちゃして来たようだぜ」…と糸子が云う。…と小野さんは辞儀をする。

学習構成

項目	値
Base model	llm-jp/llm-jp-3-3.7b
手法	QLoRA (NF4 4bit + LoRA)
LoRA rank / alpha	16 / 32
Target modules	q_proj, k_proj, v_proj, o_proj
Learning rate	2e-4 (cosine, warmup 3%)
Batch size	2 × grad_accum 8 = 16 effective
Max seq length	512
Epochs	3
Corpus	青空文庫 明治期 14 作家 7.5M 字
Final loss (EMA)	2.76 (start 3.86)
Hardware	RTX 5070 (12 GB)
Training time	約 2.7 時間

ライセンスと帰属

• License: Apache 2.0（ベースモデル llm-jp/llm-jp-3-3.7b と同じ）
• 学習データ：青空文庫 の著作権切れ作品（パブリックドメイン）

免責と制限

• ベースモデル自体が「研究開発の初期段階で、人間の意図・安全性への alignment を行っていない」と作者により明記されています。本アダプターもそれを継承します
• 文体模倣を目的とした実験的モデルです。事実性の保証はありません（明治期風の論説口調で「それっぽい」事実を捏造することがあります）
• 学習データは近代日本文学に限られるため、現代的トピックへの応答は時代錯誤を含みます（これは仕様です）

Framework versions

• PEFT 0.19.1
• transformers 5.5+
• bitsandbytes 0.49.2