satoyutaka/LLM2025_SFT10-iter700

Qwen3-4B-AgentBench-V10-PEFT-Adapters

This repository provides multiple LoRA adapter checkpoints fine-tuned from Qwen/Qwen3-4B-Instruct-2507. Unlike the standard V10 release, these weights are stored in the Hugging Face PEFT format, making them directly compatible with Linux, vLLM, and standard Python Transformers environments.

Iteration Checkpoints

To help find the best balance between silence and intelligence, we provide several checkpoints from the training run:

• /iter700: Early stage. Low hallucination risk.
• /iter300: Mid-early stage (Coming soon).
• /iter500: Mid stage (Coming soon).
• /iter7000: Final stage (Trained to match exact data patterns).

Training Objective

This adapter series is specifically trained for "No-Preamble" structured outputs. The model is trained to start its response directly with { or < characters.

Training Configuration

• Total Samples: ~12,000 (Full dataset)
• Method: LoRA (converted from MLX-LM)
• Base model: Qwen/Qwen3-4B-Instruct-2507

How to use (Transformers)

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_id = "Qwen/Qwen3-4B-Instruct-2507"
adapter_id = "satoyutaka/LLM2025_SFT10_HF"

model = AutoModelForCausalLM.from_pretrained(base_id, device_map="auto")
# Specify the sub-folder for the desired iteration
model = PeftModel.from_pretrained(model, adapter_id, subfolder="iter700")

---

＜日本語訳＞

Qwen3-4B-AgentBench-V10-PEFT-Adapters

このリポジトリは、Qwen/Qwen3-4B-Instruct-2507 をベースとしてファインチューニングされた LoRA アダプターの、各チェックポイントを提供します。

Hugging Face PEFT 形式で保存されているため、vLLM や 標準の Transformers ライブラリを使用する Linux 環境等でそのままロード・マージが可能です。

チェックポイント一覧

「沈黙」と「知能」の最適なバランスを検証できるよう、以下の各段階の重みを用意しています。

• /iter700: 学習初期。過学習（暗記）のリスクが低く、最も安全な推論が期待できます。
• /iter300: 中盤初期（順次追加予定）。
• /iter500: 中盤（順次追加予定）。
• /iter7000: 最終版。学習データのパターンを最も強く反映しています。

学習の特徴

「前置きの完全排除（No-Preamble）」に特化しています。AIは回答の冒頭から直接データ（JSON/XML等）を書き始めるように訓練されています。

使い方 (Transformers / PEFT)

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_id = "Qwen/Qwen3-4B-Instruct-2507"
adapter_id = "satoyutaka/LLM2025_SFT10_HF"

model = AutoModelForCausalLM.from_pretrained(base_id, device_map="auto")
# subfolder に評価したいイテレーションを指定してください
model = PeftModel.from_pretrained(model, adapter_id, subfolder="iter700")