README.md

---
license: mit
language:
- ja
- en
base_model:
- sbintuitions/sarashina2.2-1b
---

EeeTranslation-v1-1Bは、日英翻訳を目的として開発された言語モデルです。[sbintuitions/sarashina2.2-1b](sbintuitions/sarashina2.2-1b)をファインチューニングすることで開発されました。

最大8192トークンのコンテキスト長に対応し、うち4000トークン程度を翻訳したい文章の入力に充てることができます。

**GGUF版はこちら→[EeeLM/EeeTranslation-v1-1B-GGUF](https://huggingface.co/EeeLM/EeeTranslation-v1-1B-GGUF)**

# 使い方
ChatTemplateに対応しており、systemロールに翻訳先の言語を、userロールで翻訳したい文章を入力することで翻訳後の文章が生成されます。
```
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "EeeLM/EeeTranslation-v1-1B"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

target = "Could you explain what a 95% confidence interval is?"
messages = [
    #{"role": "system", "content": "English"} // systemロールに翻訳先言語を日本語、en_US、Japaneseなどの形で入力 systemロールが指定されていない場合は自動で日本語に設定されます。
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=4096
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

content = tokenizer.decode(output_ids, skip_special_tokens=True)

print("content:", content)
// 95%信頼区間とは何ですか？
```

# 学習について
このモデルは[sbintuitions/sarashina2.2-1b](sbintuitions/sarashina2.2-1b)をベースに、5段階の事後学習を実施して作成されました。
1. Qwen/Qwen3-235B-A22B-Instruct-2507によって作成された高品質な日英翻訳ペアを用いてSFT
2. openai/gpt-oss-120bによるllm-as-a-judgeを報酬としたGRPO
3. 1で用いた翻訳ペアに追加データを加えてSFT
4. 2と同様のGRPO
5. 3で用いたものと同様のデータを用い、低い学習率でSFT

# 謝辞
優秀なベースモデルを公開してくださっているSB Intuitions株式会社様、学習用データとして使用したモデルを公開しているQwen様およびOpenAI様に感謝申し上げます。