llm-jp-3-13b-it: A Fine-tuned model for ELYZA-tasks-100

Overview

This is a fine-tuned llm-jp-3-13b-it model for ELYZA-tasks-100. The model was trained on ELYZA-tasks-100 and the ichikara-instruction dataset.

Usage

Load the model and tokenizer with the following code:

from unsloth import FastLanguageModel

model_id = "tokutsu/llm-jp-3-13b-it"

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name=model_id,
    dtype=None,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

prompt = """### 指示
仕事の熱意を取り戻すためのアイデアを5つ挙げてください。

### 回答
"""

inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
outputs = model.generate(**inputs,
                         max_new_tokens=512,
                         use_cache=True,
                         do_sample=False,
                         repetition_penalty=1.2)
prediction = tokenizer.decode(outputs[0], skip_special_tokens=True).split('\n### 回答')[-1]

Example Output

Here is an example of what the output would look like:

1. 仕事に関連する趣味を持つ: 趣味はストレス解消やリラックス効果があり、仕事へのモチベーションアップにもつながります。例えば、ガーデニングが好きならオフィスで観葉植物を育てたり、料理が得意であれば同僚とランチ会をするなど、自分なりの仕事との接点を見つけてみましょう。
2. 目標設定を行う: 達成可能な目標を立てることで、日々成長していることを実感でき、やりがいも生まれてきます。また、定期的に進捗状況を確認することで、達成感とともにさらなるやる気につながるでしょう。
3. 同僚たちと交流する: 職場での人間関係は、仕事に対する情熱を維持するために重要です。コミュニケーションをとることで、お互いのことを理解し、助け合うことができます。職場のイベントに参加したり、休憩時間には雑談したりして、積極的に周りの人と関わりましょう。
4. 新しいスキルを身につける: スキル向上のための勉強や、新しい資格取得などにより、自分の能力を高めることができます。自己啓発的な活動が、自信や向上心へとつながるかもしれません。
5. 休暇をとってリフレッシュする: 長期休暇をとり、心身ともに休息することは大切なことです。旅行へ行ったり、家族と一緒に過ごしたりすることで気分転換ができ、また新たな気持ちで仕事に取り組むことができるようになります。

Additional Information

The model was trained using LoRA with the following specifications:

Base Model

• The training started with the pre-trained language model llm-jp/llm-jp-3-13b.

Datasets

• ELYZA-tasks-100: A comprehensive dataset covering 100 diverse tasks, enhancing the model's ability to generalize across multiple domains. (link)
• ichikara-instruction: This dataset contains a diverse range of text samples, providing a strong foundation for understanding contextual nuances. (link)

Training Methodology

• PEFT with LoRA: The training employed PEFT (Parameter-Efficient Fine-Tuning) using LoRA (Low-Rank Adaptation), enabling efficient fine-tuning with reduced computational costs while retaining the model's performance. This model was trained with Unsloth and Huggingface's TRL library.

License

This model is licensed under the CC BY-NC-SA 4.0 License. For more details, see the LICENSE file in this repository.

Acknowledgment

This model was developed as part of the LLM course 2024 exercises conducted by the Matsuo-Iwasawa Lab at the University of Tokyo.