Phi-3.5-mini PC Assistant (English)

中文

简介

这是一个基于 microsoft/Phi-3.5-mini-instruct 微调的本地 PC 助手模型，专注于电脑硬件、软件故障排查和技术问答。

当前版本仅支持英语输入输出。 中文和日语支持正在开发中。

使用方式

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
import torch

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)
base_model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3.5-mini-instruct",
    quantization_config=bnb_config,
    device_map="auto",
)
model = PeftModel.from_pretrained(base_model, "hiko1999/phi-3.5-mini-pc-assistant-en")
tokenizer = AutoTokenizer.from_pretrained("hiko1999/phi-3.5-mini-pc-assistant-en")

prompt = "<|user|>\nWhat is a GPU?<|end|>\n<|assistant|>\n"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=200, use_cache=False)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

原始出处与许可证

项目	来源	许可证
基础模型	microsoft/Phi-3.5-mini-instruct	MIT License
训练数据集	kunishou/databricks-dolly-15k-ja（原始：databricks-dolly-15k）	CC BY-SA 3.0

本模型许可证

本微调模型采用 CC BY-NC-SA 4.0 许可证。

允许个人和研究使用
允许修改和再分发（需注明来源）
不允许商业用途

日本語

概要

microsoft/Phi-3.5-mini-instruct をベースにファインチューニングしたローカル PC アシスタントモデルです。コンピュータハードウェア・ソフトウェアのトラブルシューティングや技術的な質問に特化しています。

現バージョンは英語のみ対応しています。 日本語・中国語対応は開発中です。

原典とライセンス

項目	出典	ライセンス
ベースモデル	microsoft/Phi-3.5-mini-instruct	MIT License
学習データセット	kunishou/databricks-dolly-15k-ja（原典：databricks-dolly-15k）	CC BY-SA 3.0

本モデルのライセンス

本ファインチューニングモデルは CC BY-NC-SA 4.0 ライセンスのもとで公開しています。

個人・研究目的での使用可
改変・再配布可（出典明記が必要）
商用利用不可

English

Overview

A local PC assistant model fine-tuned from microsoft/Phi-3.5-mini-instruct, specialized in computer hardware/software troubleshooting and technical Q&A.

Current version supports English only. Chinese and Japanese support is under development.

Model Details

Item	Detail
Base Model	microsoft/Phi-3.5-mini-instruct
Fine-tuning Method	QLoRA (4-bit NF4 + LoRA r=16)
Training Data	15,015 instruction samples
Training Epochs	3
Final Loss	2.43
Hardware	NVIDIA RTX A5000 16GB