Update README.md
Browse files
README.md
CHANGED
|
@@ -1,33 +0,0 @@
|
|
| 1 |
-
---
|
| 2 |
-
tags:
|
| 3 |
-
- unsloth
|
| 4 |
-
library_name: transformers
|
| 5 |
-
---
|
| 6 |
-
## Llama 3.1 fine-tuning
|
| 7 |
-
```
|
| 8 |
-
## colab usage
|
| 9 |
-
# from huggingface_hub import login
|
| 10 |
-
# login("YOUR_TOKEN")
|
| 11 |
-
|
| 12 |
-
content = """ Mô hình học máy Thuật toán học máy: Từ tập dữ liệu đầu vào, thuật toán học máy rút ra các thông tin liên quan tới dữ liệu, các đặc điểm chung quan trọng.... Từ đó giúp máy tính học cách phân biệt giữa các mẫu dữ liệu khác nhau hoặc nhóm các mẫu dữ liệu thành các cụm nhiều mẫu tương tự nhau"""
|
| 13 |
-
from peft import AutoPeftModelForCausalLM
|
| 14 |
-
from transformers import AutoTokenizer, AutoModelForCausalLM
|
| 15 |
-
import torch
|
| 16 |
-
|
| 17 |
-
model_name = "beyoru/Llama_3.1_ft_MCQ"
|
| 18 |
-
# AutoPeftModelForCausalLM alternative
|
| 19 |
-
model = AutoModelForCausalLM.from_pretrained(model_name)
|
| 20 |
-
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 21 |
-
|
| 22 |
-
inputs = tokenizer(
|
| 23 |
-
[
|
| 24 |
-
alpaca_prompt.format(
|
| 25 |
-
"Tạo một câu hỏi trắc nghiệm dựa trên ngữ cảnh được cung cấp",
|
| 26 |
-
content,
|
| 27 |
-
"",
|
| 28 |
-
)
|
| 29 |
-
], return_tensors = "pt")
|
| 30 |
-
from transformers import TextStreamer
|
| 31 |
-
text_streamer = TextStreamer(tokenizer)
|
| 32 |
-
_ = model.generate(**inputs, streamer = text_streamer, max_length = 412)
|
| 33 |
-
```
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|