Spaces:
Paused
Paused
Update finetunning.py
Browse files- finetunning.py +2 -0
finetunning.py
CHANGED
|
@@ -28,6 +28,8 @@ model_name = "meta-llama/Meta-Llama-3.1-8B"
|
|
| 28 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 29 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
| 30 |
|
|
|
|
|
|
|
| 31 |
# Завантаження датасета (приклад з використанням датасета wiki_text)
|
| 32 |
# dataset = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
|
| 33 |
# dataset = load_dataset("Aniemore/resd")
|
|
|
|
| 28 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 29 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
| 30 |
|
| 31 |
+
tokenizer.pad_token = tokenizer.eos_token
|
| 32 |
+
|
| 33 |
# Завантаження датасета (приклад з використанням датасета wiki_text)
|
| 34 |
# dataset = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
|
| 35 |
# dataset = load_dataset("Aniemore/resd")
|