NousResearch/CharacterCodex
Viewer • Updated • 15.9k • 409 • 237
How to use Croc-Prog-HF/LoreWeaver-1_full with Transformers:
# Use a pipeline as a high-level helper
# Warning: Pipeline type "summarization" is no longer supported in transformers v5.
# You must load the model directly (see below) or downgrade to v4.x with:
# 'pip install "transformers<5.0.0'
from transformers import pipeline
pipe = pipeline("summarization", model="Croc-Prog-HF/LoreWeaver-1_full") # Load model directly
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
tokenizer = AutoTokenizer.from_pretrained("Croc-Prog-HF/LoreWeaver-1_full")
model = AutoModelForSeq2SeqLM.from_pretrained("Croc-Prog-HF/LoreWeaver-1_full")LoreWeaver-1_full è un modello LLM derivato dall'unione dei pesi di LoreWeaver-1_adapted(non disponibile), che è stato addestrato specificatamente a riassumere testi di episodi e fumetti della categoria Anime.
Si è dimostrato efficente dal punti di vista qualitativo nel riassunto di testi di un range tra le 10 e 40 frasi(150 - 1.000 token, considerando il tokenizer SentencePiece con circa 32.128 token). La qualità però può diminuire quando le frasi inziano a scendere sotto gli 80 tokens(circa 6,5 frasi). Per quanto riguarda il limite massimo, LoreWeaver-2, inizia a mostrare perdite di detttagli con frasi sopra i 2.300 tokens(circa 59 frasi).
Base model
Croc-Prog-HF/LoreWeaver-1_adapted