Update README.md
Browse files
README.md
CHANGED
|
@@ -29,8 +29,9 @@ import torch
|
|
| 29 |
import re
|
| 30 |
from collections import Counter
|
| 31 |
|
|
|
|
| 32 |
MODEL_ID = "Sengil/t5-turkish-aspect-term-extractor"
|
| 33 |
-
DEVICE = "cpu"
|
| 34 |
|
| 35 |
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
|
| 36 |
model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_ID).to(DEVICE)
|
|
@@ -67,13 +68,12 @@ def extract_and_rank_aspects(text, max_tokens=64, beams=5):
|
|
| 67 |
for output in outputs
|
| 68 |
]
|
| 69 |
|
| 70 |
-
|
| 71 |
all_terms = []
|
| 72 |
for pred in all_predictions:
|
| 73 |
candidates = re.split(r"[;,–—\-]|(?:\s*,\s*)", pred)
|
| 74 |
all_terms.extend([w.strip().lower() for w in candidates if is_valid_aspect(w)])
|
| 75 |
|
| 76 |
-
# Sıklığa göre sırala
|
| 77 |
ranked = Counter(all_terms).most_common()
|
| 78 |
return ranked
|
| 79 |
|
|
@@ -82,7 +82,7 @@ def extract_and_rank_aspects(text, max_tokens=64, beams=5):
|
|
| 82 |
text = "Artılar: Göl manzarasıyla harika bir atmosfer, Ipoh'un her zaman sıcak olan havası nedeniyle iyi bir klima olan restoran, iyi ve hızlı hizmet sunan garsonlar, temassız ödeme kabul eden e-cüzdan, ücretsiz otopark ama sıcak güneş altında açık, yemeklerin tadı güzel."
|
| 83 |
ranked_aspects = extract_and_rank_aspects(text)
|
| 84 |
|
| 85 |
-
print("
|
| 86 |
for term, score in ranked_aspects:
|
| 87 |
print(f"{term:<15} skor: {score}")
|
| 88 |
````
|
|
@@ -90,7 +90,7 @@ for term, score in ranked_aspects:
|
|
| 90 |
**Output:**
|
| 91 |
|
| 92 |
```
|
| 93 |
-
|
| 94 |
atmosfer skor: 1
|
| 95 |
servis skor: 1
|
| 96 |
restoran skor: 1
|
|
|
|
| 29 |
import re
|
| 30 |
from collections import Counter
|
| 31 |
|
| 32 |
+
#LOAD MODEL
|
| 33 |
MODEL_ID = "Sengil/t5-turkish-aspect-term-extractor"
|
| 34 |
+
DEVICE = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
| 35 |
|
| 36 |
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
|
| 37 |
model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_ID).to(DEVICE)
|
|
|
|
| 68 |
for output in outputs
|
| 69 |
]
|
| 70 |
|
| 71 |
+
|
| 72 |
all_terms = []
|
| 73 |
for pred in all_predictions:
|
| 74 |
candidates = re.split(r"[;,–—\-]|(?:\s*,\s*)", pred)
|
| 75 |
all_terms.extend([w.strip().lower() for w in candidates if is_valid_aspect(w)])
|
| 76 |
|
|
|
|
| 77 |
ranked = Counter(all_terms).most_common()
|
| 78 |
return ranked
|
| 79 |
|
|
|
|
| 82 |
text = "Artılar: Göl manzarasıyla harika bir atmosfer, Ipoh'un her zaman sıcak olan havası nedeniyle iyi bir klima olan restoran, iyi ve hızlı hizmet sunan garsonlar, temassız ödeme kabul eden e-cüzdan, ücretsiz otopark ama sıcak güneş altında açık, yemeklerin tadı güzel."
|
| 83 |
ranked_aspects = extract_and_rank_aspects(text)
|
| 84 |
|
| 85 |
+
print("Sorted Aspect Terms:")
|
| 86 |
for term, score in ranked_aspects:
|
| 87 |
print(f"{term:<15} skor: {score}")
|
| 88 |
````
|
|
|
|
| 90 |
**Output:**
|
| 91 |
|
| 92 |
```
|
| 93 |
+
Sorted Aspect Terms:
|
| 94 |
atmosfer skor: 1
|
| 95 |
servis skor: 1
|
| 96 |
restoran skor: 1
|