Sentence Similarity
sentence-transformers
Safetensors
German
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:51106
loss:AnglELoss
Eval Results (legacy)
text-embeddings-inference
Instructions to use Sami92/multiling-e5-large-instruct-claim-matching with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- sentence-transformers
How to use Sami92/multiling-e5-large-instruct-claim-matching with sentence-transformers:
from sentence_transformers import SentenceTransformer model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching") sentences = [ "Instruct: Retrieve semantically similar text.\nQuery: Medwedew über die Entsendung von NATO-Truppen in die Ukraine: „Die Entsendung von NATO-Truppen auf das Territorium der Ukraine wird den direkten Eintritt dieser Länder in den Krieg bedeuten, worauf wir (Russland) mit (...) reagieren müssen. Es wird eine Weltkatastrophe werden.“", "Dipl.-Pol. Udo Walendy (1927-2022) spricht klare Worte über die machtpolitischen Hintergründe der gegen Deutschland gerichteten Greuelpropaganda und Geschichtsfälschung... Anmerkung: In dem konkreten Fall verbreitete Kohl (alias Henoch Kohn) die Mär vom Zigeuner-Massenmord. Während Walendy noch ungestraft nachfragen konnte, woher denn die angeblichen Opferzahlen stammten, hat man ja bspw. Ursula Haverbeck direkt vor Gericht gezerrt... Der Unterschied war bloß: Es waren ein paar Jahrzehnte dazwischen. Die Geschichtslügen wurden ja zwischenzeitlich strafrechtlich abgesichert und quasi manifestiert. (§130) Beachtenswert ist natürlich der Umstand, daß vermeintlich \"deutsche\" Politiker von Brandt bis Scholz diese (Sieger-Propaganda-) Lügen gebetsmühlenartig wiederholen... EIGENE Politiker?!... MITNICHTEN!", "Der Pharmamafia !!! Um Umsatz und Gewinne für die Zunkunft nicht nur zu sichern, sondern exorbitant zu steigern, gilt es alle gesunden Kinder weltweit, direkt nach der Geburt krank zu spritzen. ‼ HIER WIR IMPFEN NICHT ! Dokumentarfilm ‼ Denn Impfen wirkt, nur halt anders als behauptet. Ganz wichtig ist dabei ist es nach Möglichkeit die Spritzen zur allgemeinen Pflicht zu erklären, denn nur so können die verhindern, daß dieses abschäuliche Treiben, wegen einer ungeimpften Kontrollgruppe, augenscheinlich ist. <URL> <URL>", "UPDATE Nach Angaben des Militärministeriums werden Einheiten des südlichen Militärbezirks, der Luftstreitkräfte und der Marine an den Übungen teilnehmen. Der Zweck der Übungen wird als Reaktion auf Provokationen und Bedrohungen durch westliche Länder bezeichnet. Das bedeutet, dass der südliche Militärbezirk, der ziemlich direkt an der Spezialoperation beteiligt ist, umfassende Übungen zum Einsatz taktischer Atomwaffen als Reaktion auf bestimmte Pläne westlicher Länder durchführen wird. Damit sind natürlich die kürzlich geäußerten Überlegungen zur Entsendung von NATO-Truppen in die Ukraine gemeint. Diese Aussage ist eine ernstzunehmende Steigerung sowohl dessen, was offiziell rhetorisch akzeptabel ist, als auch dessen, was bei den Übungen demonstriert wird. Ebenso wie das, was während dieser Übungen praktiziert wird. Quelle: 136 BRIGADE Abonniere: Übersicht Ukraine ©Ansichten der Kanalbetreiber" ] embeddings = model.encode(sentences) similarities = model.similarity(embeddings, embeddings) print(similarities.shape) # [4, 4] - Notebooks
- Google Colab
- Kaggle
Update README.md
Browse files
README.md
CHANGED
|
@@ -337,22 +337,37 @@ Then you can load this model and run inference.
|
|
| 337 |
```python
|
| 338 |
from sentence_transformers import SentenceTransformer
|
| 339 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 340 |
# Download from the 🤗 Hub
|
| 341 |
model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching")
|
| 342 |
# Run inference
|
| 343 |
-
|
| 344 |
-
|
|
|
|
| 345 |
'Erinnern Sie sich an meinen Beitrag von vorhin über die massiven Cyberausfälle. Verbinden Sie das alles mit dem, was wir seit „Shot Heard Round the World“ am Samstag gesagt haben. BQQM BQQM BQQM BQQM 1776 1776 BRICS',
|
| 346 |
'Heute sind offensichtlich ältere Flugzeuge am Himmel die entweder Turbinen Probleme haben oder schon elektrisch Fliegen... Die ganzen Lügen sind sooo offensichtlich das es schon weh tut sie bewusst zu ignorieren bzw nicht zu erkennen... Ihr wollt die Wahrheit <URL>',
|
| 347 |
]
|
| 348 |
-
|
| 349 |
-
|
| 350 |
-
# [3, 1024]
|
| 351 |
|
| 352 |
# Get the similarity scores for the embeddings
|
| 353 |
-
similarities = model.similarity(
|
| 354 |
-
|
| 355 |
-
# [3, 3]
|
| 356 |
```
|
| 357 |
|
| 358 |
<!--
|
|
|
|
| 337 |
```python
|
| 338 |
from sentence_transformers import SentenceTransformer
|
| 339 |
|
| 340 |
+
def embed_query(texts:list, model):
|
| 341 |
+
return model.encode(sentences=texts,
|
| 342 |
+
prompt="Instruct: Retrieve semantically similar text.\nQuery: ",
|
| 343 |
+
batch_size=32,
|
| 344 |
+
show_progress_bar=True,
|
| 345 |
+
normalize_embeddings=False,
|
| 346 |
+
convert_to_numpy=True,
|
| 347 |
+
device="cuda")
|
| 348 |
+
def embed_documents(texts:list, model):
|
| 349 |
+
return model.encode(sentences=texts,
|
| 350 |
+
batch_size=1024,
|
| 351 |
+
show_progress_bar=True,
|
| 352 |
+
normalize_embeddings=False,
|
| 353 |
+
convert_to_numpy=True,
|
| 354 |
+
device="cuda")
|
| 355 |
+
|
| 356 |
# Download from the 🤗 Hub
|
| 357 |
model = SentenceTransformer("Sami92/multiling-e5-large-instruct-claim-matching")
|
| 358 |
# Run inference
|
| 359 |
+
|
| 360 |
+
queries = ['Die Pentagon-Mitarbeiter wechseln zum Überstundenmodus Internetnutzer stellten fest, dass es in der Gegend, in der sich die Abteilung befindet, einen starken Anstieg der Bestellungen für Pizzalieferungen gab und gleichzeitig die örtlichen Bars leer waren. Zuletzt geschah dies im April, kurz vor und nach dem iranischen Angriff auf Israel. Dann bemerkte The Sun die hohe Auslastung der Pizzerien von Papa Johns mit Bestellungen vom Pentagon. Unsere Website <URL> Unser Kanal auf Englisch <URL>',]
|
| 361 |
+
documents = [
|
| 362 |
'Erinnern Sie sich an meinen Beitrag von vorhin über die massiven Cyberausfälle. Verbinden Sie das alles mit dem, was wir seit „Shot Heard Round the World“ am Samstag gesagt haben. BQQM BQQM BQQM BQQM 1776 1776 BRICS',
|
| 363 |
'Heute sind offensichtlich ältere Flugzeuge am Himmel die entweder Turbinen Probleme haben oder schon elektrisch Fliegen... Die ganzen Lügen sind sooo offensichtlich das es schon weh tut sie bewusst zu ignorieren bzw nicht zu erkennen... Ihr wollt die Wahrheit <URL>',
|
| 364 |
]
|
| 365 |
+
query_embeddings = embed_documents(texts=queries, model=model)
|
| 366 |
+
doc_embeddings = embed_query(texts=documents, model=model)
|
|
|
|
| 367 |
|
| 368 |
# Get the similarity scores for the embeddings
|
| 369 |
+
similarities = model.similarity(query_embeddings, doc_embeddings)
|
| 370 |
+
|
|
|
|
| 371 |
```
|
| 372 |
|
| 373 |
<!--
|