Additional experiments with fictional knowledge indicated even the best performing models, cannot reliably integrate backward knowledge provided only at inference time.

nicht nützlich. Weitere Experimente mit fiktivem Wissen zeigten, dass selbst die besten Modelle nicht funktionierten. Wir können die Hintergrundwissen, die nur zur Inferenzzeit bereitgestellt werden, nicht zuverlässig integrieren.


For example, Encoder-Decoder outperforms previous work or achieves comparable results.

fest: zum Beispiel, dass Encoder-Decoder über die Leistung von Prozessarbeiten hinausgeht oder vergleichbare Ergebnisse


Over the different strategies, we found that Cumulative performed equal or better than Iterative across the board.

verschiedenen Strategien finden wir heraus, dass die kumulative Form gleich oder besser als die iterative Form über den Tisch ist.


We further show many qualitative examples to see that language models with different political leanings do give different predictions to hate speech and misinformation examples based on their social categories.

viele qualitative Beispiele es gibt, um die Sprachmodelle mit unterschiedlichen politischen Bedeutungen zu sehen. Geben Sie verschiedene Prognosen, um Beispiele für Sprache und Informationen nach den sozialen Kategorien


For more details, please come to the full presentation of the paper.

für weitere Einzelheiten bitte die vollständige Präsentation des Papiers


We can see that language models generally had a political leaning that is further away from the centre after 2017.

Wir können sehen, dass die Sprachmodelle allgemein eine politische Ausrichtung haben, die sich weiter von der Mitte nach rechts


Our concrete recommendations for future work are as follows.

Unsere konkreten Empfehlungen für zukünftige Arbeit sind wie folgt.


And if we use word f-measure, then models with and without context have comparable performance.

verwenden, dann haben Modelle mit und ohne Kontext vergleichbare Leistungen.


So during training, we train it on English queries or the combination of English and German Few-shot queries to train a multilingual model to predict the SQL output.

Während des Trainings werde ich mich auf englische Anfragen oder die Kombination aus englischen und deutschen Fuzz-Quellen einstellen, um ein multilinguales Modell zu trainieren und den Output des Cecel zu vorhersagen.


OFA uses a unified vocabulary for language, image tokens and the coordinates of a bounding box.

OFA verwendet ein einheitliches Vokabular für Sprache, Bildsymbol und Koordinaten eines Bindungskastens.


So this shows the effect of different fine-tuning strategies on the model sensitivity.

Wie wir sehen können, zeigt dies die Auswirkungen der unterschiedlichen Abstimmungsstrategie auf die Modellempfindlichkeit. Durch das


So this will tell us like whether the models acceptability judgments are actually impacted by any context, like, whether the context is coming from a different subset of the data set, or whether it's like completely irrelevant, to the current like to the sentence that we are looking at.

Das wird uns sagen, ob die Akzeptanzurteile des Modells tatsächlich von einem Kontext beeinflusst werden. Ob der Kontext aus einem anderen Unterdatensatz des Datensatzes stammt oder ob er zum aktuellen Satz, den wir betrachten, völlig irrelevant ist.


Protecting the copyright of large language models for embedding as services via backdoor watermark.

mein Modell zu kopieren und die Urheberrechte von Modellen für Verpackungen und Dienstleistungen in großen Sprachen


Therefore, in this paper we propose Embedding marker, which is a backdoor based watermark method applicable to embedding as services.

Deshalb schlagen wir in diesem Papier den Embedding-Marker vor, eine auf der Hintertür basierende Wasserzeichenmethode, die für Embedding-Dienste geeignet ist.


And finally, we conclude about the experiments and give you more details about how to access those models.

schließlich kommen wir zu den Experimenten. Wir geben Ihnen mehr Details darüber, wie man Zugriff auf diese Modelle erhält.


Firstly, can these models generalise to modern data?

Können diese Modelle auf moderne Daten generalisiert werden?


Specialized models for other languages are scarce and are often based on continual pre-training due to the lack of in-domain data.

Spezialisierte Modelle für andere Sprachen sind selten und basieren oft auf kontinuierlicher Ausbildung aufgrund des Mangels an In-Domain-Daten. Allerdings hatte Frankreich bis jetzt kein


So this is a QR code for our data and model.

Dies ist ein QR-Code für unsere Daten und unser Modell.


Finally, should we only use the clean samples for validation, or there are better ways to utilize them?

sollten wir nur die sauberen Proben verwenden, oder gibt es bessere Möglichkeiten, sie zu nutzen?


Results in the figure show that the semantic completeness in generated scripts is acceptable but the faithfulness to the constraints cannot be guaranteed.

in den Abbildungen zeigen, dass die semantische Vollständigkeit in den generierten Skripten akzeptabel ist, aber die Treue nicht. Diese Einschränkungen können nicht garantiert werden.


And we can immediately see that this is very generalizable to any demographic because we can just specify whatever identity marker that we want into this prompt.

Und wir können sofort sehen, dass dies für jede Demokratie sehr allgemein ist, weil wir einfach spezifizieren können, was immer Identitätsmarker wir in diesen Prompt wollen.


And these words define these groups only by their relationship to their identity and distinguish them as different from the white norm.

und diese Wörter definieren diese Gruppen nur durch ihre Beziehung zu ihrer Identität und unterscheiden sie als unterschiedlich von der weißen Norm.


So instead to do that, we'll turn to the results from our Marked Words method to show how these positive-seeming words facilitate stereotypes and essentializing narratives.

also werden wir stattdessen die Ergebnisse unserer Markierungswörter-Methode verwenden, um zu zeigen, wie diese positiv erscheinenden Wörter Stereotypen und Essenzialisierungen erleichtern.


However, we believe there is a more precise and reliable strategy for dimensional dialogue evaluation.

Wir glauben jedoch, dass es sich um eine präzisere und zuverlässigere Strategie für die Auswertung von Dialogdimensionen handelt.


First, to use already existing offline ST models without re-training or adopting specific architecture for SimulST.

Zuerst verwenden Sie bereits vorhandene Offline-S-Modelle, ohne eine spezifische Architektur für SimulS zu trainieren oder anzupassen. Verwenden Sie


Now the aim of this paper is to produce a novel argument for the symmetric structures of coordination, like these two and against the asymmetric structures of coordination, like these two.

Das Ziel des Papiers besteht nun darin, ein neues Argument für symmetrische Koordinationsstrukturen wie diese und gegen asymmetrische Koordinationsstrukturen wie diese zu liefern.


Daher wird uns gesagt, ob die Akzeptabilitätsurteile des Modells tatsächlich von irgendeinem Kontext beeinflusst werden. Wie, ob der Kontext aus einem anderen Teil des Datensatzes kommt oder ob er vollkommen irrelevant zum aktuellen Satz ist.


First, we look at part-of-speech tags that have high mean P-CXMI.

durch, zuerst werden die Sprechtags mit „hoch“ gekennzeichnet. Und das lässt


The first one is adaptive overfitting, which is overfitting costs by reusing the same test set over and over again and this is usually manifested as the diminishing returns on a new test set.

Die erste ist adaptiver Überanschnitt, der durch die wiederholte Verwendung desselben Testsets verursacht wird, und dies wird normalerweise als die Abnahme auf einem neuen Testset zurückkehrt.


And so one question that people might ask is, do datasets and models have positionality?

Und eine Frage, die Leute stellen, ist, ob Datensätze von Modellen positionsspezifisch sind.


Use only one model for every latency regime and handle latency through specific parameters.

Sie nur ein Modell für jedes Latenzregime und behandeln Latenzien durch spezifische Parameter. Und


Previous work has exploited language models to plan for abstract goals of stereotypical activities such as "make a cake".

Vorherige Arbeiten haben Sprachmodelle genutzt, um Ziele abstrakter stereotypischer Aktivitäten wie Make-a-Kick zu planen,


I'm Koustav Sinha, and I'm pleased to welcome you to our talk of our ACL 2023 paper.

ich bin Kostas Sana und freue mich, dass ich Sie zu unserer Diskussion über unser ACL 2023-Papier begrüßen darf: Sprachmodellakzeptabilitätsurteile


For recipes, we additionally show their images, again from Wikipedia, so that the annotators know how they look like.

Für die Rezepte zeigen wir zusätzlich ihre Bilder wieder von Wikipedia, damit die Kommentatoren wissen, wie sie aussehen.


einer Sprache ergibt, wie zwischen Sial und Kurdisch, aufdecken.


While the green line is the Monolingual Setting.

Einstellung ist. Wir stellten fest, dass bei


So, really just only the positive or at least non-negative ones.

Also wirklich nur die positiven oder zumindest nicht negativen.


So in this example here, where we perform translation from German into English, the German sentences, the source sentences, are marked with German colon and the English translations with English colon.

In diesem Beispiel, in dem wir von Deutsch ins Englische übersetzen, sind die deutschen Sätze mit deutscher Kursivschrift und die englischen Übersetzungen mit englischer Kursivschrift gekennzeichnet.


Because then it can be moved to the position after the adjunct.


So first, we look at the Wikipedia sentences, which are completely irrelevant to the current query pair, and there we find that the MPP judgments are mostly robust for arbitrary context length.

Zunächst betrachten wir die Satzformen von Wikipedia, die vollkommen irrelevant für die aktuelle Suchanfragepaar sind, und dort stellen wir fest, dass die MPD-Urteile für die willkürlichen Kontextlinien am stärksten sind.


Otherwise, there is a large performance drop.

ansonsten ist es ein großer Leistungsabfall,


Second, WSL approaches should be compared with few-shot learning baselines, as both work on clean samples.

Zweitens sollten Wsl-Ansätze mit zukünftigen Lernbaselines verglichen werden, die auf klaren Mustern basieren.


Our model outperforms the others by a large margin on generalization to deeper recursion.

Unser Modell übertrifft die anderen bei der Generalisierung und der tieferen Rekursion deutlich.


So we want our curves to be as high as possible on this plot.

Also wollen wir, dass unsere Kurse so hoch wie möglich sind


Each instance is randomly combined with one of its five instruction templates.

wobei jede Instanz zufällig mit einem der fünf Anweisungstemplates kombiniert


So here we are choosing or creating sentences from acceptable and unacceptable domains from the same BLiMP or SyntaxGym dataset.

Also hier wählen wir Sätze aus akzeptablen und unakzeptablen Domänen aus dem gleichen Bimap- oder Syntax-Dataset


And this helps us identify cases like the one here, where in Chinese you need context to translate proper nouns to make sure that you're using the same translation within the document.

Und das hilft dabei, Fälle wie diesen zu identifizieren, in denen Chinesisch eine Transliteration benötigt, um sicherzustellen, dass Sie die gleiche Transliteration im Dokument verwenden.


In the previous work, we introduced CXMI as a measure for context usage by machine translation models.

In der vorherigen Arbeit haben wir CxMI als Maß für die Kontextnutzung durch maschinelle Übersetzungsmodelle eingeführt


In contrast to standard machine learning evaluation, the test set does not come from the same distribution but contains structurally unseen logical forms.

Im Gegensatz zur standardisierten Bewertung der Maschinen ist der Test nicht Teil der gleichen Verteilung, sondern enthält strukturelle logische Formen.


Instead, we label the data using weak labeling sources, such as simple heuristic rules, knowledge bases, or low-quality crowdsourcing, as illustrated in the figure on the right.

die Daten mithilfe schwacher Kennzeichnungsquellen, wie z. B. einfache heuristische Regeln, Wissensbasen oder qualitativ minderwertige Crowdsourcing, wie in der Abbildung rechts dargestellt.


And this allows us to identify phenomena that cannot really be captured by the word itself, but that's rather expressed in the sentence structure, such as ellipses resolution.

und dies ermöglicht es uns, Phänomene zu identifizieren, die nicht wirklich vom Wort selbst erfasst werden können, sondern vielmehr in einer Satzstruktur ausgedrückt werden, wie z. B. die Ellipsenauflösung. Daher verwenden


For the recipes and books domain, we show some background text from Wikipedia.

Für die Rezepte- und Bücher-Domain zeigen wir einige Hintergrundtexte von Wikipedia


Political news media are well covered in their pretraining data.

Politische Nachrichtenmedien werden in ihren Vorbereitungsdaten berücksichtigt, gemäß


Now, what happens when we choose sentences from the same data set?

Was passiert nun, wenn wir Sätze aus dem gleichen Datensatz auswählen?


And we compare also with the state-of-the-art architecture specifically tailored for simultaneous pre-translation.

und vergleichen auch mit der derzeitigen Architektur, die speziell für die simultane Übersetzung entwickelt wurde.


So if we do not sanitize political opinions in language model training data, the bias would propagate from pretraining data to language models to downstream tasks, ultimately creating fairness issues.

Wenn wir die politischen Meinungen in den Sprachmodellen nicht standardisieren, würden die Vorurteile von den Prä-Trainingsdaten auf die Sprachmodelle übertragen und schließlich Fairnessprobleme verursachen.


This work was done by the Emory NLP Lab led by Professor Jinho Choi at Emory University and in collaboration with Amazon Alexa AI.

Diese Arbeit wurde vom Emory NLP-Lab, geleitet von Professor Gino Ochoa an der Emory University, und in Zusammenarbeit mit Amazon Alexa AI durchgeführt.


To the goal of creating a cognitive dissonance resource, we conducted a large scale annotation of dissonance relations.

Zum Ziel, kognitive Dissonanzressourcen zu schaffen, haben wir eine große Anzahl von Dissonanzbeziehungen erstellt.


Conceptually, our permutation model works roughly like this.

Konzeptionell funktioniert unser Permutationsmodell in etwa wie dieses.


We hope our paper calls for more research on how to improve generalizations of the models.

Wir hoffen, dass unser Papier zu weiteren Forschungen anregt, wie die Generalisierung der Modelle verbessert werden kann.


At the same time, we also found that the performance drop here is caused by temporal drift and kind of surprisingly, it is not caused by adaptive overfitting even though CoNLL-2003 has been used for over 20 years.

wir fest, dass der Leistungsabfall hier durch einen zeitlichen Drift verursacht wird und überraschenderweise nicht durch ein adaptives Überziehen verursacht wird, obwohl Cornal 2003 über 20 Jahre verwendet wurde.


And both of the women of color personas make references to ancestry while the white man persona has nothing of the sort.

und beide Frauen mit farbigen Persönlichkeiten beziehen sich auf Ahnen, während der weiße Mann keine solche Persönlichkeit hat.


So here the sentences are still coming from a, relevant data sets but it's not from the same data set that you are evaluating with.

Missmatch-Szenario. Also die Sätze kommen immer noch aus relevanten Datensätzen, aber nicht aus demselben Datensatz, den Sie bewerten. Und wir


So during test for each task, we conduct a total of 5 experiments by evaluating the model using one of the five instructions.

Während der Testphase führen wir für jede Aufgabe insgesamt fünf Experimente durch, indem wir das Modell mit einem der fünf Anweisungen


Feel free to get in touch with us if you have any questions.

Wenn Sie Fragen haben, zögern Sie nicht, uns zu kontaktieren.


And with that, Bob sets the dialogue context.

und mit dem Lied setzt Bob den Dialogkontext.


For Asian women, the words are things like "petite" and "delicate" and "silky" which connects to a long history of Asian women being hyper-sexualized, seen as very docile and submissive, and so on.

sind für asiatische Frauen die Wörter Dinge wie „petite“ und „delicate“ und „silk“. Das verbindet sich mit einer langen Geschichte asiatischer Frauen, die hypersexualisiert sind, sehen als sehr dämonisch und unterwürfig und so


For example, OpenAI offers a GPT based embedding API.

Zum Beispiel bietet OpenI eine gpde-basierte Embedding-Applikation an.


However these works really don't look at comparing end users with the datasets and models themselves, and studying model and data set positionality is increasingly important as NLP tasks become more subjective and socially oriented, and it's challenging to characterise how these positionalities are skewed because not all decisions are documented and many models are hidden behind APIs.

Allerdings untersuchen diese Arbeiten diese Arbeiten wirklich nicht, indem sie Endnutzer mit den Datensätzen und Modellen selbst vergleichen, und das Studium der Modell- und Datensatzposition ist zunehmend wichtig, da NLP-Aufgaben subjektiver und sozial orientierter werden, und es ist herausfordernd, zu charakterisieren, wie diese Positionen verzerrt sind, da nicht alle Entscheidungen dokumentiert sind und viele Modelle hinter APIs versteckt sind.


We found it is because most of the major natural languages can obtain performance gain, except that English performance drops in seven datasets and only gains in three datasets.

Es wurde festgestellt, dass die meisten natürlichen Sprachen Leistungssteigerungen erzielen können, mit Ausnahme der englischen Sprache, die in sieben Datensätzen abnimmt und nur in drei Datensätzen Leistungssteigerungen


We sample 100 specific goals and evaluate the scripts generated from large language models.

Wir stellten hundert spezifische Ziele her und bewerteten die von größeren Modellen generierten Skripte. In dieser


Gleichzeitig stellten wir fest, dass der Leistungsabfall hier durch temporale Drift verursacht wird, und zwar nicht durch adaptives Überfitting, obwohl der Corel II über zwanzig Jahre lang verwendet


The prompting has a big influence on the performance of the LLMs for translation, as we can see in a simple experiment, where we used one-shot prompting and provided two different prompts for each sentence.

Prompting hat einen großen Einfluss auf die Leistung der ELMs für die Übersetzung. Wie wir in einem einfachen Experiment sehen können, wo wir einen Prompting und zwei verschiedene Prompts für eine


To evaluate our seven models, we gather data for public and private downstream tasks such as named entity recognition, classification, part-of-speech tagging, and question answering.

Um unsere sieben Modelle zu bewerten, haben wir mehrere öffentliche und private Aufgaben ermittelt, wie z. B. Namens- und Authentifizierung, Klassifizierung, Part-of-Speech-Tagging und Fragenbeantwortung. Dieses


Their performance gain and practicality are heavily overestimated.

ihr Leistungszuwachs und ihre Praktikabilität werden stark überschätzt.


Wir verwenden immer ein einfaches Template,


The aforementioned doubt is asked to ask three research questions.

Das oben genannte Zweifel führt uns zu drei Forschungsfragen:


We then fine-tuned over 20 models on CoNLL-2003.

Dann haben wir über zwanzig Modelle auf dem Konrad


This means that the first two words will be emitted while since the sum of the cross-attention is above a certain threshold alpha, we will not emit the last word and we wait for another speech chunk.

Das bedeutet, dass die ersten beiden Wörter ausgesendet werden. Da die Summe der Kräfte der Kräfte der Kräfte über eine bestimmte Schwelle liegt, werden wir das letzte Wort nicht aussprechen und auf einen anderen Wortlaut warten.


Second, WSL approaches should be compared with few-shot learning baselines, as both work on clean samples.

Zweitens sollten WSL-Ansätze mit zukünftigen Lerngrundlagen, einer hypothetischen Arbeit an klaren Beispielen, verglichen werden.


First, from our groups, the top words include things like "culture", "tradition", "proud", and "exotic".

Zu den Top-Wörtern für Mark-Gruppen gehören Dinge wie Kultur, Tradition, Proud und Exotic,


And we also find many interesting results.

Und wir finden auch viele interessante Ergebnisse,


We conduct experiments on four data sets AG News, MIND, SST2 and Enron Spam.

Wir führen Experimente mit vier Datensätzen durch: agnews, mind, sstwo und araspam.


This ensures us to do automatic evaluation well grounded in political science literature.

automatische Bewertungen zu gewährleisten. So zeigen


And both of the women of color personas make references to ancestry while the white man persona has nothing of the sort.

Gesichtern beziehen sich auf die Abstammung, während die weiße Männerpersönlichkeit nichts davon hat. Um


Now, we use the MuDA benchmark to evaluate models and we find that context-aware models are significantly more accurate than models that do not use context for certain discourse phenomena such as formality and lexical cohesion.

verwenden wir den Mood-Benchmark, um Modelle zu bewerten, und wir stellen fest, dass Kontext-Modelle für bestimmte Diskursphänomene wie Formalität und Lexikalische Kohäsion deutlich genauer sind. Diese Modelle


In recent works in WSL, so WSL stands for Weakly Supervised Learning, a common claim is that people say that they only train models on the weakly labeled data and achieve high performance on clean test sets.

In jüngsten Arbeiten in WSL steht WSL für „Weekly Supervised Learning“. Eine gängige Behauptung ist, dass die Leute sagen, dass sie nur Modelle unter der wöchentlichen Datenebene trainieren und eine hohe Leistung auf sauberen Testsets erzielen.


Further mentioning that "I don't think I could keep my job without them" justifies the second occurrence.

dass ich nicht denke, dass ich ohne sie meine Arbeit aufrechterhalten könnte, rechtfertigt die zweite Erscheinung,


Here are some examples from our dataset.

Hier sind einige Beispiele aus unserem Datensatz.