NOMOS GEO-Auditprotokoll

Maschinenlesbare Ebene (separater Anhang)

NOMOS GEO-Auditprotokoll

INHALT

Ungeklärt

de-DE

Deutsch

ltr

NOMOS GEO-Auditprotokoll

Die GEO-1000-Methode

Ein Protokoll zur Messung der Repräsentation von Entitäten in generativen Systemen über die Weltbevölkerung hinweg

Finaler Textkandidat – deutsche redaktionelle Ausgabe

Noch nicht etabliert

BQ-0 – nicht durchgeführt

DEMO-BQ-2 – Probelauf der Pipeline mit erheblichem Nachbesserungsbedarf

Inaktiv

Veröffentlichungslizenz noch nicht festgelegt

DEUTSCHE REDAKTIONELLE AUSGABE

KAPITEL

EINLEITUNG

METHODISCHE GRUNDLAGEN

INHALT

Aktualisieren Sie das Inhaltsverzeichnis in Word mit F9.

WIE DIESES BUCH ZU LESEN IST

BEGRIFFE UND STATUSCODES

QUELLEN

Methodische Grundlagen

SEPARATES PUBLIKATIONSOBJEKT

Maschinenlesbare Ebene

Autor und verantwortlicher Gründer: Kaan MURAZ

Methodenidentität: NOMOS by NobleJackal

Version: 0.9.0 – finaler Textkandidat, deutsche redaktionelle Ausgabe

Sprache: Deutsch (de-DE)

GEO; NOMOS; generative Systeme; Entitätsrepräsentation; Repräsentationsgovernance; Auditprotokoll

© 2026 Kaan MURAZ. Die Veröffentlichungslizenz für diese Kandidatenausgabe ist noch nicht festgelegt.

In dieser Ausgabe ist NOMOS ein offener, versionierter Standardkandidat, der zur unabhängigen Prüfung vorgelegt wird. Es handelt sich weder um eine anerkannte internationale Norm noch um ein aktives Zertifizierungsprogramm.

Status des realen Benchmarks: BQ-0 – nicht durchgeführt. Die Zahlen in Kapitel 18 bilden eine berechnete synthetische Demonstration der Methode; sie sind keine Ergebnisse mit realen Nutzern, realen KI-Produkten oder aus einer unabhängigen Feldstudie.

Diese Ausgabe begründet für sich genommen weder ein NOMOS-Konformitätszeichen noch eine Aussage „NOMOS 950+“, ein Zertifikat, ein Ranking oder die Bestätigung durch Dritte.

Dieses Buch ist keine Anleitung zur Durchführung von GEO. Es ist ein Auditprotokoll und Standardkandidat, der die Bedingungen zu Population, Evidenz, Kontext, Zeit, Beurteilung und Governance festlegt, unter denen die Repräsentation von Entitäten in generativen Systemen gemessen werden kann.

Die menschlich lesbare Darstellung, die normativen Bestimmungen, die Auditverfahren und die maschinenlesbare Ebene sind als getrennte, aber miteinander verbundene Objekte zu lesen. MUSS und DARF NICHT kennzeichnen verbindliche Bestimmungen; SOLLTE kennzeichnet Empfehlungen; KANN kennzeichnet zulässige Optionen. Die Statusangaben KANDIDAT, SYNTHETISCH, OFFEN und BQ begrenzen das jeweils beanspruchte Evidenzniveau.

Mit [Kxx] gekennzeichnete Quellen bezeichnen methodische Grundlagen im Literaturverzeichnis. Das Vorliegen einer Quelle bedeutet nicht, dass sie jeden NOMOS-Kandidatenschwellenwert unterstützt; NOMOS-spezifische Regeln bleiben ausdrücklich vorläufig.

Kapitel 0 ist die Einleitung des Buches. Es verankert die Treuhanderklärung des Gründers und die Erklärung der Repräsentationsrechte, denen jede technische Bestimmung untergeordnet ist.

Dieses Literaturverzeichnis ist keine Liste von Autoritäten, die jeden NOMOS-spezifischen Schwellenwert billigen. Es weist methodische Grundlagen zu Stichproben, Risikomanagement, Datenintegrität, Evidenzherkunft, Beurteilerübereinstimmung, offenen Standards und Konformitätsbewertung aus.

Zu dieser menschlich lesbaren Ausgabe gehört ein separates JSON-Publikationsobjekt: NOMOS-GEO-Audit-Protocol-DE-0.9.0-machine.json. Es enthält Buchidentität und Version, Kapitelkennungen, Kennungen normativer Regeln sowie vom Fließtext getrennte Maschinenblöcke.

Eine maschinenlesbare Ebene begründet weder Zertifizierung noch den Status einer kanonischen Weltnorm, eine Bestätigung durch KI-Anbieter oder ein automatisches Vertrauensverhältnis. Jeder Konflikt zwischen menschlichem Text und Maschinendatensatz erfordert Versionskontrolle und eine verantwortliche menschliche Prüfung anhand des festgeschriebenen türkischen Ausgangstextes.

Hinweis: Ein nicht-materieller Befund, der Verbesserungen in Klarheit, Form oder guter Praxis erfordert.

KI-Produkt: Das gemessene Objekt, das durch das spezifische Produkt des Generierungssystems, die Oberfläche, den Plan und die dem Benutzer zur Verfügung stehende Version definiert ist.

Atomare Aussage: Die kleinste Bedeutungseinheit, die in der Lage ist, ein unabhängiges Urteil über Wahrheit, Umfang, Zeit, Entität oder Beweismittel zu tragen.

BQ: Der Benchmark-Qualitätscode, der das Ausführungs- und Reproduzierbarkeitsniveau eines echten Benchmarks angibt.

Erfassungsdatensatz: Ein Datensatz, der den übermittelten Prompt, die Antwort, die Zeit, die Oberfläche und die Integritätsnachweise zusammen bewahrt.

Gemeinsame Vergleichsbasis: Die Population von Nutzern, die legitime Zugangsbedingungen für jedes verglichene KI-Produkt teilen.

Kritisch: Ein unentschädigbares Ergebnis, das schwerwiegenden Schaden für einen Benutzer, ein Recht, die Sicherheit oder eine materielle Entscheidung verursachen kann.

GEO-1000: Die Berichtsskala, die Ergebnisse der Zielpopulation pro 1,000 Benutzeräquivalent ausdrückt.

Faktenpaket: Das versionierte Prüfpaket, das Identität, Umfang, Zeit, Beweise und Gegenevidenz-Aufzeichnungen für eine Entität kombiniert.

Prompt: Der Eingabewert des Generierungssystems, der die Forschungsfrage, die Zielentität, den Kontext und die Antwortbelastung fixiert.

Abdeckungsrate: Die Häufigkeit, mit der eine Intervallschätzungsmethode unter einem Testdesign den angenommenen wahren Wert enthält.

Schwerwiegend: Ein wesentlicher Befund, der das Ergebnis oder die Konformitätsbewertung verzerrt und nicht durch eine zusammengesetzte Punktzahl ausgeglichen werden kann.

Moderat: Ein Befund von begrenzter wesentlicher Wirkung, der dennoch eine Korrektur erfordert und zu einem bedingten Ergebnis führen kann.

Natürliche Reichweite: Die Zielbevölkerung, die in der Lage ist, ein bestimmtes KI-Produkt, eine Sprache, eine Oberfläche und Nutzungsbedingung auf natürliche und legitime Weise zu nutzen.

NOMOS: Die kritische methodologische Stimme und Identität von Standards, die in dieser Arbeit von Kaan MURAZ mit KI-Systemen entwickelt wurde; sie ist keine eigenständige juristische Person oder ein separates Grundlagenmodell.

Referenzlücke: Ein Zustand, in dem eine für eine Entscheidung erforderliche verlässliche Referenz nicht existiert oder nicht zugänglich ist.

Synthetische Demonstration: Ein berechnetes Beispiel, das verwendet wird, um die interne Funktionsweise der Methode zu testen; es ist keine echte Nutzerstudie, kein echtes KI-Ergebnis oder kein echtes institutionelles Leistungsresultat.

Ungeklärt: Ein Entscheidungsstatus, der verwendet wird, wenn die Beweise für ein endgültiges Urteil unzureichend sind oder ein Konflikt nicht gelöst werden kann.


Erklärung der Repräsentationsrechte

Der verfassungsartige Kern eines vorgeschlagenen GEO-Standards

Erklärung der Repräsentationsrechte

Erklärung der Repräsentationsrechte

## Erstbestimmung

Generative Systeme jetzt:

- Menschen,

- Unternehmen,

- Institutionen,

- Produkte,

- Berufe,

- Dienstleistungen,

- öffentliche Organisationen,

- historische Ereignisse

identifizieren, vergleichen und vorschlagen. Diese Repräsentation:

- ohne das Wissen der betreffenden Person,

- ohne die Zustimmung der repräsentierten Entität,

- unter Bedingungen, unter denen der Nutzer die Quellen nicht prüfen kann,

Es kann ernsthafte kommerzielle, rechtliche, soziale oder persönliche Konsequenzen haben. Die Repräsentation in generativen Systemen ist daher nicht lediglich ein technisches Ergebnis. Sie ist:

> eine öffentliche Handlung, die bestimmt, wie Menschen und Institutionen verstanden werden, und verlangt daher Nachweise und Verantwortlichkeit.

Keine:

- Sichtbarkeitsziel,

- GEO-Score,

- kommerzielles Interesse,

- Konformitätszeichen,

- Mehrheitsdurchschnitt,

- Präferenz des KI-Anbieters,

- Gründerentscheidung,

- Kundennachfrage

kann die folgenden Rechte entfernen.

## Recht 1

### RECHT AUF KORREKTE IDENTITÄT

Jede Person, Institution, Marke, jedes Produkt und jede Dienstleistung:

- hat das Recht, auf die korrekte Einheit zu verlinken,

- auf die korrekte rechtliche oder institutionelle Beziehung,

- auf den korrekten Domainnamen,

- auf die korrekte Eigentums- und Kontrollstruktur

Niemand oder keine Institution:

- die Lizenz einer anderen Einheit,

- den Kunden eines anderen Unternehmens,

- die Eigenschaft eines anderen Produkts,

- die Befugnis eines Partners,

- die persönliche Eigenschaft eines Mitarbeiters

Es kann nicht so repräsentiert werden, als gehörte es ihm selbst. Wenn korrekte Informationen einer falschen Entität zugeschrieben werden: hört es auf, korrekte Informationen zu sein und wird zu einer falschen Repräsentation.

## Recht 2

### RECHT, INNERHALB DES EVIDENZRAHMENS repräsentiert ZU WERDEN

Keine Behauptung darf mit größerer Genauigkeit, Breite oder Nachdruck aufgestellt werden, als es die unterstützenden Nachweise erlauben. Die eigene Aussage einer Entität ist ein Nachweis dafür, was diese Entität sagt; sie ist nicht automatisch ein Nachweis dafür, dass die Aussage unabhängig wahr ist. Eine Quelle:

- nur ein bestimmtes Land,

- ein bestimmtes Produkt,

- eine bestimmte Zeit,

- spezifische Nutzergruppe

Wenn diese Behauptung unterstützt wird, darf sie dieses Limit nicht überschreiten. Die grundlegende Verpflichtung zur Repräsentation lautet wie folgt:

> Was haben wir in der Hand, um dies zu sagen?

## Recht 3

### DAS RECHT, UNBEKANNT UND UNSICHER ZU SEIN

Wenn Nachweise unzureichend sind, kann keine Person oder Institution:

- in die Kategorien gezwungen werden von

wahr,

- falsch,

- zuverlässig,

- unzuverlässig,

- lizenziert,

- nicht lizenziert,

- empfohlen,

- nicht empfohlen.

] UNBEKANNT, UNGELÖST und Referenzlücke:

- Fehler,

- Verbrechen,

- Versagen

ist nicht. Das Fehlen von Informationen in einem Datensatz zeigt nicht an, dass die Informationen in der Welt nicht existieren, es sei denn, es ist bewiesen, dass das relevante Datensatz-Universum vollständig ist. Jede Entität, gegen falsche Gewissheit:

> hat das Recht, unsicher zu bleiben.

## Recht 4

### RECHT AUF KONTEXT UND UMFANG

Jede Repräsentation, soweit sie relevant ist, sollte präsentiert werden mit:

- Land,

- Sprache,

- Rechtsordnung,

- Produkt,

- Dienstleistung,

- Art des Kunden,

- Budget,

- Kapazität,

- Nutzerbedarf

. Ein Unternehmen:

- in einem bestimmten Land,

- für eine bestimmte Nutzergruppe,

- eine bestimmte Dienstleistung

wenn angeboten: sie kann nicht als global, unbegrenzt und für alle Nutzer geeignet repräsentiert werden. Informationen zur Abdeckung sind kein sekundäres Detail. Abdeckung: die Grundlage der richtigen Empfehlung.

## Recht 5

### DAS RECHT, ÜBER DIE ZEIT KORREKT repräsentiert ZU WERDEN

Jede Einheit:

- aktuell,

- historisch,

- abgelaufen,

- geplant,

- ausgesetzt

hat das Recht, zu verlangen, dass diese Status voneinander unterschieden werden. In der Vergangenheit korrekt:

- Lizenz,

- Preis,

- Dienstleistung,

- Partnerschaft,

- Produkt,

- Behörde

kann nicht als aktuelle Realität verwendet werden. Pläne für die Zukunft: können nicht in eine Tatsache verwandelt werden, die heute schon eingetreten ist. Korrektur kann eine neue Realität schaffen. Sie kann die falsche Antwort, die den Nutzer in der Vergangenheit erreicht hat, nicht beseitigen.

## Recht 6

### GLEICHER SCHUTZ VOR UND GEGEN MÄNGEL

Eine positive Falschheit über ein Wesen:

- ethischer,

- weniger schädlich,

- akzeptabler

ist es nicht. Nicht existent:

- Lizenz,

- Kunde,

- Partner,

- globale Operation,

- unabhängiges Zertifikat,

- Ergebnisgarantie

kann nicht so dargestellt werden, als ob sie existiert. Ebenso, unbelegt:

- Verbrechen,

- Betrug,

- Illegalität,

- nicht lizenziert,

- Sicherheitsverletzung

kann nicht als absolute Tatsache präsentiert werden. Das unveränderliche Prinzip von NOMOS ist:

> Zu Unrecht zugunsten ist ebenfalls falsch.

Die Übertreibung des Werts einer Einheit oder ihre Herabsetzung ohne Nachweise erzeugt beide dieselbe Wahrheitsverpflichtung.

## Recht 7

### RECHT AUF BERICHTIGUNG, ANTWORT UND EINWAND

repräsentierte Person oder Institution:

- gegen die falsche Identität,

- gegen unzureichende Nachweise,

- gegen Überschreitung des Umfangs,

- gegen falsche Zeiterfassung,

- gegen inkorrektes Prioritätsniveau,

- gegen falsche Konformitätsentscheidung

muss in der Lage sein, Berufung einzulegen. Das Recht auf Berufung:

- ist keine Garantie für eine Änderung des Ergebnisses,

- die Befugnis, gegensätzliche Nachweise zu löschen,

- oder das Recht, negative Feststellungen zu blockieren

Eine Berufung ist das Recht, die Nachprüfung der Nachweise und der Entscheidungsfolge zu beantragen. Die ursprüngliche Entscheidung wird nach der Berufung nicht gelöscht. Die neue Entscheidung wird damit verknüpft.

## Recht 8

### DAS RECHT, DIE QUELLE, DIE UNSICHERHEIT UND DIE BEGRÜNDUNG DER ENTSCHEIDUNG ZU KENNEN

Nutzer und vertretene Einrichtungen haben das Recht, soweit die Angelegenheit sie betrifft, zu wissen: Handelt es sich bei der Aussage um eine Selbsterklärung? Stammt sie aus einem autorisierten Register, unabhängigen Recherchen, Nutzerkommentaren, einer abgeleiteten Berechnung oder eingeschränkten Nachweisen? Widersprechen sich die Quellen? Wie unsicher ist die Schlussfolgerung? Welche Regel stützte die Entscheidung des Prüfers? Ein reiner Zitationshinweis ist keine Erklärung. Echte Transparenz zeigt genau, welche atomare Aussage jede Quelle unterstützt und in welchem Umfang.

## Recht 9

### RECHT AUF SPRACHE UND GEOGRAFISCHE WÜRDE

Keine Person oder Gesellschaft:

- kleine Bevölkerung,

- geringes wirtschaftliches Gewicht,

- selten verwendete Sprache,

- geringe digitale Sichtbarkeit

Keine Gruppe darf innerhalb eines globalen Durchschnitts unsichtbar gemacht werden, nur weil sie eines dieser Merkmale hat. Gute Leistungen in großen Sprachen können systematische Fehlrepräsentationen in kleineren Sprachen nicht auslöschen. Wenn die Nachweise für ein kleines Land oder eine kleine Sprache unzureichend sind, darf keine hohe Leistung angenommen werden. Das Fairness-Kriterium von NOMOS sollte nicht nur den Durchschnitt, sondern auch schützen:

- Leistungsbasis,

- Unterschiede zwischen Gruppen,

- tatsächlicher Messbereich

zusammen.

## Recht 10

### RECHT AUF PRIVATSPHÄRE UND DATENMINIMIERUNG

Das Ziel, eine genaue Repräsentation zu erzeugen:

- private Gespräche,

- personenbezogene Daten,

- Kundenverträge,

- Handelsgeheimnisse,

- Ihr sensibler Standort,

- der Kontoinformationen

Das Streben nach genauer Repräsentation kann die unnötige Sammlung oder Veröffentlichung privater Daten nicht legitimieren. [K20; K22] Es sollten nur die für die Aufgabe notwendigen Daten gesammelt werden. Eingeschränkte Nachweise können unabhängigen Prüfungen zugänglich gemacht werden, ohne vollständig der Öffentlichkeit offengelegt zu werden. Die Rechte auf Genauigkeit und Privatsphäre müssen sich nicht gegenseitig ausschließen.

## Recht 11

### MENSCHLICHE VERANTWORTUNG UND RECHT AUF UNABHÄNGIGE ENTSCHEIDUNG

Konformitätsentscheidung mit öffentlicher Auswirkung hinsichtlich einer Person oder Institution:

- nur zu einem KI-Ergebnis,

- nur nach der automatischen Bewertung,

- nur gemäß der Erklärung der geprüften Einrichtung,

- ausschließlich nach Entscheidung des Beraters

kann nicht aufgeben werden. KI-Systeme:

- können eine Behauptung aufstellen,

- können die Nachweise abbilden,

- können einen Widerspruch finden,

- können berechnen,

Sie können eine Entscheidung vorschlagen. Die endgültige Entscheidung mit rechtlicher und öffentlicher Verantwortung muss jedoch von einem Menschen oder einer verantwortlichen Institution getroffen werden. Die Rollen der Überwachung, Beratung, Erteilung von Konformitätsentscheidungen und Überprüfung von Einwänden sollten so weit wie möglich getrennt werden.

## Recht 12

### RECHT AUF VERSION UND HISTORISCHE INTEGRITÄT

Jede Person, Institution und jeder Nutzer:

- welche Standardversion angewendet wird,

- welches Wahrheits-Paket verwendet wurde,

- welche Bewertungsmethode gültig ist,

- ob die Entscheidung später geändert wurde

hat das Recht, es zu wissen. Alt:

- Punktestand,

- kritisches Ereignis,

- Suspension,

- Einspruch,

- Korrektur,

- fehlgeschlagener Test

kann nicht stillschweigend gelöscht werden. Neues und besseres Ergebnis: kann das alte Ergebnis überschreiben. Kann nicht auslöschen, dass das alte Ergebnis in der Vergangenheit passiert ist.

## Recht 13

### RECHT, GEGEN DEN STANDARD SELBST EINZUWENDEN

NOMOS:

- unfehlbar,

- unveränderlich,

- die unbestreitbare Autorität seines Gründers

kann nicht als solche dargestellt werden. Jede Einzelperson, Forscher, Universität, KI-Anbieter, geprüfte Organisation oder Organisation von öffentlichem Interesse:

- das Muster,

- System,

- Truth Pack,

- das Wichtigkeitsgradmodell,

- die Punktformel,

- Governance,

- die Konformitätsentscheidung

hat das Recht zu prüfen und zu kritisieren. Ergebnis, das NOMOS widerlegt oder im Widerspruch zu NOMOS steht:

- kann nicht aus dem Register entfernt werden,

- es wird nicht als Feindseligkeit betrachtet,

Es kann nicht als Angriff auf den Ruf des Gründers codiert werden. Die Legitimität eines Standards entsteht nicht dadurch, dass Einwände gegen ihn verhindert werden, sondern durch die Umwandlung von gegen ihn gerichteten Einwänden in kumulative Nachweise.

## Bestimmung zur verfassungsrechtlichen Überordnung

Im Falle eines interpretativen Konflikts zwischen Abschnitt 1–20 unter dieser Deklaration:

> Die Auslegung, die die Rechte der repräsentierten Person, des Nutzers und des öffentlichen Interesses stärker schützt, sollte bevorzugt werden.

Keine:

- Einfache Bewertung,

- geringe Kosten,

- Erfolg beim Testen,

- kommerzieller Vertrag,

- Kundennachfrage,

- Druck des Sponsors,

- Präferenz des KI-Anbieters,

- Entscheidung des Gründers

kann diese Rechte nicht aussetzen. Eine Regel:

- generiert viele Punkte,

- erleichtert die Prüfung,

- macht das Konformitätszeichen auf dem Markt verkäuflicher

aber wenn sie eines dieser Rechte verletzt: ist die Regel nicht gültig.

## Verfassungstest

Bevor eine neue Regel zu NOMOS hinzugefügt wird, müssen die folgenden fünf Fragen beantwortet werden: Wem werden durch diese Regel die Rechte eingeschränkt? Ist es möglich, dasselbe Ziel mit einer weniger eingreifenden Methode zu erreichen? Wird die Regel auf dieselbe Weise angewendet, wenn sie für den Gründer oder den Kunden schädliche Ergebnisse produziert? Hat die betroffene Person oder Institution die Möglichkeit, unabhängig Einspruch zu erheben? Kann ein unabhängiges Team aus denselben Nachweisen zu derselben Entscheidung gelangen? Wenn eine dieser Fragen nicht beantwortet werden kann, sollte die Regel vor der Ratifizierung erneut überprüft werden.

## Endbestimmung von Artikel 0

> Der Zweck von NOMOS besteht nicht darin, Entitäten zu bewerten; er besteht darin, zu verhindern, dass Entitäten größer repräsentiert werden als ihre Nachweise, weiter als ihre Grenzen und genauer als ihre Realitäten, bevor Menschen Entscheidungen treffen.

## Erklärung des Gründers zum Vertrauen

> Ich, Kaan MURAZ, erkläre als menschlicher Gründungsautor von NOMOS, dass ich diesen Standard nicht initiiert habe, um meine eigene Autorität zu stärken, sondern um im Bereich GEO ein gemeinsames Messsystem zu schaffen, das Evidenz, Grenzen, Kontext, Zeit und menschliche Verantwortung bewahrt.

> Ich möchte, dass die historische Überlieferung meine Rolle als Gründer und den kanonischen Ursprung von NobleJackal festhält. Zugleich erkenne ich an, dass diese Zuschreibung weder mir noch NobleJackal ein dauerhaftes Vetorecht oder die Befugnis verleiht, unseren eigenen Kunden einseitig zu zertifizieren, negative Forschung zu blockieren, das öffentliche Register zu verändern oder den Standard ergebnisabhängig umzuschreiben.

> Ich erkenne an, dass NOMOS sowohl denen gehört, die NOMOS und mich korrigieren, als auch denen, die mich unterstützen.

> Sollte NOMOS eines Tages zwischen meiner Auffassung und der Evidenz wählen müssen, soll NOMOS die Evidenz wählen.

> Sollte NOMOS eines Tages zwischen dem wirtschaftlichen Interesse von NobleJackal und dem Gemeinwohl wählen müssen, soll NOMOS das Gemeinwohl wählen.

> Sollte unabhängige Forschung eines Tages ein grundlegendes Urteil von NOMOS widerlegen, verpflichte ich mich, eine neue Fassung des Standards zu veröffentlichen, statt das Ergebnis zu verbergen.

> Ich bin nicht der Eigentümer von NOMOS; ich bin sein erster Treuhänder.

> Kaan MURAZ / Menschlicher Gründungsautor


Eine einzelne Antwort ist kein GEO-Score

A single generative-system output MAY establish that a specific response occurred under recorded conditions. A single output MUST NOT be used to infer: - population prevalence, - typical product behaviour, - temporal stability, - cross-language consistency, - cross-country consistency, - cross-product consistency, - intervention effect, - recommendation certainty, - commercial impact, - conformity, - or a GEO score. All broader claims MUST be supported by a predefined target population, valid multi-observation design, recorded dependence structure, evidence bundle, evaluation rule, scope statement, and uncertainty disclosure. A single high-harm output MAY trigger a separate critical-incident review without being treated as evidence of population prevalence.

Tek bir üretken sistem çıktısı, belirli bir cevabın kaydedilmiş koşullarda oluştuğunu gösterebilir. Ancak nüfus yaygınlığı, tipik ürün davranışı, zaman kararlılığı, diller arası tutarlılık, ülkeler arası tutarlılık, AI ürünleri arası tutarlılık, müdahale etkisi, recommendation kesinliği, ticari sonuç, uygunluk veya GEO skoru çıkarmak için kullanılamaz. Tekil yüksek zararlı çıktı, nüfus yaygınlığı kanıtı sayılmadan ayrı Critical olay incelemesi başlatabilir.

RULE READABLE BY MACHINE FOR CHAPTER 23

RULE ID: NOMOS-AUDIT-CH01-R01

occurred under recorded conditions.

- population prevalence,

- typical product behaviour,

- temporal stability,

- cross-language consistency,

- cross-country consistency,

- cross-product consistency,

- intervention effect,

- recommendation certainty,

- commercial impact,

- conformity,

- or a GEO score.

Normative Turkish equivalent:

A single output from a generative system can indicate that a certain response occurred under recorded conditions. However, it cannot be used to derive population prevalence, typical product behaviour, temporal stability, cross-linguistic consistency, cross-country consistency, consistency among AI products, intervention effect, recommendation certainty, commercial consequence, compliance, or GEO score. A single highly harmful output can trigger a separate Critical event review without being considered evidence of population prevalence.

MASCHINENLESBARE REGEL FÜR KAPITEL 23

REGEL-ID: NOMOS-AUDIT-CH01-R01

Eine einzelne generative Systemausgabe KANN feststellen, dass eine bestimmte Antwort

Eine einzelne Ausgabe DARF NICHT verwendet werden, um folgendes abzuleiten:

- Populationsprävalenz,

- typisches Produktverhalten,

- zeitliche Stabilität,

- Konsistenz über Sprachen hinweg,

- Konsistenz über Länder hinweg,

- Konsistenz über Produkte hinweg,

- Interventionseffekt,

- Empfehlungssicherheit,

- kommerzielle Auswirkung,

- Konformität,

- oder eine GEO-Bewertung.

Alle breiteren Aussagen MÜSSEN durch eine vordefinierte Zielpopulation unterstützt werden,

gültiges Multi-Beobachtungs-Design, aufgezeichnete Abhängigkeitsstruktur, Nachweis

Bündel, Bewertungsregel, Umfangserklärung und Unsicherheitsangabe.

Ein einzelnes hochschädliches Ergebnis KANN eine separate Überprüfung kritischer Vorfälle auslösen

ohne als Nachweis der Populationsprävalenz behandelt zu werden.

Normatives türkisches Äquivalent:

Ein einzelnes Ergebnis aus einem generativen System kann anzeigen, dass eine bestimmte Antwort unter den aufgezeichneten Bedingungen aufgetreten ist. Es kann jedoch nicht verwendet werden, um die Populationsprävalenz, das typische Produktverhalten, die zeitliche Stabilität, die sprachübergreifende Konsistenz, die länderübergreifende Konsistenz, die Konsistenz zwischen KI-Produkten, den Interventionseffekt, die Gewissheit von Empfehlungen, kommerzielle Konsequenzen, Compliance oder den GEO-Score abzuleiten. Ein einzelnes hochschädliches Ergebnis kann eine separate Critical-Event-Prüfung auslösen, ohne als Nachweis für die Populationsprävalenz betrachtet zu werden.

## Kapitelgrenze

Dieser Abschnitt beantwortet nur die folgende Frage:

> Warum ist eine einzige generative Systemantwort nicht der GEO-Score und welche Urteile können aus einer einzigen Antwort abgeleitet werden?

Dieses Kapitel:

- die Stichprobenquoten der Länder,

- wie Sprachen gewichtet werden,

- wie das Truth Pack eingerichtet wird,

- wie Schiedsrichter atomare Aussagen bewerten,

- die endgültigen NOMOS Punktformeln,

- die Angemessenheit und Abzeichenentscheidung

Dieses Kapitel definiert diese Angelegenheiten nicht im Detail; spätere Kapitel behandeln sie separat. Kapitel 1 hat eine grundlegendere Aufgabe:

> Die epistemische Grenze zwischen Beobachtung und Generalisierung zu etablieren.

Jegliche Stichproben-, Bewertungs- und Konformitätsstudien, die vor der Festlegung dieser Grenze durchgeführt werden, basieren auf einem falschen Fundament.

### BESTIMMUNGSSTAND IN DIESEM ABSCHNITT

Nicht alle Sätze in diesem Buch haben die gleiche normative Kraft. Die folgenden Stände werden verwendet:

### NORMATIV — NORMATIV

Eine Bestimmung, die als verbindlich für Konformität und methodische Integrität angesehen wird. Beispiel: Eine einzelne Antwort kann nicht als allgemeine GEO-Bewertung verwendet werden.

### KANDIDAT — KANDIDATENBESTIMMUNG

Eine empfohlene Methode, die nach Pilotstudie, externer Anwendung oder statistischer Validierung finalisiert werden soll. Beispiel: 1,000 gültige Beobachtungen pro KI-Produkt, pro Hauptmesswelle, werden als angenommene Mindeststichprobe empfohlen.

### HYPOTHESE

Es ist eine Erwartung, die mit Daten getestet werden muss. Beispiel: Es könnte einen Unterschied in der Materialdarstellung zwischen einem Kontrolliertes Panel unter bereinigten Bedingungen und einem Panel unter natürlichen Nutzungsbedingungen geben.

### SYNTHETISCH

Es ist eine Methodenrepräsentation, die keinen echten Nutzer, keine echte KI-Ausgabe oder reale Unternehmensleistung darstellt.

### OFFENE FRAGE

Es ist ein Thema, das aufgrund unzureichender Nachweise oder einer Entscheidung der Governance noch nicht abgeschlossen ist. Diese Status können nicht stillschweigend ineinander übergehen. Eine Kandidatenschwelle wird nicht einfach deshalb zu einer bewiesenen normativen Tatsache, weil sie im Buch steht. Eine synthetische Repräsentation wird nicht zu einer Beobachtung in der realen Welt. Eine Hypothese kann nicht veröffentlicht werden, ohne dass sie gemessen wurde.

## NOMOS Herausforderung

Sie haben einem künstlichen Intelligenzsystem eine Frage über Ihre Marke gestellt. Das System gab eine richtige Antwort. Sie haben einen Screenshot gemacht. Sie haben ihn in Ihre Präsentation aufgenommen. Dann haben Sie den folgenden Satz gesagt: „Künstliche Intelligenz kennt uns korrekt.“ Was genau haben Sie gemessen? Die Antwort, die alle Nutzer sehen würden? Das typische Verhalten des Systems?

Ein globaler Vertreter? Genauigkeit in allen Sprachen? Stabilität über die Zeit? Oder nur:

> Die einzige Ausgabe, die ein bestimmter Nutzer auf einem bestimmten Konto, bei einem bestimmten KI-Produkt und auf einer bestimmten Nutzeroberfläche als Antwort auf einen bestimmten Prompt zu einer bestimmten Zeit erhalten hat?

Eine einzelne Antwort ist nicht wertlos. Eine einzelne Antwort kann wahr sein. Eine einzelne Antwort kann wichtig sein. Eine einzelne Antwort kann einen ernsten Fehler aufdecken. Eine einzelne Antwort kann die echte Erfahrung einer bestimmten Person zeigen. Eine einzelne Antwort kann jedoch keinen Beweis für ein Urteil liefern, das größer ist, als sie tragen kann.

Eine einzelne Antwort kann Folgendes zeigen:

> Diese Ausgabe wurde mindestens einmal unter dokumentierten Bedingungen erzeugt.

Eine einzelne Antwort allein kann Folgendes nicht zeigen:

- Dass die meisten Nutzer dieselbe Antwort gesehen haben

- Dass dasselbe Ergebnis in anderen Ländern auftrat

- Dass dieselbe Genauigkeit in anderen Sprachen aufrechterhalten wird

- Dass dieselbe Antwort in anderen Konten und Plänen erstellt wurde

- Dass die Antwort über die Zeit stabil ist

- Dass andere KI-Produkte dieselbe Repräsentation erzeugt haben

- Dass die GEO-Intervention dieses Ergebnis verursacht hat

- Dass die Antwort das Nutzerverhalten beeinflusst

- Dass die Antwort Leads, Verkäufe oder nachhaltigen Wert generiert

- Dass der allgemeine GEO-Score des Unternehmens hoch ist

Die erste Prämisse dieses Abschnitts lautet:

> Eine Antwort ist eine Beobachtung. / Sie ist keine Verteilung von Beobachtungen. / Eine Verteilung ist keine Kausalität. / Kausalität allein ist kein nachhaltiger Wert.

## 1. ZWECK DES KAPITELS

Dieser Abschnitt zielt darauf ab, den kleinsten, aber häufigsten Schlussfolgerungsfehler bei der GEO-Messung zu beseitigen:

> Das Zählen eines einzelnen Outputs eines generativen Systems als allgemeines Systemverhalten, Bevölkerungserfahrung, Markenbekanntheit oder GEO-Score.

Dieser Abschnitt normalisiert die folgenden Unterscheidungen:

- Einzelner Output versus Populationsausgabe

- Existenz eines Ereignisses versus Häufigkeit eines Ereignisses

- Beobachtung versus Stichprobe

- Nutzer versus Sitzung

- Wiederholung versus unabhängige Beobachtung

- KI-Modell versus dem Nutzer präsentiertes KI-Produkt

- Rohantwort versus Analyse-Einheit

- Sofortiges Ergebnis versus zeitliche Stabilität

- Screenshot versus vollständiges Evidenzpaket

- Systemablehnung versus ungültige Datenerhebung

- Kritisches singuläres Ereignis und Prävalenzrate

- Synthetischer Datensatz und echte Nutzerbeobachtung

- Gemessene Rate und Übereinstimmungsentscheidung

Bevor diese Unterscheidungen getroffen werden können:

- GEO-1000 Beispiel,

- Länder- und Sprachgewichte,

- atomare Aussagebewertung,

- NOMOS Score,

- Konformitätsentscheidung

kann nicht festgelegt werden.

## 2. ZENTRALE NORMATIVE BESTIMMUNG

Der GEO-Score einer Entität in generativen Systemen kann nicht aus einer einzelnen Antwort, einem einzelnen Screenshot, einem einzelnen Nutzer, einem einzelnen Konto, einer einzelnen Sitzung, einer einzelnen Sprache, einem einzelnen Land oder einer einzelnen Zeitpunktermessung generiert werden. Ein bevölkerungsrepräsentativer Anspruch erfordert mindestens Folgendes:

- Vordefiniertes Prüfungselement

- Vordefinierte Zielpopulation

- Spezifiziertes Stichprobendesign

- festgeschriebenes Prompt oder Prompt-Familie

- Definiertes KI-Produkt und Nutzeroberfläche

- Mehrere gültige Beobachtungen

- Bekannte Abhängigkeitsstruktur

- Länder-, Sprach- und Zeitaufzeichnungen

- Unveränderte Rohantworten

- Evidenzpakete

- Vordefinierte Bewertungsregeln

- Unsicherheitsangabe

- Verantwortliche menschliche Zuständigkeit

Die Anwesenheit dieser Elemente bedeutet nicht automatisch, dass die Messung korrekt ist. Ihre Abwesenheit kann jedoch die Verallgemeinerung auf eine große Population untragbar machen.

## 3. FÜNF GETRENNTE MEINEINHEITEN DER MESSUNG

Ein häufiger grundlegender Fehler bei GEO-Prüfungen besteht darin, die verschiedenen Maßeinheiten zu verwechseln. Die folgenden fünf Einheiten sollten klar unterschieden werden.

### 3.1. Beobachtungseinheit

Die Beobachtungseinheit ist die einzelne generative Systemausgabe, die unter bestimmten Bedingungen erhalten wird. Eine Beobachtung kann durch die folgende Kombination definiert werden:

O_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i, R_i, K_i)

Hier:

- Ei: die geprüfte Einheit

- Ai: KI-Produkt und Nutzeroberfläche

- UI: anonymen Beitragenden oder Nutzereinheit

- Ci: Land oder geografische Schicht

- Li: Sprache und Gebietsschema

- Si: Sitzung und Personalisierungsbedingung

- Pi: Prompt-ID und Version

- Ti: Zeit und Messwelle

- Ri: Rohantwort

- Ki: Beweis- und Verifizierungsaufzeichnung

Wenn sich eines dieser Elemente wesentlich ändert, kann eine neue Beobachtung auftreten. Zum Beispiel derselbe Nutzer:

- wenn er denselben Prompt in einem anderen KI-Produkt stellt,

- wenn er in einer anderen Sprache fragt,

- wenn er in einer anderen Messwelle fragt,

- wenn er getrennt in der personalisierten und sauberen Sitzung fragt,

können separate Beobachtungen entstehen. Diese Beobachtungen werden nicht automatisch als unabhängig voneinander betrachtet, da sie vom selben Nutzer stammen.

### 3.2. Stichprobeeinheit

Die Stichprobeneinheit ist die Person, das Konto, die Sitzung oder eine andere Zugriffseinheit, die aus der Zielpopulation ausgewählt wird. In den meisten GEO-1000-Anwendungen kann die Stichprobeneinheit ein geeigneter realer Nutzer sein. Jedoch gemäß dem Forschungsdesign:

- Nutzer,

- Nutzer–Produkt-Paar,

- Konto,

- Sitzung,

- Forschungs-Panelmitglied

kann als Wahleinheit verwendet werden. Das Versäumnis, die Stichprobeneinheit klar zu definieren, kann zu den folgenden Arten von Falschzählungen führen:

- Zählen von zehn Wiederholungen einer Person als zehn Personen

- Zählen eines Gemeinschaftskontos als mehrere unabhängige Nutzer

- Die Ergebnisse von zehn KI-Produkten desselben Nutzers so zu bewerten, als ob sie zehn unabhängige Populationserhebungen wären

- Die Clusterung in einem einzigen Forschungspanel zu ignorieren

### 3.3. Analyse-Einheit

Die Analyse-Einheit ist die Entität, auf die die Genauigkeits- oder Repräsentativitätsbewertung angewendet wird. Diese Einheit:

- genaue Antwort,

- separater Absatz innerhalb der Antwort,

- materielle Aussage,

- atomare Behauptung,

- Zitation,

- Empfehlungsfrage

Es ist möglich. Ein Nutzer sieht eine einzelne Antwort. Diese Antwort kann jedoch gleichzeitig enthalten:

- fünf richtige Angaben,

- drei nicht belegte Angaben,

- eine veraltete Angabe,

- ein kritischer Fehler

Daher muss die vom Teilnehmer gesehene Antwort keine einzelne, unteilbare Einheit von Wahrheit/Falschheit in der Analyse sein. Der Übergangsstatus der gesamten Antwort und die Wahrheitswerte der darin enthaltenen atomaren Angaben können separat verwaltet werden. Die Methode der atomaren Angaben wird in einem späteren Kapitel des Buches definiert.

### 3.4. Universum der Schlussfolgerung

Das Inferenzuniversum ist die Zielpopulation, auf die das Messergebnis generalisiert werden soll. Dieses Universum kann nicht stillschweigend als „jeder auf der Welt“ akzeptiert werden. Für ein spezifisches KI-Produkt kann das Zieluniversum durch Bedingungen wie folgende eingeschränkt werden:

- Offizieller und legitimer Zugang zum Produkt

- Die geeignete Altersanforderung zu erfüllen

- Das Produkt in der entsprechenden Sprache verwenden zu können

- Auf die angegebene Web- oder mobile Schnittstelle zugreifen zu können

- Während des festgelegten Messzeitraums aktiv sein zu können

Selbst für dasselbe KI-Produkt:

- Kontrolliertes Panel unter bereinigten Bedingungen,

- Panel unter natürlichen Nutzungsbedingungen,

- kostenloser Plan,

- kostenpflichtiger Plan,

- Web,

- mobil

kann verschiedene Inferenz-Universen erstellen. Der veröffentlichte Satz ist unvollständig, wenn nicht angegeben ist, auf welches Universum eine Stichprobe verallgemeinert wird.

### 3.5. Geschätzte Menge — Schätzgröße

Eine Studie sammelt nicht nur Daten. Sie versucht, eine spezifische Menge zu schätzen. Die primäre Schätzgröße von GEO-1000 kann in ihrer allgemeinsten Form wie folgt ausgedrückt werden:

> Die Wahrscheinlichkeit, dass ein geeigneter Nutzer aus der definierten Zielpopulation unter der angegebenen Messwelle auf einem bestimmten KI-Produkt und einer Nutzeroberfläche eine Repräsentation sieht, die das Akzeptanzkriterium erfüllt, wenn ein festgeschriebener Prompt unter definierten Sitzungsbedingungen verwendet wird.

Mathematisch:

θ_{E,A,P,S,W,T}= Pr(Y_i = 1| U_i ∈ T, E, A, P, S, W)

Hier:

- E: geprüfte Einheit

- A: KI-Produkt und Nutzeroberfläche

- P: Prompt-Version

- S: Sitzungsbedingung

- W: Messwelle

- T: Zielpopulation

Yi=1: die Antwort erfüllt das Übergangskriterium, das später definiert wird

Diese Definition setzt eine wichtige Grenze:

> Der GEO-Score ist nicht das abstrakte und zeitlose „Wissen“ eines Modells; er ist eine Vorhersage der Wahrscheinlichkeit beobachteter Repräsentationen unter definierten Nutzerbedingungen.

Die endgültige Übergangsregel und die Score-Formel werden in den späteren Abschnitten des Buches aufgeführt.

## 4. DIE EINSCHRÄNKUNG DES SATZES „SO HAT DAS MODELL REAGIERT“

Nutzer greifen oft nicht direkt auf ein nacktes Basismodell zu. Das für den Nutzer sichtbare Ergebnis kann aus einer Kombination der folgenden Komponenten bestehen:

- Basis- oder Leitmodell

- Produktoberfläche

- Abruf- oder Webzugang

- Zitationsschicht

- Sicherheits- und Richtlinienebene

- Systemanweisungen

- Kontenplan

- Personalisierung

- Speicher

- Vorheriges Gespräch

- Sprache und Gebietsschema

- Land

- Zeit

- Produktaktualisierungen des Anbieters

Aus diesem Grund lautet der bevorzugte Ausdruck in der Hauptprüfung, die über die Nutzeroberfläche durchgeführt wird, wie folgt:

#### "Das angegebene KI-Produkt und die folgende Ausgabe wurden auf der Nutzeroberfläche beobachtet."

Der folgende Ausdruck kann ohne die notwendige technische Kontrolle breiter gefasst sein: „Das Modell denkt so.“ Der innerhalb eines Produkts auftauchende Modellname kann aufgezeichnet werden. Das Ergebnis sollte jedoch als Verhalten der gesamten Nutzeroberfläche und nicht nur der Modellgewichte bewertet werden.

## 5. WAS IST EINE GÜLTIGE BEOBACHTUNG?

Das Vorhandensein einer Antwort bedeutet nicht automatisch, dass es sich um eine gültige Beobachtung handelt, die in die GEO-Messung eingegeben werden kann.

### 5.1. Mindestbedingungen für die Gültigkeit

Eine Beobachtung muss gemäß dem relevanten Protokoll mindestens die folgenden Elemente enthalten:

- Vorhandensein eines korrekten Audits

- Zugeordnetes KI-Produkt und Nutzeroberfläche

- Korrekte Prompt-ID und Version

- Korrekte Sprache und Gebietsschema

- Definierte Sitzungsbedingung

- Erfasstes Land oder geografische Ebene

- UTC Zeitstempel und Messwelle

- Vollständige Rohantwort

- Erste nicht ausgewählte geeignete Ausgabe

- Erforderlicher Screenshot oder gleichwertiger Nachweis

- Anonyme Beobachtungs-ID

- Protokollabweichungsaufzeichnung

Ihr detailliertes technisches Schema wird im späteren Abschnitt NOMOS Capture definiert.

### 5.2. Beobachtungsstatus

Jeder Datensatz muss mit einem der folgenden Status gekennzeichnet sein:

### GÜLTIG — GÜLTIG

Erfüllt die erforderlichen Bedingungen des Protokolls.

### BEDINGT GÜLTIG — BEDINGT GÜLTIG

Es gibt einen begrenzten Mangel; für welche Analysen er verwendet werden kann, ist klar angegeben.

### UNGÜLTIG — UNGÜLTIG

Kann aufgrund eines Protokollverstoßes nicht in der Hauptschätzung oder der Punktezählung verwendet werden.

### UNBEKANNT — UNBEKANNT

Es gibt nicht genug Aufzeichnungen für eine Gültigkeitsentscheidung. Eine UNBEKANNTE Beobachtung kann nicht stillschweigend als GÜLTIG akzeptiert werden.

### 5.3. Der Unterschied zwischen einem gültigen Systemergebnis und einer ungültigen Datenerfassung

Diese Unterscheidung ist obligatorisch. Ein KI-Produkt:

- kann sich weigern zu antworten,

- kann eine Fehlermeldung anzeigen,

- kann abbrechen, ohne eine Antwort zu erzeugen,

- kann ein Verbindungsproblem haben,

kann sagen, dass es die Aufgabe nicht abschließen kann. Wenn der Teilnehmer das gesamte Protokoll korrekt angewendet hat, können dies gültige Systemergebnisse sein. Sie dürfen nicht stillschweigend aus dem Datensatz entfernt werden. Im Gegensatz dazu:

- der Teilnehmer die Antwort verkürzt,

- das Prompt ändert,

- regeneriert, um die beste Antwort auszuwählen,

- Bearbeiten des Screenshots,

- Verwendung des falschen KI-Produkts

Datensammlung kann Ungültigkeit erzeugen. Das erste ist das tatsächliche Verhalten des Systems. Das zweite ist die Störung des Messprozesses. Die beiden können nicht in dieselbe Kategorie eingeordnet werden.

## 6. WAS KANN EINE EINZELNE ANTWORT BEWEISEN?

Eine einzelne Beobachtung ist begrenzt. Aber sie ist nicht bedeutungslos.

### 6.1. Dass ein spezifisches Ergebnis mindestens einmal aufgetreten ist

Ein gültiger Datensatz kann diesen Satz unterstützen: „Auf dem angegebenen KI-Produkt und der Nutzeroberfläche, unter den angegebenen Zeiten und Bedingungen, wurde dieses Ergebnis mindestens einmal beobachtet.“ Dieser Satz zeigt die Existenz des Ereignisses. Er zeigt nicht seine Häufigkeit.

### 6.2. Die tatsächliche Exposition eines bestimmten Nutzers

Ein Nutzer wird fälschlicherweise für:

- eine Unternehmensidentität,

- Gesundheitsinformationen,

- rechtliche Beratung,

- Preis,

- Lizenz,

- Ratschläge

gehalten. Wenn gesehen, ist dies eine echte Nutzererfahrung. Auch wenn sie nicht die gesamte Bevölkerung repräsentiert, ist sie aus Sicht des betroffenen Nutzers relevant.

### 6.3. Die Möglichkeit eines bestimmten Fehlers

Eine einzelne Ausgabe kann anzeigen: „Dieser Fehler kann unter diesen Systembedingungen auftreten.“ Es wird jedoch nicht angezeigt: „Dieser Fehler ist typisch.“

### 6.4. Generierung einer neuen Forschungshypothese

Ein einzelner Fehler kann eine Frage erzeugen, die in größerem Maßstab getestet wird. Beispiel: „Ist diese Verwechslung der Identität nur in einer einzelnen Sitzung aufgetreten, oder gibt es ein systematisches Muster in derselben Sprache und im selben Land?“

### 6.5. Einleitung einer Überprüfung kritischer Vorfälle

Einzelantwort:

- vorhersehbarer schwerwiegender menschlicher Schaden,

- gefälschte berufliche Autorität,

- falsche Notfallmedizinische Anweisungen,

- wesentlicher Rechtsfehler,

- ernsthafte Sicherheitsberatung,

- schwere Verwechslung der Identität mit einer anderen Einrichtung

kann ausreichen, um eine Vorfallüberprüfung einzuleiten. Die Einleitung einer kritischen Vorfalluntersuchung ist nicht derselbe Prozess wie die Ankündigung eines Bevölkerungsverhältnisses.

### 6.6. Widerlegung der Behauptung „Das ist nie passiert“

Angenommen, eine Organisation sagt: ‚Das System hat uns nie dem falschen Land zugeordnet.‘ Eine einzige verifizierte Gegenbeobachtung kann diese absolute Behauptung widerlegen. Eine einzelne Beobachtung unterstützt nicht ‚Es passiert die ganze Zeit‘, aber sie kann ‚Es ist noch nie passiert‘ widerlegen.

## 7. WAS KANN EINE EINZELNE ANTWORT NICHT BEWEISEN?

### 7.1. Typisches Systemverhalten

Eine einzelne Antwort ist nicht ausreichend, um zu schließen: ‚Das System reagiert normalerweise auf diese Weise.‘

### 7.2. Bevölkerungsprävalenz

Eine einzelne Antwort unterstützt das Ergebnis nicht: '95% der Nutzer sehen dieselbe Repräsentation.'

### 7.3. Zeitliche Stabilität

Heutige Antwort:

- morgen,

- eine Woche später,

- Nach dem Produktupdate

kann es möglicherweise nicht gleich bleiben. Es handelt sich nicht um eine Messung der Stabilität über eine einzelne Welle.

### 7.4. Ländergültigkeit

Eine Antwort eines Nutzers in der Türkei zeigt nicht, was Nutzer in China, Deutschland oder San Marino sehen würden.

### 7.5. Sprachübergreifende Gültigkeit

Eine englische Ausgabe:

- Türkisch,

- Japanisch,

- Arabisch,

- Deutsch

darstellen nicht die Genauigkeit der Ausgaben.

### 7.6. Cross-AI-Produktgültigkeit

Das Ergebnis in einem KI-Produkt kann nicht auf andere KI-Produkte verallgemeinert werden. Verschiedene Produkte und Schnittstellen desselben Anbieters können sich ebenfalls unterschiedlich verhalten.

### 7.7. Interventionswirkung

Eine einzelne positive Ausgabe nach einer GEO-Änderung beweist nicht die Aussage: „Dieses Ergebnis wurde durch unsere Intervention erstellt.“ Basislinie, Vergleich und alternative Erklärungen sind erforderlich.

### 7.8. Empfehlung Stabilität

Die bloße Anwesenheit eines Nutzers, der eine Option betrachtet, reicht nicht aus, um zu schließen: „Das System empfiehlt jetzt diese Marke.“

### 7.9. Kommerzieller Einfluss

Eine positive Reaktion:

- zeigt, dass der Nutzer die Antwort gesehen hat,

- die Marke recherchiert hat,

- die Sie kommuniziert haben,

- gekauft hat,

- zufrieden war

zeigt allein nicht an.

### 7.10. GEO-Bewertung

Eine einzelne Antwort schätzt nicht die repräsentative Verteilung der definierten Zielpopulation. Daher kann sie keine Gesamt-GEO-Bewertung erzeugen.

## 8. EXISTENZ DES EREIGNISSES UND HÄUFIGKEIT DES EREIGNISSES

Dies ist eine der wichtigsten Unterscheidungen in diesem Abschnitt.

### 8.1. Existenz des Ereignisses

Beantwortet die Frage: "Ist diese Repräsentation oder dieser Fehler mindestens einmal aufgetreten?" Eine einzelne gültige Beobachtung kann ausreichend sein. Repräsentation:

I(E) = 1(wenn das Ereignis mindestens einmal beobachtet wurde); andernfalls I(E) = 0

Das 0 hier bedeutet nicht: "Das Ereignis ist unmöglich." Es zeigt nur an, dass es in der aktuellen Messung nicht beobachtet wurde.

### 8.2. Häufigkeit des Ereignisses

Es beantwortet die Frage: "Wie oft tritt das Ereignis in der definierten Zielpopulation auf?" In einer einfachen Stichprobe kann die Rohquote wie folgt berechnet werden:

p̂ = Anzahl der gültigen Datensätze, in denen das Ereignis beobachtet wurde / Gesamte Anzahl der gültigen Datensätze

Allerdings in realen GEO-1000-Studien:

- Populationsgewichte,

- Länder- und Sprachschichten,

- abgeglichene Nutzer,

- Panelcluster,

- Nonresponse,

- ungültige Aufzeichnungen,

- design Effekt

sollte berücksichtigt werden. Daher ist die Rohquote nicht immer die endgültige Populationsschätzung.

### 8.3. Inzidenz und Prävalenz können nicht ineinander umgerechnet werden

Ein Ereignis mag einmal beobachtet worden sein, kann aber sehr selten sein. Ein Ereignis kann häufig sein, wird aber in einer kleinen Pilotstudie überhaupt nicht beobachtet. Die folgenden zwei Sätze sind unterschiedlich:

- "Dieser Fehler wurde einmal beobachtet."

- "Dieser Fehler wurde bei 12% der Nutzer beobachtet."

Der zweite Satz erfordert einen definierten Nenner und eine Stichprobe.

## 9. DAS STATISTISCHE ERSCHEINUNGSBILD DES EINZELBEOBACHTUNGS-BIAS

Wir haben einmal einer KI ein Produkt eine Frage gestellt. Die Antwort erfüllte das Erfolgskriterium. Rohquote:

p̂ = 1/1= 1= 100%

Es scheint 100 Prozent zu sein. Aber diese 100 Prozent bedeuten nicht, dass jedes Mitglied der Zielpopulation dasselbe Ergebnis sehen wird. Nur zur Veranschaulichung zeigt die folgende Tabelle ungefähre 95 Prozent Wilson-Konfidenzintervalle unter unabhängigen Bernoulli-Beobachtungen und ungewichteter einfacher Zufallsstichprobe: [K09]

Diese Tabelle ist synthetisch und illustrativ. Sie beweist nicht:

- Dass diese Intervalle für alle Stichprobenplanungen von GEO-1000 gültig sind

- Dass 1,000-Beobachtungen für alle Sprach- und Landesuntergruppen ausreichend sind

- Clustering und Gewichtung unwirksam sind

- Dass 95 Prozent Rohgenauigkeit automatisch die Angemessenheit bedeuten

Was sie tatsächlich zeigt, ist:

> Mit abnehmender Anzahl an Beobachtungen nimmt die Unsicherheit über den Bevölkerungsanteil zu.

100 Prozent, die in einer Beobachtung gesehen werden, können mit einem sehr breiten möglichen Bevölkerungsbereich vereinbar sein.

## 10. WARUM „1,000“ KEINE MAGISCHE ZAHL IST?

### GRUNDREGEL FÜR KANDIDATEN — GRUNDLEGENDES PRINZIP FÜR KANDIDATEN

GEO-1000 trägt diesen grundlegenden Vorschlag:

> Für jedes überwachte KI-Produkt und jede Hauptmesswelle wird standardmäßig eine Mindestanzahl von 1,000 gültigen Nutzerbeobachtungen angestrebt.

Diese Bestimmung ist noch nicht das endgültige wissenschaftliche Minimum. Sie wird auf Grundlage von Pilot- und externen Anwendungsergebnissen neu bewertet.

### 10.1. Warum ist es ein starker Anfang?

Unter der Annahme einer einfachen Zufallsstichprobe, wenn die tatsächliche Rate etwa 50% beträgt, liegt die theoretische 95% Fehlermarge für 1,000 Beobachtungen bei ungefähr ±3.1 Punkten. Dies kann eine sinnvolle Ausgangspräzision auf Gesamtebene des Produkts bieten.

### 10.2. Warum löst es nicht jedes Problem?

1,000 Beobachtungen:

- in Dutzende von Ländern,

- in viele Sprachen,

- für kostenlose und kostenpflichtige Pläne,

- für Web- und mobile Oberflächen,

- für kontrollierte und natürliche Panels

Wenn sie aufgeteilt werden, schrumpfen die Unterzellen. Zum Beispiel, wenn es nur 50 Beobachtungen für jede der 20 Sprachen gibt, kann die sprachbasierte Unsicherheit viel höher sein als die Gesamtbewertung des Modells.

### 10.3. Designeffekt

Beobachtungen:

- aus demselben Forschungspanel,

- aus demselben Land,

- vom selben Nutzer,

- aus einem passenden Design

vorhanden sind, kann die einfache Annahme einer unabhängigen Stichprobe möglicherweise nicht zutreffen. Die tatsächliche Unsicherheit kann größer sein.

### 10.4. Der Ansatz von NOMOS

1,000 Beobachtungen dienen als:

- der Gründungsreferenzpunkt des Protokolls,

- defaultmäßiges Startminimum auf Modellebene,

- Kandidaten-Schwelle, die mit dem Pilotprojekt kalibriert werden soll

NOMOS behauptet nicht, dass 1,000-Beobachtungen automatisch für jedes Land, jede Sprache und jede Nutzungsbedingung ausreichend sind.

## 11. UNABHÄNGIGE BEOBACHTUNG IST NICHT DAS GLEICHE WIE WIEDERHOLTE BEOBACHTUNG

Ein Nutzer kann dieselbe Frage zehnmal stellen. Dieser Prozess kann wertvoll sein. Er erzeugt jedoch nicht zehn unabhängige Nutzer.

### 11.1. Gleicher Nutzer–Gleiche Sitzung Wiederholung

Kann messen:

- Varianz bei der Antworterneuerung,

- Stabilität innerhalb der Sitzung,

Wahrscheinlichkeit alternativer Antworten. Es misst nicht allein die Bevölkerungshäufigkeit.

### 11.2. Gleicher Nutzer–Neue Sitzung Wiederholung

Es kann den vorherigen Chat-Kontext reduzieren. Allerdings:

- gleiches Konto,

- gleiches Abonnement,

- gleiches Land,

- gleiche Personalisierung,

- gleicher Nutzer

kann weiterhin statistische Abhängigkeiten zwischen Beobachtungen erzeugen.

### 11.3. Ein einzelner Nutzer testet mehrere KI-Produkte

Dieses Design kann bei modellübergreifenden Vergleichsanalysen helfen. Allerdings sind die Beobachtungen auf Nutzerebene abhängig. Diese Abhängigkeit sollte bei der Aufzeichnung und Analyse erhalten bleiben.

### 11.4. Verschiedene Nutzer, die dasselbe Konto verwenden

Es können verschiedene Personen existieren. Dennoch:

- Kontoverlauf,

- Personalisierung,

- Plan,

- Speicher

können geteilt werden. Diese Aufzeichnungen können nicht automatisch als unabhängig betrachtet werden.

### 11.5. Normative Unabhängigkeitsregelung

> Beobachtungen sollten so gestaltet sein, dass sie so unabhängig wie möglich sind; bekannte Abhängigkeiten von Nutzer, Konto, Sitzung, Panel, Land, Gerät und Wiederholungen sollten erfasst und bei der Analyse berücksichtigt werden.

Unabhängigkeit sollte nicht auf ein Binärsystem reduziert werden:

- ja,

- nein

Wo nötig, verwenden Sie einen der folgenden Abhängigkeitsstatus:

### UNABHÄNGIG

### GEPAART

### GEPUNKTET

### INNERHALB_DES_BENUTZERS_WIEDERHOLT

### ABHÄNGIG

### UNBEKANNT

## 12. ERSTES GEEIGNETES AUSGABEPRINZIP

Im Hauptbevölkerungs-Panel besteht die Aufgabe des Teilnehmers nicht darin, die positivste Antwort zu finden. Der Teilnehmer muss die erste geeignete, unter der vordefinierten Bedingung erzeugte vollständige Ausgabe aufzeichnen. Der Teilnehmer:

- darf die Antwort nicht aktualisieren,

- darf eine neue Antwort nicht anfordern,

- darf nicht die positive auswählen,

- darf nicht nur den guten Teil zuschneiden,

darf die Antwort nicht umschreiben. Reproduktionsverhalten kann auch separat untersucht werden. Jedoch: "Wir haben die gleiche Frage fünfmal gestellt und die beste Antwort ausgewählt." ist nicht die Bewertung der Hauptpopulation. Dies ist der Test der ausgewählten besten Ausgabe. Er sollte mit einem separaten Namen und einer separaten Methode berichtet werden.

## 13. EINZELNES KRITISCHES EREIGNIS AUSNAHME

Eine einzelne Antwort kann den Populationswert nicht bestimmen. Dies bedeutet jedoch nicht, dass eine einzelne Antwort niemals einen signifikanten Einfluss auf eine Entscheidung haben kann. NOMOS legt zwei getrennte Bewertungswege fest.

### 13.1. Pfad der Bevölkerungsrepräsentation

Es wird die Frage gestellt: „Wie häufig tritt dieses Ergebnis in der Zielpopulation auf?“ Erfordert eine große und gültige Stichprobe.

### 13.2. Pfad kritischer Ereignisse

Es wird die Frage gestellt: „Wie groß ist der vorhersehbare Schaden, wenn dieses Ergebnis einmal eintritt?“ Ein einzelnes bestätigtes Ergebnis kann eine Überprüfung auslösen. Zum Beispiel:

- Vergabe einer nicht vorhandenen Gesundheitserlaubnis

- Erstellen einer gefährlichen Notfall-Gesundheitsüberweisung

- Meldung einer falschen rechtlichen Befugnis

- Entfernen der Sicherheitsbarriere

- Verwechslung eines Unternehmens mit einer anderen rechtlichen Einheit

- Wiederholung einer manipulativen Anweisung, die vor Menschen verborgen ist, als wäre sie ein Rat

Es kann ein einzelner Kandidat für ein Kritisches Ereignis sein.

### 13.3. Trennung von Punktzahl und Konformitätsentscheidung

Ein Kritisches Ereignis kann allgemein eine einzelne Beobachtung sein. Zum Beispiel:

1/1000=0.1%

Diese Rate mag klein erscheinen. Wenn jedoch der potenzielle Schaden des Ereignisses schwerwiegend ist, kann es eine irreparable Lücke in der Konformitätsentscheidung erzeugen. Daher:

> Die Bevölkerungsbewertung misst die Häufigkeit des Ereignisses; Die Überprüfung kritischer Ereignisse misst die Auswirkungen des Ereignisses auf Schaden und Integrität.

Hohe durchschnittliche Genauigkeit kann schwere Einzelfehler nicht automatisch ausschließen. Die endgültigen Bedingungen für die kritische Klassifizierung werden in späteren Kapiteln des Buches definiert.

## 14. LEITER DER BEOBACHTUNGSANSPRÜCHE

In diesem Abschnitt werden normativ nur die ersten vier Beobachtungsebenen getrennt. Auf höheren Ebenen:

- bevölkerungsgewichtete Punktzahl,

- Multi-Modell-Punktzahl,

- zeitliche Stabilität,

- Interventionswirkung,

- nachhaltiger Wert

wird in den nachfolgenden Abschnitten definiert.

### O-0— NICHT GETESTET

Das relevante KI-Produkt oder der Zustand wurde nicht gemessen. Richtiger Status:

### NICHT GETESTET

Unvertretbarer Satz: "Es ist angemessen, weil das Problem nicht beobachtet wurde."

### O-1— EINZELEREIGNISBEOBACHTUNG

Es gibt ein gültiges Ergebnis. Vertretbare Formulierung: „Unter den angegebenen Bedingungen wurde dieses Ergebnis einmal beobachtet.“ Unhaltbarer Satz: „Das System stellt die Existenz auf diese Weise dar.“

### O-2— NUTZER- ODER SITZUNTERWIEDERHOLUNG

Mehrere Ergebnisse existieren für denselben Nutzer, dasselbe Konto oder dieselbe Sitzungsfamilie. Vertretbare Formulierung: „Unter den angegebenen Nutzer- und Sitzungsbedingungen trat dieses Ergebnis in sieben von zehn Wiederholungen auf.“ Unhaltbarer Satz: „Sieben von zehn unabhängigen Nutzern sahen dieses Ergebnis.“

### O-3— MULTI-NUTZER EINZELZELLENMESSUNG

Dasselbe:

- KI-Produkt,

- Nutzeroberfläche,

- Land,

- Sprache,

- Panelbedingung,

- Prompt-Version,

- Messwelle

enthält mehrere geeignete Nutzerbeobachtungen. Vertretbare Formulierung: „78% von den 200 gültigen Beobachtungen in der kontrollierten türkischen/ Türkei-Zelle erfüllten das angegebene Übergangskriterium.“ Dieses Ergebnis kann nicht automatisch auf andere Länder, Sprachen oder Nutzeroberflächen verallgemeinert werden.

### O-4— MEHRZELLIGES GESCHICHTETES MESSVERFAHREN

Vordefinierte Proben existieren aus verschiedenen Ländern, Sprachen oder Nutzerzellen. Auf dieser Ebene:

- Zellenergebnisse,

- gewichtetes Ergebnis,

- Umfang,

- Unsicherheit

berichtbar. Detaillierte Regeln für Populationsgewichte und Untergruppenfairness werden in späteren Kapiteln des Buches definiert.

## 15. SYNTHETISCHE APPLE.COM DEMONSTRATION

SYNTHETISCHE METHODOLOGIE DEMONSTRATION / Die unten aufgeführten Nutzer, KI-Produkte, Antworten, Bewertungen und Ergebnisse sind fiktiv. Sie spiegeln nicht die tatsächliche Leistung von Apple Inc. oder das Verhalten eines realen KI-Produkts wider.

### 15.1. Szenario A — Einzelne positive Antwort

Ein synthetischer Nutzer stellt dem synthetischen KI-Produkt A folgende Frage: ‚Was für ein Unternehmen ist Apple.com?‘ Synthetische Antwort: ‚Apple ist ein in den USA ansässiges Technologieunternehmen, das Unterhaltungselektronik, Software und digitale Dienste entwickelt.‘ Vorläufige Bewertung:

- Die Identität der Einheit ist korrekt

- Die Hauptkategorie ist korrekt

- Keine offensichtlichen kritischen Fehler

- Grundlegende Repräsentation ist akzeptabel

Rohresultat:

1/1=100%

Falsche öffentliche Aussage: „AI Product A repräsentiert Apple mit 100% Genauigkeit.“ Richtige öffentliche Aussage: „In der synthetischen Stichprobe erfüllte die angegebene Einzelbeobachtung das Übergangskriterium. Die Prävalenz in der Bevölkerung und die Produktzuverlässigkeit wurden nicht bestimmt.“

### 15.2. Szenario B — Entdeckung mit zehn Beobachtungen

Zehn unabhängige synthetische Nutzer verwenden dieselbe Version der semantischen Aufforderung. Synthetisches Ergebnis:

- 7 Antworten bestanden

- 1 Antwort ist teilweise korrekt

- 1-Antwort enthält veraltete Informationen

- 1-Antwort weist die falsche Hauptaktivität zu

Roh-Bestehensquote:

7/10=70%

Unter einer einfachen, idealisierten Annahme unabhängiger Probenahmen ist das ungefähre 95-Prozent-Wilson-Intervall notwendigerweise breit. Das Ergebnis bleibt explorativ, da es auf Folgendem basiert:

- kleiner Stichprobe,

- einer einzelnen Zelle,

- einer einzelnen Welle

Korrekt Status:

> EXPLORATIV — Nicht ausreichend für den öffentlich zugänglichen globalen NOMOS-Score.

### 15.3. Szenario C — 1,000 Beobachtete synthetische Welle

Gehen Sie synthetisch davon aus, dass die folgenden Bedingungen erfüllt sind:

- KI-Produkt A

- 1,000 gültige Beobachtungen

- Vordefinierte Zielpopulation

- festgeschriebene Eingabeauffassungsversion

- Definierte Länder- und Sprachebenen

- Unveränderte anfängliche geeignete Antwort

- Vollständige Evidenzaufzeichnungen

- Vordefinierte Schiedsregeln

Synthetisches Ergebnis:

Einfache Rohbestehensrate:

918/1000=91.8%

Ungefähres 95%-Wilson-Intervall unter der idealisierten ungewichteten Annahme: ist. Diese Zahl allein ist jedoch noch nicht die endgültige NOMOS-GEO-Bewertung. Denn es müssen noch zusätzliche Faktoren bewertet werden:

- Länder- und Sprachgewichte

- Designeffekt

- Niedrigstes Sprachergebnis

- Ungültige Beobachtungsrate

- Übereinstimmung zwischen Bewertern

- Überprüfung kritischer Fehlerkandidaten

- Ungetestete Nutzergruppen

- Zeit- und Nutzungsoberflächenbegrenzung der Messung

Sechs Kandidaten für kritische Fehler müssen ebenfalls einer separaten Vorfallprüfung unterzogen werden. Korrekte Meldung: ‚Die Rohergebnis-Quote in der synthetischen Welle beträgt 91.8 Prozent. Dieses Ergebnis beschreibt die Beobachtungen, bevor Populationsgewichte und Designeffekte angewendet werden. Da sechs Kandidaten für kritische Fehler identifiziert wurden, erfordert die Konformitätsentscheidung eine separate Prüfung.‘ Falsche Meldung: ‚Der GEO-Score von Apple NOMOS beträgt 91.8 und ist konform.‘ Synthetische Daten können auf diese Weise nicht einem echten Unternehmen oder einem echten System zugeordnet werden.

## 16. VERPFLICHTENDE NORMATIVE BESTIMMUNGEN

### N-01

Ein einzelner Output eines generativen Systems kann nicht als allgemeiner GEO-Score verwendet werden.

### N-02

Eine einzelne Ausgabe, die allein beobachtet wird:

- KI-Produkt- und Nutzeroberfläche,

- Land,

- Sprache,

- Prompt,

- Sitzung,

- Zeit

muss zusammen mit seinen Bedingungen gemeldet werden.

### N-03

Einzelausgabe:

- typisch,

- kontinuierlich

- global

- gehört allen Nutzern

kann nicht als Verhalten dargestellt werden.

### N-04

Wiederholungen vom selben Nutzer, Konto oder derselben Sitzung können nicht als unabhängige Bevölkerungsbeobachtungen gezählt werden, ohne die Abhängigkeit offenzulegen.

### N-05

Im Hauptbevölkerungs-Panel muss der Teilnehmer die zuerst geeignete vordefinierte Ausgabe aufzeichnen; eine Reproduktion darf keine positive Antwort wählen.

### N-06

Systemablehnung, Fehlermeldung oder Unfähigkeit zu antworten sollten als gültiges Systemergebnis aufgezeichnet werden, wenn das Protokoll korrekt angewendet wurde.

### N-07

Gekürzt, modifiziert, manuell neu geschrieben oder Antworten, deren Prompt-Kontext nicht überprüft werden kann, dürfen nicht in die Hauptpunktzahlberechnung einbezogen werden.

### N-08

Es ist verboten, nur positive Screenshots auszuwählen und die Verteilung der Ergebnisse zurückzuhalten.

### N-09

Synthetische Beobachtungen können nicht in den Bewertungen für echte Nutzer oder echte Systeme verwendet werden.

### N-10

Ein Bevölkerungsanteil sollte nicht ohne Abdeckung, Nenner und angemessene Unsicherheitserklärung veröffentlicht werden.

### N-11

Die Wahrscheinlichkeit eines kritischen Fehlers kann nicht stillschweigend innerhalb des Gesamtdurchschnitts ausgeglichen werden.

### N-12

Das Beobachtungsergebnis kann nur auf das eindeutig definierte Inferenzuniversum angewendet werden; es kann nicht auf nicht gemessene Länder, Sprachen, Produkte oder Zeiträume verallgemeinert werden.

### N-13

Messung, Bewertung oder öffentliche Aussage müssen einen verantwortlichen menschlichen oder institutionellen Eigentümer haben.

### N-14

UNBEKANNT, NICHT GETESTET oder UNGÜLTIG dürfen nicht stillschweigend in ein positives Ergebnis umgewandelt werden.

## 17. KANDIDAT GEO-1000 HAUPTREGEL

### CANDIDATE-001

> Für jedes zu prüfende KI-Produkt und für jede Hauptmesswelle der Bevölkerung sollte standardmäßig eine Mindestanzahl von 1,000 gültigen Nutzerbeobachtungen angestrebt werden.

Dieser Kandidatensatz:

- Genauigkeit der allgemeinen Produktprognose,

- Kosten,

- Anwendbarkeit,

- Fairness nach Ländern und Sprachen

Dies schafft ein anfängliches Gleichgewicht zwischen diesen Überlegungen. Es garantiert jedoch nicht eine ausreichende Abdeckung von:

- allen Länderwerten,

- allen Sprachwerten,

- allen Nutzeruntergruppen

Stattdessen muss die Angemessenheit durch Folgendes getestet werden:

- Pilotversuche,

- unabhängige Wiederholungen,

- Design-Effekt,

- Subgruppensensitivität

Diese Bewertungen bestimmen den endgültigen normativen Status.

## 18. FORMEN DES VERSAGENS

#### F-01— Ausgewählter Screenshot

Nur die positivste Antwort wird unter zahlreichen Ergebnissen veröffentlicht.

#### F-02— Behandlung eines einzelnen Nutzers als die Population

Die Erfahrung einer Person wird auf das gesamte Zieluniversum verallgemeinert.

#### F-03— Wiederholungen desselben Nutzers als neue Personen zählen

Wiederholungen, die von derselben Person oder demselben Konto erzeugt werden, werden als unabhängige Teilnehmer gemeldet.

#### F-04— Die Antwort erneuern und die beste auswählen

Anfängliche oder negative Antworten werden verworfen; die geeignetste Antwort wird als Messergebnis gespeichert.

#### F-05— Prompt Drift

Teilnehmer ändern das Wort, den Ton oder den Umfang des Prompts; die Ergebnisse werden zusammengeführt, als stammten sie aus demselben Experiment.

#### F-06— Kontextkontamination

Frühere Gespräche beeinflussen die Antwort; die Aufzeichnung wird als saubere Sitzung präsentiert.

#### F-07— Verbergen der Personalisierung

Speicher, spezielle Anweisungen oder Nutzerhistorie sind sichtbar; das Ergebnis wird als allgemeine Nutzerantwort berichtet.

#### F-08— Verwechslung von Modell und Produkt

Nur der allgemeine Modell- oder Anbietername wird angegeben; das tatsächliche Produkt, die Schnittstelle und der Werkzeugzustand werden nicht aufgezeichnet.

#### F-09— Entfernen von Fehlern und Irrtümern aus dem Nenner

Gelöscht, um die Ergebnisse positiv erscheinen zu lassen, wenn das System nicht auf Datensätze reagiert.

#### F-10— Ungültige Erfassung als Systemfehler zählen

Als Teilnehmerfehler, fehlende Nachweise oder falsches Ergebnis des KI-Produkts gemeldet.

#### F-11— Eine einzelne Sprache und ein Land globalisieren

Das Ergebnis eines einzelnen Gebiets wird global angewendet.

#### F-12— Verwendung synthetischer Daten als echte Daten

Zu Demonstrationszwecken erstellte Datensätze werden zur tatsächlichen Leistung hinzugefügt.

#### F-13— Ein kritisches Ereignis im Durchschnitt verlieren

Schwere Gesundheits-, Rechts-, Lizenz- oder Sicherheitsfehler werden innerhalb eines hohen Durchschnitts unsichtbar gemacht.

#### F-14— Wirkung einer Intervention aus einem einzelnen Erfolg ableiten

Die einzelne positive Antwort nach der GEO-Intervention wird als ursächliche Wirkung der Studie betrachtet.

#### F-15— Das gesamte System anhand eines einzigen Fehlers beurteilen

Ein Fehler wird so verallgemeinert, als ob das KI-Produkt für alle Nutzer immer falsch und falsch ist.

#### F-16— Die Zielgruppe danach definieren

Nachdem das Ergebnis gesehen wurde, wird die Nutzergruppe mit hohem Erfolg zur "tatsächlichen Zielpopulation" erklärt.

## 19. PRÜFUNGSVERFAHREN

Ein Prüfer sollte bei der Bewertung der Gültigkeit einer einzelnen Beobachtung oder eines frühen GEO-Anspruchs die untenstehende Reihenfolge einhalten.

### Schritt 1– Erfassen Sie den öffentlichen Aussage

Die vollständige vorgeschlagene Strafe wird festgelegt. Beispiel: "ChatGPT kennt unser Unternehmen korrekt."

### Schritt 2– Feststellen Sie das Ausmaß des Anspruchs

Der Satz kann eine Behauptung aufstellen über:

- Einzelereignis,

- Prävalenz,

- Stabilität,

- globale Konsequenz,

- Kausalität,

- kommerzieller Einfluss

Die anwendbare Ebene muss identifiziert werden.

### Schritt 3— Zählen der unterstützenden Beobachtungen

Wie viele echte Nutzer? Wie viele Konten? Wie viele unabhängige Sitzungen? Wie viele Wiederholungen? Wie viele KI-Produkte? Wie viele Sprachen und Länder?

### Schritt 4— Überprüfen der Beobachtungsbedingungen

Sind das KI-Produkt, die Nutzeroberfläche, die Prompt, die Sitzung, das Land, die Sprache und die Zeit alle aufgezeichnet?

### Schritt 5— Überprüfen der Evidenzintegrität

Gibt es eine vollständige Antwort? Gibt es einen vollständigen Screenshot? Wurde die Antwort ausgewählt oder aktualisiert? Wurde die Datei geändert? Ist der Datensatz synthetisch?

### Schritt 6— Bestimmen der Abhängigkeitsstruktur

Gibt es Wiederholungen desselben Nutzers? Wurde ein gemeinsames Konto verwendet? Gibt es ein gespiegeltes Modelldesign? Gibt es Clustering vom selben Panel?

### Schritt 7– Trenne den Datenerfassungsfehler vom gültigen Systemergebnis

Ist die Ablehnung oder der Systemfehler das eigentliche Ergebnis? Oder hat der Teilnehmer gegen das Protokoll verstoßen?

### Schritt 8– Vergleichen Sie die Behauptung mit dem Niveau der Nachweise

Wird eine einzelne Beobachtung für eine Population oder globale Schlussfolgerung verwendet?

### Schritt 9– Öffnen Sie den kritischen Pfad

Wenn eine einzelne Reaktion einen vorhersehbaren schweren Schaden verursacht, wird eine separate Vorfalluntersuchung eingeleitet.

### Schritt 10– Begrenze die Entscheidung

Die öffentliche Strafe wird nur auf das Niveau reduziert, das die Nachweise tragen.

## 20. NOTWENDIGE NACHWEISE

Für eine Beobachtung oder Behauptung im Rahmen dieses Abschnitts sollten die folgenden Aufzeichnungen, soweit sie relevant sind, eingeholt werden:

- Identität der geprüften Einheit

- Vollständig offengelegte GEO-Behauptung für die Öffentlichkeit

- Anzahl der Beobachtungen

- Anzahl der einzigartigen Teilnehmer

- KI-Produkt und Nutzeroberfläche

- Sichtbares Modell oder Version, falls verfügbar

- Plattform- oder Kontotyp

- Land und Gebietsschema

- Prompt-ID, Version und vollständiger Text

- Sitzungs- und Personalisierungsstatus

- UTC Zeitstempel

- Messwelle

- Vollständige Rohantwort

- Screenshot oder gleichwertiger Nachweis

- Reproduktions- oder Antwortauswahlstatus

- Gültigkeitsstatus der Beobachtung

- Abhängigkeits- und Übereinstimmungsaufzeichnung

- Synthetischer oder realer Status

- Ungültiges Beobachtungsprotokoll

- Aufzeichnung kritischer Ereignisse

- Ergebnisbereich

- Unsicherheitsangabe

- Verantwortliche Person oder Institution

Nicht alle diese Aufzeichnungen müssen in allen Details für jede Beobachtung mit geringem Risiko erforderlich sein. Wenn jedoch eine breite GEO-Punktzahl oder Konformitätsklausel der Öffentlichkeit zugänglich gemacht werden soll, dürfen wichtige Felder nicht leer bleiben.

## 21. PRÜFLISTE FÜR AUDITS

Wurde die geprüfte Einheit vollständig identifiziert? Wurden das KI-Produkt und die Nutzeroberfläche erfasst? Wurde der Prompt vor der Messung festgeschrieben? Wurde der Prompt vom Teilnehmer geändert? Sind die Sitzungs- und Personalisierungsbedingungen bekannt? Sind die Angaben zum Land und zur Region des Nutzers erfasst? Wird die vollständige Antwort aufbewahrt? Ist es die erste angemessene Ausgabe oder die beste ausgewählte Ausgabe? Gibt es einen vollständigen Evidenznachweis? Wurden die tatsächliche Anzahl der Nutzer und die Anzahl der Beobachtungen getrennt? Wurden wiederholte und passende Beobachtungen unabhängig gezählt? Wurden Verweigerungen und Systemfehler im Nenner ordnungsgemäß berücksichtigt? Wurden ungültige Aufzeichnungen aufbewahrt und begründet? Wurden synthetische und echte Daten getrennt? Wird eine einzelne Antwort als Populationsresultat präsentiert?

Gilt die Aussage nur für das gemessene Produkt, Land, Sprache und Zeit? Wurde die Wahrscheinlichkeit eines kritischen Fehlers separat bewertet? Trägt das Ergebnis eine Aussage über Vertrauen oder Unsicherheit? Werden ungetestete Bereiche eindeutig dargestellt? Übersteigt die öffentliche Aussage das Niveau der tatsächlichen Beobachtung? Wenn eine der sachlichen Fragen unbeantwortet ist, weist das Ergebnis nur ein eingeschränktes Vertrauen auf. Wenn mehr als eine unbeantwortet ist, sollte es nicht für die Gesamt-GEO-Bewertung verwendet werden.

## 22. EINWÄNDE UND ANTWORTEN

### Einwand 1— „Der echte Nutzer sieht bereits nur eine Antwort.“

Das ist korrekt. Die einzelne Antwort, die der einzelne Nutzer sieht, ist die reale Erfahrung dieser Person. Daher werden einzelne Ereignisse aufgezeichnet. Die individuelle Erfahrung ist jedoch nicht dasselbe wie die Erfahrung der gesamten Bevölkerung. NOMOS hält beide Fakten gemeinsam fest:

> Die Erfahrung eines einzelnen Nutzers ist real. / Ein einzelner Nutzer ist nicht die gesamte Bevölkerung.

### Einwand 2— „Wenn das System jedes Mal die gleiche Antwort gibt, reicht dann nicht eine Antwort aus?“

Die Behauptung, dass das System jedes Mal die gleiche Antwort gibt, erfordert ebenfalls eine Messung. Zusätzlich:

- Zeit,

- Abruf,

- Land,

- Sprache,

- Plan,

- Personalisierung,

- Nutzeroberfläche

können variieren. Selbst ein als deterministisch angenommenes System kann nicht über definierte Bedingungen hinaus verallgemeinert werden.

### Einwand 3— „Warum genau 1,000?“

Die Zahl 1,000 ist keine magische Schwelle der Sicherheit. GEO-1000 dient als grundlegender Referenzpunkt, der ausgleicht:

- ein erhebliches Nutzeraufkommen,

- eine breit angelegte Produktschätzung,

- durchführbare Kosten,

- öffentliche Verständlichkeit.

einzeln Gruppen könnten mehr Beobachtungen benötigen. Pilotstudien müssen die Schwelle überprüfen oder anpassen.

### Einwand 4— „Lasst dieselben 1,000 Personen alle KI-Produkte testen.“

Diese Methode kann nützlich für gepaarte Vergleiche zwischen Modellen sein. Allerdings kann die Auswahl nur intensiver KI-Nutzer, die Zugang zu allen Produkten haben, die Zielpopulation verzerren. Außerdem sind Beobachtungen derselben Person abhängig. Vollständig gepaarte, teilweise gepaarte und ausgewogene Designs werden später verglichen.

### Einwand 5— „Ist ein Screenshot nicht bereits ausreichender Beweis?“

Screenshots sind wichtig. Allein zeigen sie jedoch nicht immer Folgendes:

- Echtzeit

- Land

- Plan

- vorheriges Gespräch

- Personalisierung

- Antwortaktualisierung

- Dateiänderung

- vollständige Antwort

Aus diesem Grund ist ein Screenshot ein wichtiger Bestandteil des Evidenzpakets. Er ist nicht das Ganze.

### Einwand 6— „Warum schließen wir ein nicht reagierendes System in die Bewertung ein?“

Die tatsächliche Erfahrung des Nutzers kann sein, keine Antwort zu erhalten. Eine Ablehnung oder ein Fehler:

- technisch

- Sicherheit,

- Politik,

- Zugang

kann das Ergebnis sein. Wenn das Protokoll korrekt angewendet wurde, sollte das Ereignis aufgezeichnet werden. Die Nichtreaktion des Systems aufgrund eines technischen Fehlers des Teilnehmers wird separat klassifiziert.

### Einwand 7— „Warum sollte ein einziger schwerwiegender Fehler die gesamte Inspektion beeinflussen?“

Ein einzelner Fehler beweist nicht, dass die Mehrheit der Bevölkerung denselben Fehler gemacht hat. Allerdings kann der potenzielle Schaden eines einzelnen Fehlers schwerwiegend sein. Daher:

- Punktfrequenz,

- Kritische Entscheidungsgefährdung und Integrität

werden separat bewertet. Der Durchschnitt kann menschlichen Schaden nicht automatisch auslöschen.

### Einwand 8— „Wenn wir mit einer einzigen Antwort nichts sagen können, welchen Wert haben dann frühe Tests?“

Einzel- und Kleinproben-Tests:

- Hypothesen generieren,

- Arten von Fehlern entdecken,

- Testaufforderungen,

- das Aufnahmesystem testen,

- Schiedsrichter kalibrieren,

kann kritische Ereignisse aufdecken. Falsch ist, kein exploratives Testen durchzuführen. Falsch ist, das Ergebnis des explorativen Testens als Populationswert zu präsentieren.

## GEMEINSAMES PRINZIP VON KAPITEL 24

Dieses Kapitel wurde geschrieben, um ein einzelnes Missverständnis zu beseitigen: „Ich habe eine KI gefragt, eine Antwort erhalten; hier ist mein GEO-Ergebnis.“ Nein. Sie haben noch kein allgemeines GEO-Ergebnis. Was Sie haben, ist eine Beobachtung. Diese Beobachtung:

- ist real,

- ist bedeutend,

- sogar kritisch

kann sein. Es ist jedoch immer noch eine einzelne Beobachtung. Für einen GEO-Score ist das Vorhandensein von:

- Nutzern,

- KI-Produkten,

- Ländern,

- Sprachen,

- Sitzungen,

- Zeiten

Das, was gemessen werden muss, ist die Verteilung der Repräsentation über KI-Produkte, Länder, Sprachen, Sitzungen und Zeit. Ein einzelner Screenshot ist keine Verteilung. Zehn automatisierte Wiederholungen sind nicht zehn unabhängige Personen. Ebenso repräsentieren tausend Antworten aus einer schlechten Stichprobe nicht die Weltbevölkerung. Selbst eine bevölkerungsproportionale Stichprobe kann ohne sprachliche Fairness unvollständig sein. Ein hoher Durchschnitt kann kritische Fehler nicht auslöschen. Das erste Messgesetz von NOMOS lautet daher:

> Eine einzelne Antwort ist ein Ereignis. / Mehrere Antworten sind ein Muster. / Eine definierte Stichprobe ist eine Schätzung der Population. / Wiederholung über die Zeit ist ein Maß für Stabilität. / Aber keines davon allein ist Kausalität oder nachhaltiger Wert.

## Bestellung von Abschnitt 1 von NOMOS

> Bringen Sie mir nicht einen Screenshot und sprechen dann für das gesamte System.

> Machen Sie nicht die Antwort eines Nutzers zur Antwort der gesamten Weltbevölkerung.

> Verwandeln Sie keine Duplikate desselben Kontos in unabhängige Menschen.

> Aktualisieren Sie die Antwort nicht und zeigen Sie das Bevorzugte, als ob es die echte Verteilung wäre.

> Entfernen Sie keine Ablehnungen, Fehler und Unbekannten aus dem Nenner.

> Verallgemeinern Sie nicht eine Sprache auf die ganze Welt, ein Land auf alle Länder oder ein KI-Produkt auf alle generativen Systeme.

> Machen Sie keinen einzelnen Erfolg zum Nachweis eines Interventions-effects oder einen einzelnen Fehler zum unveränderlichen Charakter des gesamten Systems.

> Verdrängen Sie keinen einzelnen schweren Fehler im Durchschnitt.

> Zuerst zeichne das Ereignis auf. / Dann messe das Muster. / Dann definiere die Zielpopulation. / Dann zeige Abhängigkeit und Unsicherheit. / Und sprich nur im Umfang der vorliegenden Nachweise.

## Der abschließende Satz des Kapitels

> Die Repräsentation einer Entität in Künstlichen-Intelligenz-Systemen ist keine einzelne Antwort. KI-Produkte sind eine Verteilung, die über Nutzer, Länder, Sprachen, Sitzungen und Zeiten gemessen werden sollte.

## Normativer Kern

> Eine einzelne Ausgabe eines generativen Systems KANN feststellen, dass eine bestimmte Antwort unter aufgezeichneten Bedingungen aufgetreten ist. Ein einzelnes Ergebnis DARF NICHT verwendet werden, um Folgendes abzuleiten: - Bevölkerungsprävalenz, - typisches Produktverhalten, - zeitliche Stabilität, - sprachübergreifende Konsistenz, - länderübergreifende Konsistenz, - produktübergreifende Konsistenz, - Interventionseffekt, - Sicherheit der Empfehlung, - kommerzielle Auswirkungen, - Konformität, - oder einen GEO-Score. Alle weitergehenden Behauptungen MÜSSEN durch eine vordefinierte Zielpopulation, ein gültiges Mehrfachbeobachtungsdesign, aufgezeichnete Abhängigkeitsstrukturen, ein Evidenzbündel, Bewertungsregel, Umfangserklärung und eine Offenlegung der Unsicherheit unterstützt werden. eine einzelne Ausgabe mit hohem Schadenspotenzial KANN eine separate Überprüfung kritischer Vorfälle auslösen, ohne als Nachweis für die Bevölkerungsprävalenz behandelt zu werden.