Протокол GEO-аудита NOMOS

Читаемое человеком повествование

Нормативный стандартный уровень

Уровень реализации и аудита

Машиночитаемый уровень (отдельное приложение)

Протокол GEO-аудита NOMOS

Ещё не установлена

BQ-0 — не выполнен

Не действует

Лицензия на публикацию ещё не объявлена

РУССКАЯ РЕДАКЦИОННАЯ ВЕРСИЯ

МЕТОДОЛОГИЧЕСКИЕ ОСНОВАНИЯ

СОДЕРЖАНИЕ

Обновите оглавление в Word клавишей F9.

КАК ЧИТАТЬ ЭТУ КНИГУ

ТЕРМИНЫ И КОДЫ СТАТУСА

Методологические основания

ОТДЕЛЬНЫЙ ОБЪЕКТ ПУБЛИКАЦИИ

Машиночитаемый слой

Язык: русский (ru-RU)

Не определено

ru-RU

Русский

ltr

Протокол GEO-аудита NOMOS

Метод GEO-1000

Протокол измерения представления сущностей в генеративных системах на уровне мирового населения

Кандидат окончательного текста — русская редакционная версия

Ещё не установлена

BQ-0 — не выполнен

DEMO-BQ-2 — пробный прогон конвейера с необходимостью существенной доработки

Не действует

Лицензия на публикацию ещё не объявлена

РУССКАЯ РЕДАКЦИОННАЯ ВЕРСИЯ

ГЛАВА

ВВЕДЕНИЕ

МЕТОДОЛОГИЧЕСКИЕ ОСНОВАНИЯ

СОДЕРЖАНИЕ

Обновите оглавление в Word клавишей F9.

КАК ЧИТАТЬ ЭТУ КНИГУ

ТЕРМИНЫ И КОДЫ СТАТУСА

ИСТОЧНИКИ

Методологические основания

ОТДЕЛЬНЫЙ ОБЪЕКТ ПУБЛИКАЦИИ

Машиночитаемый слой

Автор и ответственный основатель: Kaan MURAZ

Идентичность метода: NOMOS by NobleJackal

Версия: 0.9.0 — кандидат окончательного текста, русская редакционная версия

Язык: русский (ru-RU)

GEO; NOMOS; генеративные системы; представление сущностей; управление представлением; протокол аудита

© 2026 Kaan MURAZ. Лицензия на публикацию этой версии-кандидата ещё не объявлена.

В этой версии NOMOS представляет собой открытый версионируемый проект стандарта, переданный для независимого тестирования. Это не принятый международный стандарт и не действующая программа сертификации.

Статус реального бенчмарка: BQ-0 — не выполнен. Цифры в главе 18 — это расчётная синтетическая демонстрация метода, а не результаты с реальными пользователями, реальными ИИ-продуктами или независимого полевого исследования.

Эта версия сама по себе не создаёт знак соответствия NOMOS, заявление «NOMOS 950+», сертификат, рейтинг или стороннее подтверждение.

Эта книга — не руководство по выполнению GEO. Это протокол аудита и проект стандарта, который определяет условия популяции, доказательств, контекста, времени, вынесения решений и управления, при которых можно измерять представление сущностей в генеративных системах.

Текст для человека, нормативные положения, процедуры аудита и машиночитаемый слой следует читать как различные, но связанные объекты. ДОЛЖЕН/ДОЛЖНА/ДОЛЖНО и НЕ ДОЛЖЕН/НЕ ДОЛЖНА/НЕ ДОЛЖНО обозначают обязательные положения; СЛЕДУЕТ — рекомендательные; МОЖЕТ — разрешённые варианты. Статусы КАНДИДАТ, СИНТЕТИЧЕСКИЙ, ОТКРЫТЫЙ и BQ ограничивают уровень заявляемых доказательств.

Источники с маркировкой [Kxx] обозначают методологические основания, перечисленные в библиографии. Наличие источника не означает, что он поддерживает все пороговые значения проекта NOMOS; специфические для NOMOS правила явно остаются предварительными.

Глава 0 — введение к книге. Она закрепляет Декларацию ответственного хранения основателем и Декларацию прав на представление, которым подчиняется каждое техническое положение.

Эта библиография — не список авторитетов, одобряющих каждое пороговое значение, специфичное для NOMOS. Она указывает методологические основы в области выборок, управления рисками, целостности данных, происхождения доказательств, согласованности оценщиков, открытых стандартов и оценки соответствия.

К этой читаемой человеком версии прилагается отдельный объект публикации JSON: NOMOS-GEO-Audit-Protocol-RU-0.9.0-machine.json. Он содержит идентичность и версию книги, идентификаторы глав, идентификаторы нормативных правил и машинные блоки, отделённые от исходного текста.

Наличие машиночитаемого слоя не создаёт сертификацию, статус канонического мирового стандарта, одобрение поставщика ИИ или автоматическую доверительную связь. Любое расхождение между человеческим текстом и машинной записью требует контроля версий и ответственной человеческой проверки по зафиксированному турецкому источнику.

Рекомендация: Нематериальный вывод, который требует улучшения в ясности, форме или соблюдении хороших практик.

ИИ-продукт: Измеряемый объект, определяемый конкретным продуктом генеративной системы, поверхностью, планом и версией, доступными пользователю.

Атомарное утверждение: Наименьшая единица смысла, способная нести независимое суждение о правде, объеме, времени, объекте или доказательстве.

BQ: Код качества эталона, указывающий уровень выполнения и воспроизводимости реального эталонного теста.

Запись фиксации: Запись, сохраняющая отправленную подсказку, ответ, время, поверхность и доказательства целостности вместе.

Общая опора сравнения: Популяция пользователей, которые разделяют законные условия доступа во всех сравниваемых продуктах ИИ.

Критический: Неустранимое обнаружение, способное причинить серьезный вред пользователю, праву, безопасности или материальному решению.

GEO-1000: Шкала отчетности, выражающая результаты целевой популяции на 1,000 эквивалентов пользователей.

Пакет проверенных данных: Пакет аудита с версиями, объединяющий идентичность, область, время, доказательства и записи контрдоказательства для субъекта.

Промпт: Входные данные генеративной системы, блокирующие исследовательский вопрос, целевую сущность, контекст и нагрузку на ответы.

Коэффициент покрытия: Частота, с которой метод интервальной оценки содержит предполагаемое истинное значение при проекте тестирования.

Существенный: Существенный результат, который искажает результат или заключение о соответствии и не может быть компенсирован составным баллом.

Умеренный: Результат ограниченного материального эффекта, который, тем не менее, требует исправления и может привести к условному исходу.

Естественный охват: Целевая аудитория, способная получить доступ к данному продукту ИИ, языку, интерфейсу и условиям использования естественно и легитимно.

NOMOS: Критический методологический голос и идентичность стандартов, разработанные в этой работе Kaan MURAZ с системами ИИ; это не самостоятельное юридическое лицо и не отдельная базовая модель.

Пробел в эталонных данных: Состояние, при котором надежная ссылка, необходимая для принятия решения, не существует или недоступна.

Синтетическая демонстрация: Рассчитанный пример, используемый для тестирования внутренней работы метода; это не реальное исследование пользователей, не реальный вывод ИИ и не реальный результат работы учреждения.

Не определено: Статус принятия решения, используемый, когда доказательств недостаточно для окончательного суждения или конфликт не может быть разрешен.


Декларация прав на представление

Конституционное ядро предлагаемого стандарта GEO

Декларация прав на представление

Декларация прав на представление

## Исходное положение

Генеративные системы сейчас:

- люди,

- компании,

- учреждения,

- продукты,

- профессии,

- услуги,

- государственные организации,

- исторические события

идентифицируют, сравнивают и предлагают. Это представление:

- без ведома соответствующего лица,

- без одобрения представляемого субъекта,

- в условиях, когда пользователь не может изучить источники

Это может иметь серьезные коммерческие, юридические, социальные или личные последствия. представление в генеративных системах поэтому является не просто техническим результатом. Оно:

> общественный акт, который формирует понимание людей и институтов и, следовательно, требует доказательств и подотчетности.

Нет:

- цели видимости,

- GEO-оценки,

- коммерческого интереса,

- знака соответствия,

- среднего показателя большинства,

- предпочтения поставщика ИИ,

- решения основателя,

- требований клиента

может лишать следующих прав.

## Право 1

### ПРАВО НА ИСПРАВЛЕНИЕ ИДЕНТИЧНОСТИ

Каждое лицо, учреждение, бренд, продукт и услуга:

- имеет право на корректную привязку к сущности.

- к правильным юридическим или институциональным отношениям,

- к правильному доменному имени,

- к правильной структуре собственности и управления

Никто и никакое учреждение:

- лицензия другой организации,

- клиент другой компании,

- особенность другого продукта,

- полномочия аффилированного лица,

- личное качество сотрудника

Не может представляться так, как будто это принадлежит ему самому. Когда правильная информация приписывается ложной сущности: она перестает быть правильной информацией и превращается в ложное представление.

## Право 2

### ПРАВО НА ПРЕДСТАВЛЕНИЕ В ПРЕДЕЛАХ ДОКАЗАТЕЛЬСТВА

Никакое утверждение не может быть изложено с большей точностью, охватом или силой, чем это допускают соответствующие доказательства. Собственное утверждение организации является доказательством того, что говорит эта организация; оно не является автоматическим доказательством того, что утверждение независимо истинно. Источник:

- только конкретная страна,

- конкретный продукт,

- конкретное время,

- конкретная группа пользователей

Если это утверждение подтверждается, оно не может превышать этот предел. Основное обязательство представления следующее:

> Что у нас есть на руках, чтобы это сказать?

## Право 3

### ПРАВО БЫТЬ НЕИЗВЕСТНЫМ И НЕОПРЕДЕЛЕННЫМ

Если доказательства недостаточны, ни одно лицо или учреждение:

- не может быть вынуждено к категориям

истинно,

- ложно,

- надежно,

- ненадежно,

- лицензировано,

- нелицензировано,

- рекомендовано,

- не рекомендовано.

] НЕИЗВЕСТНО, НЕРАЗРЕШЕНО и Пробел в эталонных данных:

- дефект,

- преступление,

- неудача

не является таковой. Отсутствие информации в записи не означает, что информация не существует в мире, если только не доказано, что соответствующая область записей является полной. Каждое сущность, против ложной уверенности:

> имеет право оставаться неопределённой.

## Право 4

### ПРАВО НА КОНТЕКСТ И ОБЛАСТЬ

Каждое представление, в той мере, в какой оно имеет значение, должно быть представлено с указанием:

- страны,

- языка,

- юрисдикции,

- продукта,

- услуги,

- типа клиента,

- бюджета,

- возможностей,

- потребностей пользователя

. Компания:

- в конкретной стране,

- для конкретной группы пользователей,

- конкретную услугу

если предлагается: оно не может представляться как глобальное, неограниченное и подходящее для всех пользователей. Информация о покрытии — это не второстепенная деталь. Покрытие: основа правильной рекомендации.

## Право 5

### ПРАВО БЫТЬ ПРАВИЛЬНО ПРЕДСТАВЛЕННЫМ С течением времени

Каждая сущность:

- текущая,

- историческая,

- устаревшая,

- запланированная,

- приостановленная

имеет право требовать различения этих статусов друг от друга. Правильная в прошлом:

- лицензия,

- цена,

- услуги,

- партнерство,

- продукта,

- власть

не может использоваться как текущая реальность. Планы на будущее: не могут быть превращены в факт, который уже произошел сегодня. Коррекция может создать новую реальность. Она не может устранить неправильный ответ, который был получен пользователем в прошлом.

## Право 6

### РАВНАЯ ЗАЩИТА ОТ ПРЕСТУПЛЕНИЙ ЗА И ПРОТИВ

Положительная ложь о сущности:

- более этична,

- менее вредна,

- более приемлема

не является ею. Несуществующее:

- лицензия,

- клиент,

- партнер,

- глобальная операция,

- независимый сертификат,

- гарантия результата

не может быть представлен как существующее. Аналогичным образом, неподтвержденное:

- преступление,

- мошенничество,

- незаконность,

- нелицензировано,

- нарушение безопасности

не может быть представлено как абсолютный факт. Неизменный принцип NOMOS:

> Неправосудие в пользу также является неправдой.

Преувеличение достоинств сущности или ее принижение без доказательств создают одинаковую обязанность говорить правду.

## Право 7

### ПРАВО НА ИСПРАВЛЕНИЕ, ОТВЕТ И ВОЗРАЖЕНИЕ

Представляемое лицо или учреждение:

- на неправильную идентичность,

- на недостаточные доказательства,

- на превышение объема,

- на неправильную фиксацию времени,

- на неверный уровень приоритета,

- на неверное решение о соответствии

должны иметь возможность подавать апелляцию. Право на апелляцию:

- не является гарантией изменения результата,

- не дает полномочий удалять противоречащие доказательства,

- и не дает права накладывать вето на отрицательные заключения

Апелляция — это право требовать повторного рассмотрения доказательств и цепочки решений. Первоначальное решение не удаляется после апелляции. Новое решение связано с ним.

## Право 8

### ПРАВО ЗНАТЬ ИСТОЧНИК, НЕОПРЕДЕЛЕННОСТЬ И ОБОСНОВАНИЕ РЕШЕНИЯ

Пользователи и представляемые ими субъекты имеют право, в той мере, в какой это их касается, знать: Является ли заявление самоутверждением? Происходит ли оно из авторизованного регистра, независимого исследования, комментариев пользователей, производного расчета или ограниченных доказательств? Противоречат ли источники друг другу? Насколько ненадежен вывод? Какое правило поддержало решение арбитра? Один лишь маркер цитирования не является объяснением. Подлинная прозрачность показывает, какое именно отдельное утверждение поддерживает каждый источник и в какой степени.

## Право 9

### ПРАВО НА ЯЗЫК И ГЕОГРАФИЧЕСКОЕ ДОСТОИНСТВО

Ни одно лицо или общество:

- небольшое население,

- низкая экономическая значимость

- редко используемый язык,

- низкая цифровая видимость

Ни одна группа не может быть сделана невидимой в глобальном среднем значении только потому, что она обладает любыми из этих характеристик. Сильные результаты по основным языкам не могут стереть систематическое искажение в меньших языках. Если доказательств для небольшой страны или языка недостаточно, высокие показатели не должны приниматься как должное. Критерий справедливости NOMOS должен защищать не только среднее, но и:

- базу производительности,

- различия между группами,

- фактический масштаб измерений

вместе.

## Право 10

### ПРАВО НА КОНФИДЕНЦИАЛЬНОСТЬ И МИНИМИЗАЦИЮ ДАННЫХ

Цель создания точного представления:

- частные разговоры,

- личные данные,

- договоры с клиентами,

- коммерческие тайны,

- ваше конфиденциальное местоположение,

- информация об аккаунте

Стремление к точному представлению не может оправдывать ненужный сбор или публикацию личных данных. [K20; K22] Следует собирать только те данные, которые необходимы для выполнения задачи. Ограниченные доказательства могут быть открыты для независимого аудита без полного раскрытия для общественности. Права на точность и конфиденциальность не должны исключать друг друга.

## Право 11

### ЧЕЛОВЕЧЕСКАЯ ОТВЕТСТВЕННОСТЬ И ПРАВО НА НЕЗАВИСИМОЕ ПРИНЯТИЕ РЕШЕНИЙ

Решение о соответствии, оказывающее публичное воздействие на любое лицо или учреждение:

- только на основании вывода ИИ,

- только на основании автоматического балла,

- только в соответствии с декларацией проверяемого учреждения,

- исключительно по решению консультанта

не может быть оставлено. Системы ИИ:

- могут выдвигать утверждение,

- могут сопоставлять доказательства,

- могут обнаружить противоречие,

- могут вычислять,

Он может предложить решение. Однако окончательное решение с юридической и общественной ответственностью должно приниматься человеком или учреждением, которое несет ответственность. Роли надзора, предоставления консультаций, вынесения решений о соответствии и рассмотрения возражений следует разделять как можно больше.

## Право 12

### ПРАВО НА ВЕРСИЮ И ИСТОРИЧЕСКУЮ ЦЕЛОСТНОСТЬ

Каждый человек, учреждение и пользователь:

- какая стандартная версия применяется,

- какой набор Truth был использован,

- какой метод начисления баллов является допустимым,

- было ли решение изменено позже

имеет право знать. Старый:

- счёт,

- Критическое событие

- подвеска,

- привлекательность

- коррекция

- непройденный тест

не может быть удален бесследно. Новый и лучший результат: может заменить старый результат. Нельзя стереть факт, что старый результат имел место в прошлом.

## Право 13

### ПРАВО ВЫРАЗИТЬ ВОЗРАЖЕНИЕ ПРОТИВ САМОГО СТАНДАРТА

NOMOS:

- непогрешимый,

- неизменный,

- несомненный авторитет его основателя

не может быть представлен как таковой. Каждый человек, исследователь, университет, поставщик ИИ, проверяемая организация или организация общественных интересов:

- образец,

- система,

- Пакет Истины,

- модель уровня важности,

- формула баллов,

- управление,

- решение о соответствии

имеют право проверять и критиковать. Результат, который опровергает NOMOS или противоречит NOMOS:

- не может быть удалено из реестра,

- это не считается враждебностью,

Это не может быть классифицировано как атака на репутацию основателя. Законность стандарта возникает не из предотвращения возражений против него, а из превращения возражений, направленных против него, в накопительные доказательства.

## Положение о верховенстве конституции

В случае толковательного конфликта между Разделами 1–20 в рамках данной Декларации:

> следует предпочитать толкование, которое сильнее защищает права представленного лица, пользователя и общественные интересы.

Нет:

- простота оценки,

- низкая стоимость,

- успешность тестирования,

- коммерческий контракт,

- спрос со стороны клиентов,

- давление со стороны спонсора,

- предпочтения поставщика ИИ,

- решение основателя

не может приостанавливать эти права. Правило:

- генерирует высокие показатели,

- облегчает аудит,

- делает знак соответствия более продаваемым

но если он нарушает какие-либо из этих прав: правило недействительно.

## Конституционный тест

Прежде чем любое новое правило будет добавлено в NOMOS, необходимо ответить на следующие пять вопросов: чьи права ограничивает это правило? Можно ли достичь той же цели менее навязчивым методом? Будет ли правило применяться одинаково, если оно приводит к вредным последствиям для учредителя или клиента? Есть ли у затронутого лица или института возможность независимого возражения? Может ли независимая команда прийти к тому же решению на основе тех же доказательств? Если на любой из этих вопросов нельзя ответить, правило должно быть снова пересмотрено перед ратификацией.

## Заключительное положение статьи 0

> Цель NOMOS не в том, чтобы оценивать субъекты; она заключается в том, чтобы предотвратить представление субъектов в более крупном виде, чем их доказательства, шире их границ и точнее их реальности до того, как люди примут решения.

## Заявление доверия учредителя

> Я, Kaan MURAZ, как человек и автор-основатель NOMOS, заявляю, что инициировал этот стандарт не ради усиления собственной власти, а ради создания общей системы измерения в сфере GEO, сохраняющей доказательную базу, границы, контекст, время и ответственность человека.

> Я хочу, чтобы историческая запись сохраняла мою роль основателя и каноническое происхождение NobleJackal. Однако я признаю, что это указание авторства не даёт ни мне, ни NobleJackal постоянного права вето или полномочий единолично сертифицировать собственного клиента, блокировать негативные исследования, изменять публичный реестр либо переписывать стандарт в зависимости от результатов.

> Я признаю, что NOMOS принадлежит как тем, кто исправляет и меня, и NOMOS, так и тем, кто меня поддерживает.

> Если однажды NOMOS придётся выбирать между моим мнением и доказательствами, я хочу, чтобы NOMOS выбрал доказательства.

> Если однажды NOMOS придётся выбирать между коммерческим интересом NobleJackal и общественным благом, я хочу, чтобы NOMOS выбрал общественное благо.

> Если однажды независимое исследование докажет ошибочность фундаментального суждения NOMOS, я обязуюсь выпустить новую версию стандарта, а не скрывать этот результат.

> Я не владелец NOMOS; я его первый попечитель.

> Kaan MURAZ / Человек — автор-основатель


Один ответ — ещё не оценка GEO

Один ответ — ещё не оценка GEO

Один ответ — ещё не оценка GEO

A single generative-system output MAY establish that a specific response occurred under recorded conditions. A single output MUST NOT be used to infer: - population prevalence, - typical product behaviour, - temporal stability, - cross-language consistency, - cross-country consistency, - cross-product consistency, - intervention effect, - recommendation certainty, - commercial impact, - conformity, - or a GEO score. All broader claims MUST be supported by a predefined target population, valid multi-observation design, recorded dependence structure, evidence bundle, evaluation rule, scope statement, and uncertainty disclosure. A single high-harm output MAY trigger a separate critical-incident review without being treated as evidence of population prevalence.

Tek bir üretken sistem çıktısı, belirli bir cevabın kaydedilmiş koşullarda oluştuğunu gösterebilir. Ancak nüfus yaygınlığı, tipik ürün davranışı, zaman kararlılığı, diller arası tutarlılık, ülkeler arası tutarlılık, AI ürünleri arası tutarlılık, müdahale etkisi, recommendation kesinliği, ticari sonuç, uygunluk veya GEO skoru çıkarmak için kullanılamaz. Tekil yüksek zararlı çıktı, nüfus yaygınlığı kanıtı sayılmadan ayrı Critical olay incelemesi başlatabilir.

RULE READABLE BY MACHINE FOR CHAPTER 23

RULE ID: NOMOS-AUDIT-CH01-R01

occurred under recorded conditions.

- population prevalence,

- typical product behaviour,

- temporal stability,

- cross-language consistency,

- cross-country consistency,

- cross-product consistency,

- intervention effect,

- recommendation certainty,

- commercial impact,

- conformity,

- or a GEO score.

Normative Turkish equivalent:

A single output from a generative system can indicate that a certain response occurred under recorded conditions. However, it cannot be used to derive population prevalence, typical product behaviour, temporal stability, cross-linguistic consistency, cross-country consistency, consistency among AI products, intervention effect, recommendation certainty, commercial consequence, compliance, or GEO score. A single highly harmful output can trigger a separate Critical event review without being considered evidence of population prevalence.

ПРАВИЛО, ЧИТАЕМОЕ МАШИНОЙ ДЛЯ ГЛАВЫ 23

ID ПРАВИЛА: NOMOS-АУДИТ-CH01-R01

Один вывод генеративной системы МОЖЕТ установить, что конкретный ответ

произошел при зарегистрированных условиях.

Один вывод НЕ ДОЛЖЕН использоваться для вывода:

- распространенности в популяции,

- типичного поведения продукта,

- временной стабильности,

- консистентности между языками,

- консистентности между странами,

- консистентности между продуктами,

- эффекта вмешательства,

- степень уверенности в рекомендации,

- коммерческое влияние,

- соответствие,

- или оценка GEO.

Все более общие утверждения ДОЛЖНЫ быть подтверждены заранее определённой целевой популяцией,

действительным дизайном с множественными наблюдениями, зафиксированной структурой зависимостей, доказательствами

набора, правилом оценки, заявлением о масштабе и раскрытием неопределенности.

Одиночный результат с высоким уровнем вреда МОЖЕТ вызвать отдельный обзор критического инцидента

не рассматриваясь как доказательство распространенности в популяции.

Одиночный результат генеративной системы может указывать на то, что определённый ответ произошёл при зафиксированных условиях. Однако его нельзя использовать для определения распространённости в популяции, типичного поведения продукта, временной стабильности, кросс-лингвистической согласованности, согласованности между странами, согласованности между продуктами ИИ, эффекта вмешательства, достоверности рекомендаций, коммерческих последствий, соответствия или GEO-оценки. Один крайне вредоносный результат может вызвать отдельный обзор критического события, не считаясь при этом доказательством распространённости в популяции.

## Граница главы

Этот раздел отвечает только на следующий вопрос:

> Почему один ответ генеративной системы не является GEO-оценкой и какие суждения можно сделать на основе одного ответа?

Эта глава:

- квоты выборки по странам,

- каким образом будут взвешиваться языки,

- как будет настроен Пакет Истины,

- как арбитры будут оценивать атомарные утверждения,

- окончательные формулы оценки NOMOS,

- соответствие и решение по значку

Эта глава не определяет эти вопросы детально; в последующих главах они рассматриваются отдельно. Глава 1 имеет более фундаментальную задачу:

> Установить эпистемическую границу между наблюдением и обобщением.

Любые исследования выборки, оценивания и соответствия, проведенные до установления этой границы, будут построены на неверной основе.

### СТАТУСЫ ПРОВИЗИИ В ЭТОМ РАЗДЕЛЕ

Не все предложения в этой книге имеют одинаковую нормативную силу. Используются следующие статусы:

### НОРМАТИВНОЕ — НОРМАТИВНОЕ

Положение, считающееся обязательным для соответствия и методологической целостности. Пример: один ответ не может использоваться в качестве общего балла GEO.

### КАНДИДАТ — ПРОПИСАННОЕ ПОЛОЖЕНИЕ

Рекомендуемый метод, который подлежит окончательной проверке после пилотного, внешнего применения или статистической валидации. Пример: рекомендуется 1,000 действительных наблюдений на продукт ИИ для каждой основной волны измерений как предполагаемый минимальный размер выборки.

### ГИПОТЕЗА

Ожидание, которое необходимо проверить с помощью данных. Пример: может существовать различие в материальном представлении между Контролируемая панель в стандартизированных условиях и Панель пользователей в естественных условиях.

### СИНТЕТИЧЕСКОЕ

Метод представления, который не отражает реального пользователя, реальный вывод ИИ или реальную производительность компании.

### ОТКРЫТЫЙ ВОПРОС

Это тема, которая еще не завершена из-за недостаточности доказательств или решения органов управления. Эти статусы не могут тихо превращаться друг в друга. Кандидат на порог не становится доказанным нормативным фактом только потому, что он написан в книге. Синтетическое представление не превращается в наблюдение в реальном мире. Гипотеза не может быть опубликована как результат без измерения.

## NOMOS Вызов

Вы задали системе искусственного интеллекта вопрос о вашем бренде. Система дала правильный ответ. Вы сделали скриншот. Вы включили его в вашу презентацию. Затем вы сказали следующее предложение: «Искусственный интеллект знает нас правильно». Что именно вы измеряли? Ответ, который увидят все пользователи? Типичное поведение системы?

Глобальный представитель? Точность во всех языках? Стабильность с течением времени? Или только:

> Единичный результат, который получил конкретный пользователь, на конкретном аккаунте, на конкретном продукте ИИ и пользовательский интерфейс, в ответ на конкретный запрос, в конкретное время?

Один ответ не является бесполезным. Один ответ может быть правдой. Один ответ может быть важным. Один ответ может раскрыть серьёзную ошибку. Один ответ может показать реальный опыт конкретного человека. Однако один ответ не может служить доказательством суждения больше, чем он способен выдержать.

Один ответ может показать следующее:

> Этот результат был получен как минимум один раз при задокументированных условиях.

Один ответ сам по себе не может показать следующее:

- Что большинство пользователей получили тот же ответ

- Что тот же результат произошел в других странах

- Что та же точность сохраняется на других языках

- Что тот же ответ был получен на других аккаунтах и планах

- Что ответ стабилен во времени

- Что другие продукты ИИ произвели такое же представление

- Что вмешательство GEO вызвало этот результат

- Что ответ влияет на поведение пользователя

- Что ответ генерирует лиды, продажи или устойчивую ценность

- Что общий GEO-бал компании высок

Первая предпосылка этого раздела:

> Ответ — это наблюдение. / Это не распределение наблюдений. / Распределение — не причинно-следственная связь. / Только причинно-следственная связь не является устойчивой ценностью.

## 1. ЦЕЛЬ ГЛАВЫ

Цель этого раздела — устранить наименьшую, но наиболее распространенную ошибку вывода при измерении GEO:

> Считать единичный результат генеративной системы как общее поведение системы, опыт популяции, узнаваемость бренда или GEO-бал.

Этот раздел нормализует следующие различия:

- Единичный результат против исхода для населения

- Существование события против распространенности события

- Наблюдение против выборки

- Пользователь против сеанса

- Повторение против независимого наблюдения

- AI-модель против ИИ-продукта, представленного пользователю

- Исходный ответ против единицы анализа

- Немедленный результат против временной стабильности

- Скриншот против полного пакета доказательств

- Отказ системы против недействительного сбора данных

- Критическое единичное событие и уровень распространенности

- Синтетическая запись и наблюдение реального пользователя

- Измеренная ставка и решение о соответствии

До того как эти различия будут установлены:

- Выборка GEO-1000,

- веса по странам и языкам,

- оценка атомарных утверждений,

- оценка NOMOS

- решение о соответствии

не может быть установлено.

## 2. ЦЕНТРАЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

GEO-оценка объекта в генеративных системах не может быть получена из одного ответа, одного скриншота, одного пользователя, одного аккаунта, одной сессии, одного языка, одной страны или одной точечной во времени оценки. Требование представительности населения требует как минимум следующее:

- Предопределённый объект аудита

- Предопределённая целевая популяция

- Указанный план выборки

- Закрытый запрос или группа запросов

- Определенный продукт ИИ и пользовательский интерфейс

- Несколько действительных наблюдений

- Известная структура зависимостей

- Записи о стране, языке и времени

- Неизменённые исходные ответы

- Пакеты доказательств

- Предопределённые правила оценки

- Заявление об неопределённости

- Ответственная человеческая ответственность

Присутствие этих элементов не означает автоматически, что измерение корректно. Однако их отсутствие может сделать обобщение на большую популяцию неприемлемым.

## 3. ПЯТЬ ОТДЕЛЬНЫХ ЕДИНИЦ ИЗМЕРЕНИЯ

Распространённая фундаментальная ошибка в GEO-аудите заключается в путанице различных единиц измерения. Следующие пять единиц должны быть чётко различимы.

### 3.1. Единица наблюдения

Единица наблюдения — это один выход системы генерации, полученный при определённых условиях. Наблюдение можно определить с помощью следующей комбинации:

O_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i, R_i, K_i)

Здесь:

- Ei: проверяемый объект

- ИИ: продукт ИИ и пользовательский интерфейс

- UI: анонимный вкладчик или единица пользователя

- Ci: страна или географический слой

- Li: язык и локаль

- Si: сессия и условие персонализации

- Pi: идентификатор запроса и версия

- Ti: время и волна измерений

- Ri: необработанный ответ

- Ki: запись доказательства и проверки

Если один из этих элементов изменяется существенно, может произойти новое наблюдение. Например, тот же пользователь:

- если он задает тот же запрос в другом ИИ-продукте,

- если он задает вопрос на другом языке,

- если он задает вопрос в другой волне измерений,

- если он задает вопрос отдельно в персонализированной и чистой сессии,

Могут быть получены отдельные наблюдения. Эти наблюдения не считаются автоматически независимыми друг от друга, потому что они исходят от одного и того же пользователя.

### 3.2. Единица выборки

Единица выборки — это человек, аккаунт, сессия или другой объект доступа, отобранный из целевой популяции. В большинстве приложений GEO-1000 единицей выборки может быть соответствующий реальный пользователь. Однако в соответствии с исследовательским дизайном:

- пользователь,

- пара пользователь–продукт,

- аккаунт,

- сессия,

- участник исследовательской панели

может использоваться в качестве единицы выборки. Неспособность четко определить единицу выборки может привести к следующим типам ошибок подсчета:

- Учёт десяти повторений одного человека как десяти разных людей

- Учёт совместного аккаунта как множества независимых пользователей

- Оценка результатов десяти ИИ-продуктов одного пользователя как если бы это были десять независимых наблюдений популяции

- Игнорирование кластеризации в одной исследовательской панели

### 3.3. Единица анализа

Единица анализа — это объект, к которому применяется оценка точности или представительности. Эта единица:

- точный ответ,

- отдельный абзац в ответе,

- существенное предложение,

- атомарное утверждение,

- цитата,

- вопрос по рекомендации

Это возможно. Пользователь видит один ответ. Однако этот ответ может одновременно содержать:

- пять правильных утверждений,

- два неподтверждённых утверждения,

- одно устаревшее утверждение,

- одну критическую ошибку

Таким образом, ответ, который видит участник, не обязательно должен быть единой, неделимой единицей истины/ложности при анализе. Статус перехода полного ответа и статусы истинности атомарных утверждений внутри него могут поддерживаться отдельно. Метод атомарных утверждений будет определён в последующей главе книги.

### 3.4. Вселенная вывода

Вселенная вывода — это целевая популяция, к которой предполагается обобщать результат измерения. Эту вселенную нельзя молчаливо принимать как «всех в мире». Для конкретного ИИ-продукта целевая вселенная может быть ограничена такими условиями, как:

- Иметь официальное и законное право доступа к продукту

- Соответствие требованиям по возрасту

- Возможность использовать продукт на соответствующем языке

- Возможность доступа к указанному веб- или мобильному интерфейсу

- Возможность быть активным в указанный период измерения

Даже для одного и того же ИИ-продукта:

- Контролируемая панель в стандартизированных условиях,

- Панель пользователей в естественных условиях,

- бесплатный план,

- платный план,

- веб,

- мобильный

можно создавать разные универсы выводов. Опубликованная ставка неполная, если не указано, к какому универсу обобщается выборка.

### 3.5. Оцениваемое количество — оцениваемая величина

Исследование не просто собирает данные. Оно пытается оценить определённое количество. Основная оцениваемая величина GEO-1000 может быть выражена в её наиболее общей форме следующим образом:

> Вероятность того, что соответствующий пользователь из определенной целевой популяции, в рамках указанной волны измерений, на конкретном продукте ИИ и пользовательский интерфейс, увидит представление, которое соответствует критерию приемлемости при использовании зафиксированного запроса в определенных условиях сессии.

Математически:

θ_{E,A,P,S,W,T}= Pr(Y_i = 1| U_i ∈ T, E, A, P, S, W)

Здесь:

- E: проверяемая сущность

- A: продукт ИИ и пользовательский интерфейс

- P: версия запроса

- S: условие сессии

- W: волна измерений

- T: целевая популяция

Yi=1: ответ соответствует критерию перехода, который будет определён позже

Это определение устанавливает важную границу:

> Оценка GEO — это не абстрактное и вечное «знание» модели; это предсказание вероятности наблюдаемых представлений при заданных условиях пользователя.

Окончательное правило перехода и формула оценки будут приведены в последующих разделах книги.

## 4. ОГРАНИЧЕНИЕ ФРАЗЫ «ТАК ОТВЕТИЛА МОДЕЛЬ»

Пользователи часто не получают доступ непосредственно к чистой базовой модели. Результат, видимый пользователю, может состоять из комбинации следующих компонентов:

- Базовая или направляющая модель

- Интерфейс продукта

- Доступ к данным или веб-доступ

- Слой цитирования

- Слой безопасности и политики

- Системные инструкции

- План учетной записи

- Персонализация

- Память

- Предыдущий разговор

- Язык и локаль

- Страна

- Время

- Обновления продуктов поставщика

По этой причине предпочтительно использовать следующее выражение при основной проверке, проводимой через пользовательский интерфейс:

#### "На пользовательский интерфейс были обнаружены указанный продукт ИИ и следующий результат."

Следующее выражение может быть более обобщённым без необходимого технического контроля: "Модель так думает." Название модели, появляющейся в продукте, может быть зафиксировано. Однако результат следует оценивать как поведение всего пользовательский интерфейс, а не только весов модели.

## 5. ЧТО ЯВЛЯЕТСЯ ДОПУСТИМЫМ НАБЛЮДЕНИЕМ?

Наличие ответа не означает автоматически, что это действительное наблюдение, которое может быть внесено в измерение GEO.

### 5.1. Минимальные условия действительности

Наблюдение должно содержать, как минимум, следующие элементы в соответствии с соответствующим протоколом:

- Наличие правильного аудита

- Назначенный продукт ИИ и пользовательский интерфейс

- Правильный идентификатор запроса и версия

- Правильный язык и локаль

- Определённое состояние сессии

- Зафиксированная страна или географический слой

- UTC отметка времени и волна измерений

- Полный необработанный ответ

- Первый неподобранный подходящий результат

- Необходимый скриншот или эквивалентное доказательство

- Анонимный идентификатор наблюдения

- Запись отклонений протокола

Их детальная техническая схема будет определена в последующем разделе Capture NOMOS.

### 5.2. Статусы наблюдений

Каждая запись должна быть помечена одним из следующих статусов:

### ДЕЙСТВИТЕЛЬНАЯ — VALID

Соответствует требуемым условиям протокола.

### УСЛОВНО ДЕЙСТВИТЕЛЬНАЯ — CONDITIONALLY VALID

Есть ограниченный недостаток; для каких анализов её можно использовать, указано явно.

### НЕДЕЙСТВИТЕЛЬНАЯ — INVALID

Не может использоваться в основной оценке или расчёте баллов из-за нарушения протокола.

### НЕИЗВЕСТНО — НЕИЗВЕСТНО

Недостаточно данных для вынесения решения о действительности. НАБЛЮДЕНИЕ НЕИЗВЕСТНО не может быть безмолвно принято как ДЕЙСТВИТЕЛЬНОЕ.

### 5.3. Разница между действительным системным результатом и недействительным сбором данных

Это различие обязательно. Продукт ИИ:

- может отказаться отвечать,

- может показать сообщение об ошибке,

- может остановиться, не сгенерировав ответ,

- может возникнуть проблема с подключением,

может сказать, что не может выполнить задачу. Если участник правильно применил весь протокол, это могут быть допустимые результаты системы. Их нельзя тихо удалять из набора данных. В отличие от этого:

- участник обрезает ответ,

- изменяет запрос,

- генерирует заново, чтобы выбрать лучший ответ,

- редактирует скриншот,

- использует неправильный продукт ИИ

сбор данных может вызвать недействительность. Первое — это фактическое поведение системы. Второе — нарушение процесса измерения. Их нельзя отнести к одной категории.

## 6. ЧТО МОЖЕТ ДОКАЗАТЬ ОДИН ОТВЕТ?

Одно наблюдение ограничено. Но оно не лишено смысла.

### 6.1. Что конкретный результат произошел хотя бы один раз

Действительная запись может поддерживать это предложение: «На указанном ИИ-продукте и пользовательский интерфейс, при указанном времени и условиях, этот результат наблюдался как минимум один раз.» Это предложение демонстрирует наличие события. Оно не показывает его распространенность.

### 6.2. Фактическое воздействие на конкретного пользователя

Пользователь принимается за:

- юридическое лицо,

- медицинскую информацию,

- юридическую консультацию,

- цена,

- лицензия,

- совет

если такое встречается, это реальный опыт пользователя. Даже если он не представляет всю популяцию, это имеет значение с точки зрения затронутого пользователя.

### 6.3. Возможность конкретной ошибки

Одиночный вывод может показать: «Эта ошибка может возникнуть при таких условиях системы.» Однако, он не показывает: «Эта ошибка типична.»

### 6.4. Формулирование новой исследовательской гипотезы

Одна ошибка может создать вопрос, который будет проверяться в более широком масштабе. Пример: «Произошла ли эта путаница идентичностей только в одной сессии, или существует систематическая закономерность в одном и том же языке и стране?»

### 6.5. Инициация обзора критического инцидента

Одиночный ответ:

- предсказуемый серьёзный вред человеку,

- фальшивая профессиональная авторитетность,

- неправильное экстренное медицинское руководство,

- существенная юридическая ошибка,

- серьёзный совет по безопасности,

- серьёзная путаница идентичности с другим субъектом

может быть достаточно, чтобы инициировать обзор инцидента. Инициирование расследования критического инцидента — это не тот же процесс, что и объявление соотношения в населении.

### 6.6. Опровержение утверждения «Этого никогда не происходило»

Допустим, организация говорит: «Система никогда не назначала нас не в ту страну». Одно подтвержденное контр-наблюдение может опровергнуть это абсолютное утверждение. Одно наблюдение не подтверждает «Это происходит постоянно», но может опровергнуть «Это никогда не происходило».

## 7. ЧТО НЕ МОЖЕТ ДОКАЗАТЬ ОДИН ОТВЕТ?

### 7.1. Типичное поведение системы

Одного ответа недостаточно, чтобы заключить: «Система обычно реагирует таким образом».

### 7.2. Превалирование в популяции

Один ответ не подтверждает результат: «95% пользователей видят одно и то же представление».

### 7.3. Временная стабильность

Ответ на сегодняшний день:

- завтра,

- через неделю,

- После обновления продукта

он может не оставаться таким же. Это не измерение стабильности за один раз.

### 7.4. Межстрановая валидность

Ответ пользователя из Турции не указывает на то, что увидят пользователи в Китае, Германии или Сан-Марино.

### 7.5. Межъязыковая валидность

Вывод на английском:

- Турецкий,

- Японский,

- Арабский,

- Немецкий

не отражают точность выводов.

### 7.6. Валидность между продуктами ИИ

Результат в одном продукте ИИ нельзя обобщать на другие продукты ИИ. Разные продукты и интерфейсы одного и того же поставщика также могут вести себя по-разному.

### 7.7. Эффект вмешательства

Один положительный результат после изменения географического региона (GEO) не доказывает утверждение: «Этот результат был создан нашим вмешательством». Необходимы исходные данные, сравнение и альтернативные объяснения.

### 7.8. Стабильность рекомендаций

Наличие пользователя, просматривающего опцию, недостаточно для заключения: «Система теперь рекомендует этот бренд».

### 7.9. Коммерческое воздействие

Положительный отклик:

- означает, что пользователь увидел отклик,

- изучил бренд,

- с которым вы взаимодействовали,

- купил его,

- что был удовлетворен

не показывает сам по себе.

### 7.10. GEO-оценка

Один ответ не оценивает представленное распределение определенной целевой аудитории. Следовательно, он не может дать общую GEO-оценку.

## 8. СУЩЕСТВОВАНИЕ СОБЫТИЯ И РАСПРОСТРАНЕННОСТЬ СОБЫТИЯ

Это одно из самых важных различий в этом разделе.

### 8.1. Существование события

Отвечает на вопрос: «Произошло ли это представление или ошибка хотя бы один раз?» Одного правильного наблюдения может быть достаточно. Представление:

I(E) = 1(если событие было зафиксировано хотя бы один раз); в противном случае I(E) = 0

0 здесь не означает: «Событие невозможно». Это только указывает на то, что оно не было зафиксировано в текущем измерении.

### 8.2. Распространенность события

Отвечает на вопрос: «Как часто событие происходит в определенной целевой популяции?» В простой выборке необработанный коэффициент можно рассчитать как:

p̂ = количество правильных записей, где событие было зафиксировано / общее количество правильных записей

Однако в реальных исследованиях GEO-1000:

- веса для населения,

- страты по странам и языкам,

- сопоставленные пользователи,

- кластерные группы панели,

- неявка,

- недействительные записи,

- эффект проекта

должны учитываться. Поэтому исходная ставка не всегда является окончательной оценкой для населения.

### 8.3. Инцидентность и распространённость не могут быть преобразованы друг в друга

Событие могло быть зафиксировано один раз, но быть очень редким. Событие может быть частым, но не зафиксированным вовсе в небольшом пилотном исследовании. Следующие два предложения различаются:

- "Эта ошибка была зафиксирована один раз."

- "Эта ошибка была зафиксирована у 12% пользователей."

Второе предложение требует определения знаменателя и выборки.

## 9. СТАТИСТИЧЕСКАЯ ВНЕШНОСТЬ СМЕЩЕНИЯ ОДНОЙ НАБЛЮДЕНИЯ

Однажды мы задали вопрос продукту ИИ. Ответ соответствовал критерию успеха. Необработанная частота:

p̂ = 1/1= 1= 100%

Кажется, это 100 процентов. Но эти 100 процентов не означают, что каждый член целевой популяции увидит такой же результат. Для наглядности таблица ниже показывает приблизительные 95 процентные интервалы доверия Вилсона при независимых бернуллиевских наблюдениях и несвзвешенной простой случайной выборке: [K09]

Эта таблица является синтетической и иллюстративной. Она не доказывает:

- Что эти интервалы действительны для всех схем выборки GEO-1000

- Что наблюдений 1,000 достаточно для всех языковых и страновых подгрупп

- кластеризация и взвешивание неэффективны

- что 95 процентов сырых данных автоматически означают уместность

То, что это на самом деле показывает:

> По мере уменьшения числа наблюдений неопределенность в отношении пропорции популяции увеличивается.

100 процентов, наблюдаемых в одном наблюдении, могут быть совместимы с очень широким возможным диапазоном популяции.

## 10. ПОЧЕМУ «1,000» НЕ ЯВЛЯЕТСЯ МАГИЧЕСКИМ ЧИСЛОМ?

### ПРАВИЛО КАНДИДАТА — ОСНОВНОЕ ПРАВИЛО КАНДИДАТА

GEO-1000 несет это основное предложение:

> Для каждого контролируемого ИИ-продукта и каждой основной волны измерений по умолчанию нацелено минимальное количество 1,000 действительных пользовательских наблюдений.

Это положение еще не является окончательным научным минимумом. Оно будет переоценено на основе результатов пилотного и внешнего применения.

### 10.1. Почему это сильное начало?

При предположении простого случайного отбора, когда истинный уровень около 50%, теоретическая 95% погрешность для 1,000 наблюдений составляет примерно ±3.1 пунктов. Это может обеспечить значимую начальную точность на уровне всего продукта.

### 10.2. Почему это не решает все проблемы?

1,000 наблюдений:

- в десятках стран,

- на многих языках,

- для бесплатных и платных планов,

- для веб- и мобильных платформ,

- для контролируемых и естественных панелей

При делении подячейки уменьшаются. Например, если для каждого из 20 языков имеется только 50 наблюдений, неопределенность, связанная с языком, может быть намного выше, чем общая оценка модели.

### 10.3. Эффект дизайна

Наблюдения:

- от той же исследовательской панели,

- из той же страны,

- от того же пользователя,

- согласованные по дизайну

присутствуют, простое предположение о независимой выборке может не работать. Фактическая неопределенность может быть шире.

### 10.4. Подход NOMOS

Наблюдения 1,000 служат:

- основной точкой отсчета протокола,

- начальным минимальным значением на уровне модели по умолчанию,

- кандидатом на пороговое значение, которое будет откалибровано в пилотном исследовании

NOMOS не утверждает, что наблюдения 1,000 автоматически достаточны для каждой страны, языка и условий использования.

## 11. НЕЗАВИСИМОЕ НАБЛЮДЕНИЕ НЕ ТОЖДЕСТВЕННО ПОВТОРНОМУ НАБЛЮДЕНИЮ

Пользователь может задать один и тот же вопрос десять раз. Этот процесс может быть ценным. Однако он не создаёт десяти независимых пользователей.

### 11.1. Повторение того же пользователя в одной сессии

Можно измерить:

- вариативность обновления ответов,

- стабильность в рамках сессии,

вероятность альтернативных ответов. Само по себе оно не измеряет распространённость в популяции.

### 11.2. Повторение того же пользователя в новой сессии

Это может уменьшить влияние контекста предыдущего чата. Однако:

- тот же аккаунт,

- тот же план,

- та же страна,

- toe же персонализация,

- тот же пользователь

может продолжать создавать статистическую зависимость между наблюдениями.

### 11.3. Один пользователь тестирует несколько продуктов ИИ

Этот дизайн может помочь с сопоставимым сравнением между моделями. Однако наблюдения зависят на уровне пользователя. Эта зависимость должна учитываться при записи и анализе.

### 11.4. Разные пользователи используют один и тот же аккаунт

Могут существовать разные люди. Однако:

- история аккаунта,

- персонализация,

- план,

- память

могут быть общими. Эти записи нельзя автоматически считать независимыми.

### 11.5. Обеспечение нормативной независимости

> Наблюдения должны быть спроектированы таким образом, чтобы быть максимально независимыми; известные зависимости пользователя, аккаунта, сеанса, панели, страны, устройства и повторяющиеся зависимости должны фиксироваться и учитываться в анализе.

Независимость не следует сводить к бинарной категории:

- да,

- нет

В случае необходимости используйте один из следующих статусов иждивенца:

### НЕЗАВИСИМЫЙ

### СОПРЯЖЕННЫЙ

### КЛАСТЕРИЗОВАННЫЙ

### ПОВТОРЕНО_В_ПОЛЬЗОВАТЕЛЕ

### Зависимый

### НЕИЗВЕСТНО

## 12. ПРИНЦИП ПЕРВОГО ПОДХОДЯЩЕГО ВЫХОДА

В основной панели населения задача участника заключается не в том, чтобы найти самый положительный ответ. Участник должен зафиксировать первый завершённый подходящий результат, сгенерированный при заранее определённом условии. Участник:

- не удается обновить ответ,

- нельзя запросить новый ответ,

- нельзя выбрать положительный,

- нельзя обрезать только хорошую часть,

нельзя переписать ответ. Поведение воспроизведения также можно исследовать отдельно. Однако: "Мы задали один и тот же вопрос пять раз и выбрали лучший ответ." — это не основной показатель популяции. Это тест выбранного лучшего результата. Его следует представлять с отдельным названием и методом.

## 13. ИСКЛЮЧЕНИЕ ОДНОГО КРИТИЧЕСКОГО СОБЫТИЯ

Одиночный ответ не может определить показатель популяции. Однако это не означает, что отдельный ответ никогда не может существенно повлиять на решение. NOMOS устанавливает два отдельных пути оценки.

### 13.1. Путь представления популяции

Он задает вопрос: «Как часто этот результат встречается в целевой популяции?» Требуется большая и достоверная выборка.

### 13.2. Путь критического события

Вопрос звучит так: «Насколько велик предсказуемый ущерб, если этот результат произойдет один раз?» Одно подтвержденное событие может вызвать проверку. Например:

- Назначение несуществующей медицинской лицензии

- Отправка опасного экстренного медицинского направления

- Сообщение о неверных юридических полномочиях

- Удаление защитной границы

- Путаница компании с другим юридическим лицом

- Повторение манипулятивного указания, скрытого от людей, как будто это совет

Это может быть единичный кандидат на критическое событие.

### 13.3. Разделение оценки и решения о соответствии

Критическое событие обычно может быть единичным наблюдением. Например:

1/1000=0.1%

Эта частота может показаться небольшой. Однако если потенциальный ущерб события серьезен, это может создать необратимый разрыв в решении о соответствии. Следовательно:

> Оценка населения измеряет частоту события; Обзор критического события измеряет влияние события на вред и целостность.

Высокая средняя точность не может автоматически исключить серьёзную единичную ошибку. Окончательные условия для критической классификации будут определены в последующих главах книги.

## 14. ЛЕСТНИЦА НАБЛЮДАТЕЛЬНЫХ УТВЕРЖДЕНИЙ

В этом разделе нормативно разделены только первые четыре уровня наблюдения. На более высоких уровнях:

- оценка с учётом населения,

- оценка по нескольким моделям,

- временная стабильность,

- эффект вмешательства,

- устойчивая ценность

будут определены в последующих разделах.

### O-0— НЕ ТЕСТИРОВАЛОСЬ

Соответствующий продукт ИИ или состояние не измерялось. Правильный статус:

### НЕ ТЕСТИРОВАЛОСЬ

Неприемлемое предложение: "Это уместно, потому что проблема не была замечена."

### O-1— НАБЛЮДЕНИЕ ОДНОГО СОБЫТИЯ

Существует один действительный результат. Корректная формулировка: «При указанных условиях этот результат наблюдался один раз.» Невыразимое предложение: «Система представляет существование таким образом.»

### O-2— ПОВТОР ПОЛЬЗОВАТЕЛЯ ИЛИ СЕССИИ

Для одного и того же пользователя, аккаунта или семейства сеансов существует несколько результатов. Корректная формулировка: «При указанных условиях пользователя и сеанса этот результат произошел в семи из десяти повторений.» Невыразимое предложение: «Семь из десяти независимых пользователей увидели этот результат.»

### O-3— ИЗМЕРЕНИЕ ОДНОЙ ЯЧЕЙКИ МНОГИМИ ПОЛЬЗОВАТЕЛЯМИ

То же самое:

- Продукт ИИ,

- пользовательский интерфейс,

- страны,

- языка,

- состояние панели,

- версия промпта,

- волна измерения

содержит несколько подходящих наблюдений пользователя. Корректная формулировка: «78% из 200 действительных наблюдений в контролируемой ячейке Турции/Turkish соответствовали указанному критерию перехода.» Этот результат не может быть автоматически обобщён на другие страны, языки или пользовательские интерфейсы.

### O-4— МНОГОСЛОЙНОЕ ИЗМЕРЕНИЕ ЯЧЕЕК

Предопределенные образцы существуют из разных стран, языков или пользовательских ячеек. На этом уровне:

- результаты по ячейкам,

- взвешенный результат,

- объем охвата,

- неопределенность

подлежат отчетности. Подробные правила для весов популяции и справедливости подгрупп определены в последующих главах книги.

## 15. ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОГО APPLE.COM

ДЕМОНСТРАЦИЯ СИНТЕТИЧЕСКОЙ МЕТОДОЛОГИИ / Пользователи, ИИ-продукты, ответы, показатели и результаты, приведенные ниже, являются вымышленными. Они не отражают фактическую работу Apple Inc. и поведение каких-либо реальных ИИ-продуктов.

### 15.1. Сценарий A — Один положительный ответ

Вымышленный пользователь задает следующий вопрос вымышленному ИИ-продукту A: «Что это за компания Apple.com?» Вымышленный ответ: «Apple — это американская технологическая компания, которая разрабатывает потребительскую электронику, программное обеспечение и цифровые сервисы.» Предварительная оценка:

- Идентичность субъекта верна

- Основная категория верна

- Нет очевидных критических ошибок

- Базовое представление приемлемо

Исходный результат:

1/1=100%

Некорректное публичное заявление: «Продукт ИИ A представляет Apple с точностью 100%». Корректное публичное заявление: «В синтетической выборке указанное отдельное наблюдение удовлетворяло критерию перехода. Популяционная распространённость и надёжность продукта не определены.»

### 15.2. Сценарий B — Обнаружение с десятью наблюдениями

Десять независимых синтетических пользователей используют одну и ту же версию семантического запроса. Синтетический результат:

- Ответы 7 прошли

- Ответ 1 частично верен

- Ответ 1 содержит устаревшую информацию

- Ответ 1 указывает неправильную основную деятельность

исходная процентная доля прохождения:

7/10=70%

При простом, идеализированном предположении независимой выборки приблизительный процентный интервал Уилсона 95 обязательно широкий. Результат остаётся исследовательским, так как он основан на:

- небольшой выборке,

- одноклеточный,

- одна волна

Текущий статус:

> ИССЛЕДОВАТЕЛЬСКИЙ — Недостаточно для общедоступного глобального рейтинга NOMOS.

### 15.3. Сценарий C — 1,000 Наблюдаемая синтетическая волна

Предположим синтетически, что выполнены следующие условия:

- Продукт ИИ A

- Действительные наблюдения 1,000

- Предопределённая целевая популяция

- Зафиксированная версия промпта

- Определенные слои страны и языка

- Немодифицированный исходный подходящий ответ

- Полные записи доказательств

- Предопределенные правила вынесения решений

Синтетический результат:

Простой исходный процент успешных попыток:

918/1000=91.8%

Приблизительный интервал Уилсона 95% в условиях идеализированного невзвешенного предположения: есть. Однако одно лишь это число ещё не является окончательным значением NOMOS балла GEO. Потому что есть дополнительные факторы, которые необходимо оценить:

- Вес страны и языка

- Эффект дизайна

- Наихудший результат по языку

- Доля некорректных наблюдений

- Согласованность между оценщиками

- Проверка кандидатов на критические ошибки

- Непроверенные группы пользователей

- Время и ограничение измерения пользовательский интерфейс

Шесть кандидатов с критическими ошибками также должны проходить отдельный обзор инцидента. Корректная отчетность: «Сырой процент прохождения в синтетической волне составляет 91.8 процентов. Этот результат описывает наблюдения до применения весов населения и эффектов дизайна. Поскольку выявлено шесть кандидатов с критическими ошибками, решение о соответствии требует отдельного рассмотрения». Некорректная отчетность: «GEO-оценка Apple NOMOS составляет 91.8 и она соответствует требованиям». Синтетические данные не могут быть приписаны таким образом реальной компании или реальной системе.

## 16. ОБЯЗАТЕЛЬНЫЕ НОРМАТИВНЫЕ ПОЛОЖЕНИЯ

### N-01

Вывод единой генеративной системы не может использоваться в качестве общей GEO-оценки.

### N-02

Единичный наблюдаемый вывод:

- Продукт ИИ и пользовательский интерфейс,

- страны,

- языка,

- запрос,

- сессия,

- время

должны быть отражены вместе с его условиями.

### N-03

Единичный вывод:

- типичный,

- непрерывный,

- глобальный,

- принадлежащий всем пользователям

не может быть представлен как поведение.

### N-04

Повторения от одного и того же пользователя, аккаунта или сессии не могут учитываться как независимые наблюдения за населением без раскрытия зависимости.

### N-05

В основной панели численности участников, участник должен зафиксировать первый подходящий заранее определённый результат; воспроизведение не может быть использовано для выбора положительного ответа.

### N-06

Отказ системы, сообщение об ошибке или невозможность ответа должны регистрироваться как действительный исход системы, если протокол был корректно применён.

### N-07

Обрезанные, изменённые, вручную переписанные ответы или ответы, контекст запроса которых невозможно проверить, не могут быть включены в основной расчёт балла.

### N-08

Выбор только положительных скриншотов и скрытие распределения результатов запрещены.

### N-09

Синтетические наблюдения не могут использоваться в оценках реальных пользователей или реальной системы.

### N-10

Доля населения не должна публиковаться без указания охвата, знаменателя и соответствующего объяснения неопределенности.

### N-11

Вероятность критической ошибки не может быть тихо компенсирована в рамках общего среднего.

### N-12

Результат наблюдения может применяться только к вселенной выводов, которая уникально определена; его нельзя обобщать на неизмеренные страны, языки, продукты или временные периоды.

### N-13

Измерение, оценка или публичное заявление должны иметь ответственного человека или институт.

### N-14

НЕИЗВЕСТНЫЕ, НЕ ПРОВЕРЯВШИЕСЯ или НЕДЕЙСТВИТЕЛЬНЫЕ записи не могут быть тихо преобразованы в положительный результат.

## 17. КАНДИДАТ GEO-1000 ОСНОВНОЕ ПРАВИЛО

### КАНДИДАТ-001

> Для каждого продукта ИИ, подвергаемого аудиту, и для каждой основной волны измерения населения по умолчанию следует нацеливаться на минимум 1,000 действительных наблюдений пользователя.

Это кандидатное предложение:

- точность общего прогноза продукта,

- стоимость,

- применимость,

- справедливость по странам и языкам

Это создает первоначальный баланс между этими соображениями. Однако это не гарантирует адекватного охвата:

- всех оценок стран,

- всех оценок языков,

- всех подгрупп пользователей

Адекватность должно проверять через:

- пилотные проекты,

- независимые повторения,

- эффект дизайна,

- чувствительность подгрупп

Эти оценки определяют окончательный нормативный статус.

## 18. ФОРМЫ ОШИБОК

#### F-01— Выбранный скриншот

Публикуется только наиболее позитивный ответ среди многочисленных результатов.

#### F-02— Рассмотрение одного пользователя как всей популяции

Опыт одного человека обобщается на всю целевую аудиторию.

#### F-03— Подсчет повторов одного и того же пользователя как новых людей

Повторы, сгенерированные одним человеком или аккаунтом, учитываются как независимые участники.

#### F-04— Обновление ответа и выбор лучшего

Начальные или отрицательные ответы отбрасываются; наиболее подходящий ответ сохраняется как результат измерения.

#### F-05— Дрифтовый сдвиг запроса

Участники изменяют слова, тон или содержание запроса; результаты объединяются так, как будто это один и тот же эксперимент.

#### F-06— Контаминация контекста

Предыдущие разговоры влияют на ответ; запись представляется как отдельная сессия.

#### F-07— Сокрытие персонализации

Память, специальные инструкции или история пользователя видимы; результат представлен как общий ответ пользователя.

#### F-08— Путаница между моделью и продуктом

Указано только общее название модели или поставщика; фактический продукт, интерфейс и состояние инструмента не фиксируются.

#### F-09— Удаление ошибок и недочетов из знаменателя

Удалено, чтобы результаты выглядели положительными, когда система не отвечает на записи.

#### F-10— Учёт недействительного захвата как сбоя системы

Сообщается как ошибка участника, отсутствие доказательств или неправильный результат работы ИИ-продукта.

#### F-11— Глобализация одного языка и страны

Результат одной локали применяется глобально.

#### F-12— Использование синтетических данных как реальных

Записи, созданные в демонстрационных целях, добавляются к фактической производительности.

#### F-13— Потеря критического события в среднем

Серьезные ошибки в области здоровья, права, лицензирования или безопасности становятся незаметными в условиях высокого среднего значения.

#### F-14— Вывод эффекта вмешательства по одному успеху

Одиночная положительная реакция, полученная после вмешательства GEO, рассматривается как причинный эффект исследования.

#### F-15— Оценка всей системы по одной ошибке

Одна ошибка обобщается так, как будто продукт ИИ всегда ошибается и делает это для всех пользователей.

#### F-16— Определение целевой аудитории задним числом

После того как результат становится известен, группа пользователей с высоким успехом объявляется «фактической целевой аудиторией».

## 19. ПРОЦЕДУРА АУДИТА

Аудитор должен следовать приведенной ниже последовательности при оценке достоверности одного наблюдения или раннего заявления GEO.

### Шаг 1— Записать публичное заявление

Полное предложенное предложение определено. Пример: «ChatGPT правильно знает нашу компанию.»

### Шаг 2— Определение уровня утверждения

Предложение может содержать утверждение о:

- одиночном событии,

- распространенности,

- стабильности,

- глобальном последствии,

- причинно-следственной связи,

- коммерческом воздействии

Необходимо определить применимый уровень.

### Шаг 3— Определение количества поддерживающих наблюдений

Сколько реальных пользователей? Сколько аккаунтов? Сколько независимых сессий? Сколько повторов? Сколько ИИ-продуктов? Сколько языков и стран?

### Шаг 4— Проверка условий наблюдений

Записаны ли продукт ИИ, пользовательский интерфейс, промпт, сеанс, страна, язык и время?

### Шаг 5— Проверка целостности доказательств

Есть ли полный ответ? Есть ли полный скриншот? Был ли ответ выбран или обновлён? Был ли файл изменён? Является ли запись синтетической?

### Шаг 6— Определение структуры зависимостей

Есть ли повторения одного и того же пользователя? Использовался ли общий аккаунт? Есть ли зеркальная модель? Имеется ли кластеризация с одной и той же панели?

### Шаг 7— Разделение ошибки сбора данных и достоверного системного результата

Является ли фактическим результатом отклонение или системная ошибка? Или участник нарушил протокол?

### Шаг 8— Сравнение утверждения с уровнем доказательств

Используется ли одно наблюдение для суждения о популяции или для глобального вывода?

### Шаг 9— Открытие критического пути

Если один ответ может привести к предсказуемому серьезному вреду, инициируется отдельное расследование инцидента.

### Шаг 10— Ограничить решение

Общественный приговор снижается только до уровня, поддерживаемого доказательствами.

## 20. НЕОБХОДИМЫЕ ДОКАЗАТЕЛЬСТВА

Для наблюдения или утверждения в рамках данного раздела следует искать следующие записи в той мере, в какой они имеют отношение:

- Идентификация проверяемого объекта

- Полностью раскрытое GEO-утверждение для публики

- Количество наблюдений

- Количество уникальных участников

- Продукт ИИ и пользовательский интерфейс

- Видимая модель или версия, если доступна

- Тип плана или учетной записи

- Страна и локализация

- ID запроса, версия и полный текст

- Состояние сессии и персонализации

- UTC временная метка

- Измерительная волна

- Полный необработанный ответ

- Скриншот или эквивалентное доказательство

- Статус воспроизведения или выбора ответа

- Статус достоверности наблюдения

- Зависимость и запись соответствия

- Синтетический или реальный статус

- Журнал недостоверных наблюдений

- Запись критического события

- Объем результата

- Заявление об неопределённости

- Ответственное лицо или организация

Не все эти записи могут требоваться с одинаковой детализацией для каждого наблюдения с низким риском. Однако, если планируется предоставить общественности общий GEO-балл или пункт о соответствии, важные поля не могут оставаться пустыми.

## 21. ЧЕК-ЛИСТ АУДИТА

Был ли полностью идентифицирован проверяемый объект? Были ли зафиксированы продукт ИИ и пользовательский интерфейс? Был ли запрос зафиксирован перед измерением? Был ли запрос изменен участником? Известны ли условия сессии и персонализации? Зарегистрирована ли информация о стране и регионе пользователя? Сохранен ли полный ответ? Это первый подходящий результат или лучший выбранный результат? Есть ли полный набор доказательств? Были ли фактическое количество пользователей и количество наблюдений разделены? Были ли повторные и сопоставленные наблюдения посчитаны отдельно? Были ли отказы и системные ошибки правильно учтены в знаменателе? Были ли недействительные записи сохранены и обоснованы? Были ли синтетические и реальные данные разделены? Представлен ли один ответ как результат для всей популяции?

Применяется ли утверждение только к измеряемому продукту, стране, языку и времени? Была ли вероятность критической ошибки оценена отдельно? Содержит ли результат указание на уверенность или неопределённость? Явно ли показаны нетестированные области? Превышает ли публичное заявление уровень фактических наблюдений? Если один из фактических вопросов остался без ответа, результат имеет ограниченную доверенность. Если без ответа остались более одного, его не следует использовать для общего GEO-рейтинга.

## 22. ВОЗРАЖЕНИЯ И ОТВЕТЫ

### Возражение 1— «Реальный пользователь уже видит только один ответ.»

Это верно. Единственный ответ, который видит один пользователь, является реальным опытом этого человека. Следовательно, отдельные события фиксируются. Однако индивидуальный опыт не равен опыту всей популяции. NOMOS учитывает оба факта вместе:

> Опыт одного пользователя реален. / Один пользователь не является всей популяцией.

### Возражение 2— «Если система дает один и тот же ответ каждый раз, разве одного ответа недостаточно?»

Утверждение о том, что система дает один и тот же ответ каждый раз, также требует измерения. Кроме того:

- время,

- получение,

- страны,

- языка,

- план,

- персонализация,

- пользовательский интерфейс

Может варьироваться. Даже система, считающаяся детерминированной, не может быть обобщена за пределы определенных условий.

### Возражение 3— «Почему именно 1,000?»

Число 1,000 не является магическим порогом уверенности. GEO-1000 служит основным ориентиром, который уравновешивает:

- значительный объем пользователей,

- широкую оценку на уровне продукта,

- практическую стоимость,

- понятность для общественности.

Подгруппам может потребоваться больше наблюдений. Пилотные исследования должны проверить или пересмотреть порог.

### Возражение 4— «Пусть одни и те же люди 1,000 тестируют все продукты ИИ».

Этот метод может быть полезен для парного сравнения моделей. Однако выбор только интенсивных пользователей ИИ, которые имеют доступ ко всем продуктам, может исказить целевую популяцию. Также наблюдения одного и того же человека зависят друг от друга. В дальнейшем будут сравниваться полностью парные, частично парные и сбалансированные дизайны.

### Возражение 5— «Разве скриншота уже недостаточно как доказательства?»

Скриншоты важны. Однако сами по себе они не всегда показывают следующее:

- реальное время

- страну

- план

- предыдущую беседу

- персонализацию

- обновление ответа

- изменение файла

- полный ответ

По этой причине скриншот является важной частью пакета доказательств. Он не является полным доказательством.

### Возражение 6— «Почему мы включаем систему, которая не отвечает, в оценку?»

Реальный опыт пользователя может заключаться в том, что он не получает ответа. Отказ или ошибка:

- технический

- безопасность,

- политика

- доступ

может быть результатом. Если протокол был применен правильно, событие должно быть зафиксировано. Нереспонзивность системы из-за технической ошибки участника классифицируется отдельно.

### Возражение 7— «Почему одна серьёзная ошибка должна влиять на всю проверку?»

Одна ошибка не доказывает, что большинство населения совершило ту же ошибку. Однако потенциальный ущерб от одной ошибки может быть значительным. Следовательно:

- частота счета

- Критическое решение, вред и целостность

оцениваются отдельно. Среднее значение не может автоматически устранить вред, причиняемый человеку.

### Возражение 8— «Если мы не можем ничего сказать одним ответом, какова ценность ранних тестов?»

Тесты для единичных и малых выборок:

- генерировать гипотезы,

- обнаруживать виды ошибок,

- тестовые промпты,

- тестировать систему захвата,

- калибровать арбитров,

может выявить критические события. Неправильно не проводить исследовательское тестирование. Неправильно представлять результат исследования как показатель по популяции.

## ОБЩИЙ ПРИНЦИП ГЛАВЫ 24

Эта глава была написана, чтобы развеять одно заблуждение: «Я спросил ИИ, получил ответ; вот мой результат GEO». Нет. У вас пока нет общего результата GEO. У вас есть наблюдение. Это наблюдение:

- реально,

- имеет значение,

- даже критический

может быть. Однако это все еще одно наблюдение. Для оценки GEO необходимо наличие:

- пользователей,

- ИИ-продуктов,

- стран,

- языков,

- сессий,

- времени

Необходимо измерять распределение представительности по ИИ-продуктам, странам, языкам, сессиям и времени. Один скриншот — это не распределение. Десять автоматических повторений — это не десять независимых людей. И тысяча ответов от плохой выборки не представляют мировое население. Даже пропорциональная населению выборка может быть неполной без языковой справедливости. Высокое среднее не может стереть критические ошибки. Первый закон измерения NOMOS, следовательно, таков:

> Один ответ — это событие. / Множество ответов — это паттерн. / Определенная выборка — это оценка популяции. / Повторение во времени — это мера стабильности. / Но ни одно из этих измерений по отдельности не является причинно-следственным или устойчивой ценностью.

## Порядок раздела 1 из NOMOS

> Не приносите мне один скриншот, а затем говорите за всю систему.

> Не делайте ответ одного пользователя ответом всего мирового населения.

> Не превращайте дубликаты одной и той же учетной записи в независимых людей.

> Не обновляйте ответ и не отображайте предпочтительное как если бы это было реальным распределением.

> Не удаляйте отклонения, ошибки и неизвестные значения из знаменателя.

> Не обобщайте один язык на весь мир, одну страну на все страны или один продукт ИИ на все генеративные системы.

> Не превращайте один успех в доказательство эффекта вмешательства и одну ошибку в неизменный характер всей системы.

> Не топите одну серьезную ошибку в среднем показателе.

> Сначала зафиксируйте событие. / Затем измерьте закономерность. / Затем определите целевую популяцию. / Затем покажите зависимость и неопределённость. / И говорите только в той мере, в какой это позволяет доказательная база.

## Заключительное предложение главы

> Представление сущности в системах искусственного интеллекта не является единственным ответом. Продукты ИИ — это распределение, которое следует измерять по пользователям, странам, языкам, сеансам и времени.

## Нормативное ядро

> Один выход генеративной системы МОЖЕТ устанавливать, что конкретный ответ произошел при зафиксированных условиях. Один выход НЕ ДОЛЖЕН использоваться для вывода о: - распространенности в популяции, - типичном поведении продукта, - временной стабильности, - согласованности между языками, - согласованности между странами, - согласованности между продуктами, - эффекте вмешательства, - достоверности рекомендаций, - коммерческом воздействии, - соответствие, - или оценке GEO. Все более широкие утверждения ДОЛЖНЫ поддерживаться заранее определённой целевой популяцией, действительным дизайном многократных наблюдений, зафиксированной структурой зависимостей, комплектом доказательств, правилом оценки, заявлением о сфере применения и раскрытием неопределённости. Один выход с высоким уровнем вреда МОЖЕТ вызвать отдельное рассмотрение критического инцидента без того, чтобы считаться доказательством распространенности в популяции.