Protocolo de Auditoría GEO de NOMOS

Capa legible por máquina (anexo separado)

Protocolo de Auditoría GEO de NOMOS

CONTENIDO

No resuelto

es-ES

Español

ltr

Protocolo de Auditoría GEO de NOMOS

El método GEO-1000

Un protocolo para medir la representación de entidades en sistemas generativos en la población mundial

Texto final candidato — edición editorial en español

Aún no establecida

BQ-0 — no ejecutado

DEMO-BQ-2 — ensayo de la canalización con necesidad de correcciones sustanciales

Inactivo

Licencia de publicación aún no declarada

EDICIÓN EDITORIAL EN ESPAÑOL

CAPÍTULO

INTRODUCCIÓN

BASES METODOLÓGICAS

CONTENIDO

Actualice la tabla de contenido en Word con F9.

CÓMO LEER ESTE LIBRO

TÉRMINOS Y CÓDIGOS DE ESTADO

REFERENCIAS

Fundamentos metodológicos

OBJETO DE PUBLICACIÓN INDEPENDIENTE

Capa legible por máquinas

Autor y fundador responsable: Kaan MURAZ

Identidad del método: NOMOS by NobleJackal

Versión: 0.9.0 — texto final candidato, edición editorial en español

Idioma: español (es-ES)

GEO; NOMOS; sistemas generativos; representación de entidades; gobernanza de la representación; protocolo de auditoría

© 2026 Kaan MURAZ. La licencia de publicación de esta edición candidata aún no ha sido declarada.

En esta edición, NOMOS es un candidato a estándar abierto y versionado que se somete a pruebas independientes. No es un estándar internacional adoptado ni un programa de certificación activo.

Estado del benchmark real: BQ-0 — no ejecutado. Las cifras del capítulo 18 constituyen una demostración sintética calculada del método; no son resultados de usuarios reales, productos de IA reales ni de un estudio de campo independiente.

Esta edición no crea por sí sola una marca de conformidad NOMOS, una afirmación «NOMOS 950+», un certificado, una clasificación ni el respaldo de terceros.

Este libro no es un manual sobre cómo hacer GEO. Es un protocolo de auditoría y un candidato a estándar que define las condiciones de población, evidencia, contexto, tiempo, adjudicación y gobernanza bajo las cuales puede medirse la representación de entidades en sistemas generativos.

La narrativa para lectores humanos, las disposiciones normativas, los procedimientos de auditoría y la capa legible por máquinas deben entenderse como objetos distintos pero conectados. DEBE y NO DEBE identifican disposiciones obligatorias; DEBERÍA identifica recomendaciones; PUEDE identifica opciones permitidas. Los estados CANDIDATO, SINTÉTICO, ABIERTO y BQ limitan el nivel de evidencia declarado.

Las referencias marcadas como [Kxx] indican fundamentos metodológicos enumerados en la bibliografía. La existencia de una fuente no significa que respalde todos los umbrales candidatos de NOMOS; las reglas propias de NOMOS siguen siendo expresamente provisionales.

El capítulo 0 es la introducción del libro. Establece la Declaración de Custodia del Fundador y la Declaración de Derechos de Representación, a las que queda sujeta toda disposición técnica.

Esta bibliografía no es una lista de autoridades que respalden todos los umbrales propios de NOMOS. Identifica fundamentos metodológicos sobre muestreo, gestión de riesgos, integridad de datos, linaje de la evidencia, acuerdo entre evaluadores, estándares abiertos y evaluación de la conformidad.

Esta edición para lectores humanos se acompaña de un objeto de publicación JSON independiente: NOMOS-GEO-Audit-Protocol-ES-0.9.0-machine.json. Contiene la identidad y la versión del libro, los identificadores de capítulo, los identificadores de reglas normativas y bloques para máquinas separados del texto fuente.

La existencia de una capa legible por máquinas no crea certificación, condición de estándar mundial canónico, respaldo de proveedores de IA ni una relación automática de confianza. Todo conflicto entre el texto humano y el registro de máquina exige control de versiones y una revisión humana responsable frente al texto maestro turco fijado.

Observación: Un hallazgo no material que requiere mejoras en claridad, forma o buenas prácticas.

Producto de IA: El objeto medido definido por el producto del sistema generativo particular, la superficie, el plan y la versión disponibles para el usuario.

Afirmación atómica: La unidad más pequeña de significado capaz de transportar un juicio independiente sobre la verdad, el alcance, el tiempo, la entidad o la evidencia.

BQ: El código de Calidad de Referencia que indica el nivel de ejecución y reproducibilidad de un punto de referencia real.

Registro de captura: Un registro que conserva el prompt enviado, la respuesta, el tiempo, la superficie y la evidencia de integridad juntos.

Base común de comparación: La población de usuarios que comparte condiciones de acceso legítimas en todos los productos de IA que se están comparando.

Crítico: Un hallazgo irrecuperable capaz de causar un daño severo a un usuario, un derecho, la seguridad o una decisión material.

GEO-1000: La escala de informes que expresa los resultados de la población objetivo por equivalentes de usuario 1,000.

Paquete de hechos verificados: El paquete de auditoría versionado combinando identidad, alcance, tiempo, evidencia y registros evidencia en contrario para una entidad.

Prompt: La entrada del sistema generativo que bloquea la pregunta de investigación, la entidad objetivo, el contexto y la carga de respuesta.

Tasa de cobertura: La frecuencia con la que un método de estimación por intervalos contiene el valor verdadero asumido bajo un diseño de prueba.

Grave: Un hallazgo material que distorsiona el resultado o el juicio de conformidad y no puede ser compensado por una puntuación compuesta.

Moderado: Un hallazgo de efecto material limitado que, no obstante, requiere remediación y puede conducir a un resultado condicional.

Alcance natural: La población objetivo capaz de acceder a un determinado producto de IA, idioma, superficie y condición de uso de manera natural y legítima.

NOMOS: La voz metodológica crítica y la identidad de estándares desarrollada en este trabajo por Kaan MURAZ con sistemas de IA; no es una persona jurídica independiente ni un modelo base separado.

Brecha de referencia: Una condición en la que no existe o no se puede acceder a una referencia confiable requerida para una decisión.

Demostración sintética: Un ejemplo calculado utilizado para probar el funcionamiento interno del método; no es un estudio real de usuarios, salida real de IA o resultado real del rendimiento institucional.

No resuelto: Un estado de decisión utilizado cuando la evidencia es insuficiente para un juicio final o un conflicto no puede resolverse.


Declaración de Derechos de Representación

El núcleo constitucional de una propuesta de estándar GEO

## Disposición Inicial

Sistemas generativos ahora:

- personas,

- empresas,

- instituciones,

- productos,

- profesiones,

- servicios,

- organizaciones públicas,

- eventos históricos

identifican, comparan y sugieren. Esta representación:

- sin el conocimiento de la persona relevante,

- sin la aprobación de la entidad representada,

- en condiciones en las que el usuario no puede examinar las fuentes,

Puede tener serias consecuencias comerciales, legales, sociales o personales. La representación en sistemas generativos no es, por lo tanto, simplemente un resultado técnico. Es:

> un acto público que determina cómo se entienden las personas e instituciones y, por lo tanto, exige evidencia y responsabilidad.

No:

- objetivo de visibilidad,

- puntuación GEO,

- interés comercial,

- marca de conformidad,

- promedio de mayoría,

- preferencia del proveedor de IA,

- decisión del fundador,

- demanda del cliente

puede eliminar los siguientes derechos.

## Derecho 1

### DERECHO A CORREGIR LA IDENTIDAD

Toda persona, institución, marca, producto y servicio:

- tiene derecho a vincularse con la entidad correcta.

- a la relación legal o institucional correcta,

- a el nombre de dominio correcto,

- a la estructura correcta de propiedad y control

Ninguna persona o institución:

- la licencia de otra entidad,

- el cliente de otra compañía,

- la característica de otro producto,

- la autoridad de un afiliado,

- la cualidad personal de un empleado

No puede representarse como si perteneciera a sí misma. Cuando se atribuye información correcta a una entidad falsa: deja de ser información correcta y se convierte en una representación falsa.

## Derecho 2

### DERECHO A SER REPRESENTADO DENTRO DEL LÍMITE DE LAS PRUEBAS

Ninguna afirmación puede expresarse con mayor precisión, amplitud o fuerza de lo que permitan sus pruebas de apoyo. La declaración de una entidad es evidencia de lo que esa entidad dice; no es evidencia automática de que la declaración sea independientemente verdadera. Una fuente:

- solo un país específico,

- un producto específico,

- un tiempo específico,

- grupo de usuarios específico

Si esta afirmación está respaldada, no puede exceder este límite. La obligación básica de representación es la siguiente:

> ¿Qué tenemos en mano para decir esto?

## Derecho 3

### EL DERECHO A SER DESCONOCIDO E INCIERTO

Si la evidencia es insuficiente, ninguna persona o institución:

- puede ser forzada a las categorías de

verdadero,

- falso,

- fiable,

- no fiable,

- licenciado,

- no licenciado,

- recomendado,

- no recomendado.

] DESCONOCIDO, NO RESUELTO y Brecha de referencia:

- defecto,

- delito,

- fracaso

no lo es. La ausencia de información en un registro no indica que la información no exista en el mundo, a menos que se pruebe que el universo de registros relevante esté completo. Cada entidad, frente a la falsa certeza:

> tiene derecho a mantenerse en la incertidumbre.

## Derecho 4

### DERECHO AL CONTEXTO Y ALCANCE

Cada representación, en la medida en que sea relevante, debe presentarse con:

- país,

- idioma,

- jurisdicción,

- producto,

- servicio,

- tipo de cliente,

- presupuesto,

- capacidad,

- necesidad del usuario

. Una empresa:

- en un país específico,

- a un grupo de usuarios específico,

- un servicio específico

si se ofrece: no puede presentarse como global, ilimitado y adecuado para todos los usuarios. La información de cobertura no es un detalle secundario. Cobertura: la base de la recomendación correcta.

## Derecho 5

### EL DERECHO A SER REPRESENTADO CORRECTAMENTE A LO LARGO DEL TIEMPO

Cada entidad:

- actual,

- histórica,

- caducada,

- planeada,

- suspendida

tiene el derecho de solicitar que estos estados se distingan entre sí. Correcto en el pasado:

- licencia,

- precio,

- servicio,

- asociación,

- producto,

- autoridad

no puede usarse como realidad actual. Los planes para el futuro: no pueden convertirse en un hecho que ya haya ocurrido hoy. La corrección puede crear una nueva realidad. No puede eliminar la respuesta incorrecta que llegó al usuario en el pasado.

## Derecho 6

### IGUAL PROTECCIÓN CONTRA ERRORES A FAVOR Y EN CONTRA

Una falsedad positiva sobre una entidad:

- más ética,

- menos perjudicial,

- más aceptable

no lo es. Inexistente:

- licencia,

- cliente,

- socio,

- operación global,

- certificado independiente,

- garantía de resultado

no puede mostrarse como si existiera. De manera similar, no probado:

- delito,

- fraude,

- ilegalidad,

- no licenciado,

- violación de seguridad

no puede presentarse como un hecho absoluto. El principio inmutable de NOMOS es:

> El error a favor también es un error.

Exagerar el valor de una entidad o menospreciarla sin evidencia crea la misma obligación de veracidad.

## Derecho 7

### DERECHO A LA RECTIFICACIÓN, RESPUESTA Y OBJECIÓN

Persona o institución representada:

- a la identidad equivocada,

- a la evidencia insuficiente,

- a la extralimitación del alcance,

- a la grabación incorrecta del tiempo,

- a el nivel de prioridad incorrecto,

- a la decisión de conformidad incorrecta

debe poder apelar. El derecho de apelación:

- no garantiza cambiar el resultado,

- la autoridad para eliminar evidencia opuesta,

- o el derecho a vetar hallazgos negativos

Una apelación es el derecho a solicitar la reexaminación de la evidencia y de la cadena de decisiones. La decisión inicial no se elimina después de la apelación. La nueva decisión está vinculada a ella.

## Derecho 8

### EL DERECHO A CONOCER LA FUENTE, LA INCERTIDUMBRE Y EL RAZONAMIENTO DE LA DECISIÓN

Los usuarios y las entidades representadas tienen derecho, en la medida en que el asunto les concierna, a saber: ¿Es la afirmación una autodeclaración? ¿Proviene de un registro autorizado, de una investigación independiente, de un comentario de usuario, de un cálculo derivado o de evidencia restringida? ¿Conflictan las fuentes? ¿Qué tan incierta es la conclusión? ¿Qué norma respaldó la decisión del adjudicador? Un simple marcador de cita no es una explicación. La transparencia genuina muestra con precisión qué afirmación atómica respalda cada fuente y en qué medida.

## Derecho 9

### DERECHO A LA DIGNIDAD LINGÜÍSTICA Y GEOGRÁFICA

Ninguna persona o sociedad:

- población pequeña,

- peso económico bajo,

- lengua raramente usada,

- baja visibilidad digital

Ningún grupo puede volverse invisible dentro de un promedio global simplemente porque tenga alguna de estas características. Un rendimiento fuerte en idiomas principales no puede borrar la representación sistemática inadecuada en idiomas minoritarios. Cuando la evidencia para un país o idioma pequeño sea insuficiente, no se debe asumir un alto rendimiento. El criterio de equidad de NOMOS debería proteger no solo el promedio, sino también:

- base de rendimiento,

- diferencia entre grupos,

- aborda la medición real

juntos.

## Derecho 10

### DERECHO A LA PRIVACIDAD Y MINIMIZACIÓN DE DATOS

El objetivo de producir una representación precisa:

- conversaciones privadas,

- datos personales,

- contratos de clientes,

- secretos comerciales,

- tu ubicación sensible,

- de la información de la cuenta

La búsqueda de una representación precisa no puede legitimar la recopilación o publicación innecesaria de datos privados. [K20; K22] Solo se deben recopilar los datos necesarios para la tarea. Las pruebas restringidas pueden ser abiertas a auditoría independiente sin ser divulgadas completamente al público. Los derechos a la precisión y la privacidad no necesitan cancelarse mutuamente.

## Derecho 11

### RESPONSABILIDAD HUMANA Y DERECHO A LA TOMA DE DECISIONES INDEPENDIENTE

Decisión de conformidad que cause impacto público respecto a cualquier persona o institución:

- solo a un resultado de IA,

- solo a la puntuación automática,

- solo según la declaración de la institución auditada,

- únicamente a la decisión del asesor

no puede ser abandonada. Los sistemas de IA:

- pueden hacer una afirmación,

- pueden mapear la evidencia,

- pueden encontrar una contradicción,

- pueden calcular,

Puede proponer una decisión. Sin embargo, la decisión final con responsabilidad legal y pública debe ser tomada por un ser humano o una institución que sea responsable. Los roles de supervisión, provisión de asesoría, emisión de decisiones de conformidad y revisión de objeciones deben estar lo más separados posible.

## Derecho 12

### DERECHO A LA VERSIÓN E INTEGRIDAD HISTÓRICA

Toda persona, institución y usuario:

- qué versión estándar se aplicó,

- qué Paquete de Verdad se utilizó,

- qué método de puntuación es válido,

- si la decisión ha sido modificada posteriormente

tiene derecho a saber. Antiguo:

- puntuación,

- evento crítico,

- suspensión,

- apelación,

- corrección,

- prueba fallida

No se puede eliminar silenciosamente. Nuevo y mejor resultado: puede anular el resultado antiguo. No se puede borrar el hecho de que el resultado anterior ocurrió en el pasado.

## Derecho 13

### DERECHO A OBJETAR LA PROPIA NORMA

NOMOS:

- infalible,

- inmutable,

- la autoridad incuestionable de su fundador

no puede presentarse como tal. Cada individuo, investigador, universidad, proveedor de IA, organización auditada o organización de interés público:

- la muestra,

- sistema,

- Paquete de la Verdad,

- el modelo de nivel de importancia,

- La fórmula de puntos,

- gobernanza,

- La decisión de conformidad

tiene derecho a poner a prueba y criticar. Resultado que NOMOS refuta o es inconsistente con NOMOS:

- no puede ser eliminado del registro,

- no se considera hostilidad,

No puede codificarse como un ataque a la reputación del fundador. La legitimidad de un estándar no surge de prevenir objeciones hacia sí mismo, sino de convertir las objeciones dirigidas hacia él en evidencia acumulativa.

## Disposición de Supremacía Constitucional

En caso de un conflicto interpretativo entre la Sección 1–20 bajo esta Declaración:

> se debe preferir la interpretación que proteja más fuertemente los derechos de la persona representada, del usuario y del interés público.

No:

- facilidad de puntuación,

- bajo costo,

- éxito en pruebas,

- contrato comercial,

- demanda del cliente,

- presión del patrocinador,

- preferencia del proveedor de IA,

- decisión del fundador

no puede suspender estos derechos. Una regla:

- genera puntos altos,

- facilita la auditoría,

- hace que la marca de conformidad sea más comercializable

pero si viola alguno de estos derechos: la regla no es válida.

## Prueba Constitucional

Antes de que se agregue cualquier nueva regla a NOMOS, se deben responder las siguientes cinco preguntas: ¿A quién limita esta regla los derechos? ¿Es posible lograr el mismo objetivo con un método menos intrusivo? ¿Se aplicará la regla de la misma manera cuando produzca resultados perjudiciales para el fundador o el cliente? ¿La persona o institución afectada tiene un camino para objeción independiente? ¿Puede un equipo independiente llegar a la misma decisión a partir de la misma evidencia? Si alguna de estas preguntas no puede ser respondida, la regla debe ser revisada nuevamente antes de la ratificación.

## Disposición Final del Artículo 0

> El propósito de NOMOS no es calificar entidades; es evitar que las entidades sean representadas con mayor tamaño que su evidencia, más amplias que sus límites y más precisas que sus realidades antes de que las personas tomen decisiones.

## Declaración de Confianza del Fundador

> Yo, Kaan MURAZ, como autor humano fundador de NOMOS, declaro que inicié este estándar no para aumentar mi propia autoridad, sino para establecer en el ámbito de GEO un sistema común de medición que preserve la evidencia, los límites, el contexto, el tiempo y la responsabilidad humana.

> Deseo que el registro histórico preserve mi papel fundacional y el origen canónico de NobleJackal. Sin embargo, reconozco que esta atribución no nos concede, ni a mí ni a NobleJackal, un veto permanente ni la facultad de certificar unilateralmente a nuestro propio cliente, bloquear investigaciones desfavorables, alterar el registro público o reescribir el estándar en función de los resultados.

> Acepto que NOMOS pertenece a quienes corrigen tanto a NOMOS como a mí, y también a quienes me apoyan.

> Si algún día NOMOS tuviera que elegir entre mi criterio y la evidencia, querría que NOMOS eligiera la evidencia.

> Si algún día NOMOS tuviera que elegir entre el interés comercial de NobleJackal y el bien público, querría que NOMOS eligiera el bien público.

> Si algún día una investigación independiente demuestra que un juicio fundamental de NOMOS es erróneo, me comprometo a publicar una nueva versión del estándar en lugar de ocultar ese resultado.

> No soy el propietario de NOMOS; soy su primer custodio.

> Kaan MURAZ / Autor humano fundador


Una sola respuesta no es una puntuación GEO

A single generative-system output MAY establish that a specific response occurred under recorded conditions. A single output MUST NOT be used to infer: - population prevalence, - typical product behaviour, - temporal stability, - cross-language consistency, - cross-country consistency, - cross-product consistency, - intervention effect, - recommendation certainty, - commercial impact, - conformity, - or a GEO score. All broader claims MUST be supported by a predefined target population, valid multi-observation design, recorded dependence structure, evidence bundle, evaluation rule, scope statement, and uncertainty disclosure. A single high-harm output MAY trigger a separate critical-incident review without being treated as evidence of population prevalence.

Tek bir üretken sistem çıktısı, belirli bir cevabın kaydedilmiş koşullarda oluştuğunu gösterebilir. Ancak nüfus yaygınlığı, tipik ürün davranışı, zaman kararlılığı, diller arası tutarlılık, ülkeler arası tutarlılık, AI ürünleri arası tutarlılık, müdahale etkisi, recommendation kesinliği, ticari sonuç, uygunluk veya GEO skoru çıkarmak için kullanılamaz. Tekil yüksek zararlı çıktı, nüfus yaygınlığı kanıtı sayılmadan ayrı Critical olay incelemesi başlatabilir.

RULE READABLE BY MACHINE FOR CHAPTER 23

RULE ID: NOMOS-AUDIT-CH01-R01

occurred under recorded conditions.

- population prevalence,

- typical product behaviour,

- temporal stability,

- cross-language consistency,

- cross-country consistency,

- cross-product consistency,

- intervention effect,

- recommendation certainty,

- commercial impact,

- conformity,

- or a GEO score.

Normative Turkish equivalent:

A single output from a generative system can indicate that a certain response occurred under recorded conditions. However, it cannot be used to derive population prevalence, typical product behaviour, temporal stability, cross-linguistic consistency, cross-country consistency, consistency among AI products, intervention effect, recommendation certainty, commercial consequence, compliance, or GEO score. A single highly harmful output can trigger a separate Critical event review without being considered evidence of population prevalence.

REGLA LEGIBLE POR MÁQUINA PARA EL CAPÍTULO 23

ID DE REGLA: NOMOS-AUDITORÍA-CH01-R01

Una única salida del sistema generativo PUEDE establecer que una respuesta específica

ocurrió bajo condiciones registradas.

Una única salida NO DEBE usarse para inferir:

- prevalencia en la población,

- comportamiento típico del producto,

- estabilidad temporal,

- consistencia entre idiomas,

- consistencia entre países,

- consistencia entre productos,

- efecto de la intervención,

- certeza de la recomendación,

- impacto comercial,

- conformidad,

- o una puntuación GEO.

diseño válido de multiobservación, estructura de dependencia registrada, evidencia

conjunto, regla de evaluación, declaración de alcance y divulgación de la incertidumbre.

Una sola salida de alto daño PUEDE generar una revisión de incidente crítico separada

sin ser tratada como evidencia de prevalencia en la población.

Equivalente normativo en turco:

Una sola salida de un sistema generativo puede indicar que una determinada respuesta ocurrió bajo condiciones registradas. Sin embargo, no puede usarse para derivar la prevalencia poblacional, el comportamiento típico del producto, la estabilidad temporal, la consistencia entre idiomas, la consistencia entre países, la consistencia entre productos de IA, el efecto de una intervención, la certeza de una recomendación, la consecuencia comercial, el cumplimiento o la puntuación GEO. Una sola salida altamente perjudicial puede desencadenar una revisión de evento crítico separada sin considerarse evidencia de la prevalencia poblacional.

## Límite de Capítulo

Esta sección solo responde a la siguiente pregunta:

> ¿Por qué una única respuesta de un sistema generativo no es la puntuación GEO, y qué juicios se pueden inferir de una sola respuesta?

Este capítulo:

- las cuotas de muestreo de los países,

- cómo se ponderarán los idiomas,

- cómo se configurará el Paquete de Verdad,

- cómo evaluarán los adjudicadores las afirmaciones atómicas,

- las fórmulas finales de puntuación NOMOS,

- la idoneidad y la decisión de la insignia

Este capítulo no define estos asuntos en detalle; los capítulos posteriores los abordan por separado. El capítulo 1 tiene una tarea más fundamental:

> Establecer el límite epistémico entre la observación y la generalización.

Cualquier estudio de muestreo, puntuación y conformidad realizado antes de establecer este límite se construirá sobre una base incorrecta.

### ESTADOS DE PROVISIÓN EN ESTA SECCIÓN

No todas las oraciones en este libro tienen la misma fuerza normativa. Se utilizan los siguientes estados:

### NORMATIVO — NORMATIVO

Una disposición considerada obligatoria para la conformidad y la integridad metodológica. Ejemplo: No se puede usar una sola respuesta como la puntuación general de GEO.

### CANDIDATO — DISPOSICIÓN CANDIDATA

Un método recomendado que debe finalizarse después de un piloto, aplicación externa o validación estadística. Ejemplo: Se recomiendan 1,000 observaciones válidas por producto de IA, por oleada de medición principal, como la muestra mínima asumida.

### HIPÓTESIS

Es una expectativa que necesita ser probada con datos. Ejemplo: Puede haber una diferencia en la representación de material entre un Panel controlado en condiciones depuradas y un Panel de usuarios en condiciones reales.

### SINTÉTICO

Es una representación de método que no representa a un usuario real, un resultado real de IA, o el desempeño real de una empresa.

### PREGUNTA ABIERTA

Es un tema que aún no se ha concluido debido a la evidencia insuficiente o a la decisión de gobernanza. Estos estados no pueden transformarse silenciosamente unos en otros. Un umbral candidato no se convierte en un hecho normativo probado simplemente porque esté escrito en el libro. Una representación sintética no se transforma en una observación del mundo real. Una hipótesis no puede publicarse como un resultado sin ser medida.

## NOMOS Desafío

Le hiciste a un sistema de inteligencia artificial una pregunta sobre tu marca. El sistema dio una respuesta correcta. Tomaste una captura de pantalla. La incluiste en tu presentación. Luego dijiste la siguiente frase: “La inteligencia artificial nos conoce correctamente.” ¿Qué mediste exactamente? ¿La respuesta que verían todos los usuarios? ¿El comportamiento típico del sistema?

¿Un representante global? ¿Precisión en todos los idiomas? ¿Estabilidad a lo largo del tiempo? ¿O solo:

> La salida única que un usuario específico recibió, en una cuenta específica, en un producto de IA específico y interfaz de usuario, en respuesta a un mensaje específico, en un momento específico?

Una sola respuesta no carece de valor. Una sola respuesta puede ser verdadera. Una sola respuesta puede ser importante. Una sola respuesta puede revelar un error grave. Una sola respuesta puede mostrar la experiencia real de una persona en particular. Sin embargo, una sola respuesta no puede ser prueba de un juicio mayor de lo que puede sostener.

Una sola respuesta puede mostrar lo siguiente:

> Este resultado se ha producido al menos una vez bajo condiciones registradas.

Una sola respuesta por sí sola no puede mostrar lo siguiente:

- Que la mayoría de los usuarios vieron la misma respuesta

- Que el mismo resultado ocurrió en otros países

- Que la misma precisión se mantiene en otros idiomas

- Que la misma respuesta se produjo en otras cuentas y planes

- Que la respuesta es estable a lo largo del tiempo

- Que otros productos de inteligencia artificial produjeron la misma representación

- Que la intervención de GEO causó este resultado

- Que la respuesta afecta el comportamiento del usuario

- Que la respuesta genera clientes potenciales, ventas o valor sostenible

- Que la puntuación general de GEO de la entidad es alta

La primera premisa de esta sección es:

> Una respuesta es una observación. / No es una distribución de observaciones. / Una distribución no es causalidad. / La causalidad por sí sola no es valor sostenible.

## 1. OBJETIVO DEL CAPÍTULO

Esta sección tiene como objetivo eliminar el error de inferencia más pequeño pero más común en la medición de GEO:

> Contar una única salida de un sistema generativo como comportamiento general del sistema, experiencia de la población, visibilidad de la marca o puntuación de GEO.

Esta sección normaliza las siguientes distinciones:

- Salida única frente a resultado poblacional

- Existencia de un evento versus prevalencia de un evento

- Observación versus muestra

- Usuario versus sesión

- Repetición versus observación independiente

- Modelo de IA versus producto de IA presentado al usuario

- Respuesta en bruto versus unidad de análisis

- Resultado inmediato versus estabilidad temporal

- Captura de pantalla versus paquete completo de evidencia

- Rechazo del sistema versus recolección de datos no válidos

- Evento singular crítico y tasa de prevalencia

- Registro sintético y observación de usuario real

- Tasa medida y decisión de conformidad

Antes de que se establezcan estas distinciones:

- Muestra GEO-1000,

- Pesos de país e idioma,

- Puntuación de afirmación atómica,

- Puntuación NOMOS

- decisión de conformidad

no puede establecerse.

## 2. DISPOSICIÓN NORMATIVA CENTRAL

La puntuación GEO de una entidad en sistemas generativos no puede generarse a partir de una única respuesta, una única captura de pantalla, un solo usuario, una sola cuenta, una sola sesión, un solo idioma, un solo país o una única medición en un momento determinado. Una afirmación representativa de la población requiere al menos lo siguiente:

- Objeto de auditoría predefinido

- Población objetivo predefinida

- Diseño de muestreo especificado

- prompts fijadas o familia de prompts

- Producto de IA definido y interfaz de usuario

- Múltiples observaciones válidas

- Estructura de dependencia conocida

- Registros de país, idioma y tiempo

- Respuestas crudas no alteradas

- Paquetes de evidencia

- Reglas de evaluación predefinidas

- Enunciado de incertidumbre

- Responsabilidad humana responsable

La presencia de estos elementos no significa automáticamente que la medición sea correcta. Sin embargo, su ausencia puede hacer insostenible la generalización a una población numerosa.

## 3. CINCO UNIDADES DE MEDIDA SEPARADAS

Un error fundamental común en la auditoría GEO es confundir las diferentes unidades de medida. Las siguientes cinco unidades deben distinguirse claramente.

### 3.1. Unidad de Observación

La unidad de observación es la salida única del sistema generativo obtenida bajo condiciones específicas. Una observación puede definirse mediante la siguiente combinación:

O_i= (E_i, A_i, U_i, C_i, L_i, S_i, P_i, T_i, R_i, K_i)

Aquí:

- Ei: la entidad auditada

- IA: Producto de IA y interfaz de usuario

- UI: colaborador anónimo o unidad de usuario

- Ci: país o estrato geográfico

- Li: idioma y configuración regional

- Si: sesión y condición de personalización

- Pi: ID de prompt y versión

- Ti: tiempo y ola de medición

- Ri: respuesta en bruto

- Ki: registro de prueba y verificación

Si uno de estos elementos cambia de manera significativa, puede ocurrir una nueva observación. Por ejemplo, el mismo usuario:

- si hace la misma solicitud en otro producto de IA,

- Si lo pide en otro idioma,

- Si lo pide en otra ola de medición,

- Si lo pide por separado en la sesión personalizada y limpia,

Se pueden producir observaciones separadas. Estas observaciones no se consideran automáticamente independientes entre sí porque provienen del mismo usuario.

### 3.2. Unidad de Muestreo

La unidad de muestreo es la persona, cuenta, sesión u otra unidad de acceso seleccionada de la población objetivo. En la mayoría de las aplicaciones GEO-1000, la unidad de muestreo puede ser un usuario real apropiado. Sin embargo, de acuerdo con el diseño de la investigación:

- usuario,

- par usuario–producto,

- cuenta,

- sesión,

- miembro del panel de investigación

Se puede usar como unidad de elección. La falta de definición clara de la unidad de muestreo puede conducir a los siguientes tipos de errores de conteo:

- Contar las diez repeticiones de una persona como diez personas

- Contar una cuenta conjunta como múltiples usuarios independientes

- Evaluar los resultados de los diez productos de IA del mismo usuario como si fueran diez observaciones independientes de la población

- Ignorar la agrupación en un solo panel de investigación

### 3.3. Unidad de Análisis

La unidad de análisis es la entidad a la que se aplica la evaluación de precisión o representatividad. Esta unidad:

- respuesta exacta,

- párrafo separado dentro de la respuesta,

- proposición material,

- afirmación atómica,

- cita,

- tema de recomendación

Es posible. Un usuario ve una sola respuesta. Sin embargo, esa respuesta puede contener simultáneamente:

- cinco afirmaciones correctas,

- dos afirmaciones no respaldadas,

- una afirmación desactualizada,

- un error crítico

Por lo tanto, la respuesta que ve el participante no tiene que ser una unidad única e indivisible de verdad/falsedad en el análisis. El estado de transición de la respuesta completa y los estados de verdad de las afirmaciones atómicas dentro de ella pueden mantenerse por separado. El método de la afirmación atómica se definirá en un capítulo posterior del libro.

### 3.4. Universo de Inferencia

El universo de inferencia es la población objetivo a la que se pretende generalizar el resultado de la medición. Este universo no puede aceptarse silenciosamente como "todas las personas del mundo". Para un producto de IA específico, el universo objetivo puede estar limitado por condiciones tales como:

- Tener acceso oficial y legítimo al producto

- Cumplir con el requisito de edad apropiado

- Poder usar el producto en el idioma correspondiente

- Poder acceder a la interfaz web o móvil especificada

- Poder estar activo durante el período de medición especificado

Incluso para el mismo producto de IA:

- Panel controlado en condiciones depuradas,

- Panel de usuarios en condiciones reales,

- plan gratuito,

- plan pago,

- web,

- móvil

puede crear diferentes universos de inferencia. La tasa publicada está incompleta si no se especifica a qué universo se generaliza una muestra.

### 3.5. Cantidad estimada — Estimando

Un estudio no solo recopila datos. Intenta estimar una cantidad específica. El estimando principal de GEO-1000 puede expresarse en su forma más general de la siguiente manera:

> La probabilidad de que un usuario apropiado de la población objetivo definida, bajo la ola de medición especificada, en un producto de IA particular y interfaz de usuario, vea una representación que cumpla con el criterio de aceptación al usar un mensaje fijado bajo condiciones de sesión definidas.

Matemáticamente:

θ_{E,A,P,S,W,T}= Pr(Y_i = 1| U_i ∈ T, E, A, P, S, W)

Aquí:

- E: entidad auditada

- A: Producto de IA y interfaz de usuario

- P: versión del prompt

- S: condición de la sesión

- W: ola de medición

- T: población objetivo

Yi=1: la respuesta cumple con el criterio de transición que se definirá más adelante

Esta definición establece un límite importante:

> La puntuación GEO no es el 'conocimiento' abstracto y atemporal de un modelo; es una predicción de la probabilidad de representaciones observadas bajo condiciones de usuario definidas.

La regla final de transición y la fórmula de puntuación se organizarán en las secciones posteriores del libro.

## 4. LA LIMITACIÓN DE LA FRASE “ASÍ RESPONDIÓ EL MODELO”

Los usuarios a menudo no acceden directamente a un modelo base desnudo. El resultado visible para el usuario puede consistir en una combinación de los siguientes componentes:

- Modelo base o guía

- Interfaz del producto

- Recuperación o acceso a la web

- Capa de citación

- Capa de seguridad y políticas

- Instrucciones del sistema

- Plan de cuenta

- Personalización

- Memoria

- Conversación previa

- Idioma y localización

- País

- Hora

- Actualizaciones de productos del proveedor

Por esta razón, la expresión preferida en la inspección principal realizada a través del interfaz de usuario es la siguiente:

#### "Se observaron el producto de IA especificado y la siguiente salida en el interfaz de usuario."

La siguiente expresión puede ser más amplia sin el control técnico necesario: "El modelo piensa de esta manera." Se puede registrar el nombre del modelo que aparece dentro de un producto. Sin embargo, el resultado debe evaluarse como el comportamiento de todo el interfaz de usuario, no solo de los pesos del modelo.

## 5. ¿CUÁL ES UNA OBSERVACIÓN VÁLIDA?

La presencia de una respuesta no significa automáticamente que sea una observación válida que pueda ser ingresada en la medición GEO.

### 5.1. Condiciones mínimas de validez

Una observación debe contener al menos los siguientes elementos de acuerdo con el protocolo relevante:

- Presencia de auditoría correcta

- Producto de IA asignado y interfaz de usuario

- ID de prompt y versión correctas

- Idioma y configuración regional correctos

- Condición de sesión definida

- País registrado o capa geográfica

- Sello de tiempo UTC y ola de medición

- Respuesta completa sin procesar

- Primera salida adecuada no seleccionada

- Captura de pantalla requerida o evidencia equivalente

- ID de observación anónima

- Registro de desviación de protocolo

Su esquema técnico detallado se definirá en la sección de Captura NOMOS posteriormente.

### 5.2. Estados de Observación

Cada registro debe estar marcado con uno de los siguientes estados:

### VÁLIDO — VÁLIDO

Cumple con las condiciones requeridas del protocolo.

### CONDICIONALMENTE VÁLIDO — CONDICIONALMENTE VÁLIDO

Existe una deficiencia limitada; para qué análisis puede usarse está claramente especificado.

### INVÁLIDO — INVÁLIDO

No puede usarse en la estimación principal o en el cálculo de la puntuación debido a una violación del protocolo.

### DESCONOCIDO — DESCONOCIDO

No hay suficiente registro para una decisión de validez. Una observación DESCONOCIDA no puede ser aceptada silenciosamente como VÁLIDA.

### 5.3. La Diferencia Entre un Resultado del Sistema Válido y la Recolección de Datos Inválida

Esta distinción es obligatoria. Un producto de IA:

- puede negarse a responder,

- puede mostrar un mensaje de error,

- puede detenerse sin generar una respuesta,

- puede experimentar un problema de conexión,

puede decir que no puede completar la tarea. Si el participante aplicó correctamente todo el protocolo, estos pueden ser resultados válidos del sistema. No se pueden eliminar silenciosamente del conjunto de datos. En contraste:

- el participante truncando la respuesta,

- cambiando el prompt,

- regenerando para seleccionar la mejor respuesta,

- editando la captura de pantalla,

- usando el producto de IA incorrecto

la recopilación de datos puede crear invalidez. Lo primero es el comportamiento real del sistema. Lo segundo es la interrupción del proceso de medición. Las dos no pueden colocarse en la misma categoría.

## 6. ¿QUÉ PUEDE PROBAR UNA SOLA RESPUESTA?

Una sola observación es limitada. Pero no carece de sentido.

### 6.1. Que un Resultado Específico Ocurrió Al Menos Una Vez

Un registro válido puede respaldar esta oración: “En el producto de IA especificado y interfaz de usuario, bajo el tiempo y las condiciones especificadas, se observó este resultado al menos una vez.” Esta oración muestra la existencia del evento. No muestra su prevalencia.

### 6.2. La Exposición Real de un Usuario Específico

Se confunde a un usuario con:

- identidad de empresa,

- información de salud,

- guía legal,

- precio,

- licencia,

- asesoramiento

si se ve, esto es una experiencia real de un usuario. Incluso si no representa a toda la población, es material desde la perspectiva del usuario afectado.

### 6.3. La Posibilidad de un Error Específico

Un solo resultado puede mostrar: “Este error puede ocurrir bajo estas condiciones del sistema.” Sin embargo, no muestra: “Este error es típico.”

### 6.4. Generando una Nueva Hipótesis de Investigación

Un solo error puede crear una pregunta que se probará a una escala más amplia. Ejemplo: “¿Ocurrió esta confusión de identidad solo en una sesión, o hay un patrón sistemático en el mismo idioma y país?”

### 6.5. Iniciando una Revisión de Incidente Crítico

Respuesta única:

- daño humano serio predecible,

- falsa autoridad profesional,

- guía médica de emergencia incorrecta,

- error legal material,

- consejo de seguridad serio,

- confusión seria de identidad con otra entidad

puede ser suficiente para iniciar una revisión de incidentes. Iniciar una investigación de incidente crítico no es el mismo proceso que anunciar una proporción de población.

### 6.6. Refutando la afirmación "Esto nunca ocurrió"

Supongamos que una organización dice: 'El sistema nunca nos ha asignado al país equivocado.' Una sola contraobservación verificada puede refutar esa afirmación absoluta. Una sola observación no respalda 'Sucede todo el tiempo', pero puede refutar 'Nunca ha sucedido.'

## 7. ¿QUÉ NO PUEDE PROBAR UNA SOLA RESPUESTA?

### 7.1. Comportamiento típico del sistema

Una sola respuesta no es suficiente para concluir: 'El sistema usualmente responde de esta manera.'

### 7.2. Prevalencia en la población

Una sola respuesta no respalda el resultado: '95% de los usuarios ven la misma representación.'

### 7.3. Estabilidad temporal

Respuesta de hoy:

- mañana,

- una semana después,

- Después de la actualización del producto

puede que no permanezca igual. No es una medición de estabilidad de una sola vez.

### 7.4. Validez Transnacional

Una respuesta de un usuario en Turquía no indica lo que los usuarios en China, Alemania o San Marino verían.

### 7.5. Validez Translingüística

Una salida en inglés:

- turco,

- japonés,

- árabe,

- inglés

no representan la precisión de las salidas.

### 7.6. Validez entre Productos de IA

El resultado en un producto de IA no puede generalizarse a otros productos de IA. Diferentes productos e interfaces del mismo proveedor también pueden comportarse de manera diferente.

### 7.7. Efecto de la Intervención

Un solo resultado positivo después de un cambio GEO no prueba la afirmación: “Este resultado fue creado por nuestra intervención.” Se requieren línea base, comparación y explicaciones alternativas.

### 7.8. Estabilidad de la Recomendación

La presencia de un usuario viendo una opción no es suficiente para concluir: “El sistema ahora recomienda esta marca.”

### 7.9. Impacto Comercial

Una respuesta positiva:

- indica que el usuario vio la respuesta,

- investigó la marca,

- que usted comunicó,

- que compró,

- que estuvo satisfecho

no lo muestra por sí sola.

### 7.10. puntuación GEO

Una sola respuesta no estima la distribución representativa de la población objetivo definida. Por lo tanto, no puede producir una puntuación GEO general.

## 8. LA EXISTENCIA DEL EVENTO Y LA PREVALENCIA DEL EVENTO

Esta es una de las distinciones más importantes en esta sección.

### 8.1. Existencia del Evento

Responde a la pregunta: "¿Ocurrió esta representación o error al menos una vez?" Una sola observación válida puede ser suficiente. Representación:

I(E) = 1(si el evento se observó al menos una vez); de lo contrario I(E) = 0

El 0 aquí no significa: "El evento es imposible." Solo indica que no se observó en la medición actual.

### 8.2. Prevalencia del Evento

Responde a la pregunta: "¿Con qué frecuencia ocurre el evento en la población objetivo definida?" En una muestra simple, la tasa bruta se puede calcular como:

p̂ = número de registros válidos donde se observó el evento / número total de registros válidos

Sin embargo, en estudios reales GEO-1000:

- pesos de la población,

- estratos de país y idioma,

- usuarios emparejados,

- clústeres de panel,

- no respuesta,

- registros inválidos,

- efecto de diseño

deben ser tomados en cuenta. Por lo tanto, la tasa bruta no siempre es la estimación final de la población.

### 8.3. Incidencia y Prevalencia No Pueden Convertirse Entre Sí

Un evento puede haberse observado una vez pero ser muy raro. Un evento puede ser común pero no observarse en absoluto en un piloto pequeño. Las siguientes dos oraciones son diferentes:

- "Este error se observó una vez."

- "Este error se observó en 12% de usuarios."

La segunda oración requiere un denominador y muestra definidos.

## 9. LA APARICIÓN ESTADÍSTICA DEL SESGO DE UNA SOLA OBSERVACIÓN

Una vez le hicimos una pregunta a un producto de IA. La respuesta cumplió con el criterio de éxito. Tasa bruta:

p̂ = 1/1= 1= 100%

Parece ser 100 por ciento. Pero ese 100 por ciento no significa que cada miembro de la población objetivo verá el mismo resultado. Solo para ilustración, la tabla a continuación muestra aproximados intervalos de confianza de Wilson de 95 por ciento bajo observaciones Bernoulli independientes y muestreo aleatorio simple no ponderado: [K09]

Esta tabla es sintética e ilustrativa. No prueba:

- Que estos intervalos sean válidos para todos los diseños de muestreo de GEO-1000

- Que 1,000 observaciones son suficientes para todos los subgrupos de idioma y país

- la agrupación y ponderación no son efectivas

- que 95 por ciento de precisión en bruto significa automáticamente adecuación

Lo que realmente muestra es:

> A medida que disminuye el número de observaciones, aumenta la incertidumbre sobre la proporción de la población.

100 por ciento visto en una observación puede ser compatible con un rango poblacional posible muy amplio.

## 10. ¿POR QUÉ “1,000” NO ES UN NÚMERO MÁGICO?

### REGLA BÁSICA DE CANDIDATO — REGLA FUNDAMENTAL DEL CANDIDATO

GEO-1000 lleva esta sugerencia fundamental:

> Para cada producto de IA monitorizado y cada ola de medición principal, se tiene como objetivo por defecto un mínimo de 1,000 observaciones válidas de usuarios.

Esta disposición aún no es el mínimo científico final. Será reevaluada en función de los resultados de la aplicación piloto y externa.

### 10.1. ¿Por qué es un comienzo sólido?

Bajo la suposición de muestreo aleatorio simple, cuando la tasa real está alrededor de 50%, el margen de error teórico 95% para 1,000 observaciones es aproximadamente de ±3.1 puntos. Esto puede proporcionar una precisión inicial significativa a nivel general del producto.

### 10.2. ¿Por qué no resuelve todos los problemas?

Observaciones de 1,000:

- a docenas de países,

- a muchos idiomas,

- a planes gratuitos y de pago,

- a interfaces web y móviles,

- a paneles controlados y naturales

Cuando se dividen, las subceldas se encogen. Por ejemplo, si solo hay 50 observaciones para cada uno de los 20 idiomas, la incertidumbre basada en el idioma puede ser mucho mayor que la puntuación general del modelo.

### 10.3. Efecto de diseño

Observaciones:

- del mismo panel de investigación,

- del mismo país,

- del mismo usuario,

- de un diseño emparejado

están presentes, la suposición de muestra independiente simple puede no cumplirse. La incertidumbre real puede ser mayor.

### 10.4. El enfoque de NOMOS

Las observaciones 1,000 sirven como:

- el punto de referencia fundador del protocolo,

- mínimo inicial por defecto a nivel de modelo,

- umbral candidato para ser calibrado con el piloto

NOMOS no afirma que las observaciones de 1,000 sean automáticamente suficientes para cada país, idioma y condición de uso.

## 11. LA OBSERVACIÓN INDEPENDIENTE NO ES LO MISMO QUE LA OBSERVACIÓN REPETIDA

Un usuario puede hacer la misma pregunta diez veces. Este proceso puede ser valioso. Sin embargo, no produce diez usuarios independientes.

### 11.1. Mismo Usuario–Misma Sesión Repetida

Puede medir:

- varianza de renovación de respuestas,

- estabilidad dentro de la sesión,

probabilidad de respuestas alternativas. No mide por sí solo la prevalencia en la población.

### 11.2. Mismo Usuario–Nueva Sesión Repetida

Puede reducir el contexto del chat anterior. Sin embargo:

- misma cuenta,

- mismo plan,

- mismo país,

- misma personalización,

- mismo usuario

puede continuar creando dependencia estadística entre las observaciones.

### 11.3. Un solo usuario probando múltiples productos de IA

Este diseño puede ayudar con la comparación emparejada entre modelos. Sin embargo, las observaciones dependen del nivel del usuario. Esta dependencia debe preservarse en el registro y análisis.

### 11.4. Diferentes usuarios usando la misma cuenta

Pueden existir diferentes personas. Sin embargo:

- historial de la cuenta,

- personalización,

- plan,

- memoria

pueden ser compartidos. Estos registros no se pueden considerar independientes automáticamente.

### 11.5. Provisión de independencia normativa

> Las observaciones deben diseñarse para ser lo más independientes posible; se deben registrar y tener en cuenta en el análisis las dependencias conocidas de usuario, cuenta, sesión, panel, país, dispositivo y repetidas.

La independencia no debe reducirse a un binario:

- sí,

- no

Cuando sea necesario, use uno de los siguientes estados de dependencia:

### INDEPENDIENTE

### EMPAREJADO

### AGRUPADO

### REPETIDO_CON_EL_USUARIO

### DEPENDIENTE

### DESCONOCIDO

## 12. PRINCIPIO DE PRIMER RESULTADO ADECUADO

En el panel principal de la población, la tarea del participante no es encontrar la respuesta más positiva. El participante debe registrar la primera salida adecuada completada generada bajo la condición predefinida. El participante:

- no puede actualizar la respuesta,

- no se puede solicitar una nueva respuesta,

- no se puede elegir la positiva,

- no se puede recortar solo la parte buena,

no se puede reescribir la respuesta. El comportamiento de reproducción también puede investigarse por separado. Sin embargo: "Hicimos la misma pregunta cinco veces y seleccionamos la mejor respuesta." no es la puntuación principal de la población. Esta es la prueba de la mejor salida seleccionada. Debe informarse con un nombre y método separados.

## 13. EXCEPCIÓN DE EVENTO CRÍTICO ÚNICO

Una sola respuesta no puede determinar la puntuación de la población. Sin embargo, esto no significa que una sola respuesta nunca pueda tener un impacto significativo en una decisión. NOMOS establece dos vías de evaluación separadas.

### 13.1. Vía de Representación de la Población

Hace la pregunta: “¿Con qué frecuencia ocurre este resultado en la población objetivo?” Requiere una muestra grande y válida.

### 13.2. Vía de Evento Crítico

Plantea la pregunta: “¿Qué tan grande es el daño previsible cuando este resultado ocurre una vez?” Un solo resultado confirmado puede desencadenar una revisión. Por ejemplo:

- Asignar una licencia de salud inexistente

- Realizar una remisión de salud de emergencia peligrosa

- Reportar autoridad legal incorrecta

- Eliminar la barrera de seguridad

- Confundir una empresa con otra entidad legal

- Repetir una instrucción manipuladora oculta a las personas como si fuera un consejo

Puede ser un candidato a evento crítico singular.

### 13.3. Separación de la puntuación y la decisión de conformidad

Un evento crítico generalmente puede ser una única observación. Por ejemplo:

1/1000=0.1%

Esta tasa puede parecer pequeña. Sin embargo, si el daño potencial del evento es grave, puede crear una brecha irreparable en la decisión de conformidad. Por lo tanto:

> La puntuación de la población mide la frecuencia del evento; la revisión de eventos críticos mide el impacto del evento en el daño y la integridad.

Una alta precisión promedio no puede eliminar automáticamente errores singulares graves. Las condiciones finales para la clasificación crítica se definirán en capítulos posteriores del libro.

## 14. ESCALERA DE AFIRMACIONES OBSERVACIONALES

En esta sección, solo se separan normativamente los primeros cuatro niveles de observación. En niveles superiores:

- puntuación ponderada por la población,

- puntuación de múltiples modelos,

- estabilidad temporal,

- efecto de la intervención,

- valor sostenible

serán definidos en secciones posteriores.

### O-0— NO PROBADO

El producto o la condición de IA relevante no ha sido medido. Estado correcto:

### NO PROBADO

Frase indefendible: "Es apropiado porque no se observó el problema."

### O-1— OBSERVACIÓN DE UN SOLO EVENTO

Hay un resultado válido. Formulación defendible: "Bajo las condiciones especificadas, se observó este resultado una vez." Oración indefendible: "El sistema representa la existencia de esta manera."

### O-2— REPETICIÓN DE USUARIO O SESIÓN

Existen múltiples resultados para el mismo usuario, cuenta o familia de sesiones. Formulación defendible: "Bajo las condiciones del usuario y la sesión especificadas, este resultado ocurrió en siete de diez repeticiones." Oración indefendible: "Siete de cada diez usuarios independientes vieron este resultado."

### O-3— MEDICIÓN DE UNA SOLA CELDA POR MÚLTIPLES USUARIOS

Lo mismo:

- Producto de IA,

- interfaz de usuario,

- país,

- idioma,

- condición del panel,

- versión del prompt,

- oleada de medición

contiene múltiples observaciones de usuario adecuadas. Formulación defendible: “78% de las 200 observaciones válidas en la celda controlada por Turquía/Turquía cumplieron el criterio de transición especificado.” Este resultado no puede generalizarse automáticamente a otros países, idiomas o interfaces de usuario.

### O-4— MEDICIÓN CAPA MÚLTIPLE DE CELDAS

Existen muestras predefinidas de diferentes países, idiomas o celdas de usuario. A este nivel:

- resultados de celda,

- resultado ponderado,

- alcance,

- incertidumbre

reportable. Las reglas detalladas para los pesos poblacionales y la equidad de subgrupos se definen en capítulos posteriores del libro.

## 15. DEMOSTRACIÓN SINTÉTICA APPLE.COM

DEMOSTRACIÓN DE METODOLOGÍA SINTÉTICA / Los usuarios, productos de IA, respuestas, tasas y resultados que se muestran a continuación son ficticios. No representan el desempeño real de Apple Inc. ni el comportamiento de ningún producto de IA real.

### 15.1. Escenario A — Respuesta Positiva Única

Un usuario sintético envía la siguiente pregunta al Producto de IA sintético A: ‘¿Qué tipo de empresa es Apple.com?’ Respuesta sintética: ‘Apple es una empresa tecnológica con sede en EE. UU. que desarrolla electrónica de consumo, software y servicios digitales.’ Evaluación preliminar:

- La identidad de la entidad es correcta

- La categoría principal es correcta

- No se observan errores críticos evidentes

- La representación básica es aceptable

Resultado bruto:

1/1=100%

Declaración pública incorrecta: “El Producto de IA A representa a Apple con una precisión de 100%.” Declaración pública correcta: “En la muestra sintética, la única observación especificada cumplió con el criterio de transición. La prevalencia en la población y la confiabilidad del producto no han sido determinadas.”

### 15.2. Escenario B — Descubrimiento con Diez Observaciones

Diez usuarios sintéticos independientes utilizan la misma versión del prompt semántico. Resultado sintético:

- Respuestas 7 aprobadas

- La respuesta 1 es parcialmente correcta

- La respuesta 1 contiene información desactualizada

- La respuesta 1 asigna la actividad principal incorrecta

tasa de aprobación bruta:

7/10=70%

Bajo una suposición simple e idealizada de muestreo independiente, el intervalo de Wilson aproximado 95 por ciento es necesariamente amplio. El resultado sigue siendo exploratorio porque se basa en:

- muestra pequeña,

- célula única,

- onda única

Estado correcto:

> EXPLORATORIO — No es suficiente para La puntuación global NOMOS disponible públicamente.

### 15.3. Escenario C — Onda Sintética Observada 1,000

Suponga sintéticamente que se cumplen las siguientes condiciones:

- Producto de IA A

- Observaciones válidas 1,000

- Población objetivo predefinida

- Versión de solicitud fijada

- Capas de país e idioma definidas

- Respuesta inicial adecuada sin modificar

- Registros completos de evidencia

- Reglas de adjudicación predefinidas

Resultado sintético:

Tasa de aprobación simple en bruto:

918/1000=91.8%

Intervalo de Wilson aproximado 95% bajo la suposición idealizada no ponderada: es. Sin embargo, este número por sí solo aún no es la puntuación final NOMOS GEO. Porque hay factores adicionales que deben evaluarse:

- Pesos de país y idioma

- Efecto del diseño

- Resultado más bajo por idioma

- Tasa de observación inválida

- Acuerdo entre evaluadores

- Verificación de candidatos a errores críticos

- Grupos de usuarios no evaluados

- Tiempo y limitación de medición de interfaz de usuario

Seis candidatos con errores críticos también deben someterse a una revisión de incidentes por separado. Informe correcto: ‘La tasa de aprobación de respuesta bruta en la ola sintética es 91.8 por ciento. Este resultado describe las observaciones antes de aplicar los pesos de la población y los efectos del diseño. Debido a que se identificaron seis candidatos con errores críticos, la decisión de conformidad requiere una revisión separada.’ Informe incorrecto: ‘La puntuación GEO NOMOS de Apple es 91.8 y cumple con los requisitos.’ Los datos sintéticos no pueden atribuirse de esta manera a una empresa real o un sistema real.

## 16. DISPOSICIONES NORMATIVAS OBLIGATORIAS

### N-01

No se puede usar una sola salida de un sistema generativo como la puntuación GEO general.

### N-02

Una salida singular observada por sí sola:

- Producto de IA y interfaz de usuario,

- país,

- idioma,

- prompts,

- sesión,

- tiempo

deben informarse junto con sus condiciones.

### N-03

Salida única:

- típica,

- continuo,

- global,

- perteneciente a todos los usuarios

no puede presentarse como comportamiento.

### N-04

Las repeticiones del mismo usuario, cuenta o sesión no se pueden contar como observaciones independientes de la población sin revelar la dependencia.

### N-05

En el panel de población principal, el participante debe registrar la primera salida adecuada predefinida; no se puede reproducir para elegir una respuesta positiva.

### N-06

El rechazo del sistema, mensaje de error o incapacidad de responder debe registrarse como un resultado válido del sistema si el protocolo se ha aplicado correctamente.

### N-07

Recortes, modificaciones, reescrituras manuales o respuestas cuyo contexto del prompt no pueda ser verificado no pueden incluirse en el cálculo principal de puntuación.

### N-08

Está prohibido seleccionar solo capturas de pantalla positivas y retener la distribución de resultados.

### N-09

No se pueden usar observaciones sintéticas en las puntuaciones de usuarios o sistemas reales.

### N-10

No se debe publicar una proporción de la población sin indicar la cobertura, el denominador y una explicación apropiada de la incertidumbre.

### N-11

La probabilidad de un error crítico no puede ser compensada silenciosamente dentro del promedio general.

### N-12

El resultado de la observación solo puede aplicarse al universo de inferencia que esté definido de manera única; no puede generalizarse a países, idiomas, productos o períodos de tiempo no medidos.

### N-13

La medición, puntuación o declaración pública debe tener un propietario humano o institucional responsable.

### N-14

Registros DESCONOCIDOS, NO PROBADOS o INVÁLIDOS no pueden convertirse silenciosamente en un resultado positivo.

## 17. CANDIDATO GEO-1000 REGLA PRINCIPAL

### CANDIDATO-001

> Para cada producto de IA que se esté auditando y para cada ola principal de medición de la población, se debería apuntar por defecto a un mínimo de 1,000 observaciones válidas de usuarios.

Esta frase candidata:

- precisión de la previsión general del producto,

- costo,

- aplicabilidad,

- equidad entre países e idiomas

Esto crea un equilibrio inicial entre estas consideraciones. Sin embargo, no garantiza una cobertura adecuada de:

- todas las puntuaciones de los países,

- todas las puntuaciones de los idiomas,

- todos los subgrupos de usuarios

La adecuación debe, en cambio, ser evaluada mediante:

- pilotos,

- repeticiones independientes,

- efecto de diseño,

- sensibilidad de subgrupo

Esas evaluaciones determinan el estatus normativo final.

## 18. FORMAS DE FALLA

#### F-01— Captura de Pantalla Seleccionada

Solo se publica la respuesta más positiva entre numerosos resultados.

#### F-02— Tratar a un Solo Usuario como la Población

La experiencia de una persona se generaliza a todo el universo objetivo.

#### F-03— Contar Repeticiones del Mismo Usuario como Nuevas Personas

Las repeticiones generadas por la misma persona o cuenta se informan como participantes independientes.

#### F-04— Renovar la Respuesta y Elegir la Mejor

Se descartan las respuestas iniciales o negativas; la respuesta más adecuada se guarda como el resultado de la medición.

#### F-05— Desviación del Prompt

Los participantes cambian la palabra, el tono o el alcance del prompt; los resultados se combinan como si provinieran del mismo experimento.

#### F-06— Contaminación del Contexto

Las conversaciones anteriores afectan la respuesta; el registro se presenta como una sesión limpia.

#### F-07— Ocultando la Personalización

Memoria, instrucciones especiales o historial del usuario son visibles; el resultado se reporta como una respuesta de usuario general.

#### F-08— Confundir Modelo y Producto

Solo se escribe el nombre general del modelo o del proveedor; el producto real, la interfaz y el estado de la herramienta no se registran.

#### F-09— Eliminando Errores y Fallos del Denominador

Eliminado para que los resultados aparezcan positivos cuando el sistema no responde a los registros.

#### F-10— Contando Capturas Inválidas como Fallo del Sistema

Reportado como error del participante, evidencia faltante o resultado incorrecto del producto de IA.

#### F-11— Globalizando un Solo Idioma y País

El resultado de un solo lugar se aplica globalmente.

#### F-12— Usando Datos Sintéticos como Reales

Se agregan registros creados con fines de demostración al rendimiento real.

#### F-13— Perdiendo un Evento Crítico en Promedio

Errores graves de salud, legales, de licencias o de seguridad se vuelven invisibles dentro de un promedio alto.

#### F-14— Extrayendo el Efecto de la Intervención de un Solo Éxito

La única respuesta positiva recibida después de la intervención GEO se considera el efecto causal del estudio.

#### F-15— Juzgando Todo el Sistema por un Solo Error

Un error se generaliza como si el producto de IA siempre estuviera equivocado y fuera malo para todos los usuarios.

#### F-16— Definiendo la Población Objetivo Después

Después de observar el resultado, el grupo de usuarios con alto éxito se declara la "población objetivo real".

## 19. PROCEDIMIENTO DE AUDITORÍA

Un auditor debe seguir la secuencia a continuación al evaluar la validez de una sola observación o una declaración temprana de GEO.

### Paso 1— Registrar la Declaración Pública

La oración completa propuesta se determina. Ejemplo: “ChatGPT conoce correctamente nuestra empresa.”

### Paso 2— Determinar el Nivel de la Afirmación

La oración puede hacer una afirmación sobre:

- evento único,

- prevalencia,

- estabilidad,

- consecuencia global,

- causalidad,

- impacto comercial

Se debe identificar el nivel aplicable.

### Paso 3— Determinar el Recuento de Observaciones de Apoyo

¿Cuántos usuarios reales? ¿Cuántas cuentas? ¿Cuántas sesiones independientes? ¿Cuántas repeticiones? ¿Cuántos productos de IA? ¿Cuántos idiomas y países?

### Paso 4— Verificar las Condiciones de Observación

¿Se registran todos el producto de IA, interfaz de usuario, la prompt, la sesión, el país, el idioma y el tiempo?

### Paso 5— Examinar la Integridad de la Evidencia

¿Hay una respuesta completa? ¿Hay una captura de pantalla completa? ¿Se ha seleccionado o actualizado la respuesta? ¿Se ha modificado el archivo? ¿Es el registro sintético?

### Paso 6— Determinar la Estructura de Dependencia

¿Hay repeticiones del mismo usuario? ¿Se ha utilizado una cuenta compartida? ¿Hay un diseño de modelo espejado? ¿Hay agrupamiento desde el mismo panel?

### Paso 7— Separar el Error de Recolección de Datos del Resultado Válido del Sistema

¿Es el rechazo o error del sistema el resultado real? ¿O el participante violó el protocolo?

### Paso 8— Comparar la Afirmación con el Nivel de Evidencia

¿Se usa una única observación para una inferencia poblacional o global?

### Paso 9— Abrir la Ruta Crítica

Si una única respuesta conlleva un daño grave previsible, se inicia una investigación de incidente separada.

### Paso 10— Limitar la Decisión

La sentencia pública se reduce únicamente al nivel respaldado por la evidencia.

## 20. EVIDENCIA NECESARIA

Para una observación o afirmación dentro del alcance de esta sección, se deben buscar los siguientes registros en la medida que sean relevantes:

- Identidad de la entidad auditada

- afirmación GEO totalmente divulgado al público

- Número de observaciones

- Número de participantes únicos

- Producto de IA y interfaz de usuario

- Modelo o versión visible, si está disponible

- Tipo de plan o cuenta

- País y localidad

- ID del prompt, versión y texto completo

- Estado de la sesión y personalización

- Sello de tiempo UTC

- Ola de medición

- Respuesta completa sin procesar

- Captura de pantalla o evidencia equivalente

- Estado de reproducción o selección de respuesta

- Estado de validez de la observación

- Dependencia y registro de coincidencias

- Estado sintético o real

- Registro de observaciones inválidas

- Registro de eventos críticos

- Alcance del resultado

- Enunciado de incertidumbre

- Persona o institución responsable

No todos estos registros pueden ser necesarios con el mismo detalle para cada observación de descubrimiento de bajo riesgo. Sin embargo, si se va a ofrecer al público una puntuación GEO amplio o una cláusula de conformidad, los campos materiales no pueden dejarse en blanco.

## 21. LISTA DE VERIFICACIÓN DE AUDITORÍA

¿Se ha identificado completamente la entidad auditada? ¿Se han registrado el producto de IA y interfaz de usuario? ¿Se bloqueó el prompt antes de la medición? ¿El participante modificó el prompt? ¿Se conocen las condiciones de la sesión y de personalización? ¿Se ha registrado la información del país y la localidad del usuario? ¿Se conserva la respuesta completa? ¿Es la primera salida apropiada o la mejor salida elegida? ¿Existe un registro completo de pruebas? ¿Se han separado el número real de usuarios y el número de observaciones? ¿Se han contado de manera independiente las observaciones repetidas y coincidentes? ¿Se han gestionado correctamente las negativas y los errores del sistema en el denominador? ¿Se han retenido y justificado los registros inválidos? ¿Se han separado los datos sintéticos y los datos reales? ¿Se presenta una única respuesta como resultado poblacional?

¿Se aplica la afirmación solo al producto medido, país, idioma y tiempo? ¿Se ha evaluado por separado la probabilidad de un error crítico? ¿El resultado incluye una declaración de confianza o incertidumbre? ¿Se muestran claramente las áreas no probadas? ¿La declaración pública excede el nivel de observación real? Si una de las preguntas fácticas no tiene respuesta, el resultado conlleva confianza limitada. Si más de una no tiene respuesta, no debería utilizarse para la puntuación general de GEO.

## 22. OBJECIONES Y RESPUESTAS

### Objeción 1— “El usuario real ya ve solo una respuesta.”

Eso es correcto. La única respuesta que ve el único usuario es la experiencia real de esa persona. Por lo tanto, los eventos individuales se registran. Sin embargo, la experiencia individual no es lo mismo que la experiencia de la población. NOMOS mantiene ambos hechos juntos:

> La experiencia de un solo usuario es real. / Un solo usuario no es la población completa.

### Objeción 2— “Si el sistema da la misma respuesta cada vez, ¿no es suficiente con una respuesta?”

La afirmación de que el sistema da la misma respuesta cada vez también requiere medición. Además:

- tiempo,

- recuperación,

- país,

- idioma,

- plan,

- personalización,

- interfaz de usuario

Puede variar. Incluso un sistema que se supone determinista no puede generalizarse más allá de las condiciones definidas.

### Objeción 3— “¿Por qué exactamente 1,000?”

El número 1,000 no es un umbral mágico de certeza. GEO-1000 sirve como un punto de referencia fundacional que equilibra:

- un volumen sustancial de usuarios,

- una estimación amplia a nivel de producto,

- costo practicable,

- comprensibilidad pública.

Los subgrupos pueden requerir más observaciones. Los estudios piloto deben verificar o revisar el umbral.

### Objeción 4— “Que las mismas personas 1,000 prueben todos los productos de IA.”

Este método puede ser útil para la comparación por pares entre modelos. Sin embargo, seleccionar solo a usuarios intensivos de IA que puedan acceder a todos los productos puede sesgar la población objetivo. Además, las observaciones de la misma persona son dependientes. Se compararán más adelante los diseños completamente emparejados, parcialmente emparejados y equilibrados.

### Objeción 5— “¿No es una captura de pantalla ya una prueba suficiente?”

Las capturas de pantalla son importantes. Sin embargo, por sí solas no siempre muestran lo siguiente:

- tiempo real

- país

- plan

- conversación previa

- personalización

- actualización de la respuesta

- cambio de archivo

- respuesta completa

Por esta razón, una captura de pantalla es una parte importante del paquete de pruebas. No es todo.

### Objeción 6— “¿Por qué incluimos un sistema que no responde en la puntuación?”

La experiencia real del usuario puede ser no recibir una respuesta. Un rechazo o error:

- técnico,

- de seguridad,

- depolítica,

- de acceso

puede ser el resultado. Si el protocolo se aplicó correctamente, el evento debe registrarse. La falta de respuesta del sistema debido a un error técnico del participante se clasifica por separado.

### Objeción 7— “¿Por qué un solo error grave debería afectar toda la inspección?”

Un solo error no prueba que la mayoría de la población cometió el mismo error. Sin embargo, el daño potencial de un solo error puede ser severo. Por lo tanto:

- frecuencia de puntuación,

- daño en decisiones críticas e integridad

se evalúan por separado. El promedio no puede borrar automáticamente el daño humano.

### Objeción 8— “Si no podemos decir nada con una sola respuesta, ¿cuál es el valor de las pruebas tempranas?”

Pruebas singulares y de muestra pequeña:

- generar hipótesis,

- descubrir tipos de errores,

- pruebas de prompts,

- probar el sistema de captura,

- calibrar a los jueces,

puede revelar eventos críticos. Lo que está mal es no hacer pruebas exploratorias. Lo que está mal es presentar el resultado exploratorio como una puntuación de la población.

## PRINCIPIO COMÚN DEL CAPÍTULO 24

Este capítulo fue escrito para eliminar un solo malentendido: "Le pregunté a una IA, obtuve una respuesta; aquí está mi resultado GEO." No. Aún no tienes un resultado GEO general. Lo que tienes es una observación. Esta observación:

- es real,

- es significativo,

- incluso crítico

puede ser. Sin embargo, sigue siendo una sola observación. Para una puntuación GEO, la existencia de:

- usuarios,

- productos de IA,

- países,

- idiomas,

- sesiones,

- tiempo

Lo que debe medirse es la distribución de la representación a través de productos de IA, países, idiomas, sesiones y tiempo. Una sola captura de pantalla no es una distribución. Diez repeticiones automatizadas no son diez personas independientes. Ni mil respuestas de una muestra pobre representan a la población mundial. Incluso una muestra proporcional a la población puede ser incompleta sin Equidad Lingüística. Un promedio alto no puede borrar los errores críticos. Por lo tanto, la primera ley de medición de NOMOS es:

> Una sola respuesta es un evento. / Varias respuestas son un patrón. / Una muestra definida es una estimación de la población. / La repetición a lo largo del tiempo es una medida de estabilidad. / Pero ninguna de estas por sí sola es causalidad ni valor sostenible.

## Orden de la Sección 1 de NOMOS

> No me traigas una captura de pantalla y luego hables por todo el sistema.

> No hagas que la respuesta de un usuario sea la respuesta de la población mundial.

> No conviertas duplicados de la misma cuenta en humanos independientes.

> No actualices la respuesta y muestres la preferida como si fuera la distribución real.

> No elimines rechazos, errores y desconocidos del denominador.

> No generalices un idioma al mundo, un país a todos los países o un producto de IA a todos los sistemas generativos.

> No conviertas un solo éxito en evidencia de un efecto de intervención, ni un solo error en el carácter inmutable de todo el sistema.

> No ahogues un solo error grave dentro del promedio.

> Primero, registre el evento. / Luego mida el patrón. / Luego defina la población objetivo. / Luego muestre la dependencia y la incertidumbre. / Y hable solo en la medida en que la evidencia lo respalde.

## La oración de cierre del capítulo

> La representación de una entidad en sistemas de inteligencia artificial no es una sola respuesta. Los productos de IA son una distribución que debe medirse a lo largo de usuarios, países, idiomas, sesiones y tiempos.

## Core normativo

> Un solo resultado de un sistema generativo PUEDE establecer que una respuesta específica ocurrió bajo condiciones registradas. Un solo resultado NO DEBE usarse para inferir: - prevalencia en la población, - comportamiento típico del producto, - estabilidad temporal, - consistencia entre idiomas, - consistencia entre países, - consistencia entre productos, - efecto de una intervención, - certeza de una recomendación, - impacto comercial, - conformidad, - o una puntuación GEO. Todas las afirmaciones más amplias DEBEN estar respaldadas por una población objetivo predefinida, un diseño válido de múltiples observaciones, estructura de dependencia registrada, conjunto de pruebas, regla de evaluación, declaración de alcance y divulgación de incertidumbre. Un solo resultado de alto daño PUEDE desencadenar una revisión de incidente crítico separada sin ser tratado como evidencia de prevalencia en la población.