Design Notes
Las Design Notes son ensayos no normativos sobre las decisiones de diseño, los compromisos y los límites de ARGUS. No modifican el protocolo.
¿Qué hace que un análisis sea auditable? Cuatro decisiones de diseño de ARGUS y el límite que no permiten superar.
Un modelo de lenguaje puede producir, sobre casi cualquier documento, una crítica que parece competente. ¿Se fijaron los criterios antes del análisis o se adaptaron al texto después? ¿Se buscaron elementos contrarios o se evitaron discretamente? ¿El modelo se dejó influir por la posición del autor o endureció el juicio para parecer independiente? Nada de eso se ve en la prosa por sí sola. En la página, una crítica plausible puede parecer tan sólida como una crítica bien fundada.
ARGUS parte de ese problema. Los pasos analíticos del protocolo están documentados en otras páginas del sitio. Esta nota trata de otra cuestión: las decisiones de diseño que permiten al lector comprobar cómo se produjo un análisis, en vez de limitarse a confiar en sus conclusiones.
Cuatro decisiones son especialmente importantes. Los ejemplos proceden del caso de estudio de Amodei, realizado en una configuración deliberadamente delicada: un modelo de Anthropic analizando un ensayo del director ejecutivo de Anthropic. Ningún procedimiento hace imparcial a un modelo en esa situación. El objetivo era más limitado: que el procedimiento pudiera ser comprobado por alguien que no confía ni en el modelo ni en el analista.
Los criterios se fijan antes de que comience el análisis
Con la política de versionado actual, cada nueva versión de ARGUS indica si es mayor, menor o un parche, y explica por qué. Las entradas anteriores siguen visibles tal como se publicaron. Por eso el historial de versiones forma parte de la pista de auditoría y no es solo un registro de cambios para curiosos.
En el caso Amodei se daba además una condición más fuerte. El control que produjo el hallazgo central, el control de constancia modal, se había publicado en ARGUS V5.1.0 en agosto de 2026, antes incluso del ensayo de septiembre. El control comprueba si una misma proposición sustentante se formula con un grado fuerte de compromiso cuando cumple la función argumentativa y después se debilita cuando mantener ese compromiso tendría un coste.
La crítica textual ad hoc corre siempre el riesgo de moldear el criterio alrededor del texto que el analista ya tiene delante. Una especificación pública y fechada no elimina ese riesgo, pero permite comprobar la cronología.
La norma de prueba se declara antes de los controles sustantivos
Antes de los controles sustantivos, el análisis establece qué aceptará como apoyo suficiente para el género de que se trate. En el caso Amodei, eso exigía una fuente identificable o recuperable para una afirmación presentada como respaldada, un mecanismo causal explícito para una afirmación prospectiva, un compromiso formulado con suficiente precisión para que un tercero pueda comprobarlo después y, en una afirmación cuantitativa, una base y un perímetro declarados.
La misma disciplina se aplica a los controles numéricos. Las cifras consideradas probatorias se designan antes de los cálculos, en vez de seleccionarse después según qué resultados resulten convenientes.
Eso no convierte en correcta la norma elegida. Un lector puede considerarla demasiado estricta o demasiado laxa. Pero puede discutir esa norma por separado de los veredictos que produjo.
La síntesis de publicación solo recibe el análisis
Una vez terminado el análisis de referencia, la síntesis de publicación se produce en una ejecución separada a partir únicamente de ese análisis, con su resumen primario oculto. No se le facilita el objeto analizado. Tampoco las fuentes externas, la conversación anterior ni las traducciones, y la búsqueda externa está desactivada.
La segunda ejecución no puede volver al ensayo original para reparar el análisis, añadir un dato de una fuente que el analista omitió ni reforzar discretamente una conclusión mediante una nueva búsqueda. Su tarea es más limitada: reconstruir lo que sostiene el texto, exponer qué considera sólido el análisis terminado, identificar las principales debilidades y lo que sobrevive a ellas, mantener la distinción entre una afirmación fuerte que falla y otra más débil que se sostiene, sin introducir ningún hallazgo ausente del análisis suministrado.
Si la síntesis se produjera en la misma ejecución, seguiría expuesta a los mismos efectos de contexto. La separación no vuelve imparcial al segundo modelo; acota esa dependencia y permite examinarla.
Las correcciones se declaran, también cuando suavizan el resultado
Una primera lectura del texto de Amodei, antes de extraer e incorporar al análisis las anotaciones de los enlaces, lo trató como si estuviera prácticamente sin fuentes. Esa lectura era errónea.
Una vez examinados los enlaces, hubo que rehacer la auditoría de fuentes y la evaluación del cierre interpretativo. La corrección hizo pasar esta última del nivel 3 al nivel 2, a favor del ensayo. El análisis deja constancia de ese cambio en vez de absorberlo silenciosamente.
También registra un riesgo de sesgo en la dirección contraria a la más evidente. Un modelo producido por Anthropic puede mostrar deferencia hacia el director ejecutivo de Anthropic. También puede corregirse en exceso y volverse inusualmente severo para exhibir independencia. El análisis señala ambas posibilidades e indica dónde cabría esperar la segunda: en niveles de gravedad artificialmente altos o en un nivel de cierre excesivo.
El expediente conserva incluso un ejemplo concreto de deferencia. Al principio, el analista no controló la primera razón expuesta por el ensayo porque una afirmación técnica del director ejecutivo de la empresa implicada parecía venir de la persona mejor situada para saberlo. El protocolo acabó imponiendo ese control.
Los enlaces aportados por el propio texto sustentaron algunas de las objeciones más fuertes
El ensayo afirma que el progreso de la IA está ahora impulsado principalmente por la creciente capacidad de la IA para construir la siguiente generación de IA. La página del Anthropic Institute enlazada por el ensayo en ese punto describe una aceleración sustancial del trabajo humano de ingeniería, pero señala que sigue siendo realmente incierto que los métodos actuales puedan hacer posible la capacidad más fuerte que se reivindica.
El ensayo también compara los incidentes de Anthropic con el episodio OpenAI–Hugging Face y los califica de «similares, aunque menos graves». La evaluación publicada por Anthropic, enlazada por el texto, afirma que esos incidentes implicaron instancias únicas de modelos, que no hubo coordinación entre agentes y que los modelos no salieron de los ejercicios asignados. Esas diferencias importan para la comparación que propone el ensayo.
Un tercer ejemplo se refiere al organismo de normalización propuesto por Demis Hassabis. El ensayo lo invoca como ejemplo de diálogo dentro de la industria. La propuesta en sí va más lejos: contempla un organismo que empieza siendo voluntario, puede convertirse en obligatorio para el despliegue en los USA y, si fuera necesario, coordinar una ralentización entre laboratorios de frontera.
Algunas de las objeciones más fuertes del análisis proceden, por tanto, de fuentes que el propio ensayo decidió aportar, no de fuentes adversas añadidas por el analista.
El mismo dispositivo deja constancia de lo que juega a favor del texto
El examen también recoge los elementos favorables al ensayo.
El análisis registra la predicción fechada de seis a doce meses, que más adelante podrá contrastarse con los acontecimientos. También valora a favor del texto la divulgación de los propios fallos de Anthropic, con enlaces a los informes correspondientes, y una cláusula que da a los revisores externos el derecho a publicar sus hallazgos sin control editorial de Anthropic.
La forma en que el ensayo documenta sus afirmaciones importa igualmente. En su descripción más cargada del incidente OpenAI–Hugging Face, enlaza una investigación independiente que respalda la mayor parte de lo que dice la frase. El análisis tiene en cuenta ese respaldo en vez de considerar de entrada la formulación como un defecto.
Un dispositivo que solo encontrara defectos se parecería más a un veredicto escrito de antemano que a una auditoría.
La auditabilidad no equivale a reproducibilidad experimental
Volver a ejecutar ARGUS sobre el mismo texto no garantiza un análisis idéntico. No se trata, por tanto, de reproducibilidad en sentido experimental.
Lo que este diseño permite es más modesto: se puede localizar el desacuerdo.
Como los pasos, la norma de prueba, las fuentes y las correcciones están declarados, dos analistas que discrepan pueden identificar el punto en que se separan y discutir ahí, en lugar de intercambiar impresiones generales sobre el texto.
El análisis Amodei aplica esa exigencia a su propio hallazgo central. El veredicto de retractación modal se registra con confianza media. La lectura competidora se expone expresamente: quizá «pacing» siempre significó el requisito más débil de dejar tiempo suficiente para la alineación y la verificación; en ese caso no habría retractación, sino solo una frase inicial demasiado comprimida. El análisis rechaza esa lectura, expone sus razones y presenta el rechazo como un juicio, no como una demostración.
La pretensión es más modesta que la reproducibilidad experimental, y el lector puede comprobarla.
Ninguno de estos requisitos exige infraestructura especializada. Requieren sobre todo inferencia adicional y disciplina de registro. Publicar los criterios, con fecha, antes de aplicarlos. Declarar qué contará como evidencia antes de los controles sustantivos. Separar las ejecuciones. Registrar las correcciones, sobre todo las que debilitan la propia conclusión.
Sin ese registro, un análisis pide ser creído por la calidad aparente de su formulación.