Il lettore di un’analisi ARGUS consulta il protocollo in due momenti. Prima, per sapere che cosa verrà applicato: la Design Note 01 spiega perché criteri pubblicati e datati prima dell’analisi contano ai fini del suo audit. Dopo, per verificare che cosa è stato fatto. Le rubriche del rapporto, le sue qualificazioni e i controlli che dichiara rinviano a nozioni del protocollo, che il lettore ritrova nella versione che legge.

Su questo sito, l’analisi di riferimento di un caso di studio è redatta nella lingua del testo analizzato, e alcune vengono poi tradotte. L’analisi del saggio di Dario Amodei, scritta in inglese, si legge anche in francese e in tedesco. Il suo lettore tedesco la verifica con il protocollo tedesco, qualunque sia la versione che l’IA ha ricevuto.

Ogni versione può dunque essere quella che l’IA applica, e ciascuna è quella che un lettore legge. Le sei devono dire la stessa cosa. È nelle parole che rischiano di scostarsi: un protocollo di un migliaio di righe, reso in sei lingue, lascia a ciascuna scelte di lessico che si vedono solo mettendole a confronto.

Tre casi rilevati nei protocolli V5.1.0 mostrano che cosa significhi slittare.

Una nozione, due parole. Il protocollo prevede, in 0.a, due casi in cui l’interruzione obbligatoria non ha luogo. Il francese parla di dispense e conserva la parola ovunque, fino alla versione breve e all’allegato dedicato ai corpus. L’inglese, il tedesco, lo spagnolo e l’italiano fanno lo stesso con exemption, Befreiung, exención ed esenzione. Il protocollo portoghese intitola la regola Isenção, poi parla di «regime de dispensa» nella versione breve e di «fórmulas de dispensa» nell’allegato sui corpus. Il lettore portoghese che incontra la seconda forma deve indovinare che si tratta della prima.

Una parola, più nozioni. Il protocollo tedesco usa Ausnahme per tre cose: la «deroga dichiarata» di 0.a, quando l’utente chiede comunque l’analisi di un testo di pertinenza debole; le tre eccezioni del controllo di costanza modale, al Passo 6; e l’eccezione costituita dalla Regola 13 nella versione breve. Ciascuna delle altre cinque versioni usa almeno due parole per queste tre nozioni.

L’intestazione che il lettore ha sotto gli occhi. L’IA compila uno schema di rapporto, il modello di restituzione, fornito con ogni versione del protocollo, ed è il modello a dare le intestazioni del rapporto. Per il test 3.I, i modelli spagnolo, italiano e portoghese scrivono circularidad informacional, circolarità informazionale e circularidade informacional; i loro protocolli dicono informativa. Il lettore che cerca l’intestazione nel protocollo o nel glossario della sua lingua non la trova. Il controllo del modello portoghese ha rilevato 21 rubriche su 28 formulate diversamente dal protocollo, nel punto corrispondente; quello del modello italiano, 24 scarti.

Un’IA accosta senza fatica dispensa a isenção. Per un lettore che verifica, ciascuno di questi scarti è un punto in cui la verifica può smarrirsi.

Uno scarto può anche essere una buona scelta. Per l’uomo di paglia del Passo 1, il protocollo portoghese usa espantalho, lo spaventapasseri. In francese, homme de paille designa tradizionalmente un prestanome, unico senso che Le Robert registra per la locuzione, e il glossario francese deve mettere in guardia il lettore. Il glossario portoghese, invece, ha dovuto escludere soltanto lo spaventapasseri dei campi e un senso figurato. La divergenza è stata mantenuta, e il lavoro sui glossari l’ha giudicata a vantaggio del portoghese.

Un glossario esplicativo dice al lettore che cosa significa un termine in ARGUS, nella sua lingua. Se ne sarebbe potuto scrivere uno e tradurlo cinque volte. I sei glossari sono stati costruiti diversamente: la parte di ogni voce che descrive l’uso ARGUS è tratta dal solo protocollo della sua lingua, senza leggere le voci degli altri glossari, e nessuna voce segnala una convergenza o una divergenza con un’altra lingua.

La ragione è quella che il protocollo dà per l’audit incrociato, il secondo dei tre livelli di contraddittorio che prevede: una seconda IA analizza lo stesso testo alla cieca, senza la prima analisi, perché «una seconda IA a cui viene mostrata la prima produce una revisione, non un audit». Un glossario redatto con un altro sotto gli occhi ne sarebbe la traduzione, e il suo accordo con il modello non proverebbe nulla. Redatti separatamente, sei glossari che descrivono una nozione allo stesso modo attestano che i sei protocolli la esprimono allo stesso modo. Quando divergono, la divergenza indica un punto da esaminare.

La separazione ha un secondo effetto: ogni glossario risponde alle difficoltà della sua lingua. Il glossario tedesco precisa, nella voce sulla costanza modale, che le tre Ausnahmen del Passo 6 non si confondono né con la deroga di 0.a né con l’eccezione della Regola 13. Il glossario portoghese riunisce isenção e dispensa in un’unica voce. Le altre lingue non hanno bisogno di nessuno di questi avvertimenti.

Anche gli elenchi delle voci differiscono: 109 in francese, 108 in inglese, 115 in spagnolo, 94 in italiano, 134 in tedesco, 135 in portoghese. Questo numero è un risultato, senza un obiettivo fissato in anticipo. L’italiano riunisce più termini sotto una stessa voce. Il tedesco, redatto tra gli ultimi, è partito da uno spoglio di 205 nozioni nel suo protocollo; il portoghese ha fatto un proprio spoglio, poi ha allineato il suo elenco a quello del tedesco.

La regola si è fatta più severa strada facendo. Le prime voci, dal 10 al 12 settembre, sono state redatte nelle sei lingue fianco a fianco, voce per voce. Il divieto di leggere le voci degli altri glossari è arrivato dopo, salvo un glossario di una lingua lontana preso come modello di impaginazione: praticato per lo spagnolo, formulato per l’italiano il 20 settembre, scritto nella procedura il 23. Anche allora, durante il lavoro sul tedesco, tre glossari congelati di altre lingue sono stati aperti per errore, e il loro testo è entrato nella conversazione di lavoro.

Glossari separati hanno bisogno di un punto d’incontro; senza di esso, nulla direbbe che dispense e isenção designano la stessa nozione. Questo punto d’incontro è un glossario trasversale che non viene pubblicato. Ha due facce. La prima è una tavola delle forme: per ogni concetto ARGUS che copre, la forma usata da ciascuno dei sei protocolli. Serve anche alle traduzioni, che devono rendere ogni termine ARGUS con la forma del protocollo della lingua d’arrivo. La seconda è un inventario di 205 nozioni, ciascuna collegata alla sezione del protocollo in cui compare e ai titoli delle voci che la trattano in ogni glossario.

Il glossario trasversale allinea le lingue per sezione del protocollo e per titolo di voce. Non contiene alcuna definizione e non confronta mai il contenuto delle voci. Serve a tre controlli. Ogni nozione trattata in una lingua ha il suo corrispondente nelle altre? Gli insiemi chiusi del protocollo, come una scala o una griglia di domande, sono coperti per intero? Ogni formula che il protocollo prescrive parola per parola è collegata a una voce?

Ciò che segnala viene poi verificato nei protocolli. Il 23 settembre, i primi quattro glossari congelati sono stati confrontati soltanto attraverso i loro ancoraggi. Cinque misure indipendenti davano la stessa ripartizione: il francese e l’inglese da una parte, lo spagnolo e l’italiano dall’altra. Questa ripartizione seguiva l’ordine del lavoro: i controlli automatici, messi a punto durante la redazione dello spagnolo e dell’italiano, non erano stati applicati ai primi due. Il francese e l’inglese sono stati rivisti. Nei sei glossari della versione 1.0.0, ogni rinvio «Vedi anche» porta a una voce esistente.

Il caso Ausnahme mostra il limite dello strumento. L’inventario delle 205 nozioni è stato tratto dallo spoglio del protocollo tedesco, il più recente quando è stato compilato. Ha collegato le tre eccezioni del Passo 6 alla sezione 0.a, perché la parola Ausnahme vi figura per la deroga. Il controllo portoghese ha rilevato che il protocollo portoghese non ne parlava in 0.a; nemmeno il protocollo tedesco ne parla. Lo scarto veniva dalla parola tedesca. Il glossario trasversale segnala, e il protocollo di ciascuna lingua decide.

Non fa di nessuna lingua il riferimento. I suoi identificativi di concetto sono tecnici, e la tavola delle forme, redatta in francese, dichiara di non accordare priorità normativa a nessuna delle sei lingue. Ha i suoi errori: la sua revisione 1.2.0, numerata a parte rispetto ai glossari esplicativi, dà ancora, nelle sei lingue, il nome di «polo debole» a un elemento del controllo di costanza modale che i sei protocolli chiamano «polo ritirato». La sua correzione è in sospeso.

Redigere una voce obbliga a leggere ogni occorrenza di un termine nel suo protocollo. Questo lavoro, condotto sei volte, ha fatto emergere scarti nei protocolli stessi. Il protocollo italiano chiama Modalità retorica, al femminile, il descrittore che il suo modello di restituzione chiama Modo retorico, al maschile, con valori concordati con ciascuno. L’esenzione portoghese e le intestazioni dei modelli sono dello stesso ordine.

Una versione pubblicata di ARGUS non si modifica. Questi scarti sono registrati per la versione successiva, e la correzione italiana è già pronta in una versione di lavoro, V5.1.1.

Uno scarto segnalato non sempre viene accolto. Il qualificativo tedesco della modalità retorica, raffiniert, là dove le altre lingue dicono «sofisticata», è stato presentato dapprima come un difetto del protocollo tedesco. L’esame lo ha riqualificato come scelta di termine, ancora da decidere.

I sei glossari sono stati redatti, in conversazioni separate, da modelli di IA di una stessa famiglia: i documenti sono separati, il redattore è comune. Affidare ogni lingua a un redattore distinto avrebbe avvicinato il metodo all’audit incrociato che imita, ma avrebbe richiesto di coordinare sei redattori contemporaneamente, cosa che era fuori dalla portata del progetto. In compenso, ogni glossario è stato sottoposto all’audit di un’altra IA, e ogni constatazione di quell’audit è stata verificata nel protocollo o nella fonte citata prima di essere accettata.

La familiarità effettiva di una parola per un lettore di ciascuna lingua non è stata misurata; è stata valutata in base ai dizionari e alla formazione delle parole. Il glossario trasversale conserva l’impronta della lingua su cui è stato compilato il suo inventario, e i suoi errori emergono solo tornando ai protocolli. Gli scarti rilevati nei protocolli V5.1.0 non sono ancora corretti: il lettore di quella versione li incontra, e il suo glossario ne segnala una parte.

Il risultato resta perfettibile: un glossario congelato può essere riaperto, in una nuova versione, per un difetto documentato o per una decisione d’inventario. Le sei versioni di ARGUS restano sei testi; questo impianto mostra dove differiscono e lo dice al lettore di ciascuna, nella sua lingua.

Questa nota è stata redatta in francese. Ciascuna delle sue traduzioni è stata fatta separatamente, con il glossario della sua lingua per i termini ARGUS.