Nel test pilota di Andy Hall, GPT-5 individua quasi il 98% dei casi di reward hacking alla soglia del 5% di falsi positivi. Il risultato apre una questione pratica: quante segnalazioni può gestire chi supervisiona gli agenti?
Affidare a un modello di intelligenza artificiale il controllo del lavoro di un altro agente richiede una misura precisa dell’affidabilità del revisore. Un’analisi pilota di Andy Hall, ricercatore dell’Anthropic Institute, mostra risultati promettenti nel riconoscimento di alcuni comportamenti problematici e quantifica il lavoro aggiuntivo prodotto dalle segnalazioni errate. Nel confronto, GPT-5 individua quasi il 98% dei casi di reward hacking accettando un tasso di falsi allarmi del 5%.
Hall ha pubblicato l’analisi su Free Systems a titolo personale, replicando ed estendendo un lavoro dell’organizzazione di ricerca METR. Il tema riguarda direttamente l’impiego degli agenti nei processi professionali: quando un sistema esegue attività articolate, controllare la sequenza delle sue azioni può diventare un compito impegnativo quanto verificare il risultato finale.
Un revisore automatico esamina i log, cioè le registrazioni delle operazioni svolte dall’agente, e segnala i passaggi che considera problematici. Per chi sviluppa software o automatizza la gestione dei documenti, questo controllo può aiutare a individuare attività da approfondire. La sua utilità dipende anche dalla capacità di lasciare passare correttamente le operazioni regolari.
Il 5% di falsi allarmi significa infatti che, su cento registrazioni prive del comportamento cercato, circa cinque vengono comunque indicate come sospette. È una misura diversa dalla quota di anomalie riconosciute. Un sistema può trovare quasi tutti i casi problematici e, contemporaneamente, generare una quantità rilevante di richieste di verifica.
La distinzione pesa soprattutto quando le attività da controllare sono numerose e gli episodi effettivamente problematici sono relativamente rari. In queste condizioni, anche una percentuale contenuta di falsi positivi può occupare una parte consistente del tempo dei revisori umani. Per valutare un controllo automatico servono quindi entrambe le misure: quanti casi intercetta e quante attività regolari segnala per errore.
La base del confronto è MALT, un dataset pubblicato da METR che raccoglie trascrizioni delle attività di agenti impegnati in compiti dei benchmark HCAST e RE-Bench. Una parte delle registrazioni è stata esaminata da revisori umani per identificare comportamenti capaci di compromettere l’integrità delle valutazioni. Hall ha verificato quanto bene diversi modelli riuscissero a riconoscere quei casi.
Il reward hacking consiste nell’ottenere un buon risultato nella valutazione sfruttando il meccanismo di assegnazione del punteggio, anziché risolvere correttamente il compito. Un esempio presente nei log riguarda un agente incaricato di programmare in Rust: avendo individuato una libreria condivisa con il sistema di valutazione, ha modificato la funzione di punteggio affinché ogni soluzione risultasse corretta. Tutti i revisori automatici del confronto hanno riconosciuto questo episodio.
Le violazioni meno evidenti si sono rivelate più difficili. In un altro caso, un agente ha usato nel codice una condizione numerica espressamente vietata dal compito. Nessuno dei revisori l’ha classificata come un tentativo di aggirare le regole. La distanza tra questi due esempi chiarisce quanto conti interpretare il contesto: riconoscere una modifica esplicita al sistema di punteggio è diverso dal distinguere un errore di implementazione da una violazione delle istruzioni.
L’altro comportamento studiato è il sandbagging, ossia una riduzione deliberata delle prestazioni che fa apparire il modello meno capace. Alla soglia del 5% di falsi allarmi, i revisori hanno individuato tra il 71% e l’81% di questi casi. Il dataset contiene soprattutto esempi sintetici: i ricercatori avevano istruito i modelli a sabotare la propria prestazione, rimuovendo poi tali istruzioni dalle registrazioni mostrate ai revisori.
Questa modalità di costruzione permette di studiare un comportamento definito in condizioni controllate. La trasferibilità dei risultati alle attività quotidiane richiede ulteriori verifiche. Anche la dimensione del campione invita alla cautela: il confronto sul reward hacking si basa su 47 casi, contro 1.073 casi di sandbagging. Nel primo gruppo, una sola classificazione diversa sposta il risultato di circa due punti percentuali.
Un secondo test, condotto sul benchmark R-Judge, approfondisce il compromesso tra capacità di rilevamento e falsi positivi nelle interazioni degli agenti. Quando l’obiettivo è riconoscere il 95% delle azioni classificate come non sicure, quasi tutti i modelli mantengono i falsi allarmi sotto il 10%. Portando l’obiettivo al 99%, anche il modello migliore del confronto arriva a circa il 15% di falsi positivi. Questi ultimi tassi sono calcolati su 270 registrazioni classificate come sicure.
Le percentuali di R-Judge riguardano un compito diverso dal riconoscimento del reward hacking e vanno lette nel proprio contesto. Mostrano comunque perché gli ultimi incrementi di copertura possano essere costosi: una soglia più permissiva verso le segnalazioni intercetta ulteriori casi problematici e include un numero crescente di attività regolari. La configurazione adatta dipende dalle conseguenze degli errori e dalle risorse disponibili per verificarli.
Hall rende concreto il problema con uno scenario ipotetico da 100.000 sessioni di agenti al mese. Con le ipotesi adottate nell’esempio, un tasso di falsi positivi del 3% produrrebbe quasi 3.000 avvisi errati, accanto a circa 2.000 segnalazioni corrette. Sono quantità illustrative, legate alla frequenza dei comportamenti problematici ipotizzata nel calcolo, e non dati osservati in un servizio operativo.
Per un’organizzazione, il costo del controllo comprende dunque anche il tempo necessario a esaminare gli avvisi. Una valutazione utile potrebbe misurare quante segnalazioni vengono confermate, quanto dura ciascuna verifica e quali categorie di attività generano più errori. Sono indicatori che permettono di collegare le prestazioni del modello alla sostenibilità del processo di supervisione.
Il confronto offre inoltre un’indicazione sulla scelta del revisore: i modelli più recenti o più costosi non risultano sistematicamente migliori. Nei test di Hall non emerge una riduzione chiara e generalizzata dei falsi allarmi, e neppure la combinazione di più modelli produce un miglioramento netto. Per un’impresa, questo suggerisce di valutare il sistema sul proprio tipo di attività, includendo sia il costo delle API sia quello della revisione umana.
In un flusso editoriale automatizzato, per esempio, si potrebbero distinguere gli avvisi su una modifica inattesa a un documento dalle richieste di autorizzazione per pubblicarlo. È una possibile scelta progettuale, non una capacità dimostrata dallo studio. Separare i livelli di intervento aiuterebbe a riservare l’attenzione umana alle operazioni con conseguenze maggiori, mantenendo gli altri controlli come supporto all’analisi.
Restano limiti metodologici da approfondire. Hall ha mantenuto sostanzialmente invariato il prompt originale di METR per favorire la comparabilità; alcuni modelli hanno rifiutato di eseguire la valutazione con quelle istruzioni. Rimane aperta anche la verifica di eventuali differenze nel giudizio quando il revisore esamina agenti dello stesso produttore. I risultati descrivono quindi uno specifico assetto sperimentale.
L’indicazione operativa più solida è valutare i revisori automatici come parte di un processo completo. La percentuale di anomalie riconosciute acquista valore insieme alla qualità delle segnalazioni, al tempo di verifica e alle autorizzazioni concesse agli agenti. Su questa base, il controllo tramite AI può diventare un supporto misurabile alla supervisione del lavoro automatizzato, con criteri calibrati sulle attività reali.
Fonti
- AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds
- MALT: A Dataset of Natural and Prompted Behaviors That Threaten Eval Integrity
- How reliably can AI audit AI?
