Perché l'AI sbaglia: le allucinazioni
Un'agenzia di viaggi di Lecce riceve cinque hotel con indirizzo e prezzo: uno non esiste. E il caso vero di due avvocati sanzionati per sei sentenze inventate. Come si scrive una richiesta che riduce il rischio.
- Capire perché un'allucinazione non è un guasto ma il funzionamento normale
- Riconoscere una risposta perfetta e falsa prima di mandarla a un cliente
- Scrivere richieste che danno all'assistente il permesso esplicito di non sapere
Capire
Si chiama allucinazione una risposta inventata ma presentata come vera. La parola fa pensare a un malfunzionamento: non lo è. È la stessa macchina delle lezioni precedenti che funziona esattamente come deve. Il modello produce la continuazione più probabile del testo; quando il dato che gli hai chiesto non è da nessuna parte nella conversazione, la continuazione più probabile è comunque una frase ben formata, con dentro un numero plausibile, una data plausibile, un nome plausibile.
Il punto scomodo è che non esiste, dentro il sistema, un campanello che suona quando non sa. La sicurezza con cui è scritta una frase non ha nessun rapporto con la sua verità: le due cose sono prodotte dallo stesso meccanismo. Ed è per questo che le allucinazioni non si riconoscono dallo stile — sono, anzi, spesso le risposte più eleganti che ricevi.
Vedere
Claudia Rinaldi ha un'agenzia di viaggi a Lecce, lavora molto su gruppi e viaggi di nozze. Deve proporre a una coppia due notti a Firenze in centro con parcheggio. Chiede all'assistente un elenco di hotel a quattro stelle in una certa zona, con indirizzo e prezzo indicativo. Riceve cinque nomi, ordinati, con via e numero civico, una riga di descrizione e una fascia di prezzo per notte.
Tre sono corretti. Uno ha chiuso due anni fa e adesso è un residence. Il quinto — nome credibile, via che esiste davvero, prezzo perfettamente in linea con gli altri quattro — non esiste e non è mai esistito. Se Claudia avesse copiato quell'elenco nella proposta al cliente, come stava per fare, avrebbe mandato una quotazione su un albergo immaginario.
Non è un caso isolato né un problema da piccole imprese. Nel giugno 2023, negli Stati Uniti, un giudice federale di New York ha sanzionato due avvocati con 5.000 dollari: nella causa Mata contro Avianca avevano depositato un atto costruito su sei sentenze inesistenti, prodotte da un assistente AI e mai verificate. Le citazioni erano complete di numero, data e virgolettati. Erano perfette. Erano false.
Facciamolo insieme
- Prima di scrivere, classifica la tua richiesta: è un compito di memoria o un compito di trasformazione? Se stai chiedendo nomi, numeri, indirizzi, date, articoli di legge, codici prodotto, sei nella zona a rischio.
- Se è un compito di memoria, la prima mossa non è scrivere meglio il prompt: è portare la fonte dentro la conversazione, come nella seconda lezione. Se non hai la fonte, la userai solo per farti una lista di cose da verificare, non per il documento finale.
- Dai all'assistente il permesso esplicito di non sapere. Sembra un dettaglio di cortesia: è la riga che fa più differenza di tutte, perché senza di essa l'unica uscita che ha davanti è inventare.
- Chiedi di marcare ogni affermazione con il suo grado di certezza e con la sua origine: dal documento che ho allegato, da conoscenza generale, da verificare.
- Chiedi in coda l'elenco delle cose che vanno controllate e come controllarle. Diventa la tua lista di lavoro dei tre minuti successivi.
- Verifica sul serio i punti marcati: telefonata, sito ufficiale, listino, documento. È il momento in cui l'AI ti ha già fatto risparmiare tempo — non buttarlo saltando questo passaggio.
Ho un'agenzia di viaggi a Lecce. Devo preparare una proposta per due notti a Firenze, coppia, categoria quattro stelle, zona centro storico, con parcheggio o convenzione parcheggio. Regole per la risposta, da rispettare alla lettera: - Non inventare nomi di strutture, indirizzi, telefoni o prezzi. Se non sei sicuro dell'esistenza di una struttura, NON metterla in elenco. - Se non hai informazioni affidabili, scrivi «non ho un dato affidabile» invece di produrre un elenco. È una risposta accettabile e preferisco quella. - Per ogni voce indica la fonte del dato: conoscenza generale, oppure informazione che potrebbe essere cambiata. - Non indicare prezzi in euro: indica solo una fascia qualitativa (economico / medio / alto) e segnala che va verificata. Quello che mi serve davvero: 1. i criteri con cui scegliere un hotel adatto a questo caso (massimo sei criteri) 2. le domande esatte da fare al telefono o via mail alla struttura per verificarli 3. una griglia vuota che io possa riempire mentre chiamo, con una colonna per criterio 4. i tre errori più frequenti nel proporre un centro storico a chi arriva in auto
Non ho un dato affidabile e aggiornato sull'esistenza, la disponibilità
e i prezzi delle singole strutture: non posso produrre un elenco di
hotel senza rischiare di indicarne di chiusi o inesistenti.
CRITERI DI SCELTA (per questo caso)
1. distanza a piedi dal punto di interesse principale della coppia
2. parcheggio: interno, convenzionato o solo segnalato
3. accesso in auto: la struttura si trova dentro una zona a traffico
limitato? chi comunica la targa, la struttura o il cliente?
4. camera matrimoniale con letto king effettivamente disponibile
5. politica di cancellazione
6. rumore: affaccio su strada o su corte interna
DOMANDE DA FARE ALLA STRUTTURA
- "Il parcheggio è di vostra proprietà o è una convenzione? Va prenotato
a parte e quanto costa a notte?"
- "Per arrivare in auto devo attraversare una zona a traffico limitato?
Comunicate voi la targa e con quanto anticipo?"
[...]Perché ha funzionato
Claudia non ha ottenuto quello che aveva chiesto la prima volta. Ha ottenuto qualcosa di meglio, e ogni pezzo del prompt ha prodotto un effetto preciso.
| Pezzo della richiesta | Che cosa ha prodotto |
|---|---|
| «se non sei sicuro dell'esistenza, non metterla in elenco» | Ha eliminato il quinto hotel inventato: non c'è più nessun elenco |
| «è una risposta accettabile e preferisco quella» | Ha reso «non lo so» una uscita legittima invece dell'ultima spiaggia |
| «non indicare prezzi in euro» | Ha tolto di mezzo la categoria di dato che invecchia più in fretta di tutte |
| «i criteri, le domande, la griglia» | Ha spostato il lavoro su ciò che il modello fa bene: strutturare, non ricordare |
È il principio da portarsi via da tutta la lezione: non chiedere i fatti, chiedi la struttura. I fatti li porti tu o li verifichi tu; la griglia con cui lavorarci la costruisce lui in dieci secondi ed è quasi sempre migliore di quella che avresti scritto di corsa fra due telefonate.
Prova tu: la domanda di cui conosci già la risposta
Obiettivo: Vedere un'allucinazione con i tuoi occhi, su un argomento in cui sei tu l'esperto — l'unico modo per non farsi ingannare quando l'argomento non lo conosci.
- Scegli tre domande del tuo mestiere di cui conosci la risposta esatta al centesimo o alla virgola: un prezzo di listino di un fornitore, un codice prodotto, una scadenza, il contenuto preciso di una clausola che usi.
- Falle a memoria, senza allegare nulla, in una conversazione nuova.
- Segna per ogni risposta: corretta, parzialmente corretta, inventata.
- Adesso rifai le stesse tre domande aggiungendo il protocollo: permesso esplicito di non sapere, origine del dato, elenco finale delle cose da verificare.
- Conta quante risposte sono diventate «non ho un dato affidabile». Quelle sono le domande che non dovevi fare a memoria.
💡 Il caso più istruttivo non è la risposta sbagliata: è quella parzialmente corretta, giusta al 90% con un dettaglio falso. È quella che passa i controlli e arriva al cliente.
Se ti blocchi, apri qui
Il risultato quasi universale del primo giro è: una risposta corretta, una vaga ma non falsa, una precisa e sbagliata. Ed è sempre la terza a essere scritta meglio, perché più il modello ha materiale su cui costruire una frase convincente, più la frase esce convincente.
Al secondo giro, con il permesso di non sapere, le risposte diventano più corte e alcune diventano un rifiuto. Molti a questo punto pensano che lo strumento sia peggiorato. È il contrario: hai appena reso visibile un'incertezza che al primo giro c'era esattamente uguale, solo nascosta sotto una bella frase.
{{CONTESTO: chi sei, dove lavori, che cosa devi produrre}}.
Regole per la risposta, da rispettare alla lettera:
- Non inventare {{TIPO DI DATO A RISCHIO: nomi, codici, importi, articoli, date}}. Se non sei sicuro, non inserirli.
- Se non hai informazioni affidabili, scrivi «non ho un dato affidabile» invece di produrre un elenco. È una risposta accettabile e preferisco quella.
- Per ogni affermazione indica l'origine: dal materiale che ti ho fornito / conoscenza generale / da verificare.
- Alla fine elenca in un blocco DA VERIFICARE tutti i punti che devo controllare io, con accanto come controllarli.
Quello che mi serve:
1. {{LA STRUTTURA, NON I FATTI: criteri, domande, griglia, procedura}}
2. {{COSA DEVE PRODURRE ALLA FINE}}- Un'allucinazione non è un guasto: è il normale funzionamento applicato a un dato che non c'è.
- Dentro il sistema non esiste un segnale di «non lo so»: la sicurezza della frase e la sua verità sono indipendenti.
- Il permesso esplicito di non sapere è la riga di prompt che riduce di più le invenzioni.
- Non chiedere i fatti, chiedi la struttura: criteri, domande, griglie. I fatti li porti o li verifichi tu.
- «Sei sicuro?» non è una verifica. Verificare significa uscire dalla conversazione.