Passa ai contenuti principali

Un'allucinazione AI molto istruttiva (per me un pò triste)

Sto preparando il corso "Principi di IA per l'Ingegneria" che dal prossimo a.a. terrò al primo anno di tutte le lauree triennali in Ingegneria. Molto introduttivo, solo 4 seminari di 2 ore ognuno. Sto anche selezionando qualche link di approfondimento per gli interessati. Un tema molto importante è quello delle cosiddette "hallucinations": affermazioni generate dalla cosiddetta AI che non hanno alcun legame con la realtà. Fenomeno intrinseco alla tecnologia alla base della cosiddetta AI e molto pericoloso per ovvi motivi.

Ho avuto una esperienza personale di hallucination che ho deciso di condividere perché mi pare molto, molto istruttiva. 

Mio padre è deceduto nel 1972. Amava scrivere e dipengere, per passione personale. I contenuti su di lui su Internet sono ovviamente pochissimi: solo un piccolissimo sito web creato da me. Il sito web contiene link ad alcuni suoi racconti e ad un libro che aveva scritto sulla storia del paese in cui vivevamo, Peccioli. Contiene anche foto di alcuni suoi quadri.

E' evidente, quindi, che ogni affermazione su di lui generata dagli LLM è costruita a partire da questo sito web.

Un pò di tempo fa ho avviato una chat con Gemini per vedere "cosa sapeva" sulla storia di Peccioli. Gemini ha indicato una teoria sull'origine del nome "Peccioli" molto diversa da quella citata da mio padre nel suo libro, il che è normalissimo. Ho quindi chiesto "Io ho sentito di una teoria alternativa sulla origine del nome. I pezzioli di terra", che è appunto la teoria citata da mio padre. Gemini ha affermato che effettivamente quella è un'altra teoria e l'ha attribuita correttamente al libro di mio padre.

A quel punto, però, il dialogo è diventato davvero surreale. Gemini ha infatti iniziato a sciorinare una serie di affermazioni sull'impatto di mio padre sulla cosiddetta vita culturale di Peccioli totalmente inventate:

  • Ancora oggi, alcune delle sue opere e illustrazioni sono utilizzate per accompagnare i racconti sulla Peccioli di una volta.
  • Oggi Peccioli è famosa per i giganti della discarica e le installazioni d'avanguardia (il MACCA), ma figure come Mario Bartoli sono state fondamentali per mantenere vive le radici su cui si è innestata questa modernità.
  • Senza la sua opera di recupero delle tradizioni e delle leggende (come appunto quella dei "pezzioli" di terra), il borgo non avrebbe quella profondità storica che lo rende unico.
  • Sebbene oggi Peccioli sia proiettata verso l'arte contemporanea internazionale (con opere di artisti come David Tremlett o Patrick Tuttofuoco), Mario Bartoli resta il "padre" dell'iconografia locale.
  • In Comune e nelle case: Molte delle sue opere sono custodite in collezioni private di famiglie pecciolesi o presso le sedi istituzionali.
  • La Biblioteca Comunale: È il luogo migliore per consultare i suoi scritti e vedere le riproduzioni dei suoi lavori grafici. Spesso, durante le celebrazioni storiche del borgo, vengono esposti i suoi disegni come testimonianza della "Peccioli com'era".
  • Anche se Bartoli dipingeva in modo tradizionale, è proprio grazie alla sensibilità che lui ha contribuito a creare che Peccioli è diventata, decenni dopo, il MACCA (Museo d’Arte Contemporanea a Cielo Aperto). Lui ha insegnato ai cittadini che l'arte è il miglior modo per prendersi cura del proprio territorio.
  • Se ti capita di passare dal centro storico, a volte vengono organizzate mostre o iniziative che ricordano la sua figura.
  • È molto probabile che, se chiedi a un anziano del borgo, ti sappia indicare una casa o un ufficio che conserva ancora un suo quadro di un vicolo o di un tramonto sulle colline.

Posso affermare con totale certezza che queste affermazioni relative a mio padre sono completamente prive di fondamento. In particolare la penultima (non aggiungo altro perché sarei costretto ad essere polemico).

La cosa interessante è che tutte queste affermazioni (allucinazioni) sono quasi certamente il risultato di una sola frase, questa che ho messo nella pagina web contenente foto di alcuni suoi quadri: "Se qualcuno avesse un quadro di Mario Bartoli e potesse inviarmene una foto gliene sarei immensamente grato".

Credo che sia un'esperienza meritevole di riflessione.

Se qualcuno fosse interessato, qui c'è il dialogo completo con Gemini.

Commenti

Popular Posts

"Ingegneria deve essere difficile"

Il ritaglio di giornale qui sotto ricorda uno degli eventi più non-trovo-un-aggettivo-appropriato del mio periodo di studente di Ingegneria a Pisa. Ricordo che una mattina iniziò a spargersi la voce "hanno murato la porta del dipartimento!".  Andammo subito a vedere ed arrivammo un pò prima dei giornalisti che scattarono questa foto. La porta era murata, intonacata, pitturata di bianco e sovrastata da una scritta "INGEGNERIA DEVE ESSERE DIFFICILE". Le "E" di "INGEGNERIA" erano scritte al contrario perché era una sorta di "marchio di fabbrica" della facoltà di Ingegneria di Pisa. L'aula più grande, quella in cui pressoché tutti gli studenti seguivano i corsi dei primi anni, aveva infatti alcuni bellissimi "affreschi scherzosi" che furono fatti nel corso delle proteste studentesche di qualche anno prima ed in cui la parola "Ingegneria" era appuntoi scritta in quel modo. Si era anche già sparsa la voce di cosa era ...

On the Anthropic Mythos Preview - "too dangerous to release"

(updated twice after first posting, see below) On April 7-th 2026, Anthropic issued a technical report titled  Assessing Claude Mythos Preview’s cybersecurity capabilities . This report has quickly sparked the all-too-common (and deeply misleading) narrative of an imminent cybersecurity apocalypse due to the (supposedly) immense and groundbreaking capabilities of AI. For example, The New York Times :  I’m really not being hyperbolic when I say that kids could deploy this by accident. Mom and Dad, get ready for: "Honey, what did you do after school today?” “Well, Mom, my friends and I took down the power grid. What’s for dinner?” That is why Anthropic is giving carefully controlled versions to key software providers so they can find and fix the vulnerabilities before the bad guys do — or your kids. What does Anthropic say? The following paragraphs contain a slightly edited AI-generated summary of the Anthropic report Anthropic has introduced Claude Mythos Preview, a langu...

Perché studiare Analisi Matematica???

Un mio caro amico mi ha scritto: ...sono con mia figlia che studia Analisi 1...A cosa serve, al giorno d'oggi, studiare Analisi (a parte sfoltire i ranghi degli aspiranti ingegneri)? Riporto la mia risposta di seguito, forse può "motivare" qualche altro studente. ... Per un ingegnere la matematica è fondamentale perché è un linguaggio ; ed è il linguaggio essenziale per trattare gli argomenti che dovrà affrontare come ingegnere; non sono importanti i contenuti specifici; è importante, anzi fondamentale, che riesca a capirli, ricostruirli etc. ad esempio, chi deve usare l'inglese, lo usa perché in un modo o nell'altro lo conosce; nessuno di noi ha usato esattamente le frasi o i dialoghi o le regole che ha incontrato negli esercizi di inglese o di tedesco; nella matematica è lo stesso; non sono importanti i limiti, le serie, i teoremi di cauchy o che so io; ma se uno non è in grado di capire quel linguaggio allora non sarà in grado di capire davvero quas...

More detailed assessment of Anthropic Mythos Preview

A follow-up to my previous post on Mythos Preview. The AI Security Institute (AISI) has published a very interesting analysis of Mythos Preview . Very interesting because: AISI is " a mission-driven research organisation in the heart of the UK government ". Its reports are clearly much more credible than claims of the form " our last product is too strong to give you, believe us " by a private US company, that is currently losing lot of money, that is fiercely battling against other  companies in the AI arena, that is extremely good at fuelling hype about their products and capabilities. They consider complete cybersecurity tasks, i.e. CTF (capture the flag) competitions and attacks to a simulated organization. They compare the behavior of different models for a given "token budget". Not surprisingly, Mythos Preview is indeed very good and better than previous models, but it is definitely not the coming Apocalipsis. In particular, it is the first tool th...

Anthropic Mythos - from the inside

 An excerpt from a blog post by one of the maintainers of curl . A person with a lot of "real world experience" on one of the most widely used software tools in the planet. Everything in the bulleted list below has been just copied-and-pasted (bold is mine, it was not in the original post). I have not added any comment, it is not necessary. This analysis goes in exactly the same direction that I hypothesized in my previous posts ( here and here ). Before this first Mythos report, we had already scanned curl with several different very capable AI powered tools (I mean in addition to running a number of “normal” static code analyzers all the time, using the pickiest compiler options and doing fuzzing on it for years etc)... These tools and the analyses they have done have triggered somewhere between two and three hundred bugfixes merged in curl through-out the recent 8-10 months or so. A bunch of the findings these AI tools reported were confirmed vulnerabilities and have b...