Passa ai contenuti principali

AI and Cybersecurity

More than a year ago (January 2024), I gave a presentation at a meeting entitled "Crime and new technological frontiers", held at the University of Trieste and aimed mainly at local police forces. A major focus of the meeting was, needless to say, the cybersecurity implications of so-called artificial intelligence.

My opinion was quite strong and somewhat unpopular (as is often the case):

  • We should not be particularly worried.
  • There is no significant evidence of AI usage for phishing/spearphishing. 
  • I think this fact will hold for a long time.
  • The main AI-related risk in cybersec is "getting distracted by its promises": for MANY serious problems we have practical and effective solutions...but we don't apply them!

Every year, cybersecurity companies publish a report summarising the main trends they have observed. A few days ago, I read two commentaries on the 2024 data that confirmed my opinion.

This is Kevin Beaumont:

  • My main observations: Firstly, no mention of generative AI or GenAI again. This is in common with Sophos incident response, ESET, etc etc etc...
  • Everybody is busy worrying about AI while all their documentation about their systems and risks are in JIRA, Confluence, SharePoint etc that attackers just read...
  • The long story short about why GenAI is missing from all of the data is vendors have blown the threat wildly out of proportion - AI is porn for execs - and why build a rocket launcher when you can just pick up the key from under the front door mat. Concentrate on security fundamentals, threat actors want you to be distracted.

And, this is Kelly Shortridge:
  • Last year, I noted that attackers aren’t using GenAI. They still aren’t, really. And when they do, it doesn’t seem to make much of a difference...I suspect GenAI provides more ROI for aspiring CISO thought leaders on LinkedIn than most attackers.
The slide of my talk are here (italian only). Perhaps I should emphasise once again that my talk was addressed to police forces and considered a relatively short time horizon - a few years. I certainly do not want to downplay the importance of so-called AI: it will certainly change a lot of things in many areas, and cybersecurity will be no exception. However, I am convinced that neither attackers nor defenders will find the ultimate silver bullet in AI.

On a different but related note, this morning I gave a speech entitled Cybersecurity and New Risks: Are we Prepared?, where "we" means "Italy". My opinion was, once again, quite strong and somewhat unpopular: you can imagine my answer.

Commenti

Popular Posts

"Ingegneria deve essere difficile"

Il ritaglio di giornale qui sotto ricorda uno degli eventi più non-trovo-un-aggettivo-appropriato del mio periodo di studente di Ingegneria a Pisa. Ricordo che una mattina iniziò a spargersi la voce "hanno murato la porta del dipartimento!".  Andammo subito a vedere ed arrivammo un pò prima dei giornalisti che scattarono questa foto. La porta era murata, intonacata, pitturata di bianco e sovrastata da una scritta "INGEGNERIA DEVE ESSERE DIFFICILE". Le "E" di "INGEGNERIA" erano scritte al contrario perché era una sorta di "marchio di fabbrica" della facoltà di Ingegneria di Pisa. L'aula più grande, quella in cui pressoché tutti gli studenti seguivano i corsi dei primi anni, aveva infatti alcuni bellissimi "affreschi scherzosi" che furono fatti nel corso delle proteste studentesche di qualche anno prima ed in cui la parola "Ingegneria" era appuntoi scritta in quel modo. Si era anche già sparsa la voce di cosa era ...

Perché studiare Analisi Matematica???

Un mio caro amico mi ha scritto: ...sono con mia figlia che studia Analisi 1...A cosa serve, al giorno d'oggi, studiare Analisi (a parte sfoltire i ranghi degli aspiranti ingegneri)? Riporto la mia risposta di seguito, forse può "motivare" qualche altro studente. ... Per un ingegnere la matematica è fondamentale perché è un linguaggio ; ed è il linguaggio essenziale per trattare gli argomenti che dovrà affrontare come ingegnere; non sono importanti i contenuti specifici; è importante, anzi fondamentale, che riesca a capirli, ricostruirli etc. ad esempio, chi deve usare l'inglese, lo usa perché in un modo o nell'altro lo conosce; nessuno di noi ha usato esattamente le frasi o i dialoghi o le regole che ha incontrato negli esercizi di inglese o di tedesco; nella matematica è lo stesso; non sono importanti i limiti, le serie, i teoremi di cauchy o che so io; ma se uno non è in grado di capire quel linguaggio allora non sarà in grado di capire davvero quas...

On the Anthropic Mythos Preview - "too dangerous to release"

(updated twice after first posting, see below) On April 7-th 2026, Anthropic issued a technical report titled  Assessing Claude Mythos Preview’s cybersecurity capabilities . This report has quickly sparked the all-too-common (and deeply misleading) narrative of an imminent cybersecurity apocalypse due to the (supposedly) immense and groundbreaking capabilities of AI. For example, The New York Times :  I’m really not being hyperbolic when I say that kids could deploy this by accident. Mom and Dad, get ready for: "Honey, what did you do after school today?” “Well, Mom, my friends and I took down the power grid. What’s for dinner?” That is why Anthropic is giving carefully controlled versions to key software providers so they can find and fix the vulnerabilities before the bad guys do — or your kids. What does Anthropic say? The following paragraphs contain a slightly edited AI-generated summary of the Anthropic report Anthropic has introduced Claude Mythos Preview, a langu...

Chi ha inviato gli email con allarme bomba alle scuole?

Uno studente, spinto da interesse e curiosità, mi ha inviato un email con più o meno questa domanda: " Stamattina moltissime scuole hanno ricevuto un email con un allarme bomba. Pare che il mittente di tutti gli email sia lo stesso. A lezione ha detto che per iniziare le indagini e vedere il traffico l'autorità giudiziaria deve essere autorizzata da un giudice. Può spiegare come si può individuare il colpevole? La probabilità di individuarlo è alta? " La risposta breve è: no, purtroppo è molto, molto difficile individuarlo. Un Attaccante moderatamente bravo e motivato ha moltissimi modi per nascondere la propria identità. Individuare un Attaccante richiede Difensori estremamente bravi, con molte risorse tecniche e molto tempo a disposizione; anche con queste condizioni, è molto difficile e non ci sono garanzie di successo. Quando i Difensori hanno successo, spesso un elemento decisivo sono indizi "esterni" ai sistemi informatici (ad esempio, chi ha aperto un cer...

More detailed assessment of Anthropic Mythos Preview

A follow-up to my previous post on Mythos Preview. The AI Security Institute (AISI) has published a very interesting analysis of Mythos Preview . Very interesting because: AISI is " a mission-driven research organisation in the heart of the UK government ". Its reports are clearly much more credible than claims of the form " our last product is too strong to give you, believe us " by a private US company, that is currently losing lot of money, that is fiercely battling against other  companies in the AI arena, that is extremely good at fuelling hype about their products and capabilities. They consider complete cybersecurity tasks, i.e. CTF (capture the flag) competitions and attacks to a simulated organization. They compare the behavior of different models for a given "token budget". Not surprisingly, Mythos Preview is indeed very good and better than previous models, but it is definitely not the coming Apocalipsis. In particular, it is the first tool th...