Passa ai contenuti principali

Un'altra bella notizia (ed un altro ringraziamento)

Dopo la bella notizia (e ringraziamento) di pochissimi giorni fa, sono in condizioni di dare un'altra bella notizia (e fare un altro ringraziamento).

Un altro lavoro che descrive le prestazioni del nostro strumento per la "costruzione automatica di espressioni regolari" (accettato su una rivista molto prestigiosa) è stato infatti accettato per la pubblicazione su di un'altra rivista molto prestigiosa: IEEE Intelligent Systems.

In questo nuovo lavoro dimostriamo che il nostro sistema è in grado di competere con gli operatori umani. Risultato molto importante perché la scrittura di una espressione regolare è un compito molto complicato, che richiede competenza, abilità e creatività.

Abbiamo selezionato 10 problemi complicati sulla costruzione di espressioni regolari. Abbiamo chiesto di risolverli a 1700 utenti suddivisi in tre categorie: Principiante, Intermedio ed Esperto (si, proprio così tanti; per la precisione millesettecentosessantaquattro). Abbiamo quantificato l'accuratezza di ogni soluzione e misurato il tempo impiegato da ogni utente. Poi abbiamo sottoposto gli stessi problemi al nostro sistema ed i risultati sono stati bellissimi:
  • On average, our tool delivered solutions with accuracy almost always greater than or equal to the one obtained by each category of users.
  • On average, the time required by our tool was almost always smaller than the time required by human operators.
  • We believe these results are remarkable and highly significant. Indeed, we are not aware of any similar tool exhibiting such human-competitive performance indexes.
Anche in questo caso devo ringraziare i miei collaboratori, Eric Medvet, Andrea De Lorenzo e Fabiano Tarlao. La loro idea di realizzare un esperimento su larga scala raccogliendo volontari su Reddit è stata infatti fondamentale. Io ero scettico come al solito ("ma chi vuoi che abbia tempo da perdere per mettersi a scrivere espressioni regolari...") ma mi sbagliavo...millesettecento persone e passa...incredibile. Anche il mio contributo è stato fondamentale comunque...non scrivo i dettagli ma lo è stato...


Commenti

Popular Posts

"Ingegneria deve essere difficile"

Il ritaglio di giornale qui sotto ricorda uno degli eventi più non-trovo-un-aggettivo-appropriato del mio periodo di studente di Ingegneria a Pisa. Ricordo che una mattina iniziò a spargersi la voce "hanno murato la porta del dipartimento!".  Andammo subito a vedere ed arrivammo un pò prima dei giornalisti che scattarono questa foto. La porta era murata, intonacata, pitturata di bianco e sovrastata da una scritta "INGEGNERIA DEVE ESSERE DIFFICILE". Le "E" di "INGEGNERIA" erano scritte al contrario perché era una sorta di "marchio di fabbrica" della facoltà di Ingegneria di Pisa. L'aula più grande, quella in cui pressoché tutti gli studenti seguivano i corsi dei primi anni, aveva infatti alcuni bellissimi "affreschi scherzosi" che furono fatti nel corso delle proteste studentesche di qualche anno prima ed in cui la parola "Ingegneria" era appuntoi scritta in quel modo. Si era anche già sparsa la voce di cosa era ...

Perché studiare Analisi Matematica???

Un mio caro amico mi ha scritto: ...sono con mia figlia che studia Analisi 1...A cosa serve, al giorno d'oggi, studiare Analisi (a parte sfoltire i ranghi degli aspiranti ingegneri)? Riporto la mia risposta di seguito, forse può "motivare" qualche altro studente. ... Per un ingegnere la matematica è fondamentale perché è un linguaggio ; ed è il linguaggio essenziale per trattare gli argomenti che dovrà affrontare come ingegnere; non sono importanti i contenuti specifici; è importante, anzi fondamentale, che riesca a capirli, ricostruirli etc. ad esempio, chi deve usare l'inglese, lo usa perché in un modo o nell'altro lo conosce; nessuno di noi ha usato esattamente le frasi o i dialoghi o le regole che ha incontrato negli esercizi di inglese o di tedesco; nella matematica è lo stesso; non sono importanti i limiti, le serie, i teoremi di cauchy o che so io; ma se uno non è in grado di capire quel linguaggio allora non sarà in grado di capire davvero quas...

On the Anthropic Mythos Preview - "too dangerous to release"

(updated twice after first posting, see below) On April 7-th 2026, Anthropic issued a technical report titled  Assessing Claude Mythos Preview’s cybersecurity capabilities . This report has quickly sparked the all-too-common (and deeply misleading) narrative of an imminent cybersecurity apocalypse due to the (supposedly) immense and groundbreaking capabilities of AI. For example, The New York Times :  I’m really not being hyperbolic when I say that kids could deploy this by accident. Mom and Dad, get ready for: "Honey, what did you do after school today?” “Well, Mom, my friends and I took down the power grid. What’s for dinner?” That is why Anthropic is giving carefully controlled versions to key software providers so they can find and fix the vulnerabilities before the bad guys do — or your kids. What does Anthropic say? The following paragraphs contain a slightly edited AI-generated summary of the Anthropic report Anthropic has introduced Claude Mythos Preview, a langu...

Chi ha inviato gli email con allarme bomba alle scuole?

Uno studente, spinto da interesse e curiosità, mi ha inviato un email con più o meno questa domanda: " Stamattina moltissime scuole hanno ricevuto un email con un allarme bomba. Pare che il mittente di tutti gli email sia lo stesso. A lezione ha detto che per iniziare le indagini e vedere il traffico l'autorità giudiziaria deve essere autorizzata da un giudice. Può spiegare come si può individuare il colpevole? La probabilità di individuarlo è alta? " La risposta breve è: no, purtroppo è molto, molto difficile individuarlo. Un Attaccante moderatamente bravo e motivato ha moltissimi modi per nascondere la propria identità. Individuare un Attaccante richiede Difensori estremamente bravi, con molte risorse tecniche e molto tempo a disposizione; anche con queste condizioni, è molto difficile e non ci sono garanzie di successo. Quando i Difensori hanno successo, spesso un elemento decisivo sono indizi "esterni" ai sistemi informatici (ad esempio, chi ha aperto un cer...

More detailed assessment of Anthropic Mythos Preview

A follow-up to my previous post on Mythos Preview. The AI Security Institute (AISI) has published a very interesting analysis of Mythos Preview . Very interesting because: AISI is " a mission-driven research organisation in the heart of the UK government ". Its reports are clearly much more credible than claims of the form " our last product is too strong to give you, believe us " by a private US company, that is currently losing lot of money, that is fiercely battling against other  companies in the AI arena, that is extremely good at fuelling hype about their products and capabilities. They consider complete cybersecurity tasks, i.e. CTF (capture the flag) competitions and attacks to a simulated organization. They compare the behavior of different models for a given "token budget". Not surprisingly, Mythos Preview is indeed very good and better than previous models, but it is definitely not the coming Apocalipsis. In particular, it is the first tool th...