Dopo la bella notizia (e ringraziamento) di pochissimi giorni fa, sono in condizioni di dare un'altra bella notizia (e fare un altro ringraziamento).
Un altro lavoro che descrive le prestazioni del nostro strumento per la "costruzione automatica di espressioni regolari" (accettato su una rivista molto prestigiosa) è stato infatti accettato per la pubblicazione su di un'altra rivista molto prestigiosa: IEEE Intelligent Systems.
In questo nuovo lavoro dimostriamo che il nostro sistema è in grado di competere con gli operatori umani. Risultato molto importante perché la scrittura di una espressione regolare è un compito molto complicato, che richiede competenza, abilità e creatività.
Abbiamo selezionato 10 problemi complicati sulla costruzione di espressioni regolari. Abbiamo chiesto di risolverli a 1700 utenti suddivisi in tre categorie: Principiante, Intermedio ed Esperto (si, proprio così tanti; per la precisione millesettecentosessantaquattro). Abbiamo quantificato l'accuratezza di ogni soluzione e misurato il tempo impiegato da ogni utente. Poi abbiamo sottoposto gli stessi problemi al nostro sistema ed i risultati sono stati bellissimi:
Un altro lavoro che descrive le prestazioni del nostro strumento per la "costruzione automatica di espressioni regolari" (accettato su una rivista molto prestigiosa) è stato infatti accettato per la pubblicazione su di un'altra rivista molto prestigiosa: IEEE Intelligent Systems.
In questo nuovo lavoro dimostriamo che il nostro sistema è in grado di competere con gli operatori umani. Risultato molto importante perché la scrittura di una espressione regolare è un compito molto complicato, che richiede competenza, abilità e creatività.
Abbiamo selezionato 10 problemi complicati sulla costruzione di espressioni regolari. Abbiamo chiesto di risolverli a 1700 utenti suddivisi in tre categorie: Principiante, Intermedio ed Esperto (si, proprio così tanti; per la precisione millesettecentosessantaquattro). Abbiamo quantificato l'accuratezza di ogni soluzione e misurato il tempo impiegato da ogni utente. Poi abbiamo sottoposto gli stessi problemi al nostro sistema ed i risultati sono stati bellissimi:
- On average, our tool delivered solutions with accuracy almost always greater than or equal to the one obtained by each category of users.
- On average, the time required by our tool was almost always smaller than the time required by human operators.
- We believe these results are remarkable and highly significant. Indeed, we are not aware of any similar tool exhibiting such human-competitive performance indexes.
Anche in questo caso devo ringraziare i miei collaboratori, Eric Medvet, Andrea De Lorenzo e Fabiano Tarlao. La loro idea di realizzare un esperimento su larga scala raccogliendo volontari su Reddit è stata infatti fondamentale. Io ero scettico come al solito ("ma chi vuoi che abbia tempo da perdere per mettersi a scrivere espressioni regolari...") ma mi sbagliavo...millesettecento persone e passa...incredibile. Anche il mio contributo è stato fondamentale comunque...non scrivo i dettagli ma lo è stato...
Commenti