@INCOLLECTION{CREPALDI_2022_INCOLLECTION_CFMNPT_471258, AUTHOR = {Crepaldi, D. and Ferro, M. and Marzi, C. and Nadalini, A. and Pirrelli, V. and Taxitari, L.}, TITLE = {Finger movements and eye movements during adults' silent and oral reading}, YEAR = {2022}, ABSTRACT = {Using a common tablet and a web application, we can record the finger movements of a reader that is concurrently reading and finger-pointing a text displayed on the tablet touchscreen. In a preliminary analysis of "finger-tracking" data of early-graders we showed that finger movements can replicate established reading effects observed in more controlled settings. Here, we analyse and discuss reading evidence collected by (i) tracking the finger movements of adults reading a short essay displayed on a tablet touchscreen, and (ii) tracking the eye movements of adults reading a comparable text displayed on the screen of a computer. Texts in the two conditions were controlled for linguistic complexity and page layout. In addition, we tested adults' comprehension in both silent and oral reading, by asking them multiple-choice questions after reading each text. We show and discuss the reading evidence that the two (optical and tactile) protocols provide, and to what extent they show comparable effects. We conclude with some remarks on the importance of ecology and portability of protocols for large-scale collection of naturalistic reading data.}, KEYWORDS = {Reading, finger-tracking, digital technology}, PAGES = {443-471}, URL = {https://link.springer.com/book/9783030998905}, VOLUME = {23}, PUBLISHER = {Springer (Dordrecht, NLD)}, ISBN = {978-3-030-99890-5}, BOOKTITLE = {Developing language and literacy-Studies in Honor of Dorit Diskin Ravid}, EDITOR = {Levie, R. and Bar On, A. and Ashkenazi, O. and Dattner, E. and Brandes, G.}, } @INPROCEEDINGS{TAXITARI_2021_INPROCEEDINGS_TCFMNP_441870, AUTHOR = {Taxitari, L. and Cappa, C. and Ferro, M. and Marzi, C. and Nadalini, A. and Pirrelli, V.}, TITLE = {Using mobile technology for reading assessment}, YEAR = {2021}, ABSTRACT = {The enormous potential of Information and Communication Technologies (ICT) for addressing critical educational issues is generally acknowledged, but its use in the assessment of the complex skills of reading and understanding a text has been very limited to date. The paper contrasts traditional reading assessment protocols with ReadLet, an ICT platform with a tablet front-end, designed to support online monitoring of silent and oral reading abilities in early graders. ReadLet makes use of cloud computing and mobile technology for large-scale data collection and allows the time alignment of the child's reading behaviour with texts tagged using Natural Language Processing (NLP) tools. Initial findings replicate established benchmarks from the psycholinguistic literature on reading in both typically and atypically developing children, making the application a new ground-breaking approach in the evaluation of reading skills. Index Terms--reading assessment, reading research, mobile technology, NLP, cloud computing, special education needs.}, KEYWORDS = {reading assessment, reading research, mobile technology, NLP, cloud computing, special education needs}, PAGES = {1-6}, URL = {http://www.ieee.ma/cist20/component/content/?id=26\&Itemid=185}, ISBN = {9781728166469}, CONFERENCE_NAME = {6th IEEE Congress on Information Science \& Technology (IEEE CIST'20)}, CONFERENCE_PLACE = {online}, CONFERENCE_DATE = {05/06/2021}, } @INPROCEEDINGS{MARZI_2021_INPROCEEDINGS_MTFNP_445743, AUTHOR = {Marzi, C. and Taxitari, L. and Ferro, M. and Nadalini, A. and Pirrelli, V.}, TITLE = {Valutare la lettura "in tempo reale": un esempio di integrazione tra linguistica computazionale e linguistica applicata}, YEAR = {2021}, ABSTRACT = {In anni recenti, linguistica computazionale e linguistica applicata hanno ampliato i loro rispettivi ambiti d'indagine, utilizzando l'ontologia formale della linguistica teorica e i modelli cognitivi della psicolinguistica per studiare le difficoltà che i parlanti incontrano nello svolgimento di "compiti" linguistici specifici. Nell'ambito della lettura, le tecnologie per il Trattamento Automatico del Linguaggio (TAL) si sono dimostrate capaci di classificare il livello di leggibilità di un testo, basandosi sulla distribuzione di alcuni parametri linguistici in testi pre-classificati per età dei lettori destinatari, o per grado di scolarità, o per livello di sviluppo cognitivo. Ad esempio, parole o frasi più lunghe, o parole più rare tendono a distribuirsi in testi di più difficile comprensione, o destinati a lettori più maturi. E' possibile così assegnare a un testo, o a ogni singola frase, un punteggio di leggibilità in funzione (inversa) della complessità lessicale, morfologica, sintattica o pragmatica dell'unità testuale analizzata. In Linguistica Applicata (LA) la valutazione della difficoltà di lettura ha seguito un approccio funzionale. Nel modello semplice di lettura, ad esempio, la capacità di leggere un testo è analizzata come il prodotto dell'interazione tra decodifica e comprensione. Attraverso l'osservazione di un campione di bambini impegnati nella lettura, è possibile valutare la loro fluenza in decodifica, gli errori di decodifica e comprensione, e l'efficacia di percorsi educativi personalizzati. La piattaforma ReadLet è stata sviluppata con l'obiettivo di integrare l'approccio classificatorio del TAL con quello funzionale della LA. Il bambino legge un breve testo visualizzato sullo schermo di un tablet, ad alta voce o in modalità silente. In entrambi i casi, al bambino viene chiesto di "tenere il segno" con il dito sullo schermo nel corso della lettura. La traccia tattile è registrata e allineata con il testo visualizzato sullo schermo mediante un algoritmo di convoluzione. Al contempo, il testo è annotato automaticamente per tratti linguistici. Alla fine della sessione di lettura silente, il bambino risponde ad alcune semplici domande sul contenuto del testo. I dati raccolti consentono di valutare le difficoltà (rallentamenti o errori) che il bambino incontra nella lettura, e di mettere in relazione "in tempo reale" queste difficoltà con aspetti linguistici specifici del testo. Un'analisi preliminare dei dati raccolti da ReadLet su oltre 400 allievi di alcune scuole elementari toscane e della Svizzera italiana, ha evidenziato il differente "passo" di lettura tra lettori con sviluppo tipico e atipico, e il peso che variabili come lunghezza, frequenza e lessicalità hanno su profili di lettura individuali e aggregati. La possibilità di "controllare" automaticamente la distribuzione di queste variabili nel testo e di correlarle con le difficoltà del singolo bambino consente, infine, di somministrare testi con livelli di difficoltà gradualmente crescenti, rendendo possibili percorsi personalizzati di potenziamento.}, KEYWORDS = {reading assessment, reading strategies, NLP, ICT mobile technologies}, PAGES = {5-5}, URL = {https://publications.cnr.it/doc/445743}, VOLUME = {2021}, CONFERENCE_NAME = {XXI Congresso Internazionale di AItLA}, CONFERENCE_PLACE = {Bergamo (I)}, CONFERENCE_DATE = {11-12/02/2021}, BOOKTITLE = {FARE LINGUISTICA APPLICATA CON LE DIGITAL HUMANITIES}, } @INPROCEEDINGS{MARZI_2020_INPROCEEDINGS_MRNTP_438979, AUTHOR = {Marzi, C. and Rodella, A. and Nadalini, A. and Taxitari, L. and Pirrelli, V.}, TITLE = {Does finger-tracking point to child reading strategies?}, YEAR = {2020}, ABSTRACT = {The movement of a child's index finger that points to a printed text while (s)he is reading may provide a proxy for the child's eye movements and attention focus. We validated this correlation by showing a quantitative analysis of patterns of "finger-tracking" of Italian early graders engaged in reading a text displayed on a tablet. A web application interfaced with the tablet monitors the reading behaviour by modelling the way the child points to the text while reading. The analysis found significant developmental trends in reading strategies, marking an interesting contrast between typically developing and atypically developing readers.}, KEYWORDS = {reading assessment, reading strategies, mobile technology, special educiation needs}, PAGES = {1-7}, URL = {http://ceur-ws.org/Vol-2769/paper_60.pdf}, VOLUME = {vol-2769}, PUBLISHER = {CEUR-WS. org (Aachen, DEU)}, ISSN = {1613-0073}, CONFERENCE_NAME = {Italian Conference on Computational Linguistics 2020}, CONFERENCE_PLACE = {Bologna}, CONFERENCE_DATE = {1-3/03/2021}, BOOKTITLE = {Proceedings of the Seventh Italian Conference on Computational Linguistics}, EDITOR = {Monti, J. and Dell'Orletta, F. and Tamburini, F.}, } @INPROCEEDINGS{PIRRELLI_2020_INPROCEEDINGS_PCCDFGMNT_442758, AUTHOR = {Pirrelli, V. and Cappa, C. and Crepaldi, D. and Del Pinto, V. and Ferro, M. and Giulivi, S. and Marzi, C. and Nadalini, A. and Taxitari, L.}, TITLE = {Tracking the pace of reading with finger movements}, YEAR = {2020}, ABSTRACT = {Recent experimental evidence in visual perception analysis shows that eye and finger movements strongly correlate during scene exploration, at both individual and group levels. A familiar context which exploits this synergistic behaviour is when children learn to read, with the practice of finger-pointing to text as a support for their attention focus, directional movement and voice-print match. Using a tablet to display short texts, we collected evidence on the finger-pointing behaviour of 3rd-6th Italian graders engaged in both silent and oral reading. "Finger-tracking" data, sampled by the tablet and aligned with the text, made it possible to time a child's reading paceat word and sentence level. Results are shown to replicate established benchmarks in the reading literature, such as the difference in reading pace between age-matched typical and atypical readers as a function of word frequency and length, and neighbourhood entropy and Old20. Atypical readers show increasing difficulty with longer words, with a steeper time increment for word length > 6, integrating previous evidence. In addition, neighbourhood density plays a sparse facilitative role in atypical reading, with no significant interaction with neighbourhood entropy, pointing to a non trivial developmental interplay between sublexical reading and the richness of the Italian orthographic-phonological lexicon. Despite their different dynamics, optical and tactile strategies for text exploration prove to be highly congruent: this suggests that finger-tracking can be used as an ecological proxy for eye-tracking in reading assessment.}, KEYWORDS = {Reading, Finger tracking, Mental Lexicon, Word frequency, Word Length, Neighbourhood entropy}, PAGES = {1}, URL = {https://osf.io/hr62g/}, CONFERENCE_NAME = {Words in the World International Conference}, CONFERENCE_PLACE = {Montreal (Canada)}, CONFERENCE_DATE = {16-18/10/2020}, }