Ana Sofia Lopes Sucuma,

Ceccarelli, Adriano

English

Institutional Research Information System University of Turin

FORMATIVE ASSESSMENT REVISITED: COMBINED USE OF MOODLE AND MAHARA FOR ELEVATING TEACHING GOALS IN SOME MEDICAL SCHOOL COURSESAdriano Ceccarelli and Ana Sofia Lopes SucumaDept of Clinical and Biological Sciences and Medicine and Surgery CourseUniversity of Turinadriano.ceccarelli@unito.it – ana.lopessucuma@edu.unito.itMoodleMoot Italia 2021 - Torino 2Adriano CeccarelliMoodleMoot Italia 2021 - Torino 3Adriano CeccarelliMoodleMoot Italia 2021 - Torino 4Adriano CeccarelliMoodleMoot Italia 2021 - Torino 5Adriano CeccarelliMoodleMoot Italia 2021 - Torino 6Uso di moodle solo a scopo valutativoStudenti poco motivati e concentrati sugli aspetti nozionisticivantaggi svantaggicontenuti di tipo digitale di tipo sito webusati a lezioneforniti come materiale di studio• upgrade continuo • fruibile da vari tipi di dispositivi• coincidenza di contenuti (lezioni/materiali online) disincentivantevalutazione test intermedio e finale non strutturato quiz strutturati a fine corso• buona rilevazione di performances di tipo non nozionistico• tempo-docente per correzione test non strutturati eccessivo (30’/studente/elaborato)• questo formato di corso non prevede tempo per esercizi su quiz finaleMoodleMoot Italia 2021 - Torino 7Adriano CeccarelliMoodleMoot Italia 2021 - Torino 8Adriano CeccarelliMoodleMoot Italia 2021 - Torino 9Adriano CeccarelliMoodleMoot Italia 2021 - Torino 10Adriano CeccarelliMoodleMoot Italia 2021 - Torino 11Adriano CeccarelliMoodleMoot Italia 2021 - Torino 12Adriano CeccarelliMoodleMoot Italia 2021 - Torino 13Adriano CeccarelliMoodleMoot Italia 2021 - Torino 14Adriano CeccarelliCATEGORY 4 3 2 1total points availablelanguage-mechanicsNo grammatical, spelling or punctuation errors.Almost no grammatical, spelling or punctuation errorsA few grammatical spelling, or punctuation errors.Many grammatical, spelling, or punctuation errors.pts 2 1,5 1 0,5 2language-contentAll words chosen with accuracy. No use of words or verbs with wrong meaningAlmost all words chosen with accuracy. Almost no use of words or verbs with wrong meaningA few words or verbs with a wrong meaning are usedMany words or verbs with a wrong meaning are usedpts 2 1,5 1 0,5 2OrganizationInformation is very organized with well-constructed paragraphs and subheadings.Information is organized with well-constructed paragraphs.Information is organized, but paragraphs are not well-constructed.The information appears to be disorganized.pts up to 7-8 up to 5-6 up to 3-4 up to 1-2 8,00Amount of InformationAll topics are addressed with at least 2 sentences about each.Not all topics are addressed - at least 2 sentences about each.Not all topics are addressed - 1 sentence about each.None of the topics were addressed.pts up to 7-8 up to 5-6 up to 3-4 up to 1-2 8,00Quality of InformationInformation clearly relates to the main topic. It includes several supporting examples.Information clearly relates to the main topic. It provides 1-2 supporting examples.Information clearly relates to the main topic. No examples are given.Information has little or nothing to do with the main topic.pts up to 9-10 up to 7-8 up to 4-6 up to 1-3 10,00TOTAL 30MoodleMoot Italia 2021 - Torino 15Adriano CeccarelliStudenti poco inclini a atteggiamento critico nei confronti del proprio apprendimentoConcetti di base non sempre acquisiti nonostante la performance finale fosse positiva (livello minimo)vantaggi svantaggimateriali precedentemente realizzati come sito ora usati per realizzare videolezioni con quiz• recupero parziale  lavoro già svolto• i quiz rendono le videolezioniinterattive• autonomia dello studente nella fruizione/somministrazione dei materiali• autonomia dello studente nella fruizione/somministrazione  dei materialivalutazioneTest finali non strutturati basati su svolgimento attività indicate nei materiali online• buona analisi della performance di tipo non nozionistico• possesso di nozioni di base solo inferito. • non tutti i test riescono a porre una relazione di dipendenza• tempo/docente eccessivoMoodleMoot Italia 2021 - Torino 16Adriano Ceccarellilo studente verifica di avere colmato le lacuneun solo tentativo a inizio unità.esito salvato e visionabile per confrontocopia di entry test. ripetibile con tentativi illimitatilo studente verifica la propria conoscenza in un pannello di quiz che esplorano l’intera unità. MoodleMoot Italia 2021 - Torino 17Adriano CeccarelliMoodleMoot Italia 2021 - Torino 18Adriano Ceccarelli….COVID…..vantaggi svantaggi• disponibilità di entry/practising test per favorire la autovalutazione e dare allo studente il controllo della situazione• controllo sul processo di apprendimento (almeno conoscenza fattuale)  trasferito allo studente• tempo-docente speso in valutazione formativa si riduce• Il pannello di quiz non è usato a scopo formativo• Valutazione• Test strutturato  fine unità• Test non strutturato fine unità• maggiore controllo su apprendimento nozioni di base.• possibilità di variare il peso di ciascuna parte sulla base di altri coefficienti• Alto rischio di falsare il risultato (forse in più modi)MoodleMoot Italia 2021 - Torino 19Adriano Ceccarellipossibili aspetti positivi problematiche comunivalutazione formativamigliorare la preparazione degli studenti in modo mirato. eccessivo tempo-docente necessarioi feedback forniti devono potersi applicare a sfide di tipo diverso nel progredire del corso, per cui in realtà cambiano sempre le condizionivalutazione autenticaAumentare la motivazione degli studentiper discipline di base, numero limitato di sfide adeguate (ma non impossibile)difficile individuazione di temi e problematiche che non campi più specifici invadanovalutazione continuaValutare competenze nelle condizioni in cui normalmente esse vengono messe in attonecessario sovvertire completamente il concetto di esame standard attuale, soprattutto nell’immaginario collettivo della classe docente…MoodleMoot Italia 2021 - Torino 20Adriano Ceccarellivalutazione formativaescludere il docente dalle fasi intermedie il docente partecipa solo ad una prima prova del processo di valutazione fornendo un punto di riferimento per l’uso delle rubriche di valutazionele rubriche sono costruite insieme agli studenti (ove possibile) e sono comunque condivise e già disponibili al momento delle performances richieste.combinare valutazione fra pari ed autovalutazione finale su una serie limitata di «prodotti finiti»ogni test (non strutturato) eseguito viene sottoposto a valutazione fra pari, riceve un feedback e può essere revisionato, sulla base della interpretazione critica soggettiva del feedback ottenuto riutilizzare valutazione tra pari e feedback per la valutazione finaleL’insieme delle revisioni dei prodotti rappresenta al tempo stesso sia il risultato della valutazione formativa sia il materiale su cui effettuare la valutazione finale. Il lavoro di feedback è incentivato dal suo effetto sul risultato finaleMoodleMoot Italia 2021 - Torino 21Adriano Ceccarellivalutazione autenticaidentificare problematiche reali il più vicine possibile al campo professionaleLa identificazione può riguardare un numero limitato di problematiche. Questo potrebbe essere la misura della rilevanza di uno specifico insegnamento nell’ambito del profilo di competenze professionali del laureato. Forse risponde alla domanda «a cosa serve quello che insegno?» in modo più veritieroMoodleMoot Italia 2021 - Torino 22Adriano Ceccarellivalutazione continuaesecuzione dei test asincrona e non controllataOgni test, proposto al termine di ciascuna unità didattica, è basato sulla dimostrazione di competenze mediante soluzione di problemi e richiede, oltre alla soluzione, la dimostrazione di una capacità critica di analisi del problema, individuazione delle conoscenze necessarie a risolverlo.Gli studenti hanno accesso a tutti le fonti di informazione necessarie e sono incoraggiati a comunicare per risolvere il problema. Spesso il lavoro nasce come lavoro di grupporevisione dei test sulla base dei feedback ricevutiLa revisione del prodotto del test non rappresenta la seconda esecuzione di un quiz già svolto, in cui si cambiano i valori ma le formule restano le stesse. E’ una nuova stesura, e deve essere corredata da  testo che motiva la scelta degli argomenti oggetto revisioneMoodleMoot Italia 2021 - Torino 23Adriano Ceccarelliè un contenitore che viene creato su una piattaforma virtuale dove gli studenti possono aggiungere i prodotti del loro lavoro durante il corsoè mirato a dimostrare competenzedeve essere uno strumento attivante (coinvolgente e capace di suscitare apprendimento attivo)deve dimostrare un processo di crescita non solo una fotografia di una stato, quindideve essere migliorabile fino a fine corso, secondo feedback e suggerimenti dei compagni + discussioni con docenti, gruppi o anche 1:1le versioni intermedie dei prodotti devono restare disponibili, e le nuove versioni migliorate devono essere presentate insieme alla descrizione dell'intervento migliorativo e delle sue motivazioniIn questo tipo di valutazione gli studenti valutano criticamente le proprie prestazioni ed i propri risultati, migliorando in modo continuo-contiene materiali di diverse tipologie:• saggi scritti,• mappe concettuali,• posters,• illustrazioni,• testo di tipo variocontiene necessariamente documenti metacognitivi (riflessione sul proprio apprendimento e sulle sue tappe)è organizzato in 2 parti: 1 richiesta dal docente, 1 prodotta in modo autonomo dallo studente che ovviamente sceglierà i prodotti che ritiene migliori. Utile/richiesta una motivazione della scelta-termina con un documento di autovalutazione globale (sui contenuti e per competenze) in cui lo studente identifica debolezze e punti di forza, li giustifica e li spiega, e rilascia una valutazione finale sulle proprie competenze-dovrebbe essere lasciato a disposizione dei compagni sia per ricevere commenti e aiuto sia per essere usato come esempio se ritenuto utileePortfolioè un contenitore che viene creato su una piattaforma virtuale dove gli studenti possono aggiungere i p dotti del loro lavoro durante il corsoè mirato a dimostrare competenzed ve ssere uno strumento attivante (coinvolgente e capace di suscitare apprendimento attivo)d ve dimostrare un proc sso d  crescita non solo una fotografia di uno stato, quindi….d ve essere migliorabile fino a fine corso, secondo feedback e sugger enti dei compag i + discussioni con docenti, gruppi o anche 1:1le versioni intermedie dei prodotti devono restare disponibili, e le nuove versioni migliorate devono essere presentate insieme alla descr zi ne dell'intervento migliorativo e delle sue motivazioni-contiene materiali i diverse tipologie:• saggi scritti,•mappe concettuali,•posters,• illustrazioni,• testo di tipo variocontiene necessariamente documenti metacognitivi (riflessione sul proprio apprendimento e sulle sue tappe)è org nizzat  in 2 p rti: 1 richiesta dal docente, 1 prodotta in m do autonomo dallo studente che ovviamente sceglierà i prodo ti ch  ritiene migliori. Utile/richiesta una mo ivazione della scelta-termina con un documento di autovalutazione globale (sui contenuti e per competenze) in cui lo studente identifica debolezze e punti di f rza, li giustifica e li spiega, e rilasc a una valu azi ne fi a e sull  propri  competenze-dovrebbe essere lasciat  a disposi ione d i compagni sia per ri vere commenti e aiuto sia per essere usato come esempio se ritenuto utileMoodleMoot Italia 2021 - Torino 24https://www.mahara.orgAdriano CeccarelliMaharaNato come prodotto di un progetto di sviluppo di software per gestione di ePortfolios, finanziato da:New Zealand's Tertiary Education Commission's e-learning Collaborative Development Fund (eCDF),di cui fanno parte Massey University, Auckland University of Technology, The Open Polytechnic of New Zealand, Victoria University of WellingtonE successivamente dal New Zealand’s Ministry of Education e da Open Polytechnic«pensare»… «il pensare»… «pensiero»  (maori)Cosa vuol dire? Che origini ha?Dove lo trovo?MoodleMoot Italia 2021 - Torino 25Adriano CeccarelliProgettato per essere student-centered (a differenza di molti LMS institution-centered)Che caratteristiche ha?L’utente controlla quali oggetti e quali informazioni (artefatti-artefacts) rendere visibiliGli oggetti sono raccolti in pagine (collezioni di oggetti) e le pagine possono a loro volta essere parte di collezioni di pagineLa condivisione può essere con il pubblico (mondo o utenti selezionati) o con membri di comunità interne a maharaL’autore può sottomettere il proprio portfolio a valutazione da parte di un tutor, in forma di uno snapshot sia del formato sia del contenuto di quel momentoStudent centeredPuò ospitare journals/blogsPermette di strutturare CVI contenuti possono essere aggiunti ad una watchlist per ricevere avvisi ogniqualvolta vengono modificatiMoodleMoot Italia 2021 - Torino 26Adriano CeccarelliDotato di report-builder per la costruzione di vari tipi di report (sito, istituzione, gruppo, utente)Che caratteristiche ha?Connessione a LMS con LTICustomizzabile rispetto a: lingue, temi, metodi di autenticazione, numero di organizzazioni afferente alla medesima istanza, etcAdministration and interoperabilityMoodleMoot Italia 2021 - Torino 27Adriano CeccarelliCome si presenta?MoodleMoot Italia 2021 - Torino 28Adriano CeccarelliCome si presenta?MoodleMoot Italia 2021 - Torino 29Adriano CeccarelliCome si presenta?MoodleMoot Italia 2021 - Torino 30Adriano CeccarelliCome si presenta?MoodleMoot Italia 2021 - Torino 31Adriano CeccarelliNuovi corsi (2020-21) strutturati con moodle, come corsi precedenti:• 4 unità• Videolezioni con quiz – eliminati i salti condizionati nei video• Pannelli di quiz facoltativi a disposizione per autovalutazione• Problemi di fine unità svolti come workshop• Valutazione fra pari e rilascio di feedback secondo rubricheMoodle utilizzato per:• Somministrare materiali• Somministrare quiz strutturati di autovalutazione• Raccogliere il prodotto dei test non strutturati• Mediare la valutazione fra pari• Redistribuire i risultati ed i feedbackMoodleMoot Italia 2021 - Torino 32Adriano CeccarelliMahara (su server di di.unito.it)• Collegato a moodle con LTI• Utenti moodle accedono da moodle con autenticazione automatica• Accoglie i prodotti   processati su moodle, prima o dopo feedback e revisioni • Permette agli studenti di avere una visione delle esperienze dei compagni in modo immediato ed efficace per capire «cosa serve per fare bella figura»• Permette di lasciare ulteriori feedback non condizionati dai parametri di una rubrica• Stimola gli studenti a individuare modalità/oggetti con cui dimostrare le proprie competenzeMoodleMoot Italia 2021 - Torino 33Adriano Ceccarelliproduzione artefattoworkshop valutazione fra parivalutazione critica del feedback ricevutoauto-valutazionerevisioneInvio   a mahara feedbackrevisionemoodle maharauna volta per consegna numero illimitato di volte• identifica le prove• indica i criteri di valutazione• produce evidenza di  conoscenza e apprendimento • garantisce la valutazione finale• sviluppa pensiero critico autovalutazione, • dà il controllo della propria performance• sfrutta il feedback in modo formativo efficaceMoodleMoot Italia 2021 - Torino 34Adriano CeccarelliAnalisi dei risultati • Confronto fra il profitto di due coorti (2019 e 2020) in due corsi distinti• Biologia cellulare (CdS Infermieristica - 65 iscritti max)• Molecular Genetics – (Cds Medicine & Surgery - 102 iscritti max)• Analisi della distribuzione dei voti conseguiti immediatamente dopo fine corso (problema immatricolazioni tardive)• (solo per un corso) Confronto fra alcune domande chiave di un questionario somministrato a fine corso (per sopperire alle gravi lacune di EduMeter…)MoodleMoot Italia 2021 - Torino 35Adriano CeccarelliMoodleMoot Italia 2021 - Torino 36Adriano CeccarelliThe feedback has been helpful in improving myperformance in the assignments that followed itMoodleMoot Italia 2021 - Torino 37Adriano CeccarelliThe possibility to experiment different metodologies in differentmodules was _______________ to the success of the courseMoodleMoot Italia 2021 - Torino 38Adriano CeccarelliDoes the professor try to stimulate your interest for thissubject?Does the professor succeed in stimulating your interest for thissubject?MoodleMoot Italia 2021 - Torino 39Adriano CeccarelliDoes the professor clearly teach way to the understanding of the contents of the course?MoodleMoot Italia 2021 - Torino 40Adriano CeccarelliWere you interested in the contents of this coursebefore it started?Were you interested in the contents of this course whenyou reached the end?MoodleMoot Italia 2021 - Torino 41Adriano CeccarelliYou have 15 lines to write any commentyou might think useful to clarify youranswers, as well as to add something youfeel as relevant but that was not includedin the questions.MoodleMoot Italia 2021 - Torino 42Adriano CeccarelliConclusioniLa complementazione di due ambienti di insegnamento (Moodle e Mahara) permette di migliorare diversi parametri della performance dei discenti, e precisamente aumento di:• Efficacia del ruolo del feedback e della sua percezione• Percezione del vantaggio di un metodo alternativo sia formativo sia di valutazione (Portfolio)• Percezione di aumento dell’efficacia dell’intervento didattico (aumento interesse a aumento chiarezza delle lezioni)• Coinvolgimento negli argomenti trattatiMoodleMoot Italia 2021 - Torino 43Adriano CeccarelliGRAZIE

Formative assessment revisited: combined use of moodle and mahara for elevating teaching goals in some medical school courses

https://iris.unito.it/bitstream/2318/1843158/1/CECCARELLI-moodlemoot2021.pdf

Formative assessment revisited: combined use of moodle and mahara for elevating teaching goals in some medical school courses

Abstract

Similar works

Full text

Available Versions

Institutional Research Information System University of Turin