A flexible open source web platform to facilitate Learning Object evaluation

Systematic evaluation of Learning Objects is essential to make high quality Web-based education possible. For this reason, several educational repositories and e-Learning systems have developed their own evaluation models and tools. However, the differences of the context in which Learning Objects are produced and consumed suggest that no single evaluation model is sufficient for all scenarios. Besides, no much effort has been put in developing open tools to facilitate Learning Object evaluation and use the quality information for the benefit of end users. This paper presents LOEP, an open source web platform that aims to facilitate Learning Object evaluation in different scenarios and educational settings by supporting and integrating several evaluation models and quality metrics. The work exposed in this paper shows that LOEP is capable of providing Learning Object evaluation to e-Learning systems in an open, low cost, reliable and effective way. Possible scenarios where LOEP could be used to implement quality control policies and to enhance search engines are also described. Finally, we report the results of a survey conducted among reviewers that used LOEP, showing that they perceived LOEP as a powerful and easy to use tool for evaluating Learning Objects

Towards a Learning Object pedagogical quality metric based on the LORI evaluation model

Evaluating and measuring the pedagogical quality of Learning Objects is essential for achieving a successful web-based education. On one hand, teachers need some assurance of quality of the teaching resources before making them part of the curriculum. On the other hand, Learning Object Repositories need to include quality information into the ranking metrics used by the search engines in order to save users time when searching. For these reasons, several models such as LORI (Learning Object Review Instrument) have been proposed to evaluate Learning Object quality from a pedagogical perspective. However, no much effort has been put in defining and evaluating quality metrics based on those models. This paper proposes and evaluates a set of pedagogical quality metrics based on LORI. The work exposed in this paper shows that these metrics can be effectively and reliably used to provide quality-based sorting of search results. Besides, it strongly evidences that the evaluation of Learning Objects from a pedagogical perspective can notably enhance Learning Object search if suitable evaluations models and quality metrics are used. An evaluation of the LORI model is also described. Finally, all the presented metrics are compared and a discussion on their weaknesses and strengths is provided

Αξιολόγηση των Μαθησιακών Αντικειμένων Ψηφιακού Σχολείου (Φωτόδεντρου) για το μάθημα της Βιολογίας

Στην αρχή της δεκαετίας του ’90 αναδύθηκε ο όρος «μαθησιακό αντικείμενο» (ΜΑ) στον τομέα της Εκπαιδευτικής Τεχνολογίας, προκειμένου να περιγραφεί αποτελεσματικά μια αλλαγή στο εκπαιδευτικό περιεχόμενο που θα είχε πιο θετικές συνέπειες στην εκπαιδευτική διαδικασία και τη μάθηση. Πολλές είναι οι απόπειρες ορισμού των ΜΑ, ωστόσο η επικρατέστερη είναι του Wiley, ο οποίος ορίζει τα ΜΑ ως οποιαδήποτε ψηφιακή πηγή, η οποία έχει τη δυνατότητα να επαναχρησιμοποιηθεί, ώστε να υποστηρίξει τη μάθηση. Συμπληρώνοντας αυτόν τον ορισμό οι Kay & Knaack θεωρούν πως τα ΜΑ είναι διαδραστικά, διαδικτυακά εργαλεία που υποστηρίζουν τη μάθηση με το να βελτιώνουν, να ενισχύουν και να επεκτείνουν τις διανοητικές διεργασίες των μαθητών. Τα ΜΑ καταχωρούνται και αποθηκεύονται σε ειδικά και εγκεκριμένα διαδικτυακά αποθετήρια, ώστε να είναι εύκολα προσβάσιμα. Η παρούσα έρευνα είχε ως στόχο την αξιολόγηση των ΜΑ του Φωτόδεντρου, τα οποία προτείνει το Υπουργείο Παιδείας για τη διδασκαλία του μαθήματος της Βιολογίας στο Γυμνάσιο και το Λύκειο. Πρόκειται συνολικά για 76 ΜΑ, 42 για το Γυμνάσιο και 34 για το Λύκειο. Αυτό πραγματοποιήθηκε με την εύρεση ενός εργαλείου, το οποίο έπρεπε να εφαρμοστεί στα δεδομένα, για να προκύψει η αξιολόγησή τους. Μετά από ενδελεχή αναζήτηση στη βιβλιογραφία χρησιμοποιήθηκε το μοντέλο αξιολόγησης LOEM (Learning Object Evaluation Metric) των Kay & Knaack. Το συγκεκριμένο μοντέλο αποτελείται από τέσσερα (4) κριτήρια («διαδραστικότητα», «σχεδιασμός», «εμπλοκή» και «ευχρηστία»), καθένα από τα οποία εξετάζει ορισμένα ερωτήματα, οι απαντήσεις των οποίων βαθμολογούνται με μια τριτοβάθμια κλίμακα, όπου ο βαθμός 3 υποδεικνύει πως το ΜΑ είναι επαρκές και κατάλληλο προς χρήση στην εκπαιδευτική διαδικασία, ενώ ο βαθμός 1 φανερώνει πως το ΜΑ είναι αρκετά ελλιπές. Πέρα από την ανάλυση της βαθμολογίας τους, τα ΜΑ εξετάστηκαν και ως προς τον τύπο που συναντώνται στο Φωτόδεντρο. Από την ανάλυση των αποτελεσμάτων, ως προς τους τύπους των ΜΑ, προέκυψε πως στο Γυμνάσιο, ο τύπος «αξιολόγηση – παρουσίαση» συναντάται περισσότερο, ενώ ο τύπος «βίντεο» λιγότερο. Στο Λύκειο, τα περισσότερα ΜΑ ανήκουν στον τύπο της «παρουσίασης», ενώ το μικρότερο ποσοστό κατέχουν τα «βίντεο». Αναφορικά με την εφαρμογή του μοντέλου αξιολόγησης LOEM και της βαθμολογίας του εκάστοτε ΜΑ, προέκυψε πως στο Γυμνάσιο τον υψηλότερο μέσο όρο σημείωσε το κριτήριο του «σχεδιασμού», ενώ στο Λύκειο το κριτήριο της «ευχρηστίας». Το κριτήριο με τον χαμηλότερο μέσο όρο και στις δύο αναφερόμενες βαθμίδες εκτιμήθηκε πως ήταν της «εμπλοκής». Το κριτήριο της εμπλοκής εξετάζει την εμπλοκή του μαθητή με το ΜΑ και, κυρίως, την ποιότητα της ανατροφοδότησης που παρέχεται στο μαθητή μέσω του ΜΑ. Σύμφωνα με τις παραπάνω αξιολογήσεις προκύπτει πως τα ΜΑ του Γυμνασίου και του Λυκείου παρουσιάζουν ελάχιστη έως μηδενική ανατροφοδότηση, ωστόσο η υψηλή βαθμολογία στα υπόλοιπα κριτήρια αποδεικνύει πως είναι αρκετά διαδραστικά, άρτια σχεδιασμένα και ιδιαιτέρως εύχρηστα για τους μαθητές. Από την ανάλυση του στατιστικού προγράμματος SPSS και σχετικά με τη σύγκριση των μέσων όρων των ερωτημάτων του Γυμνασίου και του Λυκείου προέκυψαν στατιστικά σημαντικές διαφορές σε τρεις μόνο περιπτώσεις, οι οποίες αφορούν τα κριτήρια της «διαδραστικότητας» και της «ευχρηστίας». Και στις τρεις περιπτώσεις, η μέτρηση έδειξε πιο θετικά αποτελέσματα για τα ΜΑ του Λυκείου.At the beginning of the 1990s, the term "learning object" (LO) emerged in the field of Educational Technology in order to effectively describe a change in educational content that would have a more positive impact on the teaching and learning process. There are many attempts at defining LOs, but Wiley is the dominant one, who defines LOs as any digital source, which can be reused to support learning. By completing this definition, Kay & Knaack consider LOs as interactive, online tools that support learning by improving, enhancing, and expanding the mental processes of students. LOs are registered and stored on approved online repositories so they are easily accessible. The purpose of this research was to evaluate the LOs of Photodentro, which the Ministry of Education proposes for teaching the Biology course in High School, a total of 76 LOs. The next issue that was of great interest was finding a tool that had to be applied to the data in order to evaluate them. After a thorough research in the literature, Kay & Knaack's LOEM (Learning Object Evaluation Metric) was used. This model consists of four (4) criteria ("Interactivity", "Design", "Engagement" and "Usability"), each of which examines certain questions whose answers are graded on a three point scale where the degree 3 indicates that the LO is adequate and appropriate for use in the educational process, while grade 1 indicates that the LO is quite inadequate. In addition to analyzing their scores, LOs were also examined for the type with which they are found in the Photodentro. From the analysis of the results for the types of LOs, it appeared that in Gymnasium, the "evaluation - presentation" type is more common, while the type of "video" is less common. In high school, the most LOs are in the "presentation" type, while the lowest percentage is held by "videos". Regarding the application of the LOEM and the rating of the LOs, it emerged that in Gymnasium the highest mean was the criterion of "design", while in Lyceum the criterion of "usability". The criterion with the lowest mean in both grades is estimated to be "engagement". The engagement criterion examines the student's engagement with the LO and, in particular, the quality of the feedback provided to the student through the LO. According to the above assessments, the LOs of the Gymnasium and Lyceum show little or no feedback, yet the high scores in the other criteria prove that they are quite interactive, well-designed and particularly user-friendly for the students. From the analysis of the SPSS statistical program and the comparison of the mean of the questions of the Gymnasium and Lyceum occurred statistically significant differences in only three cases, which refer to the criterion of "interactivity" and “usability”. In these three cases, the measurement indicated more positive results for the LOs in Lyceum