Labour Market Information Driven, Personalized, OER Recommendation System for Lifelong Learners

In this paper, we suggest a novel method to aid lifelong learners to access relevant OER based learning content to master skills demanded on the labour market. Our software prototype 1) applies Text Classification and Text Mining methods on vacancy announcements to decompose jobs into meaningful skills components, which lifelong learners should target; and 2) creates a hybrid OER Recommender System to suggest personalized learning content for learners to progress towards their skill targets. For the first evaluation of this prototype we focused on two job areas: Data Scientist, and Mechanical Engineer. We applied our skill extractor approach and provided OER recommendations for learners targeting these jobs. We conducted in-depth, semi-structured interviews with 12 subject matter experts to learn how our prototype performs in terms of its objectives, logic, and contribution to learning. More than 150 recommendations were generated, and 76.9% of these recommendations were treated as useful by the interviewees. Interviews revealed that a personalized OER recommender system, based on skills demanded by labour market, has the potential to improve the learning experience of lifelong learners.Comment: This paper has been accepted to be published in the proceedings of CSEDU 2020 by SciTePres

OER Recommendations to Support Career Development

This Work in Progress Research paper departs from the recent, turbulent changes in global societies, forcing many citizens to re-skill themselves to (re)gain employment. Learners therefore need to be equipped with skills to be autonomous and strategic about their own skill development. Subsequently, high-quality, on-line, personalized educational content and services are also essential to serve this high demand for learning content. Open Educational Resources (OERs) have high potential to contribute to the mitigation of these problems, as they are available in a wide range of learning and occupational contexts globally. However, their applicability has been limited, due to low metadata quality and complex quality control. These issues resulted in a lack of personalised OER functions, like recommendation and search. Therefore, we suggest a novel, personalised OER recommendation method to match skill development targets with open learning content. This is done by: 1) using an OER quality prediction model based on metadata, OER properties, and content; 2) supporting learners to set individual skill targets based on actual labour market information, and 3) building a personalized OER recommender to help learners to master their skill targets. Accordingly, we built a prototype focusing on Data Science related jobs, and evaluated this prototype with 23 data scientists in different expertise levels. Pilot participants used our prototype for at least 30 minutes and commented on each of the recommended OERs. As a result, more than 400 recommendations were generated and 80.9% of the recommendations were reported as useful.Comment: This paper has been accepted to be published in the proceedings of IEEE Frontiers In Education (FIE) 2020 by IEEE Xplor

Structuring visual exploratory analysis of skill demand

The analysis of increasingly large and diverse data for meaningful interpretation and question answering is handicapped by human cognitive limitations. Consequently, semi-automatic abstraction of complex data within structured information spaces becomes increasingly important, if its knowledge content is to support intuitive, exploratory discovery. Exploration of skill demand is an area where regularly updated, multi-dimensional data may be exploited to assess capability within the workforce to manage the demands of the modern, technology- and data-driven economy. The knowledge derived may be employed by skilled practitioners in defining career pathways, to identify where, when and how to update their skillsets in line with advancing technology and changing work demands. This same knowledge may also be used to identify the combination of skills essential in recruiting for new roles. To address the challenges inherent in exploring the complex, heterogeneous, dynamic data that feeds into such applications, we investigate the use of an ontology to guide structuring of the information space, to allow individuals and institutions to interactively explore and interpret the dynamic skill demand landscape for their specific needs. As a test case we consider the relatively new and highly dynamic field of Data Science, where insightful, exploratory data analysis and knowledge discovery are critical. We employ context-driven and task-centred scenarios to explore our research questions and guide iterative design, development and formative evaluation of our ontology-driven, visual exploratory discovery and analysis approach, to measure where it adds value to users’ analytical activity. Our findings reinforce the potential in our approach, and point us to future paths to build on

An AI-based open recommender system for personalized labor market driven education

Attaining those skills that match labor market demand is getting increasingly complicated, not in the last place in engineering education, as prerequisite knowledge, skills, and abilities are evolving dynamically through an uncontrollable and seemingly unpredictable process. Anticipating and addressing such dynamism is a fundamental challenge to twenty-first century education. The burgeoning availability of data, not only on the demand side but also on the supply side (in the form of open educational resources) coupled with smart technologies, may provide a fertile ground for addressing this challenge. In this paper, we propose a novel, Artificial Intelligence (AI) driven approach to the development of an open, personalized, and labor market oriented learning recommender system, called eDoer. We discuss the complete system development cycle starting with a systematic user requirements gathering, and followed by system design, implementation, and validation. Our recommender prototype (1) derives the skill requirements for particular occupations through an analysis of online job vacancy announcements(2) decomposes skills into learning topics(3) collects a variety of open online educational resources that address those topics(4) checks the quality of those resources and topic relevance with three intelligent prediction models(5) helps learners to set their learning goals towards their desired job-related skills(6) recommends personalized learning pathways and learning content based on individual learning goalsand (7) provides assessment services for learners to monitor their progress towards their desired learning objectives. Accordingly, we created a learning dashboard focusing on three Data Science related jobs and conducted an initial validation of eDoer through a randomized experiment. Controlling for the effects of prior knowledge as assessed by means of a pretest, the randomized experiment provided tentative support for the hypothesis that learners who engaged with personal recommendations provided by eDoer to acquire knowledge of basic statistics, attained higher scores on the posttest than those who did not. The hypothesis that learners who received personalized content in terms of format, length, level of detail, and content type, would achieve higher scores than those receiving non-personalized content was not supported

Munkaerőpiaci adattárház tervezése kompetenciatrendek elemzésére

A munkaerőpiaci kereslet rendkívüli ütemben változik. A kompetenciák és a tudás a kereslet szempontjából gyorsan avulnak, egyre újabb és újabb ismeretekre van szükség. A legfontosabb alapkészségek megalapozásán túl, melyeket a hallgatók hosszú távon használni tudnak, a rövid távú versenyképesség biztosítása érdekében az oktatási intézményeknek folyamatosan összhangban kellene tartania a tanterveket a munkaerőpiaci kereslettel, amit számos tényező befolyásol és előrejelzése egyáltalán nem triviális. Az érintettek, a tárgy- és szakfelelősök legnagyobb nehézsége ebből a szempontból az, hogy nem látják előre az igények változását. Ha objektív képet kaphatnának arról, hogy a kompetenciák iránti kereslet hogyan alakul a munkaerőpiacon, akkor következtetéseket tudnának levonni a jövőbeli trendekre vonatkozóan. A legfontosabb információ, amire egy ilyen előrejelzéshez szükség van, az a munkaerőpiaci kereslet reprezentációja az egyes pillanatokban, idősorosan rögzítve. Ezt tulajdonképpen „pillanatképek” összességének is felfoghatjuk az egyes időpillanatokban igényelt kompetenciahalmazokról. Disszertációmban erre, a kompetenciakereslet és a felsőoktatási kínálat rövid távú összehangolására igyekszem fókuszálni egy olyan keretrendszer felvázolásával, melynek segítségével a munkaerőpiaci trendek és a keresletet leíró adatok valós időben elemezhetőek. Egy munkaerőpiaci „adattárház” koncepciójának kidolgozására teszek kísérletet, melyben a keresletre vonatkozó, álláshirdetésekben megjelenő információk összegyűjthetőek. Megvizsgálok olyan módszereket, melyek segítségével az állásajánlatokban explicit és implicit módon megjelenő, kompetenciakeresletet tükröző információk kinyerhetőek. Egy ilyen jellegű információforrás segítségével a felsőoktatás döntéshozói folyamatosan hozzá tudnák igazítani a kurzusok tematikáját a munkaerőpiaci kereslethez, és olyan kompetenciák elsajátítására tudnak lehetőséget kínálni a hallgatóknak, amit azok karrierjük első éveiben sikeresen értékesíteni tudnak a piacon. Az első kutatási kérdésem célja az adattárolási architektúra kiválasztását megalapozó szempontrendszer, majd segítségével a legmegfelelőbb architektúramodell kidolgozása volt. Implementáltam az adatokat legyűjtő scraper alkalmazást és elkezdtem az automatizált adatgyűjtést. 2019 januárjától közel négyszázezer hirdetést gyűjtöttem össze. Kidolgoztam az adatoknak egy lehetséges modelljét, továbbá a kiválasztási szempontok részletes vizsgálatával ajánlást tettem a megvalósításra javasolt adattárolási architektúrára. Kutatásom ezen szakasza feltáró jellegű. Az architektúraválasztási szempontrendszert szekunder kutatás, illetve szakirodalmi áttekintés segítségével dolgoztam ki. A munkaerőpiaci adattárház legfontosabb céljaként fogalmaztam meg, hogy a hirdetések kompetenciatartalmáról, annak időbeli- és térbeli alakulásáról hasznos információkat szolgáltasson a döntéshozók számára. Disszertációm második kutatási kérdéséhez kapcsolódóan bemutattam olyan módszereket, melyekkel hatékonyan kinyerhető ez az információ a hirdetések szövegéből. Bemutattam gyakori szövegbányászati – az egyes2 kifejezések előfordulási gyakoriságára alapuló – módszereket. Külső ontológiákban található kompetenciakifejezések és karakterláncok hasonlóságát számszerűsítő metrikák segítségével felépítettem egy logit modellt, melynek tesztadatokon mért felidézési aránya 85%, míg a precizitása 71,9%. Mivel a folyamatba való manuális beavatkozás kezdetben elkerülhetetlen, azaz mielőtt elfogadhatnánk ezeket a kompetenciajelölteket valós kompetenciaként, egy szakértőnek át kell néznie az eredményeket, így a modell elfogadható, mint ami hasznos információkkal tud szolgálni, és hozzáadott értékkel bír. A kutatás harmadik nagy blokkjában megvizsgáltam, hogy az álláshirdetésekben közvetlenül nem megjelenő, látens kompetenciák beazonosítása milyen módszerekkel lehetséges. Kidolgoztam egy reguláris kifejezésekre és egyszerű szabályokra alapuló módszert, melynek segítségével a 2019 októberi álláshirdetések 23,7%-át tudtam foglalkozáshoz kapcsolni, 97,5%- ban helyesen. Részletesen bemutattam egy döntési fára alapuló osztályozó modellt, melynek segítségével arra tettem kísérletet, hogy a hirdetéseket – címük alapján – a felhasznált ontológiákban leírt foglalkozásokhoz társítsam. A legjobbként elfogadott modell teszthalmazon mért precizitása 58%, míg felidézési aránya 68%, ami bár nem kiemelkedő, de felveszi a versenyt az irodalomban általam fellelt, hasonló feladatra megalkotott modellekkel (Amato et al. 2015). Saját t-SNE módszerrel végzett kísérletem alapján megerősítettem Csepregi (2020) eredményeit, miszerint az álláshirdetések klaszterei (témacsoportok) nem, vagy csak nagyon korlátozottan, kis hatásfokkal beazonosíthatóak azok leírásából készült tf-idf mátrix alapján. A 7. fejezet utolsó részében bemutattam egy harmadik lehetséges irányt a látens igények feltárására, az explicit megjelenő kompetenciák ontológiakapcsolatainak segítségéve