Understanding novice programmer behavior on introductory courses - Learning analytics approach

It is not easy to learn programming. This is why increasing theoretical and practical knowledge in programming education benefits both the educators as well as the students. To allow the students to gain maximal benefit from their studies, the educator must be able to recognize the students who are struggling with learning programming. Learning analytics provides a possible solution to this problem. This thesis demonstrates a novel method to model programmer behavior by using Markov Models. Programming fulfills the Markov property, because the success of the next attempt to compile or execute code is not influenced by the previous attempts; only by the current skill level of the programmer. The model is built using a state machine, which consists of states representing the different phases of the programming process. The state machine contains eight different states and 29different state transition possibilities. A Markov chain corresponding to a specific student can be computed using this state machine and then used with, for example machine learning algorithms. The data for this thesis was collected from a total of five different introductory programming courses, which used either the Java or Python programming languages. The dataset contains 1174 unique students, who made 544 835 total submissions to411 unique assignments. All programming courses were given in Turku, during2017-2021.This thesis provides a theoretical basis for modeling students (Markov Models) and offers a practical method to model students using Markov Models. This thesis only applies unsupervised machine learning methods to the data, specifically the K-Means clustering algorithm. However, supervised methods may also be used. The usefulness of the model is demonstrated by clustering students into three statistically similar clusters: students who perform well, average and poorly. The model is also applied to recognize the programming language used, based only on the transitions within the state machine.--- Ohjelmoinnin oppiminen ei ole helppoa. Tästä syystä ohjelmoinnin opetuksenteoreettinen ja käytännön edistäminen hyödyttää paitsi nykyisin ohjelmointia opettavia, myös opiskelijoita. Jotta opiskelijat voivat saavuttaa maksimaalisenhyödyn opiskelustaan, opettajan täytyy voida tunnistaa ne opiskelijat, joille ohjelmoinnin opiskelu tuottaa hankaluuksia. Oppimisanalytiikka tarjoaa tähän mahdollisuuden. Tämä väitöskirja esittelee tavan mallintaa ohjelmoinnin opiskelijoidenkäyttäytymistä käyttämällä Markovin malleja. Ohjelmoijan käyttäytyminen toteuttaa Markovin ominaisuuden, sillä ohjelmoijan koodin ajoyrityksen onnistumiseen vaikuttaa ainoastaan ohjelmoijan senhetkinen taitotaso; aikaisemmilla yrityksillä ei ole vaikutusta tuleviin kertoihin. Malli rakennetaan käyttämällä tilakonetta, jonka jokainen tila vastaa ohjelmointiprosessin vaihetta. Tilakoneessa on yhteensä kahdeksan eri tilaa ja 29 erilaista tilan muutosmahdollisuutta. Tilakoneesta lasketaan opiskelijaa vastaava Markovin ketju, mitä voidaan käyttää esimerkiksi koneoppimisalgoritmien kanssa. Dataa tähän väitöskirjaan kerättiin yhteensä viidestä ohjelmoinninperuskurssista, joissa käytettiin joko Java- tai Python-ohjelmointikieltä. Opiskelijoita kursseilla oli yhteensä 1174. Opiskelijat tekivät yhteensä 544-835 ohjelmointitehtävän palautusta 411 ohjelmointitehtävään. Kaikki ohjelmointikurssit pidettiin Turussa, vuosina 2017-2021 Tämä väitöskirja tarjoaa teoreettisen pohjan ohjelmoinnin opiskelijoidenmallintamiseen (Markovin mallit) ja tarjoaa menetelmän, jolla Markovin malleja käyttämällä voi mallintaa ohjelmoinnin opiskelijoita. Malliin sovelletaan vain ohjaamattomia koneoppimismenetelmiä, erityisesti K-Means clustering -algoritmia. Tässä väitöskirjassa osoitan myös teoreettisen mallin muutamia käytännönsovelluksia luokittelemalla opiskelijoita samoja ominaisuuksia sisältäviin luokkiin. Malli opetetaan erottelemaan opiskelijat kolmeen ryhmään: hyvin, keskiverrosti ja huonosti pärjääviin. Mallia sovelletaan onnistuneesti myös tunnistamaan käytetty ohjelmointikieli käyttämällä vain tilakoneen tilasiirtymiä

Brandin kehittäminen – Case Speakersforum

Laurea-ammattikorkeakoulu Laurea Leppävaara Liiketalous Markkinointi Bergman, Olli Lokkila, Erno Brandin kehittäminen – Case Speakersforum Vuosi 2011 Tiivistelmä Sivumäärä 51 Opinnäytetyön tarkoituksena oli selvittää Speakersforumin asiakkaiden mielikuvia palveluista ja millaiseksi asiakkaat kokevat Speakersforumin brandin tällä hetkellä. Opinnäytetyö tehtiin Speakersforum Oy:lle. Speakersforum Oy on johtava puhujien välittämiseen erikoistunut yritys Suomessa ja se on osa ruotsalaista TF Group -konsernia. Speakersforum on toiminut Suomessa vuodesta 2001 lähtien. Speakersforumista ei ole tehty aikaisemmin branditutkimusta. Opinnäytetyön keskeinen tutkimuskysymys oli, miten asiakkaat kokevat Speakerforumin brandin ja miten brandia voidaan kehittää. Kysymykseemme vastataan teorian ja survey- kyselyn avulla. Tämän työn teoriaosuudessa selvitetään hyvän brandin ominaisuudet ja tunnusmerkit. Teoriaosuuden viitekehyksenä toimii Thomas Gadin (2001, 25) kehittämä neliulotteinen 4D- brandimalli, jossa esitetään miten yritykset voivat luoda tulevaisuuden brandeja. Opinnäytetyön tavoitteena oli selvittää Speakersforumin brandin tilanne ja tehdä kehitysehdotuksia tulosten pohjalta. Tutkimuksen pohjana käytettiin kyselylomaketta. Tiedot kerättiin sähköpostikyselyn avulla. Kysely lähetettiin 380 asiakkaalle ja vastauksia saatiin 81 kappaletta. Kyselyn vastausprosentti oli 21 %. Rajasimme vastaajiksi asiakkaat, jotka olivat ostaneet Speakersforumin palveluita vuosina 2007–2009. Vastaukset käsiteltiin anonyymisti. Vastaukset analysoitiin ja niistä tehtiin yhteenveto, joka löytyy tämän opinnäytetyön lopusta. Johtopäätökset ja kehitysehdotukset tehtiin kyselyn tulosten pohjalta. Kyselyn tulokset olivat pääsääntöisesti positiivia ja Speakersforumin palveluihin oltiin tyytyväisiä. Tuloksissa selvisi, että selvästi eniten käytetty palvelu oli puhujat. Palveluiden laatu ja laaja puhujaverkosto vastaa asiakkaiden odotuksia, tämä näkyi selvästi kyselyn tuloksissa. Vastaajat kokivat saavansa lisäarvoa ostaneistaan palveluista. Kaikista palveluista maksuttomia palveluita käytettiin hieman yllättäen vähiten. Speakersforumin brandia pidettiin luotettavana, asiantuntevana, nopeana, uskottavana, monipuolisena, tunnettuna ja laadukkaana. Speakersforumin palvelutasoa pidettiin yleisesti hyvänä. Palvelutason hyvä laatu on erittäin tärkeää kilpailun ja kehityksen kannalta. Tulosten johtopäätöksenä voimme todeta, että Speakersforumin brandi koetaan hyväksi, mutta kehitettävää löytyy monelta osa-alueelta. Tulosten analysoinnin yhteydessä syntyi kehitysehdotuksia, joiden avulla brandia voidaan kehittää haluttuun suuntaan. Brandin kehittämisen kannalta on tärkeää valita oikeat kehitysehdotukset ja lähteä kehittämään niitä ajoissa. Työssä esitettyjen kehitysehdotusten avulla Speakersforumin on helpompi suunnitella sitä, miltä sen brandin halutaan tulevaisuudessa näyttävän ja minkälaisen mielikuvan brandi jättää asiakkaiden mieliin. Asiasanat Brandi, brandin ominaisuudet, brandin tunnusmerkit, 4D-brandimalli, mielikuva survey-kyselyLaurea University of Applied Sciences Laurea Leppävaara Bachelor’s Degree Programme in Business Management Bergman, Olli Lokkila, Erno Year 2011 Pages 51 The purpose of the thesis was to study consumer impressions of Speakerforum services and examine how customers evaluate the brand of Speakersforum. The thesis was commissioned by Speakersforum Ltd., which is part of the Swedish TF Group. Speakersforum is the leading company in the field of speaker mediating in Finland and has been operating in Finland since 2001. This is the first study of the Speakersforums brand. The research question of the thesis, concerning how customers evaluate the brand of Speakersforum and how to develop this brand, is answered through a discussion of the theory and a survey inquiry. The theoretical section explains the properties and characteristics of the brand, with reference to Thomas Gad’s 2001 4D model, which was developed to explain how companies can create brands of the future. The objective of the thesis was to study the reception of the brand and make development proposals based on the results of the survey. For the empirical research a questionnaire was sent to customers via e-mail. The e-mail questionnaire was sent to 380 customers, and 81 questionnaires were returned, giving a response rate of 21%. Interviewees were selected if they were customers that had used the services of Speakersforum within the past two years. Responses were anonymously processed, and based on these the conclusions and development proposals were made. The results of the survey were mostly positive, and customers were satisfied with the services of Speakersforum. In the results it became clear that the service most used was the hiring of speakers. The survey indicated that the quality of the services and the wide speaker network corresponded to customers' expectations. The interviewees who had bought services felt that they were getting surplus value for the services. Unexpectedly, the free services were the least used of all the services. The Speakersforum brand was considered to be reliable, expert, quick, credible, versatile, known and of high quality. The level of the Speakersforum’s service was considered generally good, which is extremely important from the point of view of competition. We can state as a conclusion that the Speakersforum brand is regarded well but also has potential for development in many aspects. Based on the results development proposals were created which can be used to develop a brand in the desired direction. From the point of view of developing the brand it is important to choose the right proposals and to develop them at the appropriate time. It will be easier for Speakersforum to design the future of its brand and also decide what kind of an image the brand leaves in customers' minds with the help of development proposals that have been presented in the thesis. Keywords Brand, properties of the brand, characteristics of the brand, imag

A Data-Driven Approach to Compare the Syntactic Difficulty of Programming Languages

Educators who teach programming subjects are often wondering “which programming language should I teach first?”. The debate behind this question has a long history and coming up with a definite answer to this question would be farfetched. Nonetheless, several efforts can be identified in the literature wherein pros and cons of mainstream programming languages are examined, analysed, and discussed in view of their potential to facilitate the didactics of programming concepts especially to novice programmers. In line with these efforts, we explore the latter question by comparing the syntactic difficulty of two modern, but fundamentally different, programming languages: Java and Python. To achieve this objective, we introduce a standalone and purely data-driven method which stores the code submissions and clusters the errors occurred under the aid of a custom transition probability matrix. For the evaluation of this model a total of 219,454 submissions, made by 715 first-year undergraduate students, in 259 unique programming exercises were gathered and analysed. The results indicate that Python is an easier-to-grasp programming language and is, therefore, highly recommended as the steppingstone in introductory courses. Besides, the adoption of the described method enables educators to not only identify those students who struggle with coding (syntax-wise) but further paves the pathway for the adoption of personalised and adaptive learning practices