Suomalaisten matematiikan aineenopettajaopiskelijoiden uskomukset, niiden yhteydet ja taustat

Tämä tutkimus käsittelee matematiikan aineenopettajaopiskelijoiden uskomuksia. Uskomuksilla on aiemmissa tutkimuksissa havaittu olevan yhteys opettajan luokkahuonekäytökseen ja käsityksiin opettamisesta (mm. Thompson, 1992; Schoenfeld, 1998). Tämän vuoksi tulevien opettajien uskomusten tutkiminen on hyödyllistä opettajankoulutuksen kannalta. Tutkimus keskittyy nimenomaan suomalaisten aineenopettajaopiskelijoiden matematiikka- ja pystyvyysuskomuksiin. Matematiikkauskomukset jaetaan yleisiin matematiikkauskomuksiin ja näiden ilmenemiseen opetuksessa. Pystyvyysuskomuksia puolestaan kartoitetaan erikseen matemaattisina ja pedagogisina pystyvyysuskomuksina. Dionnen (1984), Ernestin (1991) sekä Grigutschin ja Törnerin (1998b) tutkimukset ja ajatukset matematiikkauskomusten määrittelyssä muodostavat tutkimuksen käsitteelisen ytimen.Pystyvyysuskomuksissa nojataan puolestaan Banduran (1986) määrittelyyn. Aineisto kerättiin syksyllä 2018 käyttäen likert-asteikollisista väittämistä koostuvaa kyselylomaketta. Vastausten pohjalta koostettiin pääasiassa kvantitatiivisin menetelmin tuloksia uskomusten esiintymisestä yleensä, eri uskomusulottuvuuksien välisistä korrelaatioista sekä miten opiskelijoilta kartoitetut opintoihin liittyvät erilaiset taustatekijät mahdollisesti selittäisivät tuloksia. Lisäksi vastaajien uskomuksia vertailtiin sen mukaan, mitä heille kyselyssä kuvailluista opetustavoista he pitivät tehokkaimpana ja mieluisimpana. Vastaajat näyttävät suhtautuvan matematiikkaan ja sen opetuksen eri tavalla. Eroista huolimatta matematiikkaa yleisesti kuvaavat väitteet kuitenkin korreloivat niitä vastaavien väitteiden kanssa opetuksessa. Yleisillä uskomuksilla matematiikasta vaikuttaa siis olevan yhteys uskomuksiin matematiikan opetuksesta. Lisäksi pystyvyysuskomukset korreloivat tiettyjen opetukseen liittyvien väitteiden kanssa ja näyttävät olevan yhteydessä siihen, minkä matematiikan osa-alueiden vastaaja uskoo olevan tärkeitä opettaa. Uskomukset poikkesivat jonkin verran sen mukaan, millaista opetusta vastaaja piti tehokkaimpana. Samoin eroja oli sen mukaan, millaista opetusta vastaaja piti itselleen mieluisimpana. Tämä näyttäisi antavan lisävahvistusta sille, että uskomukset ja vähintäänkin mielipiteet opettamisesta ovat yhteydessä toisiinsa. Lisäksi aineistossa on viitteitä siitä, että eri opetustapaa tehokkaimpana ja mieluisimpana pitäneillä on heikompi usko omiin pedagogisiin kykyihinsä kuin muilla. Opiskeluun liittyvistä taustatekijöistä oli vaikea löytää uskomuksia selittäviä tekijöitä. Vain aineenopettajakoulutukseen kuuluvien pedagogisten opintojen suorittaminen näyttäisi muokkaavan vastaajien uskomuksia. Tämän mekanismin tunnistaminen myöhemmässä tutkimuksessa voisi tarjota lisää vaikutusvälineitä aineenopettajakouluttajille

Node co-activations as a means of error detection—Towards fault-tolerant neural networks

Context: Machine learning has proved an efficient tool, but the systems need tools to mitigate risks during runtime. One approach is fault tolerance: detecting and handling errors before they cause harm. Objective: This paper investigates whether rare co-activations – pairs of usually segregated nodes activating together – are indicative of problems in neural networks (NN). These could be used to detect concept drift and flagging untrustworthy predictions. Methods: We trained four NNs. For each, we studied how often each pair of nodes activates together. In a separate test set, we counted how many rare co-activations occurred with each input, and grouped the inputs based on whether its classification was correct, incorrect, or whether its class was absent during training. Results: Rare co-activations are much more common in inputs from a class that was absent during training. Incorrectly classified inputs averaged a larger number of rare co-activations than correctly classified inputs, but the difference was smaller. Conclusions: As rare co-activations are more common in unprecedented inputs, they show potential for detecting concept drift. There is also some potential in detecting single inputs from untrained classes. The small difference between correctly and incorrectly predicted inputs is less promising and needs further research.Peer reviewe

MLOps Challenges in Multi-Organization Setup: Experiences from Two Real-World Cases

Workshop on AI Engineering - Software Engineering for AI , WAIN ; Conference date: 30-05-2021 Through 31-05-2021Peer reviewe

On Misbehaviour and Fault Tolerance in Machine Learning Systems

Machine learning (ML) provides us with numerous opportunities, allowing ML systems to adapt to new situations and contexts. At the same time, this adaptability raises uncertainties concerning the run-time product quality or dependability, such as reliability and security, of these systems. Systems can be tested and monitored, but this does not provide protection against faults and failures in adapted ML systems themselves. We studied software designs that aim at introducing fault tolerance in ML systems so that possible problems in ML components of the systems can be avoided. The research was conducted as a case study, and its data was collected through five semi-structured interviews with experienced software architects. We present a conceptualisation of the misbehaviour of ML systems, the perceived role of fault tolerance, and the designs used. Common patterns to incorporating ML components in design in a fault tolerant fashion have started to emerge. ML models are, for example, guarded by monitoring the inputs and their distribution, and enforcing business rules on acceptable outputs. Multiple, specialised ML models are used to adapt to the variations and changes in the surrounding world, and simpler fall-over techniques like default outputs are put in place to have systems up and running in the face of problems. However, the general role of these patterns is not widely acknowledged. This is mainly due to the relative immaturity of using ML as part of a complete software system: the field still lacks established frameworks and practices beyond training to implement, operate, and maintain the software that utilises ML. ML software engineering needs further analysis and development on all fronts.Peer reviewe

Systematic literature review of validation methods for AI systems

Context: Artificial intelligence (AI) has made its way into everyday activities, particularly through new techniques such as machine learning (ML). These techniques are implementable with little domain knowledge. This, combined with the difficulty of testing AI systems with traditional methods, has made system trustworthiness a pressing issue. Objective: This paper studies the methods used to validate practical AI systems reported in the literature. Our goal is to classify and describe the methods that are used in realistic settings to ensure the dependability of AI systems. Method: A systematic literature review resulted in 90 papers. Systems presented in the papers were analysed based on their domain, task, complexity, and applied validation methods. Results: The validation methods were synthesized into a taxonomy consisting of trial, simulation, model-centred validation, and expert opinion. Failure monitors, safety channels, redundancy, voting, and input and output restrictions are methods used to continuously validate the systems after deployment. Conclusions: Our results clarify existing strategies applied to validation. They form a basis for the synthesization, assessment, and refinement of AI system validation in research and guidelines for validating individual systems in practice. While various validation strategies have all been relatively widely applied, only few studies report on continuous validation.Peer reviewe

Coping with Inconsistent Models of Requirements

https://confws19.hitec-hamburg.de/Peer reviewe

Improved management of issue dependencies in issue trackers of large collaborative projects

Issue trackers, such as Jira, have become the prevalent collaborative tools in software engineering for managing issues, such as requirements, development tasks, and software bugs. However, issue trackers inherently focus on the lifecycle of single issues, although issues have and express dependencies on other issues that constitute issue dependency networks in large complex collaborative projects. The objective of this study is to develop supportive solutions for the improved management of dependent issues in an issue tracker. This study follows the Design Science methodology, consisting of eliciting drawbacks and constructing and evaluating a solution and system. The study was carried out in the context of The Qt Company's Jira, which exemplifies an actively used, almost two-decade-old issue tracker with over 100,000 issues. The drawbacks capture how users operate with issue trackers to handle issue information in large, collaborative, and long-lived projects. The basis of the solution is to keep issues and dependencies as separate objects and automatically construct an issue graph. Dependency detections complement the issue graph by proposing missing dependencies, while consistency checks and diagnoses identify conflicting issue priorities and release assignments. Jira's plugin and service-based system architecture realize the functional and quality concerns of the system implementation. We show how to adopt the intelligent supporting techniques of an issue tracker in a complex use context and a large data-set. The solution considers an integrated and holistic system view, practical applicability and utility, and the practical characteristics of issue data, such as inherent incompleteness.The work presented in this paper has been conducted within the scope of the Horizon 2020 project OpenReq, which is supported by the European Union under Grant Nr. 732463. We are grateful for the provision of the Finnish computing infrastructure to carry out the tests (persistent identifier urn:nbn:fi:research-infras-2016072533). This paper has been funded by the Spanish Ministerio de Ciencia e Innovacionúnder project / funding scheme PID2020-117191RB-I00 / AEI/10.13039/501100011033.Peer ReviewedPostprint (published version

Älykkäiden järjestelmien laadunvarmistus

Systems utilizing artificial intelligence provide us with numerous opportunities, allowing these intelligent systems to adapt to new situations and contexts. At the same time, this adaptability raises uncertainties concerning system dependability, such as reliability and security, of these systems. Some of the techniques are easily implementable with little domain knowledge, which combined with the difficulty to test and oversee the intelligent systems has made the quality assurance a pressing issue. In this dissertation, we study the methods used to validate intelligent systems, fault tolerance in these systems, and potential new error detection approaches. The goal is to classify and describe validation methods and fault tolerance patterns that are used to ensure the dependability of intelligent systems, along with introducing a novel error detection technique for further development. Multiple research methods were used. A systematic literature review was conducted to study how practical intelligent systems are validated in the research literature. An interview study was conducted to study how experienced software architects approach fault tolerance in intelligent systems. Two of the design patterns described in the interview study were implemented in a design science artifact in an industrial use case to see their effectiveness. The new error detection approach called node co-activations was studied in an experimental setup. The validation methods were synthesized into a taxonomy consisting of trial, simulation, model-centred validation, and expert opinion. A set of fault-tolerant design patterns were synthesized based on the interviews with the software architects. The implemented approaches showed that they can make results of even simple, crude models useful in an actual industrial setting. The rare co-activations show potential in detecting concept drift and a new kind of data entering the system. In conclusion, intelligent systems have problems that are out of traditional software testing's reach, and require specialised approaches. Quality assurance of intelligent systems should include considering the entire system, and not just the intelligent components. This can be achieved by validation and introducing fault tolerance into the system. Further research and development is needed to answer the growing complexity of the intelligent systems, and the growth's implications on error detection, infeasibility of validating entire intended environments, and the expanding role of intelligence in new software.Tekoälyä hyödyntävät järjestelmät tarjoavat huikaisevia mahdollisuuksia eri yhteiskunnan aloille. Tekoäly kykenee parhaimmillaan päättelemään salamannopeasti, millaista tietoa käyttäjä tarvitsee, tai esimerkiksi sopeutumaan ympäristössään tapahtuviin muutoksiin. Järjestelmien monimutkaisuus ja toisinaan häilyvä kyky sopeutua herättää kuitenkin kysymyksiä liittyen järjestelmien luotettavuuteen. Monet tekoälyjärjestelmien rakentamiseen käytettävistä tekniikoista ovat helposti saatavilla, eikä niiden käyttö itsessään vaadi kovin syvällistä ymmärrystä sovellusalasta tai siitä, miten työkalut itse asiassa toimivat. Käytön verrattainen helppous yhdistettynä älykkäiden järjestelmien testaamisen ja valvonnan hankaluuteen suorastaan huutaa työkaluja laadunvarmistuksen tueksi. Väitöskirjassa tutkitaan menetelmiä tekoälyjärjestelmien validointiin ja vikasietoisuuden parantamiseen sekä esitellään uusi kokeellinen menetelmä virheentunnistukseen. Tavoitteena on kuvailla erilaisia menetelmiä, joilla älykkäiden järjestelmien luotettavuutta voidaan parantaa. Tulokset perustuvat tutkimuskirjallisuuteen, asiantuntijahaastatteluihin, design-tutkimuksen periaattein rakennettuun ohjelmistojärjestelmään oikean yrityksen kontekstissa sekä kokeelliseen ohjelmistoon. Tutkimuksen pohjalta muodostettiin joukko menetelmiä järjestelmien validointiin ja vikasietoisuuden parantamiseen. Kaksi teollisessa kontekstissa sovellettua vikasietoisuusmenetelmää osoittautuivat menestyksekkäiksi varsin virhealttiiden mallien tulosten parantamisessa. Lisäksi kokeellinen virheentunnistusmenetelmä osoittautui lupaavaksi järjestelmään syötettävän datan muutoksien havaitsemisessa, joskin se vaatii vielä jatkokehitystä ollakseen käytännöllinen. Yhteenvetona voidaan todeta, että perinteiset ohjelmistotestauksen menetelmät eivät sovellu kaikkien älykkäiden järjestelmien ominaisuuksien testaamiseen, vaan niiden lisäksi tarvitaan nimenomaan älykkäiden järjestelmien laadunvarmistukseen suunniteltuja menetelmiä. Järjestelmiä pitäisi tarkastella myös kokonaisuuksina, eikä keskittyä vain älykkäisiin komponentteihin. Järjestelmätason validointi sekä vikasietoinen suunnittelu ovat oleellisia työkaluja älykkäiden järjestelmien laadunvarmistuksessa. Lisätutkimusta tarvitaan vastaamaan älykkäiden järjestelmien kasvavan monimutkaisuuden tuomiin haasteisiin

Systematic Literature Review on Cost-efficient Deep Learning (Poster)

Peer reviewe

Systematic Literature Review on Cost-efficient Deep Learning

Cloud computing and deep learning, the recent big trends in the software industry, have enabled small companies to scale their business up rapidly. However, this growth is not without a cost – deep learning models are related to the heaviest workloads in cloud data centers. When the business grows, the monetary cost of deep learning in the cloud grows fast as well. Deep learning practitioners should be prepared and equipped to limit the growing cost. We performed a systematic literature review on the methods to control the monetary cost of deep learning. Our library search resulted in 16066 papers from three article databases, IEEE Xplore, ACM Digital Library, and Scopus. We narrowed them down to 112 papers that we categorized and summarized.We found that: 1) Optimizing inference has raised more interest than optimizing training. Popular deep learning libraries already support some of the inference optimization methods such as quantization, pruning, and teacher-student. 2) The research has been centered around image inputs, and there seems to be a research gap for other types of inputs. 3) The research has been hardwareoriented, and the most typical approach to control the cost of deep learning is based on algorithm-hardware co-design. 4) Offloading some of the processing to client devices is gaining interest and has the potential to reduce the monetary cost of deep learning.peerReviewe