12 research outputs found

    Sex and Grade Issues in Influencing Misconceptions about Force and Laws of Motion: An Application of Cognitively Diagnostic Assessment

    No full text
    The force and laws of motion concept is a key concept for learning mechanics and comprehending other complex concepts in physics. If students possess misconceptions about this concept, learning mechanics will be meaningless, which could lead to failure in physics learning. Sexes and grades may influence students’ misconceptions. However, there are contradictory findings regarding their effects on students’ misconceptions. In this study, we diagnosed misconceptions about force and laws of motion in 522 Thai high schoolers using the cognitively diagnostic assessment. Misconceptions about force and laws of motion comprise six attributes, i.e., (1) resultant force, (2) Newton’s first law of motion, (3) Newton’s second law of motion, (4) Newton’s third law of motion, (5) frictional force, and (6) gravitational force. In addition, we compared the proportional differences among students of different sexes and grades who possessed misconceptions about each attribute of force and laws of motion. The results showed that the percentage of high schoolers who possessed misconceptions was high for all six attributes. There was a significant difference in the proportion of male and female students who possessed misconceptions about resultant force. Moreover, there were significant differences in the proportions of students of different grades who possessed misconceptions about resultant force and Newton’s second law of motion. The research findings suggested teachers should develop remedial programs to correct their high schoolers’ misconceptions about force and laws of motion for all six attributes

    Computerized Adaptive Testing with Reflective Feedback: A Conceptual Framework

    Get PDF
    AbstractComputerized Adaptive Testing (CAT) has been developed for many years. The main concept of CAT is the administration of items that are proper to each examinee's ability. In general, CAT has three important components, starting point, item selection and ability estimation, and stopping rules. Although CAT has been used for a long time, but still lack of ability estimation. In 2014, Zheng and Chang developed a new algorithm to fulfill the lack of ability estimation which is called On-the-Fly Assemble Multistage Adaptive testing or OMST. The study of Zheng and Chang shown that OMST is outperformed the traditional CAT. Furthermore, CAT reports testing score including feedback to be a summative assessment. However feedforward, one of formative assessment, is important to improve the learners. Both of feedback and feedforward in this research are referred to as reflective feedback. In this research, we would like to purpose a new conceptual framework which combines OMST and reflective feedback together. Items that we use for testing came from Information Technology Professional Examination (only IP level) from 2010 to 2014. Selected items into item pools will be analyzed by item response theory (IRT). The results of CAT with this framework will help protect over and under estimate ability of the examinees and will show instant feedback and feedforward simultaneously

    Development of Internal Quality Assurance Indicators of Faculty of Education in Cambodia

    Get PDF
    The purpose of the research study was to develop a model of internalquality assurance indicators of faculty of education in Cambodia. The two specific objectives were 1) to construct internal quality assurance indicators of faculty of education in Cambodia and 2) to verify the fit of the model with empirical data. Four experts of higher education and four stakeholders of faculty of education in Cambodia were selected through the purposive sampling technique to determine possible dimensions and indicators of educational quality of faculty of education in Cambodia and 800 teachers, staff, and students of faculty of education in the academic year of 2014-2015 were selected from 20 higher education institutions in Cambodia through the simple random sampling technique to verify the fit of the model. Two types ofresearch instrument were used, the semi-structured interview form and questionnaire. The content analysis and confirmatory factor analysis were conducted for the two objectives. The results revealed that the model was composed of six dimensions and 22 sub-dimensions with 77 indicators and the model fitted the empirical data with a chi-square of 162.120 on 160 degrees of freedom and a p-value of 0.438, a goodness of fit index (GFI) of 0.982, an adjusted goodness of fit index (AGFI) of 0.971, and a standardized root mean square residual (Standardized RMR) of 0.023

    Development of a dissertation quality value-added model for humanities and social sciences programs for private higher education institutions in Thailand

    Get PDF
    AbstractThe purposes of this study were: (1) to evaluate the quality of dissertations in the humanities and social sciences of private higher education institutions, (2) to analyze factors affecting the quality at the student, advisor, and institute levels, and (3) to develop a quality, value-added model of the dissertations. Samples consisted of: (1) 750 student dissertations in the humanities and social sciences and (2) 753 questionnaire responses consisting of 633 students, 108 dissertation advisors, and 12 senior administrators in the participating institutions. A 5-point rating dissertation evaluation scale was developed for use by the researcher and her assistants. Three sets of a dissertation attribution questionnaire used by the students, advisors, and senior administrators were also developed and administered. Descriptive statistics were used with the 5-point rating data. The 3-level HLM package was used to analyze the quality, value-added model of the dissertations. The findings of the study were: (1) the overall quality of the 750 dissertations was at the standard level; (2) there were 5 factors at 3 different levels influencing the dissertation quality with 1 student factor (favorable characteristics in conducting research), 3 advisor factors (experience in research, up-to-date knowledge in research, and the advisor-student ratio), 1 institutional factor (close monitoring and management system); and (3) the quality value-added model was able to predict the variance of the dissertation quality at 36 percent

    Šeštokų tailandiečių anglų kalbos gebėjimų įvertinimas : daugiamatės generalizacijos teorijos taikymas

    No full text
    This research studies an analytic rating scale for an English speaking skills assessment designed for Grade 6 Thai students learning English as a foreign language. A rating scale was developed, validated, and then piloted using assessment results from 101 students attending a government school in Bangkok, Thailand. The analytic rating scale developed for the as-sessment is composed of 6 components: vocabulary, syntax, cohesion, pronunciation, ideational function and fluency. The reliability of the rating scale was examined with different numbers of speaking tasks and raters. Multivariate generalizability theory (G theory) was utilized for the data analysis. Results. The results showed that fluency was the greatest variance component of the composite score of the analytic rating scale, followed by ideational function, cohesion, vocabulary and syntax, and pronunciation respectively. Reliability of the composite score for the speaking analytic rating scale was high (over .80). It was found that the reliability coefficients for each component would be reliable (over .80) when six or more tasks are used and the number of raters is from 6–10 and above. The dependability increased more when the number of tasks increased and when the number of raters increased. It was also found that a reliable high Phi Coefficient (over .80) could be obtained using only 6 tasks and 3 raters.The main results were then discussed in more detail.Šiame tyrime nagrinėjama analitinė rangavimo skalė anglų kalbos kalbėjimui vertinti, sukurta šeštokams tailandiečiams, besimokantiems anglų kaip antrosios kalbos. Šiam tyrimui buvo sukurta ir validizuota vertinimo skalė, taip pat atliktas žvalgomasis vertinimas naudojant 101 mokinio, lankančio valstybinę mokyklą Bankonke, Tailande, duomenys. Sukurta analitinė vertinimo skalė vertina 6 komponentus: žodyną, sintaksę, rišlumą, tarimą, turinį ir sklandumą. Vertinimo skalės patikimumas analizuotas naudojant skirtingą kalbėjimo užduočių kiekį ir skirtingą vertinančių ekspertų skaičių. Analizuojant rezultatus buvo remiamasi Daugiamate generalizavimo teorija (G teorija). Rezultatai rodo, kad sklandumas sudaro didžiausią analitinės vertinimo skalės sklaidos dalį, toliau pagal paaiškinamos sklaidos dalį seka turinys, rišlumas, žodynas, sintaksė ir tarimas. Bendros skalės patikimumas buvo aukštas (daugiau kaip 0,80). Nustatyta, kad patikimumo koeficientai kiekvienam komponentui yra aukšti (daugiau kaip 0,80), kai vertinamos šešios ar daugiau užduočių ir tai atlieka 6–10 ar daugiau vertintojų. Sąsajos didėjo, kai buvo didinamas vertinamų užduočių arba vertintojų skaičius. Taip pat išsiaiškinta, kad pakankamai aukštas patikimumo Phi koeficientas (daugiau kaip 0,80) pasiekiamas naudojant tik 6 užduotis ir 3 vertintojus. Pagrindiniai rezultatai aptariami detaliau

    Development of a Model of Organizational Effectiveness Evaluation for Faculties of Education: An Application of Multilevel Causal Analysis

    Get PDF
    The objectives of the present research were (1) to develop an effective evaluation model for faculty of education of Higher Education in Thailand (2) to study causal factors at field level and department level for correlation and effect in effectiveness of faculty of education and (3) to test invariance of a multilevel causal analysis model of faculty of education effectiveness among public universities and public autonomous universities. The total of 913 samples were stratified randomly, and consisted of 33deans and administrators, 110 heads of field, 550 faculty members and 220 supporting staff in 4 public autonomous universities and 7 public universities in Thailand. Five-point Likert scales were used for the developed instruments with Cronbach‘s alphas ranging from 0.780 to 0.978. Statistical analyses were made based on descriptive statistics, Pearson‘s product moment correlation using SPSS version 16.0 for Windows. The multi-level confirmatory factor analysis and the multilevel causal model analysis were performed using Mplus version 5.21. The model of organizational effectiveness was described by nine variables namely, (1)educational satisfaction (2) academic development (3) faculty member‘s satisfaction (4) professional development (5) system openness and communityinteraction (6) ability to acquire resources and money (7) goal attainment (8) internal process management and (9) learning and development.

    Development of an English Speaking Skill Assessment Model for Grade 6 Students by Using Portfolio

    Get PDF
    AbstractIt has been found from language assessment that the results were lower in terms of reliability compared to other aspects. Therefore, the development of a reliable model on English speaking skill assessment is very important and it will hopefully bring about English language teaching improvement. The objectives of this research were to study the steps and the components of a portfolio on English speaking skill assessment as well as to develop the English speaking skill assessment criteria for grade 6 students. The research methods used include a review of documents and interviews of nine experts on English language teaching and language assessment. The data was analysed using content analysis method. The results found that the component of the portfolio on English speaking skill assessment for grade 6 students comprises three parts: 1) Introduction 2) Contents and 3) Assessment criteria. There are 7 steps in using a portfolio in assessment: 1) planning 2) preparation for students 3) evidence collecting 4) progress monitoring 5) improvement of performance 6) reflection and 7) displaying the works. The tasks involved in English speaking skill assessment include interviewing, oral presentation, storytelling, making picture description. Analytic rating scale was applied as scoring criteria on vocabulary, syntax, cohesion, pronunciation ideational function and fluency

    The Measurement of a Multidimensional Learning Strategy in Upper Secondary School Students: Competing Model, and Predicting on Academic Achievement

    Get PDF
    The purposes of this study were 1) to compare the efficiency of learning strategies measurement models consisted of (a) Weinstein and Palmer‘s Model, (b) Stevens and Tallent-Runnels‘s Model, (c) Cano‘s Model, and (d) Model developed by the researcher, and 2) to assess the prediction of measurement efficiency of students‘ learning strategies on academic achievement. The participants were 2,187 upper secondary school students from schools under the jurisdiction of the Office of the Basic Education Commission of Thailand. The instrument for data collection was a multidimensional learning strategies scale for upper secondary school students. In the results of this study, the model developed by the researcher was the most efficient model consisted of three dimensions: cognitive, affective, and skill strategies. This model was identified by 2=24.666 (df =17, p=.102), 2/df=1.451, GFI=.998, AGFI=.993, RMR=.008, RMSEA=.014, CFI=1.000, and AIC=100.666 (SaturatedAIC=110.000). The skill strategy, affective strategy, and cognitive strategy had significant positive effects on academic achievement. The standardized regression coefficients were .274, .241, and .227, respectively. Eachstrategy accounted for 7.50, 5.80, and 5.10 percents of variance in the academic achievement. There was low error of prediction for .008, .007, and .010, respectively.

    Using Multilevel Confirmatory Factor Analysis To Study Student Well-Being In Thailand

    Get PDF
    Multilevel confirmatory factor analysis was used to assess the factor structure of the six-factor student well-being scale at between- and within-class levels. A total of 2,707 Matthayom 4-6 students (equivalent to grades 10-12) from 71 classrooms (785 male and 1,922 female) completed this 54-items student well-being scale. Results showed that a single latent factor structure was acceptable fitted at between and within class levels. The reliability estimates of the six factors (Positive attitudes and emotions towards school, Enjoyment in school, Positive academic self-concept, (Absence of) Social problems in school, (Absence of) School worries, and (Absence of) Physical complaints) were 0.73, 0.38, 0.22, 0.13, 0.14, and 0.02, respectively, at the student level, whereas these estimates were 0.39, 0.44, 0.48, 0.61, 0.65, and 0.82, respectively, at the classroom level

    การพัฒนารูปแบบการประเมินการฝึกอบรมข้าราชการทหารของกองทัพอากาศ: การประยุกต์ใช้การประเมินพหุแนวคิด (DEVELOPMENT OF AN EVALUATION MODEL OF ROYAL THAI AIR FORCE MILITARY OFFICERS’ TRAINING: AN APPLICATION OF MULTIPLE EVALUATION APPROACHES)

    No full text
    การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อพัฒนารูปแบบการประเมินการฝึกอบรมข้าราชการทหารของกองทัพอากาศ โดยประยุกต์ใช้การประเมินพหุแนวคิด ซึ่งมีวัตถุประสงค์เฉพาะ คือ 1) เพื่อกำหนดแนวคิดการประเมินการฝึกอบรม 2) เพื่อวิเคราะห์ และสังเคราะห์องค์ประกอบ และตัวบ่งชี้ในการประเมินการฝึกอบรม 3) เพื่อสร้างรูปแบบการประเมินการฝึกอบรม และ 4) เพื่อทดลองใช้และประเมินรูปแบบการประเมินการฝึกอบรมข้าราชการทหารของกองทัพอากาศที่พัฒนาขึ้น แหล่งข้อมูลในการวิจัย ได้แก่ เอกสารหลักสูตรการฝึกอบรม 78 ชุด เอกสารรายงานการฝึกอบรม 64 ชุด ผู้เกี่ยวข้องกับการฝึกอบรม จำนวน 279 คน ผู้ทรงคุณวุฒิด้านการประเมินการฝึกอบรมและการฝึกอบรม จำนวน 21 คน เครื่องมือที่ใช้ในการวิจัย ได้แก่ แบบวิเคราะห์เอกสาร แบบสัมภาษณ์ไม่มีโครงสร้าง แบบสอบถาม และแบบประเมินการฝึกอบรม วิเคราะห์ข้อมูลเชิงปริมาณโดยใช้ค่าความถี่ ร้อยละ ค่าเฉลี่ย และส่วนเบี่ยงเบนมาตรฐาน ส่วนข้อมูลเชิงคุณภาพใช้การวิเคราะห์เนื้อหา ผลการวิจัยสรุปได้ดังนี้1. แนวคิดการประเมินการฝึกอบรมของข้าราชการทหารของกองทัพอากาศอยู่บนพื้นฐานการประเมินพหุแนวคิด 6 กลุ่มแนวคิด ได้แก่ แนวคิดการประเมินอิงผลสัมฤทธิ์ แนวคิดการประเมินอิงเศรษฐศาสตร์ แนวคิดการประเมินอิงระบบ แนวคิดการประเมินอิงทฤษฎี แนวคิดการประเมินอิงผู้เกี่ยวข้อง และแนวคิดการประเมินอิงสภาพความเป็นจริง2. องค์ประกอบและตัวบ่งชี้ในการประเมินการฝึกอบรม ประกอบด้วย 1) การประเมินก่อนการฝึกอบรม มี 4 องค์ประกอบ ครอบคลุม 5 ตัวบ่งชี้หลัก 67 ตัวบ่งชี้ย่อย 2) การประเมินระหว่างการฝึกอบรม มี 4 องค์ประกอบ ครอบคลุม 4 ตัวบ่งชี้หลัก 57 ตัวบ่งชี้ย่อย 3) การประเมินหลังการฝึกอบรม มี 7 องค์ประกอบ ครอบคลุม 12 ตัวบ่งชี้หลัก 59 ตัวบ่งชี้ย่อย3. รูปแบบการประเมินการฝึกอบรมข้าราชการทหารของกองทัพอากาศ ประกอบด้วย 2 องค์ประกอบหลัก ได้แก่ ส่วนที่เป็นกรอบแนวคิดของรูปแบบและส่วนที่เป็นข้อความรู้ และแนวปฏิบัติเกี่ยวกับการประเมินการฝึกอบรม ประกอบด้วย นิยามของการประเมินการฝึกอบรม เป้าหมายของการประเมินการฝึกอบรม วัตถุประสงค์ของการประเมินการฝึกอบรม ประเภทของการประเมินการฝึกอบรม บทบาทของการประเมินการฝึกอบรม กระบวนการประเมินการฝึกอบรมและสิ่งที่มุ่งประเมิน4. ผลการทดลองใช้และประเมินรูปแบบการประเมินการฝึกอบรมที่พัฒนาขึ้นพบว่า รูปแบบการประเมินนำไปทดลองใช้ได้ครบตามสถานการณ์ของการประเมินทั้งการประเมินก่อนการฝึกอบรม ระหว่างการฝึกอบรม และหลังการฝึกอบรม โดยผู้ทดลองใช้รูปแบบเห็นด้วยว่า รูปแบบการประเมินมีประโยชน์ต่อการประเมินการฝึกอบรมโดยให้องค์ความรู้ที่จำเป็น มีความเป็น ไปได้โดยนำไปปฏิบัติได้จริง มีความเหมาะสม โดยมุ้งเน้นประสิทธิผลในการประเมินการฝึกอบรม และ มีความถูกต้องโดยให้ข้อมูลอย่างชัดเจนและเพียงพอคำสำคัญ: รูปแบบการประเมินการฝึกอบรม การประเมินพหุแนวคิด การฝึกอบรมข้าราชการทหารThe purpose of this research was to develop a model of training evaluation for the Royal Thai Air Force military officers by applying the multiple evaluation approaches with the specific purposes as follows; 1) to analyze the context of evaluation; 2) to analyze and determine the concept of a training evaluation; 3) to develop the component, indicator and a model of training evaluation for the Royal Thai Air Force military officers and; 4) to try out and evaluate a developed evaluation model. Key informants for this research were 78 curriculum documents for training, 64 training reports, 279 training stakeholders and 21 experts of evaluation and training. Collecting data were document analysis, unstructured interview, questionnaire and training evaluation form. Quantitative analysis was done by using frequency, percentage, average and standard deviation. Qualitative analysis was done by using content analysis.Research results are concluded as follows.1. The Royal Thai Air Force military officers’ training concept was based on 6 multiple evaluation approaches (RESTAR-Multiple Evaluation Approaches): Results-based Evaluation Approach; Economic-based Evaluation Approach; System-based Evaluation Approach; Theory-based Evaluation Approach; Actor-based Evaluation Approach and Real-world-based Evaluation Approach.2. Components and indicators of the training evaluation contain 1) pre-training-evaluation which was composed of 4 components including 5 main indicators and 67 sub-indicators 2) on-training-evaluation which consisted on 4 components including 4 main indicators and 57 sub-indicators 3) post- training-evaluation were made up with 7 components including 12 main indicators and 59 sub-indicators.3. A model of training evaluation for the Royal Thai Air Force military officers has 2 main components: concept framework of training evaluation and basic knowledge and guideline of training evaluation covering definition, goal, objective, type, role, process and target of evaluation.4. The try-out and evaluation on the model of training evaluation found that the training evaluation model could be used for all evaluated situations: pre-training evaluation, during training evaluation and post-training evaluation. Most users of training evaluation model agreed that 1) the developed training evaluation model was a useful model for training evaluation by providing necessary knowledge, 2) it was likely to use the training evaluation in reality, 3) the training evaluation model was suitable with a concentration on effectiveness of training evaluation; and 4) the training evaluation model was accurate in giving sufficient and distinct information.Keywords: Training evaluation model, Multiple evaluation approaches, Military officers’ trainin
    corecore