Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/37608
| Title: | การเปรียบเทียบคุณภาพของวิธีจัดการข้อมูลสูญหาย สำหรับประมาณค่าพารามิเตอร์ของข้อสอบและความสามารถของผู้สอบ |
| Other Titles: | A comparison of the quality of missing data treatment methods for estimation of item and examinees’ ability parameters |
| Authors: | กมลทิพย์ ศรีหาเศษ |
| Advisors: | ศิริชัย กาญจนวาสี ดิเรก ศรีสุโข |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. คณะครุศาสตร์ |
| Advisor's Email: | Sirichai.K@Chula.ac.th Derek.s@chula.ac.th |
| Subjects: | ทฤษฎีการตอบสนองข้อสอบ ข้อมูลสูญหาย (สถิติ) ทฤษฎีการประมาณค่า วิธีมอนติคาร์โล Item response theory Missing observations (Statistics) Estimation theory Monte Carlo method |
| Issue Date: | 2555 |
| Publisher: | จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | การวิจัยครั้งนี้มีวัตถุประสงค์ 2 ประการ คือ 1) เพื่อวิเคราะห์ค่าพารามิเตอร์ของข้อการวิจัยครั้งนี้มีวัตถุประสงค์ 2 ประการคือ 1) เพื่อวิเคราะห์ค่าพารามิเตอร์ของข้อสอบและความสามารถของผู้สอบ เมื่อมีวิธีจัดการข้อมูลสูญหายที่แตกต่างกัน 3 วิธี และ 2) เพื่อเปรียบเทียบคุณภาพของวิธีจัดการข้อมูลสูญหาย 3 วิธีสำหรับประมาณค่าพารามิเตอร์ของข้อสอบและความสามารถของผู้สอบ เงื่อนไขที่ศึกษามี 144 เงื่อนไข (3X2X3X4X2) ประกอบด้วย วิธีจัดการข้อมูลสูญหาย 3 วิธี คือ วิธีการประมาณค่าทดแทนพหุ (multiple imputation: MI) วิธีค่าคาดหมายสูงสุด (expectation-maximization algorithm: EM) และวิธีการประมาณค่าที่เป็นไปได้สูงสุด (maximum likelihood estimation: ML) สภาวะการสูญหายของข้อมูล 2 ประเภท คือ การสูญหายอย่างสุ่ม (missing at random: MAR) และการสูญหายที่ไม่ใช่อย่างสุ่ม (missing not at random: MNAR) ขนาดกลุ่มตัวอย่าง 3 ขนาด คือ 1,500 3,000 และ 4,500 คน อัตราการสูญหายของข้อมูลที่ต่างกัน 4 ระดับคือ 5% 10% 15% และ 20% และความยาวแบบสอบ 2 ระดับ คือ 20 ข้อ และ 40 ข้อ ดำเนินการศึกษาจากการจำลองข้อมูลภายใต้โมเดลการตอบสนองข้อสอบแบบโลจิสติก ชนิด 3 พารามิเตอร์ (three- parameter logistic model: 3PL) โดยมีการตรวจให้คะแนน 2 ค่า การจำลองข้อมูลมีการดำเนินงาน 3 ขั้นตอน คือ 1) การกำหนดค่าพารามิเตอร์ของข้อสอบและความสามารถของผู้สอบ และแบบแผนการตอบของนักเรียนแต่ละคน 2) การสร้างสภาวะการสูญหายของข้อมูลแบบ MAR และ MNAR และประมาณค่าทดแทนข้อมูลสูญหาย และ 3) การประมาณค่าพารามิเตอร์ของข้อสอบและความสามารถของผู้สอบตามโมเดล 3PL เกณฑ์ที่ใช้ในการเปรียบเทียบคุณภาพวิธีจัดการข้อมูลสูญหายพิจารณาจากดัชนีค่าความลำเอียง (BIAS) และดัชนีค่ารากที่สองของความคลาดเคลื่อนยกกำลังสองเฉลี่ย (RMSE) เปรียบเทียบความแตกต่างของดัชนีค่าความลำเอียงด้วยการวิเคราะห์ความแปรปรวนแบบทางเดียว เมื่อมีการวัดซ้ำ (One-way repeated measure ANOVA) สรุปผลการวิจัยได้ดังนี้ 1. ผลการวิเคราะห์ค่าพารามิเตอร์ของข้อสอบด้วยวิธีจัดการข้อมูลสูญหาย 3 วิธี พบว่า ภายใต้สภาวะการสูญหายทั้ง 2 ประเภท ค่าพารามิเตอร์ของข้อสอบ จากการประมาณค่าทั้ง 3 วิธี มีค่าใกล้เคียงกัน โดยวิธี EM ให้ค่าอำนาจจำแนก (a) ใกล้เคียงค่าพารามิเตอร์ที่แท้จริงของข้อสอบมากที่สุด ส่วนค่าความยากของข้อสอบ (b) และค่าโอกาสในการเดา (c) วิธี ML ให้ค่าพารามิเตอร์ใกล้เคียงค่าพารามิเตอร์ที่แท้จริงมากที่สุด ภายใต้สภาวะการสูญหายทั้ง 2 ประเภท ค่าพารามิเตอร์ความสามารถของผู้สอบ (θ) จากการประมาณค่าทั้ง 3 วิธี นั้น วิธี ML ให้ค่าพารามิเตอร์ใกล้เคียงค่าพารามิเตอร์ที่แท้จริงมากที่สุด 2. ผลการเปรียบเทียบคุณภาพของวิธีจัดการข้อมูลสูญหายสำหรับประมาณค่าพารามิเตอร์ของข้อสอบ และความสามารถของผู้สอบด้วยวิธีที่แตกต่างกัน 3 วิธี พบว่า ผลที่ได้จากการประมาณค่าพารามิเตอร์ของข้อสอบ และความสามารถของผู้สอบจากวิธีจัดการข้อมูลสูญหายทั้ง 3 วิธี ส่วนใหญ่ให้คุณภาพของการประมาณค่าพารามิเตอร์ของข้อสอบและความสามารถของผู้สอบไม่ต่างกัน โดยภายใต้สภาวะการสูญหายทั้ง 2 แบบ วิธี EM ให้ค่า BIAS และ RMSE ในการประมาณค่าอำนาจจำแนกของข้อสอบ (a) น้อยที่สุด ส่วนวิธี ML ให้ค่า BIAS และ RMSE ในการประมาณค่าความยากของข้อสอบ (b) และค่าโอกาสในการเดา (c) น้อยที่สุด ภายใต้สภาวะการสูญหายอย่างสุ่ม (MAR) วิธี ML ให้ค่าดัชนี BIAS และ RMSE ในการประมาณค่าพารามิเตอร์ความสามารถของผู้สอบ (θ) น้อยที่สุด ส่วนภายใต้สภาวะการสูญหายที่ไม่ใช่อย่างสุ่ม (MNAR) วิธี MI ให้ค่าดัชนี BIAS ในการประมาณค่าพารามิเตอร์ความสามารถของผู้สอบ (θ) น้อยที่สุด แต่เมื่อพิจารณาดัชนี RMSE ทั้ง 3 วิธี ให้ค่าพารามิเตอร์ความสามารถของผู้สอบ (θ) ใกล้เคียงกัน |
| Other Abstract: | To 1) analyze the item parameters and the examinees’ ability by using three treatment methods of missing data and 2) compare the quality of the three treatment methods of missing data for estimation of the item parameters and the examinees’ ability. In this research, 144 conditions (3X2X3X4X2) were studied. These included three treatment methods of missing data-- multiple imputation (MI), expectation-maximization algorithm (EM) and maximum likelihood estimation (ML). Two types of missing data consisted of missing at random (MAR) and missing not at random (MNAR). There were three groups of sample size, that is, 1,500, 3,000, and 4,500. There were four missing rates--5%, 10%, 15%, and 20% as well as two levels of test length--20 and 40 items. The data modeling was performed by using the three-parameter logistic model (3PL) with dichotomous item response. There were three steps of data modeling-- 1) generating the item parameters, the examinees’ ability, and the response patterns, 2) performing the stages of missing data for MAR and MNAR and estimating the compensation of missing data, and 3) estimating item parameters and examinees’ ability based on the 3PL model. To compare the quality of the treatment methods of missing data, the BIAS index and the index of square-root of quadratic average deviation (RMSE) were taken into account. A one-way repeated measure ANOVA was performed in order to compare the BIAS indexes. The research findings were as follows: 1. The results of the analysis of the item parameters by using three treatment methods of missing data (MI, EM, ML) revealed that--within the two types of missing data (MAR, MNAR)--the item parameters obtained from the three methods of estimation were similar. Among the three methods, the discrimination power (a) from the EM method was closest to the true item parameter. By using the ML method, the difficulty (b) and pseudo-guessing (c) were closest to the true parameter. In addition, the ML method yielded the examinees’ ability (θ) that was closest to the true parameter. 2. According to the comparison of the quality of the three treatment methods of missing data for estimation of the item parameters and the examinees’ ability, the results showed that there was no significant difference either in the item parameter estimation or in the examinee’s ability estimation. Under the conditions of the two missing data settings (MAR, MNAR), when estimating the discrimination power (a), the EM method yielded the smallest values of the BIAS and RMSE whereas the ML method yielded the smallest values of these two indexes when estimating the difficulty (b) and pseudo-guessing (c). Under the condition of MAR, the ML method yielded the smallest values of BIAS and RMSE when estimating the examinees’ ability (θ). In contrast, under the condition of MNAR, the MI method yielded the smallest value of BIAS when estimating the examinees’ ability (θ). However, the three treatment methods yielded the similar values of RMSE when estimating the examinees’ ability (θ). |
| Description: | วิทยานิพนธ์ (ค.ด.)--จุฬาลงกรณ์มหาวิทยาลัย, 2555 |
| Degree Name: | ครุศาสตรดุษฎีบัณฑิต |
| Degree Level: | ปริญญาเอก |
| Degree Discipline: | การวัดและประเมินผลการศึกษา |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/37608 |
| URI: | http://doi.org/10.14457/CU.the.2012.1165 |
| metadata.dc.identifier.DOI: | 10.14457/CU.the.2012.1165 |
| Type: | Thesis |
| Appears in Collections: | Edu - Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| kamontip_sr.pdf | 9.39 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.