Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/49877
| Title: | การเปรียบเทียบคุณภาพของดัชนีตรวจจับการลอกคำตอบที่อยู่บนพื้นฐานแนวคิดทฤษฎีการตอบสนองข้อสอบ |
| Other Titles: | A comparison of qualities of the answer copying indices based on item response theory |
| Authors: | อาภาพรรณ ประทุมไทย |
| Advisors: | ศิริชัย กาญจนวาสี ชูศักดิ์ ขัมภลิขิต |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. คณะครุศาสตร์ |
| Advisor's Email: | Sirichai.K@Chula.ac.th,sirichai.k@chula.ac.th yongyuthcu@gmail.com |
| Subjects: | การสอบ การทุจริต (การศึกษา) Examinations Cheating (Education) |
| Issue Date: | 2558 |
| Publisher: | จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | การวิจัยในครั้งนี้มีวัตถุประสงค์เพื่อวิเคราะห์และเปรียบเทียบคุณภาพของดัชนีตรวจจับการลอกคำตอบ ซึ่งได้แก่ อำนาจการตรวจจับการลอกคำตอบ และอัตราความคลาดเคลื่อนประเภทที่ 1 ระหว่างดัชนี ω และ GBT โดยดำเนินการวิจัยด้วยวิธีวิจัยเชิงทดลอง ที่ใช้แนวทางการศึกษา 2 แนวทาง คือ 1) การจำลองสถานการณ์ ด้วยการจำลองชุดข้อมูลการตอบของผู้สอบขึ้นจากโปรแกรม WinGen และ 2) การใช้ข้อมูลจริง ด้วยการนำชุดข้อมูลการตอบของนักเรียนชั้นมัธยมศึกษาปีที่ 6 จากการทดสอบ O-NET ปีการศึกษา 2555 จำนวน 10,000 คน มาจัดกระทำข้อมูลภายใต้เงื่อนไขตัวแปรต้นที่แตกต่างกัน 4 ตัวแปร ได้แก่ ความยาวของแบบสอบ (25, 75 ข้อ) จำนวนผู้สอบ (500, 1000, 2000 คน) ร้อยละของจำนวนข้อสอบที่ถูกลอก (ร้อยละ 10, 50, 90) และประเภทโมเดลในการประมาณค่าความน่าจะเป็น (โมเดล NRM, MCM) และวิเคราะห์ข้อมูลด้วยโปรแกม MULTILOG, R และ SPSS ผลการวิจัยพบว่า 1. เมื่อทำการศึกษาด้วยการจำลองสถานการณ์ ทั้งดัชนี ω และ GBT สามารถควบคุมอัตราความคลาดเคลื่อนประเภทที่ 1 ให้อยู่ในระดับที่ยอมรับได้ในทุกระดับนัยสำคัญที่กำหนด (.001, .01, .05) ในทุกสถานการณ์เงื่อนไขที่ศึกษา โดยที่ดัชนี GBT สามารถควบคุมอัตราความคลาดเคลื่อนประเภทที่ 1 ได้ดีกว่าในสถานการณ์ส่วนใหญ่ สำหรับอำนาจการตรวจจับการลอกคำตอบ พบว่า ดัชนี ω และ GBT สามารถตรวจจับการลอกคำตอบได้ มีค่าอำนาจการตรวจจับที่ดีในทุกสถานการณ์เงื่อนไขที่ศึกษาที่ระดับนัยสำคัญ .01 และ .05 โดยที่ส่วนใหญ่ดัชนี ω มีค่าอำนาจการตรวจจับสูงกว่าดัชนี GBT และตัวแปรที่มีอิทธิพลต่ออำนาจการตรวจจับการลอกคำตอบของทั้งสองดัชนี คือ ความยาวของแบบสอบ ร้อยละของจำนวนข้อสอบที่ถูกลอก และประเภทของโมเดล เมื่อพิจารณาทั้งอัตราความคลาดเคลื่อนประเภทที่ 1 และอำนาจการตรวจจับการลอกคำตอบร่วมกัน พบว่า โดยภาพรวมดัชนี ω มีคุณภาพดีกว่าดัชนี GBT ในสถานการณ์ส่วนใหญ่ที่มีจำนวนข้อสอบถูกลอกในปริมาณน้อยและปานกลาง (ร้อยละ 10 และ 50) ในทุกระดับความยาวแบบสอบ จำนวนผู้สอบ และประเภทโมเดล แต่ถ้ามีจำนวนข้อสอบถูกลอกในปริมาณมาก (ร้อยละ 90) พบว่าดัชนี GBT มีคุณภาพดีกว่าดัชนี ω ในสถานการณ์ส่วนใหญ่ที่ใช้แบบสอบฉบับสั้น (25 ข้อ) และมีคุณภาพทัดเทียมกันทั้งสองดัชนี ในสถานการณ์ส่วนใหญ่ที่ใช้แบบสอบฉบับยาว (75 ข้อ) 2. เมื่อทำการศึกษาด้วยการใช้ข้อมูลจริง ทั้งดัชนี ω และ GBT สามารถควบคุมอัตราความคลาดเคลื่อนประเภทที่ 1 ให้อยู่ในระดับที่ยอมรับได้ที่ระดับนัยสำคัญ .05 ในทุกสถานการณ์เงื่อนไขเมื่อใช้โมเดล NRM ในการประมาณค่าความน่าจะเป็นของดัชนี โดยที่ดัชนี GBT สามารถควบคุมอัตราความคลาดเคลื่อนประเภทที่ 1 ได้ดีกว่าในสถานการณ์ส่วนใหญ่ สำหรับอำนาจการตรวจจับการลอกคำตอบ พบว่า ทั้งดัชนี ω และ GBT สามารถตรวจจับการลอกคำตอบได้ มีค่าอำนาจการตรวจจับที่ดีในทุกระดับนัยสำคัญและทุกสถานการณ์เงื่อนไขที่ศึกษา และตัวแปรที่มีอิทธิพลต่ออำนาจการตรวจจับการลอกคำตอบของทั้งสองดัชนี คือ ความยาวของแบบสอบ ร้อยละของจำนวนข้อสอบที่ถูกลอก และประเภทของโมเดล เมื่อพิจารณาทั้งอัตราความคลาดเคลื่อนประเภทที่ 1 และอำนาจการตรวจจับการลอกคำตอบร่วมกัน พบว่า โดยภาพรวมดัชนี ω มีคุณภาพดีกว่าดัชนี GBT ในสถานการณ์ส่วนใหญ่ที่มีจำนวนข้อสอบถูกลอกในปริมาณน้อย (ร้อยละ 10) ในทุกระดับความยาวแบบสอบ จำนวนผู้สอบ และประเภทโมเดล แต่ถ้ามีจำนวนข้อสอบถูกลอกในปริมาณปานกลางและมาก (ร้อยละ 50 และ 90) พบว่าดัชนี GBT มีคุณภาพดีกว่าดัชนี ω ในสถานการณ์ส่วนใหญ่ |
| Other Abstract: | This study aims to analyze and compare the power and Type I error rates of the IRT-based ω and GBT indices in the detection of answer copying. Experimental research was employed through simulation study which data were generated, and real data study which data were comprised of answers given by two groups of 5,000 examinees from the Ordinary National Education Test (O-NET) of 2012. Simulation of answer copying were carried out under different experimental conditions: test length (25, 75 items), sample size (500, 1000, 2000 examinees), the percentage of items copied (10%, 50%, 90%), and type of IRT model (Nominal Response Model, Multiple-Choice Model). The MULTILOG, R, and SPSS computer programs were employed in data analysis processes. The programs in R written and developed by researcher were used to analyze the ω and GBT indices. The results indicated that; 1. In simulation study, the ω and GBT indices were capable of maintaining Type I error rates at all the α levels and all conditions, with the GBT index being slightly conservative. In addition, the ω and GBT indices had satisfactory power in all conditions at the α levels .01 and .05, with the ω index had slightly higher power than the GBT index in most conditions. The power of both indices varied as a function of test length, the percentage of items copied, and type of IRT model. When considering both the power and Type I error it was found that the ω index had better quality than the GBT index in most conditions when the percentage of items copied was low (10%) and moderate (50%). If the percentage of items copied was high (90%) the result indicated that the GBT index had better quality than the ω index under most conditions involving a short test comprised of 25 items, and both indices had equal quality under most conditions involving a long test comprised of 75 items. 2. In real data study, the ω and GBT indices were capable of maintaining Type I error rates at the α level of .05 under all conditions using Nominal Response Model, with the GBT index being slightly conservative. Furthermore, both indices had satisfactory power at all the α levels under all conditions, and the power of both indices varied as a function of test length, the percentage of items copied, and type of IRT model. When considering both the power and Type I error it was found that the ω index had better quality than the GBT index in most conditions when the percentage of items copied was low (10%), whereas the GBT index fared better when the percentage of items copied was moderate (50%) and high (90%). |
| Description: | วิทยานิพนธ์ (ค.ด.)--จุฬาลงกรณ์มหาวิทยาลัย, 2558 |
| Degree Name: | ครุศาสตรดุษฎีบัณฑิต |
| Degree Level: | ปริญญาเอก |
| Degree Discipline: | การวัดและประเมินผลการศึกษา |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/49877 |
| URI: | http://doi.org/10.14457/CU.the.2015.1224 |
| metadata.dc.identifier.DOI: | 10.14457/CU.the.2015.1224 |
| Type: | Thesis |
| Appears in Collections: | Edu - Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 5484259927.pdf | 8.9 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.