Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/35352
| Title: | การพัฒนาวิธีการกำหนดคะแนนจุดตัดสำหรับการทดสอบทางการศึกษาระดับชาติขั้นพื้นฐานวิชาคณิตศาสตร์ และวิชาวิทยาศาสตร์ ของนักเรียนมัธยมศึกษาปีที่ 6 |
| Other Titles: | Development of cutscores setting procedure on ordinary national educational test in mathematics and science for twelfth grade students |
| Authors: | ศิริพันธ์ ติยะวงศ์สุวรรณ |
| Advisors: | ณัฏฐภรณ์ หลาวทอง ศิริชัย กาญจนวาสี |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. คณะครุศาสตร์ |
| Advisor's Email: | Nuttaporn.L@Chula.ac.th Sirichai.K@Chula.ac.th |
| Subjects: | การให้คะแนน (นักเรียนและนักศึกษา) การวัดผลทางการศึกษา ทฤษฎีการตอบสนองข้อสอบ คณิตศาสตร์ -- ข้อสอบ วิทยาศาสตร์ -- ข้อสอบ Grading and marking (Students) Educational tests and measurements Item response theory Mathematics -- Examinations Science -- Examinations |
| Issue Date: | 2554 |
| Publisher: | จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | การวิจัยครั้งนี้มีวัตถุประสงค์ 1) เพื่อพัฒนาวิธีการกำหนดคะแนนจุดตัดสำหรับการทดสอบทางการศึกษาระดับชาติขั้นพื้นฐาน วิชาคณิตศาสตร์และวิชาวิทยาศาสตร์ ของนักเรียนชั้นมัธยมศึกษาปีที่ 6 2) เพื่อกำหนดคะแนนจุดตัดสำหรับการทดสอบทางการศึกษาระดับชาติขั้นพื้นฐานวิชาคณิตศาสตร์ และวิชาวิทยาศาสตร์ ของนักเรียนชั้นมัธยมศึกษาปีที่ 6 ด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ วิธีบุ๊คมาร์ค และวิธีเอบีซี 3) เพื่อตรวจสอบคุณภาพของคะแนนจุดตัด และ 4) เพื่อวิเคราะห์จำนวนผู้เชี่ยวชาญและจำนวนกลุ่มผู้เชี่ยวชาญที่มีความเหมาะสม เมื่อกำหนดคะแนนจุดตัดโดยวิธีแองกอฟแบบใช่/ไม่ใช่ วิธีบุ๊คมาร์ค และวิธีเอบีซี กลุ่มตัวอย่างประกอบด้วยครูผู้สอนวิชาคณิตศาสตร์จำนวน 27 คน และเป็นครูผู้สอนวิชาฟิสิกส์ 10 คน วิชาเคมี 10 คน และวิชาชีววิทยา 10 คน ข้อสอบที่ใช้ในการกำหนดคะแนนจุดตัดเป็นข้อสอบสำหรับการทดสอบทางการศึกษาระดับชาติขั้นพื้นฐาน ช่วงชั้นที่ 4 (มัธยมศึกษาปีที่ 6) ปีการศึกษา 2553 วิชาคณิตศาสตร์จำนวน 40 ข้อ คะแนนเต็ม 100 คะแนน และวิชาวิทยาศาสตร์ จำนวน 90 ข้อ คะแนนเต็ม 100 คะแนน ผลการวิจัยพบว่า 1. วิธีกำหนดคะแนนจุดตัดที่พัฒนาขึ้น คือวิธีเอบีซี เป็นวิธีที่ให้ผู้เชี่ยวชาญกำหนดคะแนนจุดตัดจากคู่มือเรียงข้อสอบรายสาระการเรียนรู้ และเสนอสารสนเทศเกี่ยวกับผลการวิเคราะห์กลุ่มประกอบการกำหนดคะแนนจุดตัด เป้าหมายในการพัฒนาวิธีนี้เพื่อลดความซับซ้อนของกระบวนการคิดของผู้เชี่ยวชาญ และเพื่อให้ได้วิธีที่ง่ายต่อการดำเนินการ อันจะนำไปสู่ดำเนินการที่มีประสิทธิภาพ 2. คะแนนจุดตัดวิชาคณิตศาสตร์ระดับ 1/2 ระดับ 2/3 และระดับ 3/4 ที่กำหนดด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ มีค่าเท่ากับ 15.11, 42.63 และ 81.26 ตามลำดับ วิธีบุ๊คมาร์ค มีค่า 39.22, 55.37 และ 70.26 ตามลำดับ และวิธีเอบีซี มีค่า 6.34, 50.74 และ 80.37 ตามลำดับ คะแนนจุดตัดวิชาวิทยาศาสตร์ระดับ 1/2 ระดับ 2/3 และระดับ 3/4 ที่กำหนดด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ มีค่าเท่ากับ 44.17, 72.44 และ88.52 ตามลำดับ วิธีบุ๊คมาร์ค มีค่า 23.52, 53.48 และ 76.93 ตามลำดับ และวิธีเอบีซี มีค่า 21.96, 64.85 และ 85.67 ตามลำดับ 3. ผลวิเคราะห์คุณภาพด้านความตรง พบว่า การกำหนดคะแนนจุดตัดด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ วิธีบุ๊คมาร์ค และวิธีเอบีมีความตรงของปัจจัยนำเข้าโดยภาพรวมอยู่ในระดับมาก สำหรับหลักการที่ผู้เชี่ยวชาญใช้ในการพิจารณาเพื่อกำหนดคะแนนจุดตัดคือ พิจารณาระดับพฤติกรรมด้านพุทธิพิสัยที่ข้อสอบต้องการวัด พิจารณารูปแบบของข้อสอบ และขั้นตอนของการได้มาซึ่งคำตอบที่ถูกต้อง คะแนนจุดตัดที่กำหนดด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ วิธีบุ๊คมาร์ค และวิธีเอบีซี มีความสอดคล้องกันน้อย คะแนนจุดตัดที่กำหนดด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ วิธีบุ๊คมาร์ค และวิธีเอบีมีความถูกต้องของการกำหนดกลุ่มสูง มีความคลาดเคลื่อนของการกำหนดกลุ่มแบบบวก และความคลาดเคลื่อนของการกำหนดกลุ่มแบบลบต่ำ สำหรับผลวิเคราะห์คุณภาพด้านความเที่ยง พบว่า วิธีแองกอฟแบบใช่/ไม่ใช่มีความเที่ยงภายในผู้เชี่ยวชาญ 0.36 ถึง 0.97 วิธีบุ๊คมาร์คมีความเที่ยงภายในผู้เชี่ยวชาญ 0.91 ถึง 0.94 วิธีเอบีซีมีความเที่ยงภายในผู้เชี่ยวชาญ 0.33 ถึง 0.90 วิธีแองกอฟแบบใช่/ไม่ใช่มีความเที่ยงระหว่างผู้เชี่ยวชาญ 0.32 ถึง 0.93 วิธีบุ๊คมาร์คมีความเที่ยงระหว่างผู้เชี่ยวชาญ 0.19 ถึง 0.79 วิธีเอบีซีมีความเที่ยงระหว่างผู้เชี่ยวชาญ 0.47 ถึง 0.87 4. จำนวนผู้เชี่ยวชาญที่เหมาะสมสำหรับการกำหนดคะแนนจุดตัดด้วยวิธีแองกอฟแบบใช่/ไม่ใช่ ควรมีจำนวน 36 คนขึ้นไป โดยแบ่งเป็น 6 กลุ่ม กลุ่มละ 6 คน วิธีบุ๊คมาร์คควรมีจำนวน 49 คนขึ้นไป โดยแบ่งเป็น 7 กลุ่ม กลุ่มละ 7 คน สำหรับวิธีเอบีซีควรมีจำนวน 25 คน ขึ้นไป โดยแบ่งเป็น 5 กลุ่ม กลุ่มละ 5 คน |
| Other Abstract: | The objectives of this study were 1) to develop an alternative cutscores setting procedure 2) to set cutscores from Yes/No Angoff method, Bookmark method, and ABC method on Ordinary National Educational Test on twelfth grade in mathematics and sciences 2010 3) to investigate the quality of cutscores and 4) to estimate the appropriate of the number of panelists and the number of table groups for the three methods. The research sample comprised of 27 mathematics teachers, ten physics teachers, ten chemistry teachers and ten biology teachers. The test consisted of 40 items in mathematics and 90 items in sciences. The total score on each test was 100. The research findings: 1. This study proposed the ABC method, which involved creating separate ordered-item booklets for each strand and providing clustering result. The purpose of this method was to reduce the cognitive complexity of the judgment task and to derive methods that were more intuitive for the panelists, which could be carried out efficiently. 2. For mathematics, the mean cutscores for 1/2, 2/3 and 3/4 levels from the Yes/No Angoff method were 15.11, 42.63, and 81.26, respectively. The mean cutscores for 1/2, 2/3 and 3/4 levels from the Bookmark method were 39.22, 55.37 and 70.26, respectively. The mean cutscores for 1/2, 2/3 and 3/4 levels from the ABC method were 6.34, 50.74, and 80.37, respectively. For sciences, the mean cutscores for 1/2, 2/3 and 3/4 levels from the Yes/No Angoff method were 44.17, 72.44, and 88.52, respectively. The mean cutscores for 1/2, 2/3 and 3/4 levels from the Bookmark method were 23.52, 53.48 and 76.93, respectively. The mean cutscores for 1/2, 2/3 and 3/4 levels from the ABC method were 21.96, 64.85, and 85.67, respectively. 3. The overall validities of standard setting inputs for the three methods were high. The panelists made a decision about cutscores by focusing on the types of cognitive domain, item formats and the step to correct answer. The level of agreement in determining performance level group of cutscores for the three methods was low. The classification accuracy of cutscores for the three methods was high. False positive and false negative error rates were low. In the Intra-rater reliability, intraclass correlation coefficients ranged from 0.36 to 0.97 for Yes/No Angoff method, from 0.91 to 0.94 for Bookmark method and from 0.33 to 0.90 for ABC method. In the Inter-rater reliability, intraclass correlation coefficients ranged from 0.32 to 0.93 for Yes/No Angoff method, from 0.19 to 0.79 for Bookmark method and from 0.47 to 0.87 for ABC method. 4. For Yes/No Angoff method, the recommendations for the numbers of panelists were 36, the numbers of table groups were 6, and the numbers of panelists per table groups were 6. For Bookmark method, the recommendations for the numbers of panelists were 49, the numbers of table groups were 7, and the numbers of panelists per table groups were 7. For ABC method, the recommendations for the numbers of panelists were 25, the numbers of table groups were 5, and the numbers of panelists per table groups were 5. |
| Description: | วิทยานิพนธ์ (ค.ด.)--จุฬาลงกรณ์มหาวิทยาลัย, 2554 |
| Degree Name: | ครุศาสตรดุษฎีบัณฑิต |
| Degree Level: | ปริญญาเอก |
| Degree Discipline: | การวัดและประเมินผลการศึกษา |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/35352 |
| URI: | http://doi.org/10.14457/CU.the.2011.577 |
| metadata.dc.identifier.DOI: | 10.14457/CU.the.2011.577 |
| Type: | Thesis |
| Appears in Collections: | Edu - Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| siripan_ti.pdf | 4.9 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.