การวิเคราะห์ฉันทามติและการทำหน้าที่ต่างกันระหว่างผู้ประเมินในการวิเคราะห์ความสอดคล้องในแนวเดียวกัน: การประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรม

Abstract

การวิจัยนี้มีวัตถุประสงค์ 1) เพื่อประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมเพื่อวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินในการศึกษาความสอดคล้องในแนวเดียวกัน 2) เพื่อตรวจสอบประสิทธิภาพของโมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการการวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินในการศึกษาความสอดคล้องในแนวเดียวกัน 3) เพื่อศึกษาผลการประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินและการทำหน้าที่ต่างกันของผู้ประเมินในการประเมินความสอดคล้องในแนวเดียวกันระหว่างมาตรฐานและตัวชี้วัดกับข้อสอบในการประเมินระดับชั้นเรียนกลุ่มสาระการเรียนรู้วิทยาศาสตร์ ระดับมัธยมศึกษาตอนต้น

การดำเนินการศึกษาแบ่งเป็น 3 ระยะ คือ ระยะที่ 1 ศึกษาเอกสารและงานวิจัยที่เกี่ยวข้อง ระยะที่ 2 ศึกษาผลการประมาณความสอดคล้องระหว่างผู้ประเมินด้วยการจำลองแบบมอนติคาร์โล แบ่งเป็น การจำลองข้อมูล การประเมินประสิทธิภาพของการประมาณค่าของโมเดล และการวิเคราะห์ผลการจำลองข้อมูล ระยะที่ 3 ศึกษาผลการประยุกต์ใช้โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการวิเคราะห์ความสอดคล้องในแนวเดียวกันระหว่างมาตรฐานและตัวชี้วัดกับข้อสอบ ในการประเมินระดับชั้นเรียน กลุ่มสาระการเรียนรู้วิทยาศาสตร์ ระดับมัธยมศึกษาตอนต้น ผลการวิจัยสรุปได้ดังนี้

1) โมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรมในการศึกษาครั้งนี้มี 2 โมเดล โมเดล GCM หรือ MC-GCM เป็นโมเดลวิเคราะห์ข้อมูลในบริบทการประเมินที่ให้คะแนนแบบ (0, 1) จะมีพารามิเตอร์ของข้อคำถาม ซึ่งประกอบด้วยพารามิเตอร์ตำแหน่งคะแนนฉันทามติกับพารามิเตอร์ความยากของข้อคำถาม พารามิเตอร์ของผู้ประเมิน ประกอบด้วยพารามิเตอร์ความสามารถของผู้ประเมินกับพารามิเตอร์ความลำเอียงในการประเมิน โมเดล LTRM หรือ MC-LTRM เป็นโมเดลการวิเคราะห์ข้อมูลในบริบทการประเมินที่ให้คะแนนแบบมาตรประมาณค่า ประกอบด้วยพารามิเตอร์ 2 กลุ่ม คือ พารามิเตอร์ของข้อคำถาม ประกอบด้วยพารามิเตอร์ตำแหน่งคะแนนฉันทามติของการประเมินกับพารามิเตอร์ความยากของคำถามประเมิน พารามิเตอร์ของผู้ประเมิน ประกอบด้วยพารามิเตอร์ความสามารถของผู้ประเมิน กับพารามิเตอร์ความลำเอียงในการประเมิน

2) ผลการตรวจสอบประสิทธิภาพของการวิเคราะห์ความสอดคล้องระหว่างผู้ประเมินด้วยการจำลองข้อมูล พบว่า โมเดล MC-GCM และโมเดล MC-LTRM สามารถประมาณค่าพารามิเตอร์ได้ใกล้เคียงกับค่าจริงของพารามิเตอร์ที่กำหนดไว้ โดยมีค่าเฉลี่ยความคลาดเคลื่อนยกกำลังสอง และค่าความลำเอียงในการประมาณค่าที่เข้าใกล้ 0 และมีค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างค่าจริงและค่าที่ได้จากการประมาณค่าของโมเดลในระดับสูง ค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างค่าจริงและค่าที่ได้จากการประมาณค่ามีความสัมพันธ์กันในระดับสูง และมีนัยสำคัญทางสถิติ ผลการวิเคราะห์อิทธิพลของตัวแปรอิสระที่ส่งผลต่อการประมาณค่า พบว่า ปัจจัยที่ส่งผลต่อประสิทธิภาพในการประมาณค่าของโมเดลทั้งสอง คือ การทำหน้าที่ต่างกันของผู้ประเมิน ซึ่งส่งผลต่อค่าเฉลี่ยความคลาดเคลื่อนยกกำลังสองและค่าสัมประสิทธิ์สหสัมพันธ์ระหว่างค่าจริงและค่าที่ได้จากการประมาณค่าของโมเดลในการประมาณค่าพารามิเตอร์ความสามารถของผู้ประเมิน และความยากของรายการประเมินอย่างมีนัยสำคัญทางสถิติ

3) ผลการวิเคราะห์ความสอดคล้องในแนวเดียวกันด้วยโมเดลการวิเคราะห์ฉันทามติเชิงวัฒนธรรม พบว่า ไม่มีการทำหน้าที่ต่างกันระหว่างผู้ประเมิน โดยมีผลการประเมิน ดังนี้ 3.1) ผลคะแนนการประเมินระดับความซับซ้อนทางปัญญาของข้อสอบในการประเมินระดับชาติ กลุ่มสาระการเรียนรู้วิทยาศาสตร์ ระดับชั้นมัธยมศึกษาปีที่ 3 มีตำแหน่งคะแนนการประเมินอยู่ในตำแหน่งคะแนนประเมินระดับ 2 (เข้าใจ) ถึงระดับ 4 (ประยุกต์ใช้) 3.2) ผลการประเมินความสอดคล้องในแนวเดียวกันระหว่างมาตรฐานและตัวชี้วัดกับข้อสอบในการประเมินระดับชั้นเรียน มีตำแหน่งคะแนนการประเมินจะอยู่ในเทรชโฮลด์ที่ 4 หรือระดับการประเมินที่ 5 (สอดคล้องโดยตรง)