Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/17124
| Title: | การเปรียบเทียบคุณภาพของวิธีการเชื่อมโยงคะแนนตามทฤษฎีการตอบสนองข้อสอบแบบพหุมิติภายใต้การหมุนแกน โครงสร้างเชิงมิติและระดับความสัมพันธ์ที่แตกต่างกัน |
| Other Titles: | A comparison of quality of multidimensional item response theory linking methods under the differences of rotation, dimensional structure, and correlation coefficient |
| Authors: | พัชรี จันทร์เพ็ง |
| Advisors: | ณัฏฐภรณ์ หลาวทอง ศิริชัย กาญจนวาสี |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. คณะครุศาสตร์ |
| Advisor's Email: | Lawthong_n@hotmail.com Sirichai.K@Chula.ac.th |
| Subjects: | ปริญญาดุษฎีบัณฑิต การสร้างมาตรวัดแบบพหุมิติ ข้อสอบ |
| Issue Date: | 2550 |
| Publisher: | จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | การวิจัยครั้งนี้เป็นการวิจัยเชิงทดลอง มีวัตถุประสงค์ 2 ประการ คือ 1) เพื่อศึกษาปฏิสัมพันธ์ของวิธีการเชื่อมโยงคะแนน โครงสร้างมิติความสามารถ และระดับความสัมพันธ์ระหว่างมิติความสามารถ และ 2) เพื่อเปรียบเทียบคุณภาพของวิธีการเชื่อมโยงคะแนนตามโมเดล MIRT ที่มีลักษณะการหมุนแกนแตกต่างกัน 2 วิธี คือ การหมุนแกนแบบตั้งฉากโดยวิธี M (Min’s Method) และการหมุนแกนแบบไม่ตั้งฉากโดยวิธี NOP (Non-Orthogonal Procrustes Method) ภายใต้โครงสร้างมิติความสามารถและระดับความสัมพันธ์ระหว่างมิติความสามารถที่ต่างกัน เงื่อนไขที่ทำการศึกษามี 12 เงื่อนไข (2X2X3) ประกอบด้วย วิธีการเชื่อมโยงคะแนน 2 วิธี คือ วิธี M และ วิธี NOP โครงสร้างมิติความสามารถ 2 ลักษณะ คือ โครงสร้างที่ไม่ซับซ้อน และโครงสร้างที่ซับซ้อนมากขึ้น และระดับความสัมพันธ์ระหว่างมิติความสามารถ 3 ระดับ คือ ไม่มีความสัมพันธ์ (r = 0.0) มีความสัมพันธ์ระดับกลาง (r=0.5) และมีความสัมพันธ์ระดับสูง (r=0.8) ดำเนินการศึกษาจากการจำลองข้อมูลผู้สอบที่มีความสามารถต่างกัน 3 ระดับขั้น คือระดับต้น ระดับกลาง และระดับสูง ระดับขั้นละ 2,000 คน ออกแบบการเก็บข้อมูลสำหรับผู้สอบกลุ่มไม่เท่าเทียมกันโดยใช้ข้อสอบร่วมระดับละ 30 ข้อ ซึ่งศึกษาจากค่าพารามิเตอร์การแปลงคะแนนของข้อสอบจากระดับความสามารถต้นไปยังระดับกลาง และระดับกลางไปยังระดับสูง การจำลองข้อมูลมี 3 ขั้นตอน คือ 1) การสร้างค่าพารามิเตอร์ที่แท้จริงของข้อสอบและแบบแผนการตอบของนักเรียนแต่ละระดับ 2) การประมาณค่าพารามิเตอร์ตามโมเดล MIRT และ 3) การเชื่อมโยงคะแนนหรือการปรับเทียบคะแนน เกณฑ์ที่ใช้ในการเปรียบเทียบคุณภาพวิธีการเชื่อมโยงคะแนนพิจารณาจากดัชนีรากที่สองของความคลาดเคลื่อนยกกำลังสองเฉลี่ย (RMSE) ดัชนีความลำเอียง (BIAS) และค่าความสัมพันธ์ระหว่างคะแนนที่แปลงได้กับคะแนนเกณฑ์ (CORR) พร้อมทั้งวิเคราะห์ความแปรปรวนแบบพหุจำแนก 3 ทาง (Three-way MANOVA) เพื่อเปรียบเทียบค่าเฉลี่ยของดัชนี RMSE BIAS และ CORR สำหรับศึกษาปฏิสัมพันธ์ระหว่างเงื่อนไขที่ศึกษา สรุปผลการวิจัยได้ดังนี้ 1. มีปฏิสัมพันธ์ระหว่างวิธีการเชื่อมโยงคะแนน (METHOD) โครงสร้างมิติความสามารถ (DS) และระดับความสัมพันธ์ระหว่างมิติความสามารถ (r) ซึ่งส่งผลต่อค่าความสัมพันธ์ระหว่างคะแนนที่แปลงได้กับคะแนนเกณฑ์(CORR) ของการแปลงค่าพารามิเตอร์จากระดับต้นไปยังระดับกลาง และส่งผลต่อความถูกต้องของการเชื่อมโยงคะแนน (BIAS) ของการแปลงค่าพารามิเตอร์จากระดับกลางไปยังระดับสูง อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 แต่ไม่ส่งผลต่อความคงที่ของการเชื่อมโยงคะแนน (RMSE) ในทุกระดับของการแปลงคะแนน ส่วนปฏิสัมพันธ์รายคู่ พบว่า ปฏิสัมพันธ์ระหว่าง METHOD และ DS และปฏิสัมพันธ์ระหว่าง METHOD และ r ส่งผลต่อความคงที่และความถูกต้องของการเชื่อมโยงคะแนนที่ต่างกันอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 กล่าวคือ คุณภาพของวิธีการเชื่อมโยงคะแนนที่ต่างกันขึ้นอยู่กับ DS และ r โดยมีปฏิสัมพันธ์ในทิศทางเดียวกันแต่ไม่ส่งผลให้มีค่าความสัมพันธ์ระหว่างคะแนนที่แปลงได้กับคะแนนเกณฑ์ (CORR) ต่างกัน 2. คุณภาพของการเชื่อมโยงคะแนนระหว่างวิธี M และวิธี NOP มีค่าใกล้เคียงกัน โดยเฉพาะเงื่อนไขที่ไม่มีความสัมพันธ์ระหว่างมิติความสามารถและมีความสัมพันธ์ระหว่างมิติความสามารถในระดับกลางกับโครงสร้างที่ไม่ซับซ้อน แต่เมื่อความสัมพันธ์ระหว่างมิติความสามารถเพิ่มขึ้นกับโครงสร้างที่ซับซ้อนมากขึ้น พบว่า วิธี NOP มีคุณภาพของการเชื่อมโยงคะแนนมากกว่าวิธี M อย่างมีนัยสำคัญทางสถิติที่ระดับ .05 นั่นคือ วิธี NOP มีความคงที่ (RMSE) และความถูกต้อง (BIAS) ของการเชื่อมโยงคะแนน มากกว่าวิธี M ซึ่งมีแนวโน้มในการประมาณค่าต่ำกว่าความเป็นจริง อย่างไรก็ตามผลการวิจัยพบว่าทั้งสองวิธีมีค่าความสัมพันธ์ระหว่างคะแนนที่แปลงได้กับคะแนนเกณฑ์ (CORR) ไม่ต่างกันไม่ว่าจะศึกษาในโครงสร้างลักษณะใดหรือความสัมพันธ์ระหว่างมิติความสามารถระดับใด |
| Other Abstract: | The purposes of this experimental study were to 1) compare the quality of the linking methods according to MIRT Model with two characteristics of rotations--the orthogonal rotation by M (Min’s Method) and non-orthogonal rotation by NOP (Non-Orthogonal Procrustes Method)--under testing conditions of differences of dimensional structures and correlation levels between traits conditions 2) study the interaction of the linking methods, dimensional structures and correlation levels between traits.There were 12 conditions (2X2X3) consisted of two-linking methods--M and NOP methods, two-dimensional structures-- approximate simple structure and mixed structure, three-correlation levels between traits conditions which were no correlation (r = 0.0), moderate correlation (r = 0.5) and high correlation (r = 0.8). This research was based on the data simulation of the examinees with different ability classed in 3 levels; beginner, intermediate, and advance. There were 2,000 examinees in each level. The data collection for non-equivalent group design using the 20 common items in each level was studied by transforming items parameter from the beginner level to the intermediate level and from the intermediate level to the advance level. The data simulation consisted of three steps-- generating true item parameters and response patterns for each grade level, calibrating MIRT parameter model and equating the procedure of linking. Root-mean squared error (RMSE), BIAS, and correlation coefficient between transformed estimated on the equated form and the criterion estimated on the base form (CORR) were used as criteria compare the quality of linking methods in this research. In addition, Three-way Multivariate Analysis of Variance (Three-way MANOVA) was conducted to compare means difference of RMSE, BIAS, and CORR in order to explore interaction of conditions being studied. The results were as follows: 1. There was an interaction among linking method (METHOD), dimensional structure (DS), and correlation levels between traits (r) which affected correlation between transformed estimated and the criteria estimated (CORR) from the beginner level to the intermediate level and on accuracy of linking (BIAS) from the intermediate level to the advance level at the .05 significant level. However, the interaction had no effect on the stability of linking (RMSE) in every level of the items parameter transformation. The interaction between components showed that there were interactions between METHOD and DS, and METHOD and r which affected the difference between the stability and the accuracy of linking method at the .05 significant level. In other word, the differences of quality linking method depended on DS and r. The interactions between these conditions were ordinal interaction but they did not affect the difference of CORR. 2. The quality of linking methods between M and NOP, especially the conditions of no correlation and moderate correlation between traits which had approximate simple structure, was comparable. However, when the correlation became higher and the structure became much more complex, NOP had more quality of linking method than M method at .05 significant level. M method had more errors and under estimate parameters than NOP. Nevertheless, the result revealed that both correlation between transformed estimated and the criterion estimated (CORR) of M and NOP methods were not different in all conditions |
| Description: | วิทยานิพนธ์ (ค.ด.)--จุฬาลงกรณ์มหาวิทยาลัย, 2550 |
| Degree Name: | ครุศาสตรดุษฎีบัณฑิต |
| Degree Level: | ปริญญาเอก |
| Degree Discipline: | การวัดและประเมินผลการศึกษา |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/17124 |
| URI: | http://doi.org/10.14457/CU.the.2007.1120 |
| metadata.dc.identifier.DOI: | 10.14457/CU.the.2007.1120 |
| Type: | Thesis |
| Appears in Collections: | Edu - Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Putcharee_Ju.pdf | 11.39 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.