Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/58617
| Title: | A study of raters’ background knowledge, rater training and other factors affecting their decision making in rating Thai plots’ English speaking proficiency |
| Other Titles: | การศึกษาภูมิหลัง การฝึกอบรมการประเมินและองค์ประกอบอื่นๆ ที่มีผลต่อการตัดสินใจของผู้ประเมินในการประเมินผลความสามารถในการพูดภาษาอังกฤษของนักบินไทย |
| Authors: | Sutas Dejkunjorn |
| Advisors: | Kanchana Prapphal |
| Other author: | Chulalongkorn University. Graduate School |
| Advisor's Email: | kanchana.p@chula.ac.th |
| Subjects: | Air pilots -- Thailand Ability -- Testing English language -- Examinations Verbal ability -- Testing นักบิน -- ไทย การทดสอบความสามารถ ภาษาอังกฤษ -- การสอบ ความสามารถทางภาษา -- การทดสอบ |
| Issue Date: | 2010 |
| Publisher: | Chulalongkorn University |
| Abstract: | The objectives of this study were to examine two kinds of raters having different background knowledge i.e. linguistic and operational raters with and without rater training experience when they assessed Thai pilots’ English language speaking performances on RELTA, and to explore the other factors affecting their decisionmaking in awarding the scores to the candidates. The participants in the study were 20 raters. They were categorized into two main groups, linguistic and operational, based on their educational and professional background. Then, they were divided further into four sub-groups i.e. linguistic/trained, linguistic/untrained, operational/trained, and operational/untrained. The subjects participating in the main study were purposively selected for data analysis. The source of data was the RMIT English Language Test for Aviation (RELTA). The instruments were questionnaires, rater score sheet and remarks, and semi-structured interviews. The research design was the quasiexperimental research. The 2x2 ANOVA and t-test were used to analyze the quantitative data, and the content analysis was used to analyze the qualitative one, and to confirm the results obtained from the quantitative analysis. It was found that both raters’ background and rater training did not significantly affect the raters’ decision-making in rating Thai pilots’ English speaking proficiency, in both main and interaction effects. However, the factor of training seemed to affect more than the factor of background on the raters’ rating scores. The content analysis analyzed 13 factors that might affect the raters’ decision-making. The results revealed that they could be divided into three groups: the group of the factors which had effects on the raters’ decision-making i.e. rating strategies, candidates/test-takers, rating scale and descriptors, personal relationships between raters and candidates, cut-off score, and scoring: the group of the factors which had no effect on the raters’ decision-making i.e. physical settings, and interviewer/interlocutor: and the group of the factors which were not obvious, hence, unable to make a conclusion i.e. rater educational and rating background, rater mental conditions, rater’s physical conditions, test tasks and speech samples, and raters’ harshness/leniency. |
| Other Abstract: | การวิจัยนี้มีจุดประสงค์หลักเพื่อศึกษาผลกระทบของภูมิหลังของผู้ประเมิน การฝึ กอบรมการประเมินของ ผู้ประเมิน และองค์ประกอบอื่นๆที่มีผลในการตัดสินใจของผู้ประเมินในการประเมินผลความสามารถในการพูด ภาษาอังกฤษของนักบินไทย กลุ่มตัวอย่างในการศึกษาครั้งนี้ประกอบด้วยผู้ประเมินที่มีภูมิหลังทางภาษา และผู้ ประเมินที่มีภูมิหลังทางการปฏิบัติการบิน จา นวนกลุ่มละสิบคนโดยการคัดเลือกแบบมีวัตถุประสงค์ ผู้วิจัย แบ่งกลุ่มผู้ประเมินออกเป็นสี่กลุ่มย่อยคือ กลุ่มที่มีภูมิหลังทางภาษาที่ผ่านการฝึ กอบรมการประเมิน กลุ่มที่มีภูมิ หลังทางภาษาที่ไม่ผ่านการฝึ กอบรมการประเมิน กลุ่มที่มีภูมิหลังทางการปฏิบัติการบินที่ผ่านการฝึ กอบรมการ ประเมิน และกลุ่มที่มีภูมิหลังทางการปฏิบัติการบินที่ไม่ผ่านการฝึ กอบรมการประเมิน เครื่องมือที่ใช้ในการวิจัย ได้แก่ แบบทดสอบความสามารถในการพูดภาษาอังกฤษสา หรับนักบิน (Pilot English speaking proficiency) ของ RELTA แบบสอบถามข้อมูลและความเห็นของผู้ประเมิน และการสัมภาษณ์แบบกึ่งควบคุม (Semi-structured interview) รูปแบบการวิจัยคือการวิจัยแบบกึ่งทดลอง (Quasi-experimental research) สถิติที่ใช้วิเคราะห์คือ การ วิเคราะห์ความแปรปรวนแบบจา แนกสองทาง (2-way ANOVA) และการใช้สถิติที (t-test) เพื่อวิเคราะห์ข้อมลู เชิง ปริมาณ นอกจากนี้ผู้วิจัยใช้การวิเคราะห์เชิงเนื้อหาวิเคราะห์ข้อมูลเชิงคุณภาพเพื่อให้ได้ข้อมูลเชิงลึกและเพื่อยืนยัน ผลของการวิเคราะห์เชิงปริมาณ ผลการวิจัยพบว่าภูมิหลังและการฝึกอบรมการประเมินที่แตกต่างกันไม่มี ผลกระทบอย่างมีนัยสา คัญทางสถิติต่อการตัดสินใจในการประเมินผลความสามารถในการพูดภาษาอังกฤษของ นักบินไทย อย่างไรก็ตาม ปัจจัยการฝึกอบรมการประเมินมีผลกระทบต่อตัวแปรตาม (Dependent variable) มากกว่าปัจจัยด้านภูมิหลังของผู้ประเมิน จากการวิจัยองค์ประกอบ 13 ประการที่อาจมีผลต่อการตัดสินใจของผู้ ประเมิน ผลการวิจัยพบว่าสามารถแบ่งองค์ประกอบได้เป็นสามกลุ่ม คือ กลุ่มที่มีผลต่อการตัดสิน ได้แก่ กลยุทธ์ที่ ใช้ในการประเมิน (Rating strategies) ตัวผู้เข้าสอบ (Test-takers) สเกลการให้คะแนนและรายละเอียดของสเกล (Rating scales & descriptors) ความสัมพันธ์ส่วนบุคคลระหว่างผู้ประเมินและผู้เข้าสอบ(Relationships) คะแนน ตัดสินว่าผ่านหรือไม่ผ่าน (Cut-off score) วิธีการให้คะแนน(Scoring) กลุ่มที่ไม่มีผลต่อการตัดสินใจ ได้แก่ สภาพแวดล้อมทางกายภาพในการประเมิน (Physical settings) และ อิทธิพลของผู้สัมภาษณ์/คู่สนทนา (Interviewer effects) กลุ่มที่ไม่ชัดเจน ทา ให้ไม่สามารถสรุปได้ ได้แก่ ภูมิหลังทางการศึกษาและภูมิหลังทางการประเมิน (Educational & Rating background) สภาพจิตใจ (Mental conditions) สภาพทางกายภาพ (Physical conditions) ลักษณะของแบบทดสอบและตัวอย่างการพูดของผู้เข้าสอบ (Test tasks & Speech samples) กลวิธีในการประเมิน (Rating strategies) และ ความเข้มงวดหรือการปล่อยคะแนนของผู้ประเมิน (Harshness/leniency) |
| Description: | Thesis (Ph.D.)--Chulalongkorn University, 2010 |
| Degree Name: | Doctor of Philosophy |
| Degree Level: | Doctoral Degree |
| Degree Discipline: | English as an International Language |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/58617 |
| Type: | Thesis |
| Appears in Collections: | Grad - Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Sutas_de.pdf | 3.67 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.