Please use this identifier to cite or link to this item: http://cuir.car.chula.ac.th/handle/123456789/11137
Title: Development of methodologies to evaluate the performance scores of university instructors : a case study in two universities
Other Titles: การพัฒนาวิธีการประเมินการปฏิบัติงานของอาจารย์มหาวิทยาลัย : กรณีศึกษามหาวิทยาลัยสองแห่ง
Authors: Jitlekha Teerajarmorn
Advisors: Utumporn Jamornmann
Rowlinson, Peter
Arunee Onsawad
Other author: Chulalongkorn University. Faculty of Education
Advisor's Email: Utumporn.J@Chula.ac.th
No information provided
No information provided
Subjects: College teachers
Job evaluation
Issue Date: 2002
Publisher: Chulalongkorn University
Abstract: The objectives of the research were to develop a methodology for measuring university instructors' performance scores and to develop formulae for calculating performance change scores over a 3 year period. Following a literature review and interviews with senior academic staff from Thammasat University and Saint John's University, 35 subtasks, grouped under six principal tasks, were proposed for the scoring of university instructors' performance. The subtasks were endorsed as being appropriate by further samples of senior and experienced staff from both universities. Additional samples of senior staff were consulted to determine the weight each task and subtask should contribute to instructor performance scores at each university. Many of the tasks and subtasks had similar weightings at both universities and the differences that did exist, whilst large enough to justify the use of separate sets of weighting factors, tended to follow the pattern that was expected given the two universities' different missions and backgrounds. Data were collected for three academic years (1998, 1999 and 2000) for a total of 290 instructors from both universities. Data for 14 of the subtasks was obtained from existing university documents; a self-report questionnaire was developed for instructors to give data for the remaining 21 subtasks. Cronbach's alpha was around 0.8 each year for both universities, indicating the scores had acceptable internal reliability. When subtasks were ranked by their correlation with total score, there was a high degree of similarity in the rankings each year within each university, implying considerable stability. There was much less similarity in the ranking between the universities, implying that there were differences between the universities in the relationships between the subtasks and the total, even though the reliability of the scores was acceptable at both universities. Samples of Heads of Department from both universities were asked to state whether the scores for each of the instructors within their department were valid. For both universities, 90% of the instructors considered had scores declared valid. The methodology therefore produced performance scores that were reliable and valid within each university. Two formulae were developed for assigning scores to instructors based on the size and pattern of the change in their performance scores over the 3 year period. One formula was developed for linear change, the other for non-linear change. Since almost all the instructors (96%) for whom data were collected exhibited non-linear change, only the non-linear formula could be evaluated. Performance change scores calculated using the researcher's formula were validated by calculating the correlation between them and change scores obtained from the Hierarchical Linear Model (application of quadratic growth model) of Bryk & Raudenbush. The correlation was 0.98 for both universities. Further validation was obtained by asking heads of department and instructors to compare the change scores obtained from the researcher's formula with those obtained from Bryk & Raudenbush's method. 65% of the instructors considered their score from the researcher's formula to be better than that from Bryk & Raudenbush's formula, compared with 10% who thought Bryk and Raudenbush's better. Heads of department considered 62.5% of the researcher's scores to be better, and only 20% of Bryk and Raudenbush's to be better. There was therefore evidence that change scores calculated using the researcher's non-linear formula were valid.
Other Abstract: การวิจัยครั้งนี้มีวัตถุประสงค์หลัก 2 ประการ คือ ประการแรก เพื่อพัฒนาวิธีการวัดค่าการปฏิบัติงานของอาจารย์มหาวิทยาลัย ประการที่สอง เพื่อพัฒนาสูตรคำนวณค่าการเปลี่ยนแปลงการปฏิบัติงานในช่วง 3 ปี จากการศึกษาวรรณคดีที่เกี่ยวข้องและการสัมภาษณ์ผู้บริหารและอาจารย์จากมหาวิทยาลัยธรรมศาสตร์และเซนต์จอห์น พบว่า ภาระงานของอาจารย์มหาวิทยาลัยประกอบด้วย 6 งาน รวม 35 งานย่อย ซึ่งแต่ละงานย่อยได้รับการยืนยันว่าเหมาะสมในการบ่งชี้การปฏิบัติงานของอาจารย์มหาวิทยาลัย โดยน้ำหนักของภาระงานและงานย่อยได้รับการกำหนดจากผู้บริหารของแต่ละมหาวิทยาลัย ซึ่งพบว่า น้ำหนักที่ได้แตกต่างกันตามปณิธานและภูมิหลังของแต่ละมหาวิทยาลัย การเก็บข้อมูลการปฏิบัติงานของอาจารย์มหาวิทยาลัยธรรมศาสตร์และเซนต์จอห์น (รวม 290 คน) ในปีการศึกษา 2541, 2542 และ 2543 ข้อมูลใน 14 งานย่อย เก็บวบรวมจากฐานข้อมูลของมหาวิทยาลัย ส่วนอีก 21 งานย่อย เก็บข้อมูลโดยใช้แบบสอบถามเพื่อรายงานการปฏิบัติงาน สำหรับการคำนวณค่าความเที่ยงโดยแอลฟาของครอนบาค (Cronbach's alpha) พบว่ามีค่าประมาณ 0.8 แสดงว่า ค่าการปฏิบัติงานที่คำนวณได้มีความเที่ยงแบบความสอดคล้องภายใน นอกจากนี้เมื่อจัดอันดับค่าความสัมพันธ์ระหว่างคะแนนงานย่อยกับคะแนนรวม แล้วหาความสัมพันธ์ระหว่างปีการศึกษาในแต่ละมหาวิทยาลัย พบว่า มีความสัมพันธ์สูง ซึ่งแสดงถึงเสถียรภาพของคะแนน จากนั้นหาความสัมพันธ์ระหว่างสองมหาวิทยาลัย พบว่า มีความสัมพันธ์ที่น้อยกว่า ซึ่งแสดงถึงความแตกต่างของความสัมพันธ์ระหว่างคะแนนงานย่อยและคะแนนรวมระหว่างสองมหาวิทยาลัย นอกจากนี้ จากการสัมภาษณ์ความคิดเห็นของหัวหน้าภาคของทั้งสองมหาวิทยาลัย เกี่ยวกับความตรงของค่าการปฏิบัติงานที่คำนวณได้ของอาจารย์ในภาค พบว่า ค่าการปฏิบัติงานของอาจารย์ร้อยละ 90 มีความตรง ดังนั้น วิธีการวัดค่าการปฏิบัติงานที่ผู้วิจัยพัฒนาขึ้น ให้ค่าการปฏิบัติงานที่มีความเที่ยงและความตรง สูตรที่ผู้วิจัยพัฒนาขึ้นสำหรับคำนวณค่าการเปลี่ยนแปลงการปฏิบัติงาน ขึ้นกับขนาดและรูปแบบการเปลี่ยนแปลงของค่าการปฏิบัติงานในช่วง 3 ปี โดยแบ่งออกเป็น 2 สูตร คือ สูตรสำหรับการเปลี่ยนแปลงแบบเส้นตรง และสูตรสำหรับการเปลี่ยนแปลงแบบเส้นโค้ง แต่จะพบว่า อาจารย์ส่วนใหญ่ (ร้อยละ 96) มีลักษณะการเปลี่ยนแปลงแบบเส้นโค้ง ดังนั้น เฉพาะสูตรสำหรับเส้นโค้ง ได้นำมาใช้เพื่อคำนวณค่าการเปลี่ยนแปลงการปฏิบัติงานของอาจารย์แต่ละคน ซึ่งค่าที่ได้จากสูตรดังกล่าว ได้รับการตรวจสอบความตรงด้วยการหาค่าความสัมพันธ์กับค่าที่คำนวณได้จากสูตรของบาร์คและโรเดนบุช (Bryk& Raudenbush) พบว่ามีค่า 0.98 สำหรับทั้งสองมหาวิทยาลัย ส่วนการตรวจสอบความตรงอีกวิธี ได้จากการสัมภาษณ์ความคิดเห็นของหัวหน้าภาคและตัวอาจารย์เอง เพื่อเปรียบเทียบค่าการเปลี่ยนแปลงที่ได้จากสูตรที่ผู้วิจัยพัฒนาขึ้นกับค่าที่ได้จากสูตรของบาร์คและโรเดนบุช พบว่า อาจารย์ร้อยละ 65 เห็นว่าค่าที่ได้จากสูตรที่ผู้จัยพัฒนาขึ้น ตรงกว่าค่าที่ได้จากสูตรของบาร์คและโรเดนบุช มีเพียงร้อยละ 10 ที่เห็นว่าค่าที่ได้จากสูตรบาร์คและโรเดนบุช ตรงกว่า ส่วนหัวหน้าภาคเห็นว่า ร้อยละ 62.5 ของค่าที่คำนวณได้จากสูตรที่ผู้วิจัยพัฒนาขึ้น ตรงกว่า มีเพียงร้อยละ 20 ที่เห็นว่าค่าที่ได้จากสูตรบาร์คและโรเดนบุช ตรงกว่า ดังนั้นค่าการเปลี่ยนแปลงที่คำนวณจากสูตรสำหรับเส้นโค้งที่ผู้วิจัยพัฒนาขึ้น มีความตรง
Description: Thesis (Ph.D.)--Chulalongkorn University, 2002
Degree Name: Doctor of Philosophy
Degree Level: Doctoral Degree
Degree Discipline: Educational Measurement and Evaluation
URI: http://cuir.car.chula.ac.th/handle/123456789/11137
ISBN: 9741714351
Type: Thesis
Appears in Collections:Edu - Theses

Files in This Item:
File Description SizeFormat 
jitlekha.pdf2.05 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.