Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/59846
| Title: | วิธีการเปรียบเทียบพื้นที่ใต้โค้ง ROC สำหรับข้อมูลชุดเดียวกัน: กรณีศึกษาแบบจำลองคะแนนเครดิต |
| Other Titles: | A PROPOSED METHOD TO COMPARE AREAS UNDER THE ROC CURVES FOR A SINGLE DATASET: A CASE STUDY OF CREDIT SCORING MODEL |
| Authors: | เบญจพร เอี่ยมประโคน |
| Advisors: | ณัตติฤดี เจริญรักษ์ |
| Other author: | จุฬาลงกรณ์มหาวิทยาลัย. คณะพาณิชยศาสตร์และการบัญชี |
| Advisor's Email: | Nuttirudee.C@Chula.ac.th,nuttirudee@cbs.chula.ac.th |
| Subjects: | การวิเคราะห์การถดถอยโลจิสติก Logistic regression analysis |
| Issue Date: | 2560 |
| Publisher: | จุฬาลงกรณ์มหาวิทยาลัย |
| Abstract: | การเปรียบเทียบพื้นที่ใต้โค้ง ROC ระหว่างตัวแบบเต็มรูปกับตัวแบบลดรูปเป็นวิธีที่ใช้กันอย่างแพร่หลาย ซึ่งวิธีที่นิยมใช้ในการเปรียบเทียบ คือ วิธี Delong แต่วิธีนี้ควรนำมาใช้เมื่อผลต่างของพื้นที่ ROC มีการแจกแจงปกติ งานวิจัยนี้จึงมีวัตถุประสงค์เพื่อหาวิธีเปรียบเทียบพื้นที่ใต้โค้ง ROC ระหว่างตัวแบบเต็มรูปกับตัวแบบลดรูปเมื่อผลต่างของพื้นที่ ROC ไม่มีการแจกแจงแบบปกติ โดยทำการแปลงข้อมูลผลต่างพื้นที่ใต้โค้ง ROC ระหว่างตัวแบบเต็มรูปและตัวแบบลดรูปให้มีการแจกแจงปกติแล้วนำไปทดสอบผลต่างด้วย Z-test (วิธี Transform) นอกจากนี้ผู้วิจัยยังได้เปรียบเทียบประสิทธิภาพของการเปรียบเทียบพื้นที่ใต้โค้ง ROC ระหว่างวิธี Transform และวิธี Delong test โดยทำการจำลองข้อมูลจาก German credit ใน package caret ในโปรแกรม R เพื่อนำมาสร้างตัวแบบโลจิสติกสำหรับการเปรียบเทียบพื้นที่ใต้โค้งของทั้ง 2 วิธี และนำผลของทั้ง 2 วิธีในแต่ละขนาดตัวอย่างมาหาค่าสัมประสิทธิ์สหสัมพันธ์กับผลการวิเคราะห์จากวิธี Likelihood ratio test (LRT) ซึ่งเป็นอีกวิธีที่ใช้เปรียบเทียบตัวแบบโลจิสติก อนึ่งวิธี LRT นี้ไม่สามารถใช้เปรียบเทียบตัวแบบทางสถิติบางตัวแบบ เช่น Support Vector Machine แต่สามารถทำการเปรียบเทียบตัวแบบได้โดยการเปรียบเทียบพื้นที่ใต้โค้ง ROC ดังนั้นการเปรียบเทียบพื้นที่ใต้โค้ง ROC จึงเป็นวิธีหนึ่งในการช่วยเลือกตัวแบบที่เหมาะสม ผลการวิจัยพบว่า ที่ขนาดตัวอย่าง 300 500 และ 1000 วิธีการเปรียบเทียบพื้นที่ใต้โค้ง ROC โดยวิธีการแปลงข้อมูลผลต่างพื้นที่ใต้โค้ง ROC (วิธี Transform) มีค่าสัมประสิทธิ์สหสัมพันธ์ของ p-value ที่สอดคล้องกับวิธี LRT มากกว่าวิธี Delong อย่างมีนัยสำคัญทางสถิติที่ระดับนัยสำคัญ 0.05 นอกจากนั้นพบว่า ค่าสัมประสิทธิ์สหสัมพันธ์ของ p-value มีค่าไม่แตกต่างกันอย่างมีนัยสำคัญทางสถิติที่ระดับนัยสำคัญ 0.05 |
| Other Abstract: | Comparing areas under the ROC curves between full and reduced model has been widely used. The most commonly used method of comparison is Delong test. However, this method should be used when the difference of areas under the ROC curves is normally distributed. The purpose of this research is to find a method comparing areas under the ROC curves between full and reduced model when the difference of areas under the ROC curves is not normal distribution. In this research, the method is done by transforming the difference of areas under the ROC curves between full and reduced model to be normal distributed and then used Z-test to compare the difference (Transform method). Additionally, we compared our Transform method with Delong test by simulated data from German credit in the Caret package in R program. To compare these two methods, we estimated logistic regression models and computed correlation coefficient between p-values from these two methods and p-values from the Likelihood ratio test (LRT) which is another method used to compare two models in the logistics model. LRT cannot be used to compare models in some statistical models such as Support Vector Machine. Nevertheless, we can compare the models by using area of ROC curve. Therefore, comparing areas under the ROC curves is one way to help us choose a proper model. The research has revealed that at the different sample sizes including 300, 500 and 1,000, the transform method has higher correlation of p-values which correspond to LRT more than Delong test at significance level of 0.05. Moreover, The correlation of p-values are not significantly different at the significance level of 0.05. |
| Description: | วิทยานิพนธ์ (วท.ม.)--จุฬาลงกรณ์มหาวิทยาลัย, 2560 |
| Degree Name: | วิทยาศาสตรมหาบัณฑิต |
| Degree Level: | ปริญญาโท |
| Degree Discipline: | สถิติ |
| URI: | http://cuir.car.chula.ac.th/handle/123456789/59846 |
| URI: | http://doi.org/10.58837/CHULA.THE.2017.1530 |
| metadata.dc.identifier.DOI: | 10.58837/CHULA.THE.2017.1530 |
| Type: | Thesis |
| Appears in Collections: | Acctn - Theses |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 5981559026.pdf | 3 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.