DSpace Repository

Confusion Detection from Facial Expression using Deep Neural Network

Show simple item record

dc.contributor.advisor Thanarat Chalidabhongse
dc.contributor.author Nun Vanichkul
dc.contributor.other Chulalongkorn University. Faculty of Engineering
dc.date.accessioned 2021-09-22T23:39:04Z
dc.date.available 2021-09-22T23:39:04Z
dc.date.issued 2020
dc.identifier.uri http://cuir.car.chula.ac.th/handle/123456789/77256
dc.description Thesis (M.Sc.)--Chulalongkorn University, 2020
dc.description.abstract Confusion is the most frequently observed emotion in daily life and can greatly affect the effectiveness and efficiency of communication. Detecting the confusion from learners and resolving timely is critical for achieving successful teaching in education. Most Facial Expression Recognition (FER) research works focus only on detecting six basic emotions: happiness, sadness, anger, fear, disgust, and surprise. Even though the confusion detection problem gains more attention from researchers recently, analysis of both spatial and temporal information with sufficient data is still short. In this study, we present a spatial-temporal network for confusion detection on video level which was trained on BAUM-1 database, as far as we know, this is the largest public video dataset which confusion is labeled. The model includes ResNet-18 Convolutional Neural Network (CNN), and Long-Short Term Memory (LSTM) recurrent neural network (RNN). By cascading these two deep learning structures, our method yields 73% accuracy which outperforms the baseline LSTM network that yields 67% on the same BAUM-1s dataset. We also test our proposed method with our confusion video dataset which was collected by recording 15 participants under uncontrolled environment. The model was able to predict 1 instance of 30 consecutive facial images within 0.04 seconds and got 66% of accuracy.
dc.description.abstractalternative ความงุนงงเป็นอารมณ์ซึ่งถูกสังเกตได้บ่อยที่สุดในชีวิตประจำวัน และสามารถส่งผลอย่างมากต่อประสิทธิภาพและประสิทธิผลของการสื่อสารโดยเฉพาะในการเรียนการสอน การตรวจจับความงุนงงจากผู้เรียนและแก้ไขได้อย่างทันเวลานั้นมีความสำคัญต่อความสำเร็จในการสอนมาก งานวิจัยเกี่ยวกับการรับรู้จากการแสดงออกทางสีหน้าส่วนใหญ่เน้นไปที่การตรวจจับเฉพาะหกอารมณ์พื้นฐานได้แก่ มีความสุข เศร้า โกรธ กลัว รังเกียจ ประหลาดใจ ถึงแม้เมื่อเร็วๆนี้โจทย์การตรวจจับความงุนงงจะได้รับความสนใจมากขึ้นจากนักวิจัยแล้วก็ตาม แต่การวิเคราะห์ทั้งข้อมูลเชิงพื้นที่และข้อมูลเชิงเวลาจากชุดข้อมูลที่มีปริมาณเพียงพอนั้นยังคงขาดแคลนอยู่ ในงานวิจัยนี้เรานำเสนอโครงข่ายเชิงพื้นที่และเวลาสำหรับตรวจจับความงุนงงจากวีดิทัศน์โดยเรียนรู้จากชุดข้อมูล BAUM-1 ซึ่งเป็นชุดข้อมูลวีดิทัศน์สาธารณะใหญ่ที่สุดเท่าที่เราทราบว่ามีการระบุความงุนงง โดยโครงข่ายนั้นประกอบด้วย ResNet-18 Convolutional Neural Network (CNN)  และ Long-Short Term Memory (LSTM) recurrent neural network (RNN) จากการนำโครงข่ายประสาทเทียมเชิงลึกทั้งสองนี้มาเรียงต่อกัน ทำให้ได้ผลลัพธ์ที่แม่นยำถึง 73% บนชุดข้อมูล BAUM-1s ซึ่งมากกว่าแบบจำลองสำหรับเปรียบเทียบซึ่งใช้โครงสร้าง LSTM ที่ 67% และเราได้ทดสอบแบบจำลองที่นำเสนอกับชุดข้อมูลวีดิทัศน์ความงุนงงที่รวบรวมจากการบันทึกภาพใบหน้าในระหว่างรับชมวีดิทัศน์ที่น่างุนงงของผู้เข้าร่วมการทดลองจำนวน 15 คนในสภาพแวดล้อมที่ไม่มีการควบคุม โดยแบบจำลองสามารถทำนาย 1 ตัวอย่างซึ่งประกอบด้วยรูปภาพใบหน้าที่ต่อเนื่องกันจำนวน 30 รูปได้ภายในเวลา 0.04 วินาที และได้ความแม่นยำที่ 66%
dc.language.iso en
dc.publisher Chulalongkorn University
dc.relation.uri http://doi.org/10.58837/CHULA.THE.2020.138
dc.rights Chulalongkorn University
dc.subject.classification Computer Science
dc.title Confusion Detection from Facial Expression using Deep Neural Network
dc.title.alternative การตรวจจับความงุนงงจากการแสดงออกบนใบหน้าโดยใช้โครงข่ายประสาทเทียมเชิงลึก
dc.type Thesis
dc.degree.name Master of Science
dc.degree.level Master's Degree
dc.degree.discipline Computer Science
dc.degree.grantor Chulalongkorn University
dc.identifier.DOI 10.58837/CHULA.THE.2020.138


Files in this item

This item appears in the following Collection(s)

Show simple item record