Please use this identifier to cite or link to this item: http://cuir.car.chula.ac.th/handle/123456789/59139
Title: Structured svm backpropagation to convolutional neural network applying to human pose estimation
Other Titles: การส่งค่าย้อนกลับสู่โครงข่ายประสาทเทียมคอนโวลูชั่นของซัพพอร์ทเวกเตอร์แมชชีนเชิงโครงสร้างนำมาใช้กับปัญหา การประมาณท่าทางของมนุษย์
Authors: Peerajak Witoonchart
Prabhas Chongstitvatana
Other author: Chulalongkorn University. Faculty of Engineering
Advisor's Email: Prabhas.C@Chula.ac.th
Subjects: ปริญญาดุษฎีบัณฑิต
Neural computers
Neural networks (Computer science)
Back propagation (Artificial intelligence)
Machine learning
นิวรัลเน็ตเวิร์ค (วิทยาการคอมพิวเตอร์)
การเรียนรู้ของเครื่อง
Issue Date: 2016
Publisher: Chulalongkorn University
Abstract: In this work, we show, for the first time, how to formulate Structured SVM as two layers of Convolutional Neural Network, the top layer of which is loss augmented inference layer, and the bottom is normal convolutional layer. We show that Deformable Part Model can be learned with newly created Structured SVM neural network by propagating the error of Deformable Part Model back propagate to Convolutional Neural Network. The forward propagation calculates loss augmented inference. The back propagation calculates the gradient from the loss augmented inference layer to convolutional layer. By doing so, we create a new type of convolutional neural network: Structured SVM Convolutional Neural Network, which is then applied to Human Pose Estimation problem. This new creation is a neural network, which can be used as the last layers of deep learning. Our method jointly learns structural model parameters and appearance model parameters. Our back propaga- tion formulation can also be applied to Multiclass Classification Structured SVM where our result outperformed widely used Softmax classifier on standard MNIST dataset. We imple- ment our method as a new layer of existing Caffe library.
Other Abstract: ในงานนี้เราแสดงให้เห็นเป็นครั้งแรกถึงวิธีการที่จะแปลงสูตรของซัพพอร์ตเวคเตอร์แมชชีน เชิงโครงสร้างให้เป็นโครงข่ายประสาทเทียมคอนโวลูชั่นสองชั้น ชั้นบนของโครงข่ายประสาทเทียม คอนโวลูชั่นเป็นชั้นการอนุมาณความสูญเสียช่วยเหลือเพิ่มเติม และชั้นล่างของโครงข่ายประสาทเทียม คอนโวลูชั่นเป็นชั้นคอนโวลูชั่น เราแสดงให้เห็นว่าโมเดลหลายส่วนที่บิดเบี้ยวได้สามารถถูกเรียนรู้ได้ ด้วยโครงข่ายประสาทเทียมเชิงคอนโวลูชั่นซัพพอร์ตเวคเตอร์แมชชีนเชิงโครงสร้างที่เพิ่งประดิษฐ์ขึ้น มาใหม่โดยการส่งค่าย้อนกลับของความผิดพลาดของโมเดลหลายส่วนที่บิดเบี้ยวได้ไปสู่โครงข่ายประสาท เทียมเชิงคอนโวลูชั่น การส่งค่าไปข้างหน้าคำนวนการอนุมาณความสูญเสียช่วยเหลือเพิ่มเติม การ ส่งค่าย้อนกลับคำนวณความลาดเอียงของการอนุมาณความสูญเสียช่วยเหลือเพิ่มเติมสู่ชั้นคอนโวลูชั่น โดยการกระทำเช่นนั้น เราได้สร้างโครงข่ายประสาทเทียมคอนโวลูชั่นชนิดใหม่:โครงข่ายประสาทเทียม เชิงคอนโวลูชั่นซัพพอร์ตเวคเตอร์แมชชีนเชิงโครงสร้างที่ซึ่งถูกนำไปใช้กับปัญหาการประมาณท่าทาง ของมนุษย์การประดิษฐ์ใหม่นี้เป็นโครงข่ายประสาทเทียมที่สามารถนำไปใช้เป็นชั้นสุดท้ายของการ เรียนรู้เชิงลึก วิธีของเราเรียนตัวแปรของโมเดลเชิงโครงสร้างและโมเดลรูปลักษณ์ไปพร้อมกัน สูตร การส่งค่ากลับของเรายังสามารถนำไปใช้กับปัญหาการแบ่งแยกหลายชนิดของซัพพอร์ตเวคเตอร์แมชชีน เชิงโครงสร้างที่ซึ่งผลการทดลองของเราเหนือกว่าตัวแบ่งแยกหลายชนิดที่ชื่อว่าซอฟต์แมกซ์ที่ใช้กัน อย่างแพร่หลายเมื่อเปรียบเทียบบนฐานข้อมูลมาตราฐาน MNIST. เราเขียนโปรแกรมวิธีของเรา ในฐานะชั้นชนิดใหม่ของห้องสมุดโปรแกรมชื่อว่าCaffeที่มีอยู่แล้ว
Description: Thesis (D.Eng.)--Chulalongkorn University, 2016
Degree Name: Doctor of Engineering
Degree Level: Doctoral Degree
Degree Discipline: Computer Engineering
URI: http://cuir.car.chula.ac.th/handle/123456789/59139
Type: Thesis
Appears in Collections:Eng - Theses

Files in This Item:
File Description SizeFormat 
5471446721.pdf1.72 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.