โครงการ อัลกอริทึมเรียนรู้สำหรับโดเมนหลายกลุ่มและโดเมนมีสัญญาณรบกวน : รายงานวิจัยฉบับสมบูรณ์

บุญเสริม กิจศิริกุล

dc.contributor.author	บุญเสริม กิจศิริกุล
dc.contributor.other	จุฬาลงกรณ์มหาวิทยาลัย. คณะวิศวกรรมศาสตร์
dc.date.accessioned	2023-12-01T09:09:15Z
dc.date.available	2023-12-01T09:09:15Z
dc.date.issued	2549
dc.identifier.uri	https://cuir.car.chula.ac.th/handle/123456789/83801
dc.description.abstract	ในงานวิจัยนี้เราเสนอวิธีการสำหรับ (1) ปรับปรุงซัพพอร์ตเวกเตอร์แมชชีนสำหรับจัดการกับปัญหาข้อมูลหลายกลุ่ม และ (2) ทำให้การโปรแกรมตรรกะเชิงอุปนัย (ไอแอลพี) จัดการกับข้อมูลมีสัญญาณรบกวน เอสวีเอ็มถูกพัฒนาขึ้นเพื่อปัญหาการจำแนกประเภทข้อมูลที่มีสองกลุ่มได้อย่างมีประสิทธิภาพในการใช้งานจริง วิธีการดั้งเดิมสำหรับแก้ปัญหาของข้อมูลหลายกลุ่มทำได้โดยการนำฟังก์ชันตัดสินใจแบบสองกลุ่มมารวมกัน กราฟไม่มีวงแบบมีทิศทางสำหรับการตัดสินใจ (ดีดีเอจี) เป็นวิธีการที่รู้จักกันดีสำหรับเอสวีเอ็มแบบหลายกลุ่มซึ่งมีข้อดีในเรื่องของการใช้งานที่รวดเร็วและให้ความถูกต้องในการจำแนกประเภทที่ใกล้เคียงกับวิธีการอื่น ๆ เราได้ปรับปรุงดีดีเอจี โดยนำเสนอกราฟไม่มีวงมีทิศทางแบบปรับได้ (เอดีเอจี) ซึ่งมีโครงสร้างที่ปรับแก้มาจากดีดีเอจีและมีจำนวนระดับตัดสินใจที่น้อยลง เอดีเอจีให้ความถูกต้องสูงกว่าดีดีเอจีในขณะที่ยังคงเวลาในการคำนวณต่ำ นอกจากนั้นเราได้นำเสนอเวอร์ชันปรับปรุงของเอดีเอจีที่เรียกว่า กราฟไม่มีวงมีทิศทางและปรับได้แบบจัดเรียงใหม่ (อาร์เอดีเอจี) เพื่อให้หาเอดีเอจีที่ดีสุดจากเอดีเอจีที่เป็นไปได้ทั้งหมดโดยใช้อัลกอริทึมจัดเรียงใหม่ร่วมกับการจับคู่สมบูรณ์น้ำหนักน้อยสุด ผลการทดลองกับชุดข้อมูลหลายชุดแสดงให้เห็นว่าวิธีการของเราให้ความถูกต้องที่สูงกว่าวิธีการดั้งเดิม ไอแอลพีเป็นเทคนิคที่มีประสิทธิภาพสำหรับการทำเหมืองข้อมูลเชิงสัมพันธ์ แต่เมื่อประยุกต์ใช้ไอแอลพีในโดเมนมีสัญญาณรบกวน กฎที่ได้จากไอแอลพีมักประสบปัญหาเรื่องการปรับเหมาะเกินไป เรานำเสนอวิธีการสำหรับทำให้ไอแอลพีสามารถจัดการกับปัญหานี้ เริ่มจากการนำเสนอวิธีการเรียนรู้ข่ายงานเบส์ลำดับที่หนึ่งซึ่งสามารถจัดการกับข้อมูลมีสัญญาณรบกวนได้อย่างมีประสิทธิภาพ เนื่องจากต้นทุนในการคำนวณที่สูงสำหรับ การเรียนข่ายงานเบส์ลำดับที่หนึ่งโดยตรง ทำให้เราปรับใช้ระบบไอแอลพีร่วมกับตัวเรียนรู้ข่ายงานเบส์เพื่อสร้างข่ายงานเบส์ลำดับที่หนึ่ง เราเสนออัลกอรึทึมดึงลักษณะสำคัญเพื่อสร้างลักษณะสำคัญสำหรับกฎไอแอลพีและใช้ลักษณะสำคัญเหล่านี้เป็นโครงสร้างหลักของข่ายงานเบส์ลำดับที่หนึ่ง ผลการทดลองแสดงให้เห็นว่าข่ายงานเบส์ลำดับที่หนึ่งทำงานได้ดีกว่าระบบไอแอลพีดั้งเดิม เรายังได้นำเสนอวิธีการเรียนรู้แบบผสมเพื่อทำให้นิวรอลเน็ตเวิร์กสามารถจัดการกับโปรแกรมตรรกะลำดับที่หนึ่งได้โดยตรง วิธีการนี้เรียกว่านิวรอลเน็ตเวิร์กตรรกะลำดับที่หนึ่ง วิธีการนี้ใช้นิวรอลเน็ตเวิร์กป้อนไปข้างหน้าแบบมาตรฐานและได้ผสมผสานการเรียนรู้เชิงอุปนัยจากตัวอย่างและความรู้ภูมิหลังร่วมด้วย เรานำเสนอวิธีการสำหรับกำหนดการแทนค่าตัวแปรที่เหมาะสมในการเรียนรู้นิวรอลเน็ตเวิร์กตรรกะลำดับที่หนึ่งโดยใช้การเรียนรู้แบบหลายตัวอย่างย่อย ผลการทดลองกับปัญหาการเรียนรู้แบบตรรกะลำดับที่หนึ่งทั้งหมดสองปัญหาแสดงให้เห็นว่าวิธีการที่นำเสนอทำงานได้ดีกว่า PROGOL ซึ่งเป็นระบบไอแอลพีที่ทันสมัย	en_US
dc.description.abstractalternative	In this research, we propose methods for (1) extending Support Vector Machines (SVMs) for dealing with multiclass problems, and (2) enabling Inductive Logic Programming (ILP) for dealing with noisy data. SVMs were primarily designed for twoclass classification problems with their outstanding performance in real world applications. Previous methods for solving the multiclass problem of SVMs are typically to consider the problem as the combination of two-class decision functions. The Decision Directed Acyclic Graph (DDAG) is a well-known method for multiclass SVMs that has advantage of fast evaluation time and provides classification accuracy comparable to other methods. Motivated by DDAG, we propose the Adaptive DAG (ADAG): a modified structure of DDAG that has a lower number of decision levels. ADAG improves the accuracy of DDAG while it maintains low computational requirement. Next, we propose an enhancement version of ADAG, called Reordering Adaptive Directed Acyclic Graph (RADAG), to find one best ADAG from all possible ADAGs by using the reordering algorithm with minimum-weight perfect matching. Experiment results on several datasets denote that our methods give higher accuracies than those of the previous methods. ILP is an efficient technique for relational data mining, but when ILP is applied in noisy domains, the rules induced by ILP often struggle with the overfitting problem. We propose methods for enabling ILP to deal with this problem. We first propose a method for learning first-order Bayesian network (FOBN) which can handle noisy data powerfully. Due to a high computation cost for directly learning FOBN, we adapt an ILP system and a Bayesian network learner to construct FOBN. We propose a feature extraction algorithm to generate features from ILP rules, and use these features as the main structure of the FOBN. The experimental results show that FOBN performs better than a traditional ILP system. We also propose a novel hybrid learning method to enable neural networks to handle first-order logic programs directly. The proposed method, called First-Order Logical Neural Network (FOLNN), employs the standard feedforward neural network and integrates inductive learning from examples and background knowledge. We propose a method for determining the appropriate variable substitution in FOLNN learning by using multiple-instance learning. The experimental results on two first-order learning problems show that the proposed method performs better than PROGOL, the state-of-the-art ILP system.	en_US
dc.description.sponsorship	งานวิจัยนี้ได้รับการสนับสนุนโดยสำนักงานกองทุนสนับสนุนการวิจัย สัญญาเลขที่ RSA4680024	en_US
dc.language.iso	th	en_US
dc.publisher	คณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย	en_US
dc.rights	คณะวิศวกรรมศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย	en_US
dc.subject	อัลกอริทึม	en_US
dc.subject	ซัพพอร์ตเวกเตอร์แมชชีน	en_US
dc.title	โครงการ อัลกอริทึมเรียนรู้สำหรับโดเมนหลายกลุ่มและโดเมนมีสัญญาณรบกวน : รายงานวิจัยฉบับสมบูรณ์	en_US
dc.title.alternative	Learning Algorithms for Multiclass and Noisy Domains	en_US
dc.type	Technical Report	en_US