โครงการ อัลกอริทึมเรียนรู้สำหรับโดเมนหลายกลุ่มและโดเมนมีสัญญาณรบกวน : รายงานวิจัยฉบับสมบูรณ์

Abstract

ในงานวิจัยนี้เราเสนอวิธีการสำหรับ (1) ปรับปรุงซัพพอร์ตเวกเตอร์แมชชีนสำหรับจัดการกับปัญหาข้อมูลหลายกลุ่ม และ (2) ทำให้การโปรแกรมตรรกะเชิงอุปนัย (ไอแอลพี) จัดการกับข้อมูลมีสัญญาณรบกวน เอสวีเอ็มถูกพัฒนาขึ้นเพื่อปัญหาการจำแนกประเภทข้อมูลที่มีสองกลุ่มได้อย่างมีประสิทธิภาพในการใช้งานจริง วิธีการดั้งเดิมสำหรับแก้ปัญหาของข้อมูลหลายกลุ่มทำได้โดยการนำฟังก์ชันตัดสินใจแบบสองกลุ่มมารวมกัน กราฟไม่มีวงแบบมีทิศทางสำหรับการตัดสินใจ (ดีดีเอจี) เป็นวิธีการที่รู้จักกันดีสำหรับเอสวีเอ็มแบบหลายกลุ่มซึ่งมีข้อดีในเรื่องของการใช้งานที่รวดเร็วและให้ความถูกต้องในการจำแนกประเภทที่ใกล้เคียงกับวิธีการอื่น ๆ เราได้ปรับปรุงดีดีเอจี โดยนำเสนอกราฟไม่มีวงมีทิศทางแบบปรับได้ (เอดีเอจี) ซึ่งมีโครงสร้างที่ปรับแก้มาจากดีดีเอจีและมีจำนวนระดับตัดสินใจที่น้อยลง เอดีเอจีให้ความถูกต้องสูงกว่าดีดีเอจีในขณะที่ยังคงเวลาในการคำนวณต่ำ นอกจากนั้นเราได้นำเสนอเวอร์ชันปรับปรุงของเอดีเอจีที่เรียกว่า กราฟไม่มีวงมีทิศทางและปรับได้แบบจัดเรียงใหม่ (อาร์เอดีเอจี) เพื่อให้หาเอดีเอจีที่ดีสุดจากเอดีเอจีที่เป็นไปได้ทั้งหมดโดยใช้อัลกอริทึมจัดเรียงใหม่ร่วมกับการจับคู่สมบูรณ์น้ำหนักน้อยสุด ผลการทดลองกับชุดข้อมูลหลายชุดแสดงให้เห็นว่าวิธีการของเราให้ความถูกต้องที่สูงกว่าวิธีการดั้งเดิม ไอแอลพีเป็นเทคนิคที่มีประสิทธิภาพสำหรับการทำเหมืองข้อมูลเชิงสัมพันธ์ แต่เมื่อประยุกต์ใช้ไอแอลพีในโดเมนมีสัญญาณรบกวน กฎที่ได้จากไอแอลพีมักประสบปัญหาเรื่องการปรับเหมาะเกินไป เรานำเสนอวิธีการสำหรับทำให้ไอแอลพีสามารถจัดการกับปัญหานี้ เริ่มจากการนำเสนอวิธีการเรียนรู้ข่ายงานเบส์ลำดับที่หนึ่งซึ่งสามารถจัดการกับข้อมูลมีสัญญาณรบกวนได้อย่างมีประสิทธิภาพ เนื่องจากต้นทุนในการคำนวณที่สูงสำหรับ การเรียนข่ายงานเบส์ลำดับที่หนึ่งโดยตรง ทำให้เราปรับใช้ระบบไอแอลพีร่วมกับตัวเรียนรู้ข่ายงานเบส์เพื่อสร้างข่ายงานเบส์ลำดับที่หนึ่ง เราเสนออัลกอรึทึมดึงลักษณะสำคัญเพื่อสร้างลักษณะสำคัญสำหรับกฎไอแอลพีและใช้ลักษณะสำคัญเหล่านี้เป็นโครงสร้างหลักของข่ายงานเบส์ลำดับที่หนึ่ง ผลการทดลองแสดงให้เห็นว่าข่ายงานเบส์ลำดับที่หนึ่งทำงานได้ดีกว่าระบบไอแอลพีดั้งเดิม เรายังได้นำเสนอวิธีการเรียนรู้แบบผสมเพื่อทำให้นิวรอลเน็ตเวิร์กสามารถจัดการกับโปรแกรมตรรกะลำดับที่หนึ่งได้โดยตรง วิธีการนี้เรียกว่านิวรอลเน็ตเวิร์กตรรกะลำดับที่หนึ่ง วิธีการนี้ใช้นิวรอลเน็ตเวิร์กป้อนไปข้างหน้าแบบมาตรฐานและได้ผสมผสานการเรียนรู้เชิงอุปนัยจากตัวอย่างและความรู้ภูมิหลังร่วมด้วย เรานำเสนอวิธีการสำหรับกำหนดการแทนค่าตัวแปรที่เหมาะสมในการเรียนรู้นิวรอลเน็ตเวิร์กตรรกะลำดับที่หนึ่งโดยใช้การเรียนรู้แบบหลายตัวอย่างย่อย ผลการทดลองกับปัญหาการเรียนรู้แบบตรรกะลำดับที่หนึ่งทั้งหมดสองปัญหาแสดงให้เห็นว่าวิธีการที่นำเสนอทำงานได้ดีกว่า PROGOL ซึ่งเป็นระบบไอแอลพีที่ทันสมัย