สถาปัตยกรรมแบบผสมสำหรับการประมวลผลบันทึกของระบบงานขนาดใหญ่

พิทยุตม์ ตั้งสัจจะธรรม

Please use this identifier to cite or link to this item: https://cuir.car.chula.ac.th/handle/123456789/50829

Full metadata record

DC Field	Value	Language
dc.contributor.advisor	ณัฐวุฒิ หนูไพโรจน์	en_US
dc.contributor.advisor	เกริก ภิรมย์โสภา	en_US
dc.contributor.author	พิทยุตม์ ตั้งสัจจะธรรม	en_US
dc.contributor.other	จุฬาลงกรณ์มหาวิทยาลัย. คณะวิศวกรรมศาสตร์	en_US
dc.date.accessioned	2016-12-02T02:04:30Z
dc.date.available	2016-12-02T02:04:30Z
dc.date.issued	2558	en_US
dc.identifier.uri	http://cuir.car.chula.ac.th/handle/123456789/50829
dc.description	วิทยานิพนธ์ (วศ.ม.)--จุฬาลงกรณ์มหาวิทยาลัย, 2558	en_US
dc.description.abstract	การประมวลผลบันทึกของระบบงานขนาดใหญ่ที่มาจากหลายๆ เครื่องแม่ข่ายจะพบว่า บันทึกของระบบงานของแต่ละเครื่องแม่ข่ายนั้นมีขนาดใหญ่ ถูกส่งมาตลอดเวลา และมีรูปแบบที่แตกต่างกัน ซึ่งทำให้การประมวลผลข้อมูลของบันทึกของระบบงานเหล่านี้ทำได้ยากยิ่ง ตัวอย่างเช่น การตรวจจับความผิดปรกติของระบบเป็นระบบที่จะต้องวิเคราะห์ข้อมูลล่าสุดร่วมกับข้อมูลในอดีต ถ้าหากเราต้องการความแม่นยำในการตรวจจับความผิดปรกติอย่างทันท่วงที เราจะต้องประมวลผลข้อมูลเหล่านี้ให้ได้ภายในระยะเวลาที่จำกัด เพื่อแก้ปัญหาเหล่านี้ งานวิจัยนี้นำเสนอ สถาปัตยกรรมแบบผสมสาหรับการประมวลผลบันทึกของระบบงานขนาดใหญ่โดยใช้ Apache Spark สำหรับทำการประมวลผลข้อมูล และ Apache Flume สำหรับการจัดการกับข้อมูล โดยใช้การตรวจจับความผิดปรกติโดยใช้แบบจำลองเวลาซาริมา มาทดสอบและประเมินระบบ ซึ่งสถาปัตยกรรมที่นำเสนอจะประมวลผลทั้งในรูปแบบ Batch และ Real-Time จากผลการทดสอบพบว่า การใช้สถาปัตยกรรมแบบผสมสำหรับการประมวลผลบันทึกของระบบงานขนาดใหญ่นั้น สามารถช่วยเพิ่มประสิทธิภาพในการทำงานกับบันทึกของระบบงานขนาดใหญ่ได้ดียิ่งขึ้น โดยสามารถประมวลผลข้อมูลที่มีขนาดใหญ่แล้วนำมาสร้างแบบจำลองที่มีความซับซ้อน เพื่อใช้ทำการตรวจจับความผิดปรกติอย่างมีประสิทธิภาพ ภายในระยะเวลาที่จำกัด	en_US
dc.description.abstractalternative	Log processing can be very challenging, especially for environments with lots of servers. In these environments, log data is large, coming at high-speed, and have various formats, the classic case of big data problem. This makes big data log processing very difficult. For example, anomaly detection needs to process both latest data and historical data. To get good accuracy, large amount of data must be processed in real-time. To solve this problem, this research proposes a hybrid architecture for log anomaly detection using Apache Spark for data processing and Apache Flume for data collecting. To demonstrate the capabilities of our proposed solution, we implement a SARIMA-based anomaly detection as a case study. The experimental results clearly indicated that our proposed architecture can support log processing in large-scale environment effectively.	en_US
dc.language.iso	th	en_US
dc.publisher	จุฬาลงกรณ์มหาวิทยาลัย	en_US
dc.relation.uri	http://doi.org/10.14457/CU.the.2015.592	-
dc.rights	จุฬาลงกรณ์มหาวิทยาลัย	en_US
dc.subject	การประมวลผลข้อมูลอิเล็กทรอนิกส์
dc.subject	การจัดการฐานข้อมูล
dc.subject	สถาปัตยกรรมซอฟต์แวร์
dc.subject	Electronic data processing
dc.subject	Database management
dc.subject	Software architecture
dc.title	สถาปัตยกรรมแบบผสมสำหรับการประมวลผลบันทึกของระบบงานขนาดใหญ่	en_US
dc.title.alternative	Hybrid architecture for large scale log processing	en_US
dc.type	Thesis	en_US
dc.degree.name	วิศวกรรมศาสตรมหาบัณฑิต	en_US
dc.degree.level	ปริญญาโท	en_US
dc.degree.discipline	วิศวกรรมคอมพิวเตอร์	en_US
dc.degree.grantor	จุฬาลงกรณ์มหาวิทยาลัย	en_US
dc.email.advisor	Natawut.N@Chula.ac.th,natawut@chula.ac.th	en_US
dc.email.advisor	Krerk.P@Chula.ac.th	en_US
dc.identifier.DOI	10.14457/CU.the.2015.592	-
Appears in Collections:	Eng - Theses

Files in This Item:

File	Description	Size	Format
5670311621.pdf		2.99 MB	Adobe PDF	View/Open

Show simple item record