Please use this identifier to cite or link to this item:
https://cuir.car.chula.ac.th/handle/123456789/63602
Title: | Spark Steaming Framework for Large-Scale Multi-Stream Data Analytics |
Other Titles: | เฟรมเวอร์คสปาร์คสตรีมมิ่งสำหรับการวิเคราะห์มัลติสตรีมขนาดใหญ่ |
Authors: | Tanwa Sirisakdiwan |
Advisors: | Natawut Nupairoj |
Other author: | Chulalongkorn University. Faculty of Engineering |
Advisor's Email: | Natawut.N@Chula.ac.th |
Issue Date: | 2018 |
Publisher: | Chulalongkorn University |
Abstract: | Real-time streaming applications with multiple heterogeneous data streams have become increasingly popular especially in IoT applications where huge amount of sensors produce large amount of data in the form of data streams. However, many issues still exist, especially in deploying and maintaining these large amounts of data streams. Using Spark Structured Streaming, this research introduces a Spark Streaming framework for multiple heterogeneous data streams which focuses on the ease of deployment and proper scheduling. Our proposed framework is a library that allows the deployment of multiple heterogeneous data stream processing in a single Spark application. Our framework can reduce deployment difficulties, coding redundancy, monitoring difficulties, and solve the problem of inefficient job queueing in multi-stream applications. |
Other Abstract: | โปรแกรมการประมวลผลข้อมูลแบบสตรีมในเวลาจริงด้วยข้อมูลที่ไม่เหมือนกันได้รับความสนใจเป็นอย่างมาก โดยเฉพาะในอินเทอร์เน็ตของสิ่งต่างๆซึ่งผลิตข้อมูลจากเซนเซอร์จำนวนมากในรูปแบบของข้อมูลสตรีมมิ่ง ทั้งนี้ยังคงมีปัญหามากมายโดยเฉพาะอย่างยิ่งปัญหาในการเปิดใช้และการบำรุงรักษาของ Spark Structured Streaming งานวิจัยนี้ขอเสนอ กรอบการทำงานของสปาร์คเพื่อการประมวลผลของข้อมูลที่ไม่เหมือนกันแบบหลายสตรีมโดยเน้นความง่ายในการเปิดใช้และการจัดการการกำหนดอันเหมาะสม โดยจะเป็นไลบรารี่ช่วยให้สามารถปรับใช้การประมวลผลของข้อมูลที่ไม่เหมือนกันแบบหลายสตรีมโดยใช้สปาร์คเพียงโปรแกรมเดียวซึ่งสามารถลดความยากในการปรับใช้ การตรวจสอบ ลดความฟุ่มเฟือยของโค้ดและแก้ปัญหาความไม่มีประสิทธิภาพในการเข้าคิวของงานในการประมวลผลของข้อมูลที่ไม่เหมือนกันแบบหลายสตรีม |
Description: | Thesis (M.Sc.)--Chulalongkorn University, 2018 |
Degree Name: | Master of Science |
Degree Level: | Master's Degree |
Degree Discipline: | Computer Science |
URI: | http://cuir.car.chula.ac.th/handle/123456789/63602 |
URI: | http://doi.org/10.58837/CHULA.THE.2018.160 |
metadata.dc.identifier.DOI: | 10.58837/CHULA.THE.2018.160 |
Type: | Thesis |
Appears in Collections: | Eng - Theses |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
5970199021.pdf | 2.89 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.