การเรียนรู้แบบเสริมแรงบนพื้นฐานของ CTM สำหรับการปรับปรุงการเลือกโครงข่ายไร้สายแบบวิวิธพันธุ์

กิตติศักดิ์ กิตติเวทางค์

Please use this identifier to cite or link to this item: https://cuir.car.chula.ac.th/handle/123456789/21165

Full metadata record

DC Field	Value	Language
dc.contributor.advisor	เชาวน์ดิศ อัศวกุล	-
dc.contributor.author	กิตติศักดิ์ กิตติเวทางค์	-
dc.contributor.other	จุฬาลงกรณ์มหาวิทยาลัย. คณะวิศวกรรมศาสตร์	-
dc.date.accessioned	2012-07-26T09:08:45Z	-
dc.date.available	2012-07-26T09:08:45Z	-
dc.date.issued	2553	-
dc.identifier.uri	http://cuir.car.chula.ac.th/handle/123456789/21165	-
dc.description	วิทยานิพนธ์ (วศ.ม.)--จุฬาลงกรณ์มหาวิทยาลัย, 2553	en
dc.description.abstract	เสนอการพิจารณาสมรรถนะของการนำวิธีการเรียนรู้แบบเสริมแรง (reinforcement learning) มาประยุกต์ใช้เพื่อปรับปรุงกระบวนการตัดสินใจเลือกโครงข่ายเทคโนโลยีสื่อสารไร้สายที่เหมาะสม บนพื้นฐานของการจำลองการเคลื่อนที่แบบมหภาคที่มีชื่อว่า การจำลองการส่งผ่านเซลล์ (cell transmission model, CTM) ในโครงข่ายวิวิธพันธุ์ไร้สาย ในวิทยานิพนธ์นี้ได้เสนอผลการคำนวณเชิงตัวเลขบนโครงข่ายท้องถนน 1 มิติ โดยตั้งค่าให้ผู้ใช้มีตัวเลือกในการเชื่อมต่อกับโครงข่ายไร้สายแบบครอบคลุมพื้นที่ขนาดเล็กหรือโครงข่ายไมโครเซลล์ (micro cell network) และแบบครอบคลุมพื้นที่ขนาดใหญ่หรือโครงข่ายแมโครเซลล์ (macro cell network) ในแบบทิศทางตรงและแบบแอดฮ็อก (ad-hoc) การจำลองแบบมหภาคที่เสนอนี้กำหนดให้แหล่งกำเนิดทราฟฟิกจำลอง มาจากการเคลื่อนที่แบบของไหลของยานพาหนะบนถนน ตรงกันข้ามกับแบบจำลองการเคลื่อนที่ของผู้ใช้แบบจุลภาค ซึ่งเป็นที่นิยมใช้ในงานวิจัยอดีตที่การวิเคราะห์จะซ่อนพฤติกรรมของผู้ใช้แต่ละคนไว้ ซึ่งส่งผลให้เกิดความซับซ้อนในการคำนวณ แบบจำลองดังกล่าวนี้มีความได้เปรียบในเรื่องความสามารถในการคำนวณ เมื่อเปรียบเทียบกับแบบจำลองการเคลื่อนที่ของผู้ใช้แบบจุลภาค และสามารถอธิบายพฤติกรรมของผู้ใช้บนท้องถนนได้ ผ่านทางสมการคณิตศาสตร์ แบบจำลองนี้จึงเหมาะสมกับการนำมาจำลองเพื่อหากลยุทธ์การเลือกโครงข่ายที่เหมาะสมแบบปรับตัวได้ การทดลองในวิทยานิพนธ์ที่เสนอกำหนดให้มีความแปรปรวนของระบบแตกต่างกัน เพื่อทดสอบการทำงานของวิธีการเรียนรู้แบบเสริมแรงในสภาพแวดล้อมที่แตกต่างกันออกไป ซึ่งผลการทดลองดังกล่าวนั้นแสดงให้เห็นว่า วิธีการเรียนรู้แบบเสริมแรงนั้นสามารถเลือกโครงข่ายที่เหมาะสมได้ ในทุกผลการทดลองที่ได้นำเสนอ โดยไม่จำเป็นต้องใช้การคำนวณที่ซับซ้อน เหมือนกับอัลกอริทึมอื่นที่มีประสิทธิภาพใกล้เคียงกัน ทั้งยังสามารถปรับปรุงการเลือกโครงข่ายได้โดยอัตโนมัติ หากสภาพแวดล้อมของระบบเปลี่ยนไปอย่างรวดเร็ว	en
dc.description.abstractalternative	This thesis proposes the framework to find the optimal selection of heterogeneous wireless network. Reinforcement learning (RL) model has been used to find the best strategy to maximise the reward function expressed in terms of call blocking and call dropping probabilities. The reward-evaluation model is based on the well-established macroscopic cell transmission model (CTM). In this regard, numerical results have been given on a simple 1-dimensional road network settings with choices of moving users in making their connections via micro and macro cells in both direct and ad hoc modes. With this approach, traffic sources have been modelled as the deterministic fluid flow of moving users travelling on their vehicles along a road. In contrast to the approaches with microscopic user mobility models often used in the past, the proposed framework has the advantage of computational efficiency and can be integrated well with RL in the herein developed optimisation framework. The proposed framework has been considered RL-sensitivity in order to find the sensitivity of RL-parameters and evaluated in different scenarios which are the changes of bandwidth, stochastic incoming demands and unpredictable network problems. The results show that the RL algorithm can lead to the optimal solutions in all the tested scenarios with no large computational complexity as the other algorithms which have the efficiency nearly equal to RL. Furthermore, the RL algorithm can improve the network selection automatically even if the topology of the system has been changed immediately.	en
dc.format.extent	1535519 bytes	-
dc.format.mimetype	application/pdf	-
dc.language.iso	th	es
dc.publisher	จุฬาลงกรณ์มหาวิทยาลัย	en
dc.relation.uri	http://doi.org/10.14457/CU.the.2010.1932	-
dc.rights	จุฬาลงกรณ์มหาวิทยาลัย	en
dc.subject	ระบบสื่อสารไร้สาย	en
dc.subject	การเรียนรู้แบบเสริมแรง	en
dc.subject	จราจร -- การจำลองระบบ	en
dc.title	การเรียนรู้แบบเสริมแรงบนพื้นฐานของ CTM สำหรับการปรับปรุงการเลือกโครงข่ายไร้สายแบบวิวิธพันธุ์	en
dc.title.alternative	CTM-based reinforcement learning for improvement of heterogeneous wireless network selection	en
dc.type	Thesis	es
dc.degree.name	วิศวกรรมศาสตรมหาบัณฑิต	es
dc.degree.level	ปริญญาโท	es
dc.degree.discipline	วิศวกรรมไฟฟ้า	es
dc.degree.grantor	จุฬาลงกรณ์มหาวิทยาลัย	en
dc.email.advisor	Chaodit.A@chula.ac.th	-
dc.identifier.DOI	10.14457/CU.the.2010.1932	-
Appears in Collections:	Eng - Theses

Files in This Item:

File	Description	Size	Format
Kittisak_ki.pdf		1.5 MB	Adobe PDF	View/Open

Show simple item record