ระบบแจ้งเตือนการช่วยเหลือผู้ป่วยบนพื้นฐานการติดตามท่ามือและขั้นตอนวิธีเหมือนฮาร์ที่ถูกดัดแปร

Abstract

ในปัจจุบันการปฏิสัมพันธ์ระหว่างมนุษย์และคอมพิวเตอร์ (Human-Computer Interaction: HCI) ได้เข้ามามีบทบาทสำคัญอย่างมากในชีวิตประจำวันของเรา โดยหนึ่งในการประยุกต์ใช้ที่สำคัญคือการใช้งานด้านการแพทย์ งานวิจัยชิ้นนี้มุ่งเน้นไปที่การออกแบบระบบที่ช่วยให้ผู้ป่วยที่มีปัญหาด้วยการสื่อสารด้วยเสียงสามารถติดต่อกับผู้ดูแลได้โดยง่ายโดยใช้การแสดงท่าทางมือ ซึ่งได้ใช้อุปกรณ์เป็น Raspberry Pi ซึ่งเป็นอุปกรณ์ขนาดเล็กและราคาถูกเพื่อที่จะสามารถเข้าถึงผู้ใช้งานได้โดยง่าย สำหรับการทำงานของระบบนั้นได้ถูกแบ่งเป็น 2 ส่วนหลัก ในส่วนแรกระบบจะตรวจหาท่ากำมือเพื่อใช้เป็นสัญญาณในการเริ่มระบบแจ้งเตือน ซึ่งได้ใช้กระบวนวิธีแบบฮาร์สำหรับการตรวจจับ ผลการทดลองพบว่ามีความแม่นยำในการตรวจจับสูงโดยมีค่า F1-Score อยู่ที่ 0.991 ส่วนที่สองระบบจะรับภาพที่ได้จากการตรวจจับในตอนแรกเพื่อกำหนดพื้นที่และทำการแบ่งส่วนพื้นผิวมนุษย์ (Human Skin Segmentation) เพื่อลดความซับซ้อนของข้อมูลภาพ ก่อนที่จะส่งภาพไปยังโครงข่ายประสาทแบบคอนโวลูชั่นเพื่อจำแนกท่าทางนิ้วมือ 1 - 5 นิ้ว โดยในงานวิจัยนี้ได้ใช้สถาปัตยกรรมแบบ MobileNetV2 ที่มีความเร็วในการประมวลผลสูงสำหรับการจำแนก และได้ใช้ภาพมือขาว/ดำจำนวน 19,000 ภาพสำหรับการฝึกสอนโมเดล โดยผลลัพธ์จากการจำแนกท่ามือมีความถูกต้องมากกว่า 96% ผลลัพธ์ที่ได้จากการจำแนกท่ามือจะถูกแปลเป็นข้อความตามที่ได้กำหนดไว้และส่งไปยังแอพพลิเคชั่น LINE ของผู้ดูแลต่อไป วิธีการนี้ช่วยให้ผู้ป่วยสามารถสือสารกับผู้ดูแลได้โดยง่ายและยังช่วยลดความตึงเครียดของผู้ดูเลเนื่องจากไม่จำเป็นต้องอยู่กับผู้ป่วยตลอดเวลา