Please use this identifier to cite or link to this item: http://cuir.car.chula.ac.th/handle/123456789/65140
Title: Semi-supervised deep learning with malignet for bone lesion instance segmentation using bone scintigraphy
Other Titles: การเรียนรู้เชิงลึกแบบกึ่งมีผู้สอนด้วยมาลิกเน็ตสำหรับการแบ่งส่วนตัวอย่างรอยโรคที่กระดูกโดยใช้ภาพถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์
Authors: Terapap Apiparakoon
Advisors: Ekapol Chuangsuwanich
Yothin Rakvongthai
Other author: Chulalongkorn University. Faculty of Engineering
Advisor's Email: Ekapol.C@Chula.ac.th
Yothin.R@Chula.ac.th
Issue Date: 2019
Publisher: Chulalongkorn University
Abstract: One challenge in applying deep learning to medical imaging is the lack of labeled data. Although large amounts of clinical data are available, acquiring labeled image data is difficult, especially for bone scintigraphy (i.e., 2D bone imaging) images. Bone scintigraphy images are generally noisy, and ground-truth or gold standard information from surgical or pathological reports may not be available. We propose a novel neural network model that can segment abnormal hotspots and classify bone cancer metastases in the chest area in a semi-supervised manner. Our proposed model, called MaligNet, is an instance segmentation model that incorporates ladder networks to harness both labeled and unlabeled data. Unlike deep learning segmentation models that classify each instance independently, MaligNet utilizes global information via an additional connection from the core network. To evaluate the performance of our model, we created a dataset for bone lesion instance segmentation using labeled and unlabeled example data from 544 and 9,280 patients, respectively. Our proposed model achieved mean precision, mean sensitivity, and mean F1-score of 0.852, 0.856, and 0.848, respectively, and outperformed the baseline mask region-based convolutional neural network (Mask R-CNN) by 3.92%. Further analysis showed that incorporating global information also helps the model classify specific instances that require information from other regions. On the metastasis classification task, our model achieves a sensitivity of 0.657 and a specificity of 0.857, demonstrating its great potential for automated diagnosis using bone scintigraphy in clinical practice.
Other Abstract: หนึ่งในความท้าทายของการประยุกต์ใช้การเรียนรู้เชิงลึกกับภาพถ่ายทางการแพทย์คือการขาดข้อมูลที่มีผลเฉลยที่ชัดเจน แม้ว่าจะมีข้อมูลทางการแพทย์จำนวนมากก็ตามแต่ก็เป็นเรื่องที่ยากที่จะระบุผลเฉลยของข้อมูลนั้นโดยเฉพาะถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์ซึ่งเป็นภาพถ่ายสแกนกระดูกแบบ 2 มิติ โดยปกติภาพถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์จะมีสิ่งรบกวนและการบดบัง ผลเฉลยของข้อมูลและผลเฉลยที่ใช้อ้างอิง (gold standard) มักจะได้มาจากการผ่าตัดหรือการวินิจฉัยทางการแพทย์ซึ่งไม่สามารถหาได้จากการวิเคราะห์เบื้องต้น ผมจึงเสนอโมเดลโครงข่ายประสาทเทียมแบบใหม่ที่สามารถแบ่งส่วนบริเวณจุดสว่างที่ผิดปกติและแบ่งประเภทรอยโรคที่บริเวณหน้าอกด้วยวิธีการเรียนรู้แบบกึ่งมีผู้สอน โมเดลของผมเรียกว่า "มาลิกเน็ต" เป็นโมเดลสำหรับแบ่งส่วนตัวอย่างที่ผสมผสานโมเดลขั้นบันไดจัดการกับข้อมูลที่มีผลเฉลยและไม่มีผลเฉลย แตกต่างกับโมเดลการเรียนรู้เชิงลึกสำหรับแบ่งส่วนประเภทอื่นๆที่จะแบ่งประเภทแต่ละตัวอย่างอย่างอิสระ มาลิกเน็ตใช้ประโยชน์จากข้อมูลองค์รวมผ่านทางการเชื่อมต่อเพิ่มเติมจากแกนนำของโครงข่ายประสาทเทียม ในการประเมินประสิทธิภาพของโมเดล ผมสร้างชุดข้อมูลสำหรับแบ่งส่วนรอยโรคบนกระดูกโดยใช้ข้อมูลที่มีผลเฉลยและไม่มีผลเฉลยของคนไข้จำนวน 544 และ 9,280 คนตามลำดับ  โมเดลที่ผมนำเสนอมีค่าเฉลี่ยพรีซิชัน (precision), ค่าเฉลี่ยรีคอล (recall), และค่าเฉลี่ยเอฟวัน (f1-score) เฉลี่ยอยู่ที่ 0.852, 0.856, และ 0.848 ตามลำดับ มีประสิทธิภาพเหนือกว่าโมเดลพื้นฐาน (Mask R-CNN) 3.92% โดยสัมพัทธ์ ผลการวิเคราะห์แสดงให้เห็นว่าการนำข้อมูลโดยรวมมาใช้นั้นช่วยให้โมเดลสามารถแบ่งประเภทตัวอย่างรอยโรคที่มีความเฉพาะเจาะจงที่ซึ่งต้องการข้อมูลจากบริเวณอื่นๆ สำหรับโจทย์การแบ่งประเภทการแพร่กระจายของมะเร็งกระดูก โมเดลบรรลุค่ารีคอล (recall) ที่ 0.657 และ ค่าเฉพาะเจาะจง (specificity) ที่ 0.857 แสดงให้เห็นถึงศักยภาพที่ยอดเยี่ยมสำหรับการตรวจวินิจฉัยโดยใช้ภาพถ่ายสแกนกระดูกด้วยวิธีทางเวชศาสตร์นิวเคลียร์ในทางปฏิบัติทางคลินิก
Description: Thesis (M.Eng.)--Chulalongkorn University, 2019
Degree Name: Master of Engineering
Degree Level: Master’s Degree
Degree Discipline: Computer Engineering
URI: http://cuir.car.chula.ac.th/handle/123456789/65140
Type: Thesis
Appears in Collections:FACULTY OF ENGINEERING

Files in This Item:
File Description SizeFormat 
6170191421.pdf4.58 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.