Please use this identifier to cite or link to this item: https://cuir.car.chula.ac.th/handle/123456789/81529
Full metadata record
DC FieldValueLanguage
dc.contributor.advisorAtiwong Suchato-
dc.contributor.advisorEkapol Chuangsuwanich-
dc.contributor.authorBurin Naowarat-
dc.contributor.otherChulalongkorn University. Faculty of Engineering-
dc.date.accessioned2023-02-03T04:00:33Z-
dc.date.available2023-02-03T04:00:33Z-
dc.date.issued2021-
dc.identifier.urihttp://cuir.car.chula.ac.th/handle/123456789/81529-
dc.descriptionThesis (M.Eng.)--Chulalongkorn University, 2021-
dc.description.abstractConnectionist Temporal Classification (CTC) loss has become widely used in sequence modeling tasks such as Automatic Speech Recognition (ASR) and Handwritten Text Recognition (HTR) due to its ease of use. CTC itself has no architecture constraints, but it is commonly used with recurrent models that predict letters based on histories in order to relax the conditional independent assumption. However, recent sequence models that incorporate CTC loss have been focusing on speed by removing recurrent structures, hence losing important context information. This thesis presents Contextualized Connectionist Temporal Classification (CCTC) loss, which induces prediction dependencies in non-recurrent and non-autoregressive neural networks for sequence modeling. CCTC allows the model to implicitly learn the language model by predicting neighboring labels via multi-task learning. Experiments on ASR and HTR tasks in two different languages show that CCTC models offer improvements over CTC models by 2.2-8.4% relative without incurring extra inference costs.-
dc.description.abstractalternativeเนื่องจากความง่ายในการใช้งาน คอนเนคชันนิสเทมโปรอลคลาสสิฟิเคชัน (ซีทีซี) จึงถูกนำมา ใช้อย่างแพร่หลายในปัญหาการจําลองตามลําดับอาทิเช่นการรู้จำเสียงพูดอัตโนมัติและการรู้จำตัวอักษร ลายมือเขียน ซีทีซีนั้นสามารถใช้เพื่อฝึกฝนโมเดลโครงข่ายประสาทเทียมแบบใดก็ได้ แต่มักจะถูกใช้คู่กับ โมเดลโครงข่ายประสาทเทียมแบบเกิดซ้ำที่คำนึงถึงผลลัพธ์ในอดีตในการทำนายผลลัพธ์ในปัจจุบันเพื่อ ผ่อนคลายสมมติฐานของความน่าจะเป็นแบบเป็นอิสระของซีทีซี อย่างไรก็ตามงานวิจัยในช่วงหลังสนใจ การใช้งานซีทีซีคู่กับโมเดลแบบไม่เกิดซ้ำโดยมีวัตถุประสงค์ที่จะลดประสิทธิภาพที่เกิดจากความสามารถ ในจากการพึ่งพาบริบทเพื่อเพิ่มความเร็วในการทำนายผล วิทยานิพนธ์นี้ได้เสนอคอนเทคชัวไลซ์คอนเน คชันนิสเทมโปรอลคลาสสิฟิเคชัน (ซีซีทีซี) สำหรับฝึกฝนโมเดลแบบไม่เกิดซ้ำที่ใช้ในปัญหาการจําลอง ตามลําดับ ซีซีทีซีใช้ประโยชน์จากการเรียนรู้หลากหลายงานพร้อมกันในการทำให้โมเดลแบบไม่เกิดซ้ำมี โอกาสที่จะเรียนรู้บริบทสำหรับใช้ในการทำนายผลผ่านการทำนายผลลัพธ์ที่อยู่รอบข้างและการทำนาย ผลลัพธ์หลักไปพร้อมกัน ผลการทดลองในการรู้จำเสียงพูดอัติโนมัติและการรู้จำตัวอักษรลายมือเขียน สำหรับภาษาไทยและอังกฤษแสดงให้เห็นว่าซีซีทีซีมีประสิทธิภาพสัมพัทธ์สูงกว่าซีทีซี 2.2-8.4% โดยที่ ยังสามารถคงความเร็วในการทำนายผลไว้ได้เท่าซีทีซีแบบดั้งเดิม-
dc.language.isoen-
dc.publisherChulalongkorn University-
dc.relation.urihttp://doi.org/10.58837/CHULA.THE.2021.95-
dc.rightsChulalongkorn University-
dc.subject.classificationComputer Science-
dc.subject.classificationEngineering-
dc.subject.classificationEngineering-
dc.titleIncorporating context into non-autoregressive model using contextualized CTC for sequence labelling-
dc.title.alternativeการผสานบริบทเข้ากับนอนออโตรีเกรสซีฟโมเดลด้วยซีทีซีที่สามารถเรียนรู้บริบทสําหรับการติดป้ายตามลําดับ-
dc.typeThesis-
dc.degree.nameMaster of Engineering-
dc.degree.levelMaster's Degree-
dc.degree.disciplineComputer Engineering-
dc.degree.grantorChulalongkorn University-
dc.identifier.DOI10.58837/CHULA.THE.2021.95-
Appears in Collections:Eng - Theses

Files in This Item:
File Description SizeFormat 
6270145221.pdf4.39 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.