การแปลภาษามือการพยากรณ์อากาศเป็นคำพูดโดยใช้ RNN และ MediaPipe

Abstract

ระบบแปลภาษามือเป็นคำพูด มีบทบาทในการช่วยเหลือผู้พิการที่มีความบกพร่องทางการได้ยินหรือทางการพูด เช่น หูหนวก หูตึง หรือไม่สามารถสื่อสารได้ด้วยเสียง ซึ่งช่วยลดเวลาในการสื่อสาร อีกทั้งยังลดค่าใช้จ่ายในการจ้างล่ามภาษามือ งานวิจัยนี้ได้จัดทาระบบการแปลภาษามือการพยากรณ์อากาศจากวิดีโอมาเป็นคาพูดอัตโนมัติ โดยได้มีการนา Google MediaPipe ในส่วน Hand Tracking มาใช้ตรวจจับหา keypoint เฉพาะมือเท่านั้น และแบ่งย่อยวิดีโอมาออกเป็นภาพทุกๆ keyframes จากนั้นสกัด feature ออกมาเป็นเวกเตอร์ แล้วจึงนา feature ไปเข้าโมเดล LSTM เพื่อเรียงลาดับการเคลื่อนไหวของมือจากทุกๆเวกเตอร์ แล้วจึงนามาเรียงลาดับการเคลื่อนไหวให้กลายเป็นคาหนึ่งคา ซึ่งชุดข้อมูลภาษามือการพยากรณ์อากาศถูกแบ่งออกเป็น Train 80% และ Test 20% เพื่อได้ผลลัพธ์ที่น่าเชื่อถือและหลีกเลี่ยงการ overfitting ระหว่างการ Train ค่าพารามิเตอร์ของโมเดลที่ดีที่สุดถูกเลือก ผ่านการทา 5-fold cross validation ซึ่งได้ค่าความแม่นยาถึง 77.4% โดยนาระบบการแปลภาษามือการพยากรณ์อากาศมาพัฒนาเป็นแอปพลิเคชันเพื่อให้ผู้ที่มีความบกพร่องสามารถใช้งานได้จริง

Sign language of the weather forecast translation system plays a big role in helping the disability people such as muted, deaf and hearing impaired to communicate with normal people and also reducing the time and cost of sign language interpreters. In this paper, we developed an automatic sign language translation application for the weather forecast translation system. We utilized Google MediaPipe’s Hand Tracking, which detects key points of hand landmarks specifically, then separated frames of a video into images, extracted features of all the images to vector, and used them as inputs for LSTM model which sorts the sequences of hand’s movement vector to become a word. We divided the sign language for weather forecast dataset into 80% training set, and 20% test set to obtain a reliable evaluation and avoid overfitting. During the training phase, the best model parameters were selected through 5-fold cross validation. The model accuracy is 77.4%. We then developed a sign language for weather forecast translation application using the model that would help people with disabilities be able to use it.