ระบบควบคุมภาพทางการแพทย์แบบไร้สัมผัสในห้องผ่าตัดโดยใช้การตรวจจับตำแหน่งมือสามมิติจากกล้อง สเตอริโอและการรู้จำท่าทางด้วย BiLSTM

Abstract

โครงงานวิศวกรรมนี้มีวัตถุประสงค์เพื่อพัฒนาระบบควบคุมการแสดงภาพทางการแพทย์แบบไร้สัมผัสสำหรับใช้งานในห้องผ่าตัด เพื่อลดความเสี่ยงของการปนเปื้อนเชื้อโรคจากการสัมผัสอุปกรณ์คอมพิวเตอร์ เช่น คีย์บอร์ดและเมาส์ ซึ่งเป็นปัจจัยหนึ่งที่อาจส่งผลต่อการติดเชื้อหลังการผ่าตัด ระบบที่พัฒนาขึ้นอาศัยการตรวจจับตำแหน่งมือแบบสามมิติด้วยกล้องสเตอริโอร่วมกับการประมวลผลภาพเชิงลึก โดยใช้สถาปัตยกรรม U-Net ในการแบ่งส่วนภาพมือออกจากพื้นหลัง จากนั้นทำการปรับปรุงผลลัพธ์หลังการประมวลผลเพื่อเพิ่มความชัดเจนของบริเวณมือ และคำนวณจุดศูนย์กลางของมือเพื่อนำไปหาพิกัดสามมิติด้วยหลักการของสเตอริโอวิชัน ข้อมูลพิกัดสามมิติของมือที่ได้ถูกนำมาใช้ในการจดจำท่าทางด้วยแบบจำลองโครงข่ายประสาทเทียมแบบสองทิศทางระยะสั้นยาว หรือ BiLSTM เพื่อแปลงท่าทางมือให้เป็นคำสั่งควบคุมการแสดงภาพทางการแพทย์ ระบบดังกล่าวสามารถประยุกต์ใช้สำหรับควบคุมการเลื่อนภาพ การขยายหรือย่อภาพ และการปรับค่าการแสดงผลต่าง ๆ โดยไม่ต้องสัมผัสอุปกรณ์อินพุตโดยตรง ทั้งนี้ ได้มีการประเมินประสิทธิภาพของระบบในแต่ละขั้นตอน ได้แก่ การแบ่งส่วนภาพมือ การปรับปรุงผลลัพธ์หลังการประมวลผล การคำนวณจุดศูนย์กลางของมือ การคำนวณพิกัดสามมิติของมือ และการจำแนกท่าทางมือ ผลการพัฒนาระบบแสดงให้เห็นถึงศักยภาพของแนวทางที่นำเสนอในการสนับสนุนการควบคุมภาพทางการแพทย์แบบไร้สัมผัส ซึ่งสามารถช่วยเพิ่มความสะดวก ลดการสัมผัสที่ไม่จำเป็น และส่งเสริมความปลอดภัยในการปฏิบัติงานภายในห้องผ่าตัด

This engineering project aims to develop a touchless medical image display control system for use in the operating room in order to reduce the risk of contamination caused by direct interaction with computer input devices such as keyboards and mice, which may contribute to postoperative infections. The proposed system employs three-dimensional hand position detection using a stereo camera combined with deep learning-based image processing. A U-Net architecture is utilized to segment the hand region from the background. Subsequently, post-processing is applied to enhance the segmentation results, and the hand centroid is calculated to estimate the three-dimensional hand coordinates based on stereo vision principles. The obtained 3D hand coordinate data are then used for gesture recognition through a Bidirectional Long Short-Term Memory (BiLSTM) neural network in order to map hand gestures into commands for controlling medical image display. The developed system can be applied to perform functions such as image navigation, zooming, and adjustment of display parameters without direct contact with input devices. In this study, the system performance is evaluated in several stages, including hand image segmentation, post-processing improvement, hand centroid calculation, three-dimensional hand coordinate estimation, and hand gesture classification. The proposed approach demonstrates the potential of supporting touchless medical image control, which may enhance convenience, reduce unnecessary physical contact, and improve safety in the operating room.