ระบบเช็คชื่อเข้าเรียนโดยใช้การรู้จำใบหน้าบนสมาร์ทโฟน

Abstract

งานวิจัยนี้มีวัตถุประสงค์ในการพัฒนาระบบเช็คชื่อเข้าเรียนด้วยแอปพลิเคชันบนสมาร์ท- โฟนด้วยการรู้จำใบหน้า การรู้จำใบหน้านั้นได้นำ FaceNet มาใช้ในกระบวนการคัดแยกคุณลักษณะเด่น (feature extraction) โดย FaceNet ทำการฝังคุณลักษณะเด่น (Embedding Features) จากบริเวณที่สำคัญของใบหน้า ได้แก่ ตา จมูก และ ปาก ให้เป็นข้อมูลเว็กเตอร์ 128 มิติ จากนั้นจะนำไปทำการเทรนโมเดลกับตัวจำแนก (classifier) 3 แบบ ได้แก่ K-Nearest Neighbors, Multi-layer Perceptron และ Support Vector Machine จากการทดลองพบว่า KNN สามารถจำแนกได้ดีที่สุด โดยจะได้ค่าความถูกต้องอยู่ที่ 98.7% และค่าเฉลี่ยของความน่าจะเป็นต่อใบหน้าอยู่ที่ 99.2% ในส่วนของการพัฒนาบนแอปพลิเคชันนั้น ได้ใช้ Flutter Framework ในการพัฒนาแอปพลิเคชัน โดยสามารถทำงานได้ทั้งบนระบบแอนดรอยด์และ iOS ผู้วิจัยได้นำโมเดลที่ได้ไปประยุกต์ใช้กับระบบเช็คชื่อเข้าเรียน โดยแบ่งการทำงานเป็น 2 ส่วน คือส่วนของแอปพลิเคชันเช็คชื่อเข้าเรียนบนสมาร์ทโฟน และส่วนของโมเดลรู้จำใบหน้าและฐานข้อมูลการเช็คชื่อเข้าเรียนบนเว็บเซิร์ฟเวอร์ ในส่วนของแอปพลิเคชันบนสมาร์ทโฟนจะส่งภาพใบหน้าผู้เรียนจากกล้องของสมาร์ทโฟนไปวิเคราะห์กับโมเดลบนเว็บเซิร์ฟเวอร์ เพื่อทำการทำนายใบหน้าที่รับมาและจะส่งข้อความยืนยันผลการทำนายใบหน้า จากนั้นแอปพลิเคชันจะทำการบันทึกข้อมูลการเช็คชื่อเข้าเรียนของผู้ใช้ลงในฐานข้อมูล

This research aims to develop a system to check class attendance by using a mobile application with face recognition. Face recognition has applied FaceNet in the feature extraction process. FaceNet creates features from keys areas of the face, including eyes, nose, and mouth, into 128-dimensional vector data. To select a classifier in our model, we consider among three classifiers: K-Nearest Neighbors, Multi-layer Perceptron, and Support Vector Machine. We found that K-Nearest Neighbors was the best classifier with an accuracy of 98.7% and the mean of probability at 99.2%. Therefore, we applied K-Nearest Neighbors to our proposed model to the attendance check-in system. We also use the flutter framework for developing our mobile applications, which support running on both Android and iOS platforms. The attendance checking system is divided into two parts. The first part is the class attendance checking process which consists of the enrollment course of the student. The part runs on a smartphone. The second part is the face recognition process which uses our proposed face recognition model and the class attendance database, which runs on the webserver. After selecting a class to attend, the student has to take his/her picture and upload it to the face classifying model on the webserver. After that, our model will predict the received image and send a message confirming the face prediction result. Finally, the application will record the user's class attendance information into the database.