Publication: การทำนายการจดจำภาพด้วยการเรียนรู้เชิงลึก
1
0
Issued Date
2024-05-24
Resource Type
Language
tha
File Type
application/pdf
Access Rights
Open Access
Rights
ผลงานนี้เผยแพร่ภายใต้ สัญญาอนุญาตครีเอทีฟคอมมอนส์แบบ แสดงที่มา-ไม่ใช้เพื่อการค้า-ไม่ดัดแปลง 4.0 (CC BY-NC-ND 4.0)
Rights Holder(s)
มหาวิทยาลัยศรีนครินทรวิโรฒ
Suggested Citation
Rattaporn Kunsombat, รัฐพร คุณสมบัติ (2024). การทำนายการจดจำภาพด้วยการเรียนรู้เชิงลึก. สืบค้นจาก: https://hdl.handle.net/20.500.14740/54192
Alternative Title(s)
Image memorability prediction using deep learning
Author(s)
Advisor(s)
Organization
Abstract
The ability to memorize images can be assessed based on the behavior and experiences of individuals, from a psychological perspective on memory, stemming from internal brain stimulation and daily life usage. This research focuses on predicting image memorization using deep learning techniques. In particular, this research employs three types of model architecture: (1) ResNet50 (a 50-layer convolutional neural network) which utilized; (2) ViT (Vision Transformer model); and (3) a hybrid model using ResNet50 and ViT in conjunction to predict memorability scores. These models were trained using three distinct approaches: (1) training from scratch; (2) utilizing the pretrained models; and (3) fine-tuning the pretrained model, in order to compare the performance of the models in image memorization. The result revealed that the pretrained ResNet50 model (without fine-tuning) yielded the best performance compared to other models, with 0.0001 Mean Squared Error (MSE), 0.0082 Mean Absolute Error (MAE), 0.9947 R-square (R2) and a 0.9896 Spearman Correlation Coefficient (Spearman's rho).
ความสามารถในการจดจำภาพสามารถวัดได้จากพฤติกรรมและประสบการณ์ของแต่ละบุคคล โดยมุมมองทางจิตวิทยาความจำมาจากการกระตุ้นภายในสมองและการใช้ชีวิตประจำวัน ในงานวิจัยนี้มุ่งศึกษาการสร้างแบบจำลองเพื่อทำนายการจดจำภาพโดยใช้เทคนิคการเรียนรู้เชิงลึก (Deep Learning) โดยรูปแบบของแบบจำลองที่นำมาศึกษาประกอบด้วย 1) สถาปัตยกรรมแบบ ResNet50 ซึ่งเป็นโครงข่ายประสาทเทียมแบบสังวัตนาการ (Convolutional Neural Network, CNN) 2) สถาปัตยกรรมแบบ ViT ซึ่งเป็นโครงข่ายประสาทเทียมแบบทรานฟอร์เมอร์ (Transformer) และ 3) การแบบจำลองผสมผสานที่ได้จาการนำทั้งสองโมเดลมาเชื่อมต่อกันแบบคู่ขนานโดยในการฝึกแบบจำลองแบ่งเป็น 3 แบบ ได้แก่ 1) การฝึกแบบจำลองจากแรกเริ่ม (Trained from scratch) 2) การนำแบบจำลองที่ฝึกมาจากชุดข้อมูลอื่นมาใช้เป็นแบบจำลองเพื่อการคำนวณเวกเตอร์คุณลักษณะ(Pretrained model) และ 3) การนำฝึกแบบจำลองที่ฝึกมาจากชุดข้อมูลอื่น,มาปรับแต่งเพิ่มเติม (Fine-tuning ) เพื่อเปรียบเทียบประสิทธิภาพโมเดลในการจดจำภาพ โดยจากผลการทดลอง การนำแบบจำลอง ResNet50 ที่ฝึกมาจากชุดข้อมูลอื่นมาใช้เป็นแบบจำลองเพื่อการคำนวณเวกเตอร์คุณลักษณะมาใช้ฝึกในชุดข้อมูลที่มีการคละหมวดหมู่ ให้ผลการทดลองที่ดีที่สุดโดยมีค่าประสิทธิภาพการทำนายคะแนนการจดจำภาพดังนี้ คือ Mean Squared Error (MSE) 0.0001 Mean Absolute Error (MAE) 0.0082 R-square (R2) 0.9947 และ Spearman Correlation Coefficient (Spearman's rho) 0.9896
ความสามารถในการจดจำภาพสามารถวัดได้จากพฤติกรรมและประสบการณ์ของแต่ละบุคคล โดยมุมมองทางจิตวิทยาความจำมาจากการกระตุ้นภายในสมองและการใช้ชีวิตประจำวัน ในงานวิจัยนี้มุ่งศึกษาการสร้างแบบจำลองเพื่อทำนายการจดจำภาพโดยใช้เทคนิคการเรียนรู้เชิงลึก (Deep Learning) โดยรูปแบบของแบบจำลองที่นำมาศึกษาประกอบด้วย 1) สถาปัตยกรรมแบบ ResNet50 ซึ่งเป็นโครงข่ายประสาทเทียมแบบสังวัตนาการ (Convolutional Neural Network, CNN) 2) สถาปัตยกรรมแบบ ViT ซึ่งเป็นโครงข่ายประสาทเทียมแบบทรานฟอร์เมอร์ (Transformer) และ 3) การแบบจำลองผสมผสานที่ได้จาการนำทั้งสองโมเดลมาเชื่อมต่อกันแบบคู่ขนานโดยในการฝึกแบบจำลองแบ่งเป็น 3 แบบ ได้แก่ 1) การฝึกแบบจำลองจากแรกเริ่ม (Trained from scratch) 2) การนำแบบจำลองที่ฝึกมาจากชุดข้อมูลอื่นมาใช้เป็นแบบจำลองเพื่อการคำนวณเวกเตอร์คุณลักษณะ(Pretrained model) และ 3) การนำฝึกแบบจำลองที่ฝึกมาจากชุดข้อมูลอื่น,มาปรับแต่งเพิ่มเติม (Fine-tuning ) เพื่อเปรียบเทียบประสิทธิภาพโมเดลในการจดจำภาพ โดยจากผลการทดลอง การนำแบบจำลอง ResNet50 ที่ฝึกมาจากชุดข้อมูลอื่นมาใช้เป็นแบบจำลองเพื่อการคำนวณเวกเตอร์คุณลักษณะมาใช้ฝึกในชุดข้อมูลที่มีการคละหมวดหมู่ ให้ผลการทดลองที่ดีที่สุดโดยมีค่าประสิทธิภาพการทำนายคะแนนการจดจำภาพดังนี้ คือ Mean Squared Error (MSE) 0.0001 Mean Absolute Error (MAE) 0.0082 R-square (R2) 0.9947 และ Spearman Correlation Coefficient (Spearman's rho) 0.9896
Degree Name
วิทยาศาสตรมหาบัณฑิต (วท.ม.)
Degree Level
-
-
-
Degree Discipline
ภาควิชาวิทยาการคอมพิวเตอร์
Degree Grantor(s)
มหาวิทยาลัยศรีนครินทรวิโรฒ