مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

افزایش دقت بازشناسی صحنه‌های طبیعی پویا با استفاده از همبستگی بین نقشه‌های ویژگی در شبکه‌های عصبی پیچشی

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دانشجوی دکتری مهندسی برق، دانشکده مهندسی، دانشگاه فردوسی مشهد، مشهد، ایران
2 گروه مهندسی برق، دانشکده مهندسی، دانشگاه فردوسی مشهد، مشهد، ایران
3 گروه مهندسی مخابرات، دانشگاه صنعتی قوچان
چکیده
بازشناسی صحنه­ های پویا یکی از زمینه­ های تحقیقاتی اساسی در حوزه بینایی ماشین بشمار می­ رود. در این مقاله با استفاده از شبکه­ های عصبی پیچشی (CNN)، روشی مؤثر جهت بازشناسی صحنه­ های پویا ارائه می­ شود. در روش پیشنهادی، همبستگی بین نقشه­ های ویژگی حاصل از لایه­ های مختلف یک شبکه عصبی به عنوان بردار­های ویژگی حاوی اطلاعات ویدئو، مورد استفاده قرار گرفته است. در این روش، ابتدا N فریم از ویدئو انتخاب شده و به کمک یک شبکه عصبی پیچشی، نقشه­ های ویژگی مربوط به فریم­ های منتخب، استخراج شده و برای هر فریم، یک ماتریس گرام محاسبه می­شود که بیانگر ویژگی­ های مکانی فریم­ های ویدئو است. سپس با قطعه­ بندی زمانی فریم­ های منتخب و میانگین­ گیری بر روی ماتریس­ های گرام این فریم­ ها، اطلاعات زمانی نیز لحاظ می­ شود. با انجام عملیات کدینگ ویژگی­ها و سپس pooling، برای هر ویدئو یک بردار ویژگی به منظور طبقه­ بندی ویدئو حاصل می­ شود. نتایج شبیه­ سازی­ ها بر روی سه مجموعه داده مطرح در این زمینه نشان می­دهد که روش پیشنهادی از دقت بازشناسی بهتری در مقایسه با سایر روش­ های مطرح در این زمینه تحقیقاتی برخوردار بوده و دقت بازشناسی را تا 9% برای مجموعه داده Maryland و 3% برای مجموعه داده YUP++ بهبود بخشیده است.
کلیدواژه‌ها

عنوان مقاله English

Improving the Accuracy of Natural Dynamic Scenes Recognition using Correlation of Feature Maps in CNNs

نویسندگان English

Safoora Heidari 1
Abbas Ebrahimi moghadam 2
Morteza Khademi Doroh 2
Hadi Hadizadeh 3
1 Phd. Student of Electrical Engineering, Ferdowsi University of Mashhad (FUM), Mashhad, Iran
2 Department of Electrical Engineering, Faculty of Engineering, Ferdowsi University Of Mashhad (FUM), Mashhad, Iran
3 Department of Electrical Engineering, Quchan University of Technology
چکیده English

Dynamic scene recognition is one of the fundamental research fields in machine vision. In this paper, an effective dynamic scene recognition method using convolutional neural networks is proposed. In the proposed method the correlation of feature maps of different layers in a neural network is exploited as a feature vector containing video information. Firstly, N frames of video are selected and fed into a network to exploit the feature maps, then a Gram matrix indicating the spatial information of the frames of video is calculated. Subsequently, using temporal slicing over selected frames and averaging over the Gram matrices of these frames, temporal information is considered. Encoding features followed by pooling operation, a feature vector is obtained for classification. Experimental evaluations on benchmark dynamic scene datasets demonstrate the effectiveness of the proposed method in comparison with the state-of-the-art methods in this research field and has improved the recognition accuracy about 9% for Maryland dataset and about 3% for YUP++ dataset.

کلیدواژه‌ها English

Dynamic Scene Recognition
Convolutional Neural Network
Correlation of Feature Maps
دوره 8، شماره 2
تابستان 1400
صفحه 43-55

  • تاریخ دریافت 07 آبان 1399