مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

شناسایی رفتارهای ناهنجار در تصاویر ویدئویی با استفاده از شبکه عصبی کانولوشنی

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دانشجوی کارشناسی ارشد مهندسی رباتیک، دانشکده مهندسی برق و رباتیک، دانشگاه صنعتی شاهرود
2 دانشکده مهندسی برق و رباتیک، دانشگاه صنعتی شاهرود
چکیده
شناسایی رفتار ناهنجار ازلحاظ اهمیت یک ضرورت در سامانه‌های نظارت بصری تبدیل‌شده است. همچنین این حوزه به‌عنوان یک چالش در تحقیقات بینایی ماشین بدل شده است. گرچه تلاش‌های بسیاری به‌منظور رفع این مشکل انجام‌شده است، اما شناسایی رفتار در یک محیط واقعی و غیرقابل‌کنترل فاصله معناداری تا به بلوغ رسیدن آن وجود دارد. مشکل اصلی ابهام در تفاوت خصوصیات رفتار غیر نرمال و نرمال است که تعریف آن معمولاً با توجه به زمینه پیشین تصاویر می‌تواند متفاوت باشد. در این مقاله یک سیستم شناسایی و موقعیت‌یابی رفتارهای ناهنجار در سکانس‌های ویدئویی ارائه‌شده است. جنبه کلیدی این روش درواقع ترکیب شبکه عصبی کانولوشنی زمان-مکانی دوبعدی و سه‌بعدی به‌منظور شناسایی رفتار غیر نرمال در فریم‌های متوالی ویدئویی است. همچنین از روش شناساگر Features from Accelerated Segment Test (FAST) به‌منظور افزایش ضریب اطمینان در شناسایی موقعیت‌های موردنظر در تصاویر ورودی به مدل شبکه عصبی کانولوشنی بهره گرفته‌شده است. این ویژگی‌ها تنها از حجم پیکسل‌های دارای حرکت استخراج می‌شوند تا بتوانند هزینه محاسبه را کاهش دهند. ساختار مدل شبکه عصبی کانولوشنی به ما اجازه استخراج ویژگی‌های زمان-مکانی که شامل استخراج ویژگی‌هایی با حرکات پیچیده نیز هست را می‌دهد.
روش ارائه‌شده توسط مجموعه داده‌ی متداول که شامل رفتارها و اعمال ناهنجار متفاوت انسانی در موقعیت‌های گوناگون است، مورد آزمایش و ارزیابی قرار گرفته است. نتایج حاصل از آزمایش‌های مربوطه نمایانگر این است که سیستم ارائه‌شده در مقایسه با بسیاری از روش‌های متداول پیشین، عملکرد بهتری را دارد و کارایی آن در شناسایی رفتار غیر نرمال در مقایسه با روش‌های قبلی بسیار رقابتی است.

کلیدواژه‌ها

عنوان مقاله English

Abnormal behavior detection in video by using convolutional neural network

نویسندگان English

Behnam Sabzalian 1
Hossein Marvi 2
Alireza Ahmadyfard 2
1 MSc Student of Robotic Engineering, School of Electrical Engineering and Robotics, Shahrood University of Technology
2 Dept. of Electrical and Robotic Engineering, Shahrood University OF Technology
چکیده English

Unusual behavior detection is critically important for visual surveillance. It is also a challenging research topic in computer vision. Although much effort has been devoted to tackle this problem, such detection task in a realistic and uncontrolled environment is still far from mature. The major difficulty lies in the ambiguous characteristic in differentiating normal and abnormal behaviors, whose definitions often vary according to the context of video's history.
In this paper we propose a framework for detecting and locating abnormal activities in video sequences. The key aspect of our method is the pairing of the 2D and 3D spatial-temporal Convolutional Neural Networks (CNN) for anomaly detection in contiguous video frames. The Features from Accelerated Segment Test (FAST) detector has been used In order to increase the reliability in identifying the interest locations in entry frames of convolutional neural network model. These feature extracted only from volumes of moving pixels that reduce the computational costs. The architecture of CNN model allows us to extract spatial-temporal features that contain complicated motion features.
We test our framework on popular benchmark dataset containing various human abnormal activities and situations. Evaluation results show that our method outperforms most of other methods and achieves a very competitive detection performance compared to state-of-the-art methods.

کلیدواژه‌ها English

Machine Vision
Abnormal Behavior Detection in Video
Convolutional Neural Networks
Machine Learning
Spatial-temporal CNN Features
دوره 6، شماره 1
مرداد 1398
صفحه 65-78

  • تاریخ دریافت 07 مرداد 1396
  • تاریخ بازنگری 07 خرداد 1397
  • تاریخ پذیرش 12 شهریور 1397