مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

شناسایی رفتارهای خشونت‌آمیز در ویدئوهای نظارتی با YOLOv11 بهبود‌یافته با STN و بهینه‌سازی ماژول‌های استخراج ویژگی

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دانشکده مهندسی کامپیوتر، دانشگاه شهید باهنر کرمان
2 دانشکده فنی و مهندسی، دانشگاه شهید باهنر کرمان، کرمان، ایران
چکیده
با افزایش چالش‌های امنیتی در محیط‌های نظارتی و فضاهای پرتراکم، نیاز به سامانه‌های هوشمند برای تشخیص سریع و دقیق رفتارهای خشونت‌آمیز بیش از پیش احساس می‌شود. یکی از کاربردهای بالقوه چنین سامانه‌هایی، محیط‌های کنترل‌شده‌ای مانند زندان‌ها است که تشخیص به‌موقع درگیری‌ها اهمیت بالایی دارد. در پژوهش حاضر، یک نسخه بهبودیافته از مدل تشخیص شیء YOLOv11 برای شناسایی رفتارهای خشونت‌آمیز ارائه شده است. در معماری پیشنهادی، از یک شبکه تبدیل مکانی برای افزایش تمرکز مدل بر نواحی مهم تصویر استفاده شده و همچنین با بهینه‌سازی بخش استخراج ویژگی‌ها و تقویت نمایش اطلاعات زمینه‌ای، توانایی مدل در تشخیص صحنه‌های پیچیده و پرتراکم بهبود یافته است. با توجه به محرمانه بودن داده‌های واقعی زندان، ارزیابی روش پیشنهادی بر روی مجموعه‌داده‌های عمومی انجام شد تا امکان مقایسه منصفانه با پژوهش‌های پیشین فراهم گردد. نتایج تجربی نشان داد مدل پیشنهادی به دقت متوسط 92.8 درصد در آستانه همپوشانی 0.5 و 76.1 درصد در بازه آستانه‌های همپوشانی 0.5 تا 0.95 دست یافته است که نسبت به مدل پایه بهبود قابل توجهی را نشان می‌دهد. همچنین ارزیابی بر روی مجموعه‌داده‌های نظارتی عمومی بیانگر پایداری مناسب روش پیشنهادی در شرایط مختلف تصویربرداری است. نتایج به‌دست‌آمده نشان می‌دهد که روش پیشنهادی ظرفیت مناسبی برای استفاده به‌عنوان یک راهکار پایه و قابل انتقال به سناریوهای نظارتی واقعی، از جمله محیط‌های زندان، پس از تنظیم و ارزیابی تکمیلی بر داده‌های همان دامنه دارد.
کلیدواژه‌ها

[1].O. Elharrouss, N. Almaadeed, S. Al-Maadeed, A review of video surveillance systems, Journal of Visual Communication and Image Representation, 2021.
[2]. S. K. Thampan, J. Joseph, Intelligent Surveillance System for Crime Prevention Using Deep Learning, International Journal of Advanced Research in Science, Communication and Technology (IJARSCT), 2023.
[3]. M. Salvi, U. R. Acharya, F. Molinari, K. M. Meiburger, The impact of pre- and post-image processing techniques on deep learning frameworks: A comprehensive review for digital pathology image analysis, Computers in Biology and Medicine, 2021.
[4]. P. Wang, P. Wang, E. Fan, Violence detection and face recognition based on deep learning, Pattern Recognition Letters, 2021.
[5]. X. Zhou, Y. Chen, Q. Zhang, Trajectory Analysis Method Based on Video Surveillance Anomaly Detection, China Automation Congress (CAC), 2021.
[6]. M. Guo, X. Zeng, D. Chen, N. Yang, Deep-learning-based earth fault detection using continuous wavelet transform and convolutional neural network in resonant grounding distribution systems, IEEE Sensors Journal, 2017.
[7]. F. Barros, S. Aguiar, P. J. Sousa, A. Cachaço, P. J. Tavares, P. M. G. P. Moreira, D. Ranzal, N. Cardoso, N. Fernandes, et al., Displacement monitoring of a pedestrian bridge using 3D digital image correlation, Procedia Structural Integrity, 2022.
[8]. M. Khan, W. Gueaieb, A. El Saddik, G. De Masi, F. Karray, An efficient violence detection approach for smart cities surveillance system, IEEE International Smart Cities Conference (ISC2), 2023.
[9]. M. Ramzan, A. Abid, H. Ullah Khan, S. Mahmood Awan, A. Ismail, M. Ahmed, A. A review on state-of-the-art violence detection techniques, IEEE Access, 2019.
[10]. G. Liu, Z. Wang, H. Zhang, X. Guo, Y. Wang, C. Zhang, A novel violent video detection method based on improved C3D and transfer learning, International Conference on Computer Information and Big Data Applications (CIBDA), 2022.
[11]. E. Fenil, G. Manogaran, G. Vivekananda, T. Thanjaivadivel, S. Jeeva, A. Ahilan, Real time violence detection framework for football stadium comprising of big data analysis and deep learning through bidirectional LSTM, Computer Networks, 2019.
[12]. D. Jackson Samuel R., F. E., G. Manogaran, V. G. N., T. T., S. Jeeva, A. Ahilan, Crowd anomaly detection using aggregation of ensembles of fine-tuned convnets, Neurocomputing, 2019.
[13]. S. Accattoli, P. Sernani, N. Falcionelli, D. Neway Mekuria, Violence detection in videos by combining 3D convolutional neural networks and support vector machines, Applied Artificial Intelligence, 2020.
[14]. M. Magdy, M. W. Fakhr, F. A. Maghraby, Violence 4D: Violence detection in surveillance using 4D convolutional neural networks, IET Computer Vision, 2023.
[15]. N. Waddenkery, S. Soma, An efficient convolutional neural network for detecting the crime of stealing in videos, Entertainment Computing, 2024.
[16]. K. Rahima, H. Muhammad, YOLOv11: An overview of the key architectural enhancements, arXiv, 2024.
[17]. G. Jocher, A. Chaurasia, J. Qiu, Ultralytics YOLOv8, version 8.0.0, GitHub, 2024.
[18]. Z. Wang, S. Ji, Smoothed dilated convolutions for improved dense prediction, ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2019.
[19]. W. Luo, Y. Li, R. Urtasun, R. Zemel, Understanding the effective receptive field in deep convolutional neural networks, Advances in Neural Information Processing Systems, 2017.
[20]. G. Jocher, et al., YOLOv5, Ultralytics, 2020.
[21]. G. Jocher, et al., YOLOv8: Ultralytics Open-Source YOLO Models, 2023.
[22]. J. Redmon, A. Farhadi, YOLOv3: An Incremental Improvement, arXiv preprint arXiv:1804.02767, 2018.
[23]. Y. Zhang, H. Peng, D. Zhang, J. Wang, T. Tan, RT-DETR: Real-Time Detection Transformer, arXiv preprint arXiv:2304.08069, 2023.
[24]. S. Liu, L. Jin, W. Wang, GELAN: A Generalized Efficient Layer Aggregation Network for Object Detection, arXiv preprint arXiv:2303.09355, 2023.
[25]. G. Jocher, A. Chaurasia, J. Qiu, YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information, arXiv preprint arXiv:2402.13616, 2024.
[26]. W. Xu, D. Zhu, R. Deng, K. L. Yung, A. W. H. Ip, Violence-YOLO: Enhanced GELAN Algorithm for Violence Detection, Applied Sciences, 2024.
[27]. M. Cheng, K. Cai, M. Li, RWF-2000: An open large scale video database for violence detection, Proceedings of the 25th International Conference on Pattern Recognition (ICPR), Milan, Italy, 2021.
[28]. M. Magdy, M. W. Fakhr, F. A. Maghraby, Violence 4D: Violence detection in surveillance using 4D convolutional neural networks, IET Computer Vision, 2023.
[29]. Z. Wang, S. Ji, Lightweight Violence Detection Model Based on 2D CNN with Bi-Directional Motion Attention, Applied Sciences, 2024.
[30]. Efficient Human Violence Recognition for Surveillance in Real Time, Sensors, 2024.
[31]. LAVID: A Lightweight and Autonomous Smart Camera System for Urban Violence Detection and Geolocation, Computers, 2025.
[32]. S. T. Y. Aung, W. Kusakunniran, K. H. Yew, Leveraging Fusion Methods of Human Pose and Motion Dynamics for Accurate Violence Detection in Video Surveillance, IEEE Access, 2025.
 
 

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از 25 شهریور 1405

  • تاریخ دریافت 20 بهمن 1404
  • تاریخ بازنگری 04 شهریور 1405
  • تاریخ پذیرش 23 شهریور 1405