شناسایی رفتارهای خشونت‌آمیز در ویدئوهای نظارتی با YOLOv11 بهبود‌یافته با STN و بهینه‌سازی ماژول‌های استخراج ویژگی

شمس الدینی فرسنگی, افسانه; قاضی زاده احسائی, مصطفی

شناسایی رفتارهای خشونت‌آمیز در ویدئوهای نظارتی با YOLOv11 بهبود‌یافته با STN و بهینه‌سازی ماژول‌های استخراج ویژگی

مقالات آماده انتشار

نوع مقاله : مقاله پژوهشی

نویسندگان

افسانه شمس الدینی فرسنگی ¹

مصطفی قاضی زاده احسائی ²

¹ دانشکده مهندسی کامپیوتر، دانشگاه شهید باهنر کرمان

² دانشکده فنی و مهندسی، دانشگاه شهید باهنر کرمان، کرمان، ایران

چکیده

با افزایش چالش‌های امنیتی در محیط‌های نظارتی و فضاهای پرتراکم، نیاز به سامانه‌های هوشمند برای تشخیص سریع و دقیق رفتارهای خشونت‌آمیز بیش از پیش احساس می‌شود. یکی از کاربردهای بالقوه چنین سامانه‌هایی، محیط‌های کنترل‌شده‌ای مانند زندان‌ها است که تشخیص به‌موقع درگیری‌ها اهمیت بالایی دارد. در پژوهش حاضر، یک نسخه بهبودیافته از مدل تشخیص شیء YOLOv11 برای شناسایی رفتارهای خشونت‌آمیز ارائه شده است. در معماری پیشنهادی، از یک شبکه تبدیل مکانی برای افزایش تمرکز مدل بر نواحی مهم تصویر استفاده شده و همچنین با بهینه‌سازی بخش استخراج ویژگی‌ها و تقویت نمایش اطلاعات زمینه‌ای، توانایی مدل در تشخیص صحنه‌های پیچیده و پرتراکم بهبود یافته است. با توجه به محرمانه بودن داده‌های واقعی زندان، ارزیابی روش پیشنهادی بر روی مجموعه‌داده‌های عمومی انجام شد تا امکان مقایسه منصفانه با پژوهش‌های پیشین فراهم گردد. نتایج تجربی نشان داد مدل پیشنهادی به دقت متوسط 92.8 درصد در آستانه همپوشانی 0.5 و 76.1 درصد در بازه آستانه‌های همپوشانی 0.5 تا 0.95 دست یافته است که نسبت به مدل پایه بهبود قابل توجهی را نشان می‌دهد. همچنین ارزیابی بر روی مجموعه‌داده‌های نظارتی عمومی بیانگر پایداری مناسب روش پیشنهادی در شرایط مختلف تصویربرداری است. نتایج به‌دست‌آمده نشان می‌دهد که روش پیشنهادی ظرفیت مناسبی برای استفاده به‌عنوان یک راهکار پایه و قابل انتقال به سناریوهای نظارتی واقعی، از جمله محیط‌های زندان، پس از تنظیم و ارزیابی تکمیلی بر داده‌های همان دامنه دارد.

کلیدواژه‌ها

تشخیص خشونت

تشخیص شیء

YOLOv11

یادگیری عمیق

سامانه‌های نظارتی

عنوان مقاله English

Detecting Violent Behaviors in Surveillance Videos with YOLOv11 Improved with STN and Optimization of Feature Extraction Modules

نویسندگان English

Afsaneh Shamsaddini-Farsangi ¹

Mostafa Ghazizadeh-Ahsaee ²

¹ Department of Computer Engineering, Shahid Bahonar University of Kerman, Kerman, Iran

² Shahid Bahonar University of Kerman, Kerman, Iran

چکیده English

With the increasing security challenges in surveillance environments and densely populated settings, there is a growing need for intelligent systems capable of rapidly and accurately detecting violent behaviors. One potential application of such systems is controlled environments, such as prisons, where the timely detection of violent incidents is of critical importance. In this study, an enhanced version of the YOLOv11 object detection model is proposed for the identification of violent behaviors. In the proposed architecture, a Spatial Transformer Network (STN) is incorporated to improve the model’s focus on salient image regions. In addition, the feature extraction component is optimized and contextual information representation is enhanced to improve the model’s ability to detect complex and crowded scenes. Due to the confidential nature of real-world prison data, the proposed method was evaluated on publicly available datasets to enable a fair comparison with previous studies. The experimental results demonstrated that the proposed model achieved a mean average precision (mAP) of 92.8% at an IoU threshold of 0.5 (mAP@0.5) and 76.1% across IoU thresholds ranging from 0.5 to 0.95 (mAP@0.5:0.95), representing a substantial improvement over the baseline model. Furthermore, evaluation on public surveillance datasets indicated the robustness of the proposed approach under varying imaging conditions. Overall, the results suggest that the proposed method has the potential to serve as a transferable baseline solution for real-world surveillance scenarios, including prison environments, following further fine-tuning and domain-specific evaluation on data from the target environment.

کلیدواژه‌ها English

Violence detection

Object detection

YOLOv11

Deep learning

[1].O. Elharrouss, N. Almaadeed, S. Al-Maadeed, A review of video surveillance systems, Journal of Visual Communication and Image Representation, 2021.

[2]. S. K. Thampan, J. Joseph, Intelligent Surveillance System for Crime Prevention Using Deep Learning, International Journal of Advanced Research in Science, Communication and Technology (IJARSCT), 2023.

[3]. M. Salvi, U. R. Acharya, F. Molinari, K. M. Meiburger, The impact of pre- and post-image processing techniques on deep learning frameworks: A comprehensive review for digital pathology image analysis, Computers in Biology and Medicine, 2021.

[4]. P. Wang, P. Wang, E. Fan, Violence detection and face recognition based on deep learning, Pattern Recognition Letters, 2021.

[5]. X. Zhou, Y. Chen, Q. Zhang, Trajectory Analysis Method Based on Video Surveillance Anomaly Detection, China Automation Congress (CAC), 2021.

[6]. M. Guo, X. Zeng, D. Chen, N. Yang, Deep-learning-based earth fault detection using continuous wavelet transform and convolutional neural network in resonant grounding distribution systems, IEEE Sensors Journal, 2017.

[7]. F. Barros, S. Aguiar, P. J. Sousa, A. Cachaço, P. J. Tavares, P. M. G. P. Moreira, D. Ranzal, N. Cardoso, N. Fernandes, et al., Displacement monitoring of a pedestrian bridge using 3D digital image correlation, Procedia Structural Integrity, 2022.

[8]. M. Khan, W. Gueaieb, A. El Saddik, G. De Masi, F. Karray, An efficient violence detection approach for smart cities surveillance system, IEEE International Smart Cities Conference (ISC2), 2023.

[9]. M. Ramzan, A. Abid, H. Ullah Khan, S. Mahmood Awan, A. Ismail, M. Ahmed, A. A review on state-of-the-art violence detection techniques, IEEE Access, 2019.

[10]. G. Liu, Z. Wang, H. Zhang, X. Guo, Y. Wang, C. Zhang, A novel violent video detection method based on improved C3D and transfer learning, International Conference on Computer Information and Big Data Applications (CIBDA), 2022.

[11]. E. Fenil, G. Manogaran, G. Vivekananda, T. Thanjaivadivel, S. Jeeva, A. Ahilan, Real time violence detection framework for football stadium comprising of big data analysis and deep learning through bidirectional LSTM, Computer Networks, 2019.

[12]. D. Jackson Samuel R., F. E., G. Manogaran, V. G. N., T. T., S. Jeeva, A. Ahilan, Crowd anomaly detection using aggregation of ensembles of fine-tuned convnets, Neurocomputing, 2019.

[13]. S. Accattoli, P. Sernani, N. Falcionelli, D. Neway Mekuria, Violence detection in videos by combining 3D convolutional neural networks and support vector machines, Applied Artificial Intelligence, 2020.

[14]. M. Magdy, M. W. Fakhr, F. A. Maghraby, Violence 4D: Violence detection in surveillance using 4D convolutional neural networks, IET Computer Vision, 2023.

[15]. N. Waddenkery, S. Soma, An efficient convolutional neural network for detecting the crime of stealing in videos, Entertainment Computing, 2024.

[16]. K. Rahima, H. Muhammad, YOLOv11: An overview of the key architectural enhancements, arXiv, 2024.

[17]. G. Jocher, A. Chaurasia, J. Qiu, Ultralytics YOLOv8, version 8.0.0, GitHub, 2024.

[18]. Z. Wang, S. Ji, Smoothed dilated convolutions for improved dense prediction, ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, 2019.

[19]. W. Luo, Y. Li, R. Urtasun, R. Zemel, Understanding the effective receptive field in deep convolutional neural networks, Advances in Neural Information Processing Systems, 2017.

[20]. G. Jocher, et al., YOLOv5, Ultralytics, 2020.

[21]. G. Jocher, et al., YOLOv8: Ultralytics Open-Source YOLO Models, 2023.

[22]. J. Redmon, A. Farhadi, YOLOv3: An Incremental Improvement, arXiv preprint arXiv:1804.02767, 2018.

[23]. Y. Zhang, H. Peng, D. Zhang, J. Wang, T. Tan, RT-DETR: Real-Time Detection Transformer, arXiv preprint arXiv:2304.08069, 2023.

[24]. S. Liu, L. Jin, W. Wang, GELAN: A Generalized Efficient Layer Aggregation Network for Object Detection, arXiv preprint arXiv:2303.09355, 2023.

[25]. G. Jocher, A. Chaurasia, J. Qiu, YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information, arXiv preprint arXiv:2402.13616, 2024.

[26]. W. Xu, D. Zhu, R. Deng, K. L. Yung, A. W. H. Ip, Violence-YOLO: Enhanced GELAN Algorithm for Violence Detection, Applied Sciences, 2024.

[27]. M. Cheng, K. Cai, M. Li, RWF-2000: An open large scale video database for violence detection, Proceedings of the 25th International Conference on Pattern Recognition (ICPR), Milan, Italy, 2021.

[28]. M. Magdy, M. W. Fakhr, F. A. Maghraby, Violence 4D: Violence detection in surveillance using 4D convolutional neural networks, IET Computer Vision, 2023.

[29]. Z. Wang, S. Ji, Lightweight Violence Detection Model Based on 2D CNN with Bi-Directional Motion Attention, Applied Sciences, 2024.

[30]. Efficient Human Violence Recognition for Surveillance in Real Time, Sensors, 2024.

[31]. LAVID: A Lightweight and Autonomous Smart Camera System for Urban Violence Detection and Geolocation, Computers, 2025.

[32]. S. T. Y. Aung, W. Kusakunniran, K. H. Yew, Leveraging Fusion Methods of Human Pose and Motion Dynamics for Accurate Violence Detection in Video Surveillance, IEEE Access, 2025.