مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

بهبود بازشناسی پلاک خودرو با استفاده از رویکرد مبتنی بر مدل زبانی

نوع مقاله : مقاله پژوهشی

نویسندگان
الهام شعبانی نیا 1
فاطمه اسدی زیدآبادی 2
حسین نظام آبادی پور 3
1 بخش ریاضی کاربردی، دانشکده علوم و فنون نوین، دانشگاه تحصیلات تکمیلی صنعتی و فناوری پیشرفته، کرمان، ایران،
2 پژوهشگر ارشد در آزمایشگاه پردازش هوشمند داده، دانشگاه شهید باهنر کرمان
3 بخش مهندسی برق، دانشگاه شهید باهنر کرمان، کرمان، ایران،
چکیده
از گذشته بازشناسی پلاک خودرو به دلیل طیف وسیعی از کاربردها، از جمله کنترل ترافیک، جمع‌آوری عوارض، جستجوهای پلیس و غیره توجه زیادی از جامعه تحقیقاتی را به خود جلب کرده است. پلاک‌ها معمولاً بسته به کشور یا منطقه صدور آن‌ها با الگوهای خاصی طراحی می‌شوند. تفسیر این الگوها برای بهبود دقت بازشناسی حروف به‌ویژه در محیط‌های پیچیده و بدون محدودیت بسیار مهم است. بااین‌وجود روش­های موجود برای بازشناسی پلاک خودرو معمولاً به شکل دستی این قواعد و الگوها را در نظر می­گیرند. حال‌آنکه شناخت و درک خودکار «زبان» پلاک‌ها که شامل ترکیبات منحصربه‌فردی از حروف و ارقام می‌شود، می‌تواند عملکرد این سامانه‌ها را به طور قابل‌توجهی بهبود دهد و به آن‌ها اجازه می‌دهد تا به شکل پویا برای مجموعه حروف خاص مورداستفاده در مناطق مختلف طراحی شوند. در این مقاله باتکیه‌ بر موفقیت‌های اخیر رویکردهای مبتنی بر ترنسفورمر در پردازش زبان طبیعی و بینایی رایانه، یک مدل جدید برای بازشناسی پلاک خودرو پیشنهاد شده است که از یک مدل بینایی برای بازشناسی تصاویر پلاک خودرو و یک مدل زبانی برای یادگیری قواعد موجود در پلاک ­ها و تصحیح چند مرحله ­ای نتایج بازشناسی بهره می­برد. این فرآیند باعث بهبود دقت بازشناسی می­شود و سازگاری روش را در مواجهه با انواع پلاک ­ها با الگوهای مختلف ارتقا می­ دهد. ارزیابی­ های انجام شده بر روی مجموعه‌داده‌های IR-LPR، UFPR-ALPR و AOLP برتری رویکرد پیشنهادی را در مقایسه با تحقیقات انجام شده نشان می­ دهد. این روش می ­تواند در توسعه سامانه­ های بازشناسی پلاک دقیق و سازگار مفید باشد.
کلیدواژه‌ها
بازشناسی خودکار پلاک خودرو
سامانه‌های حمل‌ونقل هوشمند
یادگیری عمیق
مدل زبانی
ترنسفورمر
   [1]      Khan, M.M., et al., License plate recognition methods employing neural networks. IEEE Access, 2023. 11: p. 73613-73646.
   [2]      Tao, L., et al., A Real-Time License Plate Detection and Recognition Model in Unconstrained Scenarios. Sensors, 2024. 24(9): p. 2791.
 
 
جدول (8) : مقایسه دقت روش پیشنهادی با سایر روش­ها.
دقت
سال
معماری
مرجع
پایگاه‌داده
93.3
2022
مدل بینایی (CNN)
[31]
IR-LPR
94.9
2024
مدل بینایی (CNN)
[35]
18/94
2024
مدل بینایی (ترنسفورمری)
پیشنهادی
97.12
2024
مدل بینایی  + مدل زبانی (ترنسفورمری)
پیشنهادی
97.57
2019
مدل بینایی (CNN)
[3]
UFPR-ALPR
96.87
2020
مدل بینایی (CNN)
[36]
90
2024
مدل بینایی  + مدل زبانی (ترنسفورمری)
[37]
99.93
2024
مدل بینایی  + مدل زبانی (ترنسفورمری)
پیشنهادی
99.2
2021
مدل بینایی (CNN)
[38]
AOLP
98.36
2018
مدل بینایی (CNN)
[39]
99.4
2024
مدل بینایی  + مدل زبانی (ترنسفورمری)
پیشنهادی
 
 
   [3]      Rakhshani, S., E. Rashedi, and H. Nezamabadi-pour, License plate recognition using deep learning. Journal of Machine Vision and Image Processing, 2019. 6(1): p. 31-46.
   [4]      Laroca, R., et al., An efficient and layout‐independent automatic license plate recognition system based on the YOLO detector. IET Intelligent Transport Systems, 2021. 15(4): p. 483-503.
   [5]      ساجد, ر.ا., ر. عصمت, and ن.آ.پ. حسین, بازشناسی پلاک خودرو با استفاده از یادگیری ژرف. 2019.
   [6]      Abolghasemi, V. and A. Ahmadyfard, An edge-based color-aided method for license plate detection. Image and Vision Computing, 2009. 27(8): p. 1134-1142.
   [7]      Lalimi, M.A., S. Ghofrani, and D. McLernon, A vehicle license plate detection method using region and edge based methods. Computers & Electrical Engineering, 2013. 39(3): p. 834-845.
   [8]      Wu, Y., S. Liu, and X. Wang. License plate location method based on texture and color. in 2013 IEEE 4th International Conference on Software Engineering and Service Science. 2013. IEEE.
   [9]      Asadi-Zeydabadi, F., et al. Farsi Optical Character Recognition Using a Transformer-based Model. in 2023 13th International Conference on Computer and Knowledge Engineering (ICCKE). 2023. IEEE.
[10]      Afkari-Fahandari, A., et al., Farsi Handwritten Text Recognition via a Lightweight Attention-driven Sequence Recognition Network.
[11]      Del Castillo Velarde, M. and G. Velarde, Benchmarking Algorithms for Automatic License Plate Recognition. arXiv e-prints, 2022: p. arXiv: 2203.14298.
[12]      Afkari-Fahandari, A., et al. Enhancing Farsi Text Recognition via Iteratively Using a Language Model. in 2024 20th CSI International Symposium on Artificial Intelligence and Signal Processing (AISP). 2024. IEEE.
[13]      Fang, S., et al. Read like humans: Autonomous, bidirectional and iterative language modeling for scene text recognition. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
[14]      Jiang, Y., et al., An efficient and unified recognition method for multiple license plates in unconstrained scenarios. IEEE Transactions on Intelligent Transportation Systems, 2023. 24(5): p. 5376-5389.
[15]      Wu, B.-F., S.-P. Lin, and C.-C. Chiu, Extracting characters from real vehicle licence plates out-of-doors. IET Computer Vision, 2007. 1(1): p. 2-10.
[16]      Du, S., et al., Automatic license plate recognition (ALPR): A state-of-the-art review. IEEE Transactions on circuits and systems for video technology, 2012. 23(2): p. 311-325.
[17]      Paliy, I., et al. Approach to recognition of license plate numbers using neural networks. in 2004 IEEE International Joint Conference on Neural Networks (IEEE Cat. No. 04CH37541). 2004. IEEE.
[18]      Goel, S. and S. Dabas. Vehicle registration plate recognition system using template matching. in 2013 International Conference on Signal Processing and Communication (ICSC). 2013. IEEE.
[19]      Pan, M.-S., J.-B. Yan, and Z.-H. Xiao, Vehicle license plate character segmentation. International Journal of Automation and Computing, 2008. 5(4): p. 425-432.
[20]      Chen, R.-C., Automatic License Plate Recognition via sliding-window darknet-YOLO deep learning. Image and Vision Computing, 2019. 87: p. 47-56.
[21]      محمدی, شناسایی شماره پلاک خودرو بر اساس یادگیری عمیق با نظارت ضعیف. مجله بینایی ماشین و پردازش تصویر, 2021. 7(2): p. 25-34.
[22]      گیوکی, et al., معرفی دادگان ایرپلاک برای بازشناسی پلاک خودروهای ایرانی. مجله بینایی ماشین و پردازش تصویر, 2022. 9(2): p. 81-95.
[23]      Altyar, S.S., S.S. Hussein, and L.A. Tawfeeq, Accurate license plate recognition system for different styles of Iraqi license plates. Bulletin of Electrical Engineering and Informatics, 2023. 12(2): p. 1092-1102.
[24]      Wang, J., et al., Sequence recognition of Chinese license plates. Neurocomputing, 2018. 317: p. 149-158.
[25]      Wang, H., et al., Robust Korean license plate recognition based on deep neural networks. Sensors, 2021. 21(12): p. 4140.
[26]      Zhang, L., et al., A robust attentional framework for license plate recognition in the wild. IEEE Transactions on Intelligent Transportation Systems, 2020. 22(11): p. 6967-6976.
[27]      Fang, S., et al., Abinet++: Autonomous, bidirectional and iterative language modeling for scene text spotting. IEEE transactions on pattern analysis and machine intelligence, 2022. 45(6): p. 7123-7141.
[28]      Vaswani, A., Attention is all you need. Advances in Neural Information Processing Systems, 2017.
[29]      Wang, T., et al. Decoupled attention network for text recognition. in Proceedings of the AAAI conference on artificial intelligence. 2020.
[30]      Ronneberger, O., P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. in Medical image computing and computer-assisted intervention–MICCAI 2015: 18th international conference, Munich, Germany, October 5-9, 2015, proceedings, part III 18. 2015. Springer.
[31]      Rahmani, M., et al. IR-LPR: A Large Scale Iranian License Plate Recognition Dataset. in 2022 12th International Conference on Computer and Knowledge Engineering (ICCKE). 2022. IEEE.
[32]      Hsu, G.-S., J.-C. Chen, and Y.-Z. Chung, Application-oriented license plate recognition. IEEE transactions on vehicular technology, 2012. 62(2): p. 552-561.
[33]      Laroca, R., et al. A robust real-time automatic license plate recognition based on the YOLO detector. in 2018 international joint conference on neural networks (ijcnn). 2018. IEEE.
[34]      Asadi-zeydabadi, F., et al., IDPL-PFOD2: A New Large-Scale Dataset for Printed Farsi Optical Character Recognition. arXiv preprint arXiv:2312.01177, 2023.
[35]      Wang, H., L. Wu, and H. Liang, A convolutional Neural Network Approach for Character Recognition in Non-English License Plates. Journal of Optics, 2024. 53(2): p. 1256-1263.
[36]      Fernandes, L.S., et al. A robust automatic license plate recognition system for embedded devices. in Intelligent Systems: 9th Brazilian Conference, BRACIS 2020, Rio Grande, Brazil, October 20–23, 2020, Proceedings, Part I 9. 2020. Springer.
[37]      Ding, H., et al., A Training-Free Framework for Video License Plate Tracking and Recognition with Only One-Shot. arXiv preprint arXiv:2408.05729, 2024.
[38]      Silva, S.M. and C.R. Jung. License plate detection and recognition in unconstrained scenarios. in Proceedings of the European conference on computer vision (ECCV). 2018.
[39]      Pham, T.-A., Effective deep neural networks for license plate detection and recognition. The Visual Computer, 2023. 39(3): p. 927-941.
مجله ماشین بینایی و پردازش تصویر
دوره 11، شماره 4
بهار 1404
صفحه 15-26