بهبود بازشناسی پلاک خودرو با استفاده از رویکرد مبتنی بر مدل زبانی

شعبانی نیا, الهام; اسدی زیدآبادی, فاطمه; نظام آبادی پور, حسین

بهبود بازشناسی پلاک خودرو با استفاده از رویکرد مبتنی بر مدل زبانی

نوع مقاله : مقاله پژوهشی

نویسندگان

الهام شعبانی نیا ¹

فاطمه اسدی زیدآبادی ²

حسین نظام آبادی پور ³

¹ بخش ریاضی کاربردی، دانشکده علوم و فنون نوین، دانشگاه تحصیلات تکمیلی صنعتی و فناوری پیشرفته، کرمان، ایران،

² پژوهشگر ارشد در آزمایشگاه پردازش هوشمند داده، دانشگاه شهید باهنر کرمان

³ بخش مهندسی برق، دانشگاه شهید باهنر کرمان، کرمان، ایران،

چکیده

از گذشته بازشناسی پلاک خودرو به دلیل طیف وسیعی از کاربردها، از جمله کنترل ترافیک، جمع‌آوری عوارض، جستجوهای پلیس و غیره توجه زیادی از جامعه تحقیقاتی را به خود جلب کرده است. پلاک‌ها معمولاً بسته به کشور یا منطقه صدور آن‌ها با الگوهای خاصی طراحی می‌شوند. تفسیر این الگوها برای بهبود دقت بازشناسی حروف به‌ویژه در محیط‌های پیچیده و بدون محدودیت بسیار مهم است. بااین‌وجود روشهای موجود برای بازشناسی پلاک خودرو معمولاً به شکل دستی این قواعد و الگوها را در نظر میگیرند. حال‌آنکه شناخت و درک خودکار «زبان» پلاک‌ها که شامل ترکیبات منحصربه‌فردی از حروف و ارقام می‌شود، می‌تواند عملکرد این سامانه‌ها را به طور قابل‌توجهی بهبود دهد و به آن‌ها اجازه می‌دهد تا به شکل پویا برای مجموعه حروف خاص مورداستفاده در مناطق مختلف طراحی شوند. در این مقاله باتکیه‌ بر موفقیت‌های اخیر رویکردهای مبتنی بر ترنسفورمر در پردازش زبان طبیعی و بینایی رایانه، یک مدل جدید برای بازشناسی پلاک خودرو پیشنهاد شده است که از یک مدل بینایی برای بازشناسی تصاویر پلاک خودرو و یک مدل زبانی برای یادگیری قواعد موجود در پلاک ها و تصحیح چند مرحله ای نتایج بازشناسی بهره میبرد. این فرآیند باعث بهبود دقت بازشناسی میشود و سازگاری روش را در مواجهه با انواع پلاک ها با الگوهای مختلف ارتقا می دهد. ارزیابی های انجام شده بر روی مجموعه‌داده‌های IR-LPR، UFPR-ALPR و AOLP برتری رویکرد پیشنهادی را در مقایسه با تحقیقات انجام شده نشان می دهد. این روش می تواند در توسعه سامانه های بازشناسی پلاک دقیق و سازگار مفید باشد.

کلیدواژه‌ها

بازشناسی خودکار پلاک خودرو

سامانه‌های حمل‌ونقل هوشمند

یادگیری عمیق

مدل زبانی

ترنسفورمر

عنوان مقاله English

Enhancing License Plate Recognition Using a Language Model-Based Approach

نویسندگان English

Elham shabaninia ¹

Fatemeh Asadi ²

hossein Nezamabadi_pour ³

¹ Department of Applied Mathematics, Graduate University of Advanced Technology

² Department of Electrical Engineering, Shahid Bahonar University of Kerman, Kerman, Iran

³ Professor of Electrical Engineering, Shahid Bahonar University of Kerman, Kerman, Iran

چکیده English

Over the years, license plate recognition (LPR) has garnered significant attention from the research community due to its wide range of applications, including traffic control, toll collection, police investigations, and more. License plates are typically designed with specific patterns depending on the country or region of issuance. Interpreting these patterns is crucial for improving character recognition accuracy, especially in complex and unconstrained environments. However, existing LPR methods often manually incorporate these rules and patterns. In contrast, the automatic understanding of the "language" of license plates—comprising unique combinations of letters and digits—can significantly enhance system performance, allowing for the dynamic adaptation of recognition models to the specific character sets used in different regions.In this paper, leveraging recent advancements in transformer-based approaches in natural language processing (NLP) and computer vision, we propose a novel model for license plate recognition. The proposed system integrates a vision model for plate image recognition with a language model designed to learn plate-specific rules and perform multi-stage recognition refinement. This process enhances recognition accuracy and improves the model's adaptability to various plate formats. Evaluations conducted on the IR-LPR, UFPR-ALPR, and AOLP datasets demonstrate the superiority of the proposed approach compared to existing methods.

کلیدواژه‌ها English

Automatic License Plate Recognition

Intelligent Transportation Systems

Deep Learning

Language Model

Transformer

[1] Khan, M.M., et al., License plate recognition methods employing neural networks. IEEE Access, 2023. 11: p. 73613-73646.

[2] Tao, L., et al., A Real-Time License Plate Detection and Recognition Model in Unconstrained Scenarios. Sensors, 2024. 24(9): p. 2791.

جدول (8) : مقایسه دقت روش پیشنهادی با سایر روشها.

دقت	سال	معماری	مرجع	پایگاه‌داده
93.3	2022	مدل بینایی (CNN)	[31]	IR-LPR
94.9	2024	مدل بینایی (CNN)	[35]
18/94	2024	مدل بینایی (ترنسفورمری)	پیشنهادی
97.12	2024	مدل بینایی + مدل زبانی (ترنسفورمری)	پیشنهادی
97.57	2019	مدل بینایی (CNN)	[3]	UFPR-ALPR
96.87	2020	مدل بینایی (CNN)	[36]
90	2024	مدل بینایی + مدل زبانی (ترنسفورمری)	[37]
99.93	2024	مدل بینایی + مدل زبانی (ترنسفورمری)	پیشنهادی
99.2	2021	مدل بینایی (CNN)	[38]	AOLP
98.36	2018	مدل بینایی (CNN)	[39]
99.4	2024	مدل بینایی + مدل زبانی (ترنسفورمری)	پیشنهادی

[3] Rakhshani, S., E. Rashedi, and H. Nezamabadi-pour, License plate recognition using deep learning. Journal of Machine Vision and Image Processing, 2019. 6(1): p. 31-46.

[4] Laroca, R., et al., An efficient and layout‐independent automatic license plate recognition system based on the YOLO detector. IET Intelligent Transport Systems, 2021. 15(4): p. 483-503.

[5] ساجد, ر.ا., ر. عصمت, and ن.آ.پ. حسین, بازشناسی پلاک خودرو با استفاده از یادگیری ژرف. 2019.

[6] Abolghasemi, V. and A. Ahmadyfard, An edge-based color-aided method for license plate detection. Image and Vision Computing, 2009. 27(8): p. 1134-1142.

[7] Lalimi, M.A., S. Ghofrani, and D. McLernon, A vehicle license plate detection method using region and edge based methods. Computers & Electrical Engineering, 2013. 39(3): p. 834-845.

[8] Wu, Y., S. Liu, and X. Wang. License plate location method based on texture and color. in 2013 IEEE 4th International Conference on Software Engineering and Service Science. 2013. IEEE.

[9] Asadi-Zeydabadi, F., et al. Farsi Optical Character Recognition Using a Transformer-based Model. in 2023 13th International Conference on Computer and Knowledge Engineering (ICCKE). 2023. IEEE.

[10] Afkari-Fahandari, A., et al., Farsi Handwritten Text Recognition via a Lightweight Attention-driven Sequence Recognition Network.

[11] Del Castillo Velarde, M. and G. Velarde, Benchmarking Algorithms for Automatic License Plate Recognition. arXiv e-prints, 2022: p. arXiv: 2203.14298.

[12] Afkari-Fahandari, A., et al. Enhancing Farsi Text Recognition via Iteratively Using a Language Model. in 2024 20th CSI International Symposium on Artificial Intelligence and Signal Processing (AISP). 2024. IEEE.

[13] Fang, S., et al. Read like humans: Autonomous, bidirectional and iterative language modeling for scene text recognition. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.

[14] Jiang, Y., et al., An efficient and unified recognition method for multiple license plates in unconstrained scenarios. IEEE Transactions on Intelligent Transportation Systems, 2023. 24(5): p. 5376-5389.

[15] Wu, B.-F., S.-P. Lin, and C.-C. Chiu, Extracting characters from real vehicle licence plates out-of-doors. IET Computer Vision, 2007. 1(1): p. 2-10.

[16] Du, S., et al., Automatic license plate recognition (ALPR): A state-of-the-art review. IEEE Transactions on circuits and systems for video technology, 2012. 23(2): p. 311-325.

[17] Paliy, I., et al. Approach to recognition of license plate numbers using neural networks. in 2004 IEEE International Joint Conference on Neural Networks (IEEE Cat. No. 04CH37541). 2004. IEEE.

[18] Goel, S. and S. Dabas. Vehicle registration plate recognition system using template matching. in 2013 International Conference on Signal Processing and Communication (ICSC). 2013. IEEE.

[19] Pan, M.-S., J.-B. Yan, and Z.-H. Xiao, Vehicle license plate character segmentation. International Journal of Automation and Computing, 2008. 5(4): p. 425-432.

[20] Chen, R.-C., Automatic License Plate Recognition via sliding-window darknet-YOLO deep learning. Image and Vision Computing, 2019. 87: p. 47-56.

[21] محمدی, شناسایی شماره پلاک خودرو بر اساس یادگیری عمیق با نظارت ضعیف. مجله بینایی ماشین و پردازش تصویر, 2021. 7(2): p. 25-34.

[22] گیوکی, et al., معرفی دادگان ایرپلاک برای بازشناسی پلاک خودروهای ایرانی. مجله بینایی ماشین و پردازش تصویر, 2022. 9(2): p. 81-95.

[23] Altyar, S.S., S.S. Hussein, and L.A. Tawfeeq, Accurate license plate recognition system for different styles of Iraqi license plates. Bulletin of Electrical Engineering and Informatics, 2023. 12(2): p. 1092-1102.

[24] Wang, J., et al., Sequence recognition of Chinese license plates. Neurocomputing, 2018. 317: p. 149-158.

[25] Wang, H., et al., Robust Korean license plate recognition based on deep neural networks. Sensors, 2021. 21(12): p. 4140.

[26] Zhang, L., et al., A robust attentional framework for license plate recognition in the wild. IEEE Transactions on Intelligent Transportation Systems, 2020. 22(11): p. 6967-6976.

[27] Fang, S., et al., Abinet++: Autonomous, bidirectional and iterative language modeling for scene text spotting. IEEE transactions on pattern analysis and machine intelligence, 2022. 45(6): p. 7123-7141.

[28] Vaswani, A., Attention is all you need. Advances in Neural Information Processing Systems, 2017.

[29] Wang, T., et al. Decoupled attention network for text recognition. in Proceedings of the AAAI conference on artificial intelligence. 2020.

[30] Ronneberger, O., P. Fischer, and T. Brox. U-net: Convolutional networks for biomedical image segmentation. in Medical image computing and computer-assisted intervention–MICCAI 2015: 18th international conference, Munich, Germany, October 5-9, 2015, proceedings, part III 18. 2015. Springer.

[31] Rahmani, M., et al. IR-LPR: A Large Scale Iranian License Plate Recognition Dataset. in 2022 12th International Conference on Computer and Knowledge Engineering (ICCKE). 2022. IEEE.

[32] Hsu, G.-S., J.-C. Chen, and Y.-Z. Chung, Application-oriented license plate recognition. IEEE transactions on vehicular technology, 2012. 62(2): p. 552-561.

[33] Laroca, R., et al. A robust real-time automatic license plate recognition based on the YOLO detector. in 2018 international joint conference on neural networks (ijcnn). 2018. IEEE.

[34] Asadi-zeydabadi, F., et al., IDPL-PFOD2: A New Large-Scale Dataset for Printed Farsi Optical Character Recognition. arXiv preprint arXiv:2312.01177, 2023.

[35] Wang, H., L. Wu, and H. Liang, A convolutional Neural Network Approach for Character Recognition in Non-English License Plates. Journal of Optics, 2024. 53(2): p. 1256-1263.

[36] Fernandes, L.S., et al. A robust automatic license plate recognition system for embedded devices. in Intelligent Systems: 9th Brazilian Conference, BRACIS 2020, Rio Grande, Brazil, October 20–23, 2020, Proceedings, Part I 9. 2020. Springer.

[37] Ding, H., et al., A Training-Free Framework for Video License Plate Tracking and Recognition with Only One-Shot. arXiv preprint arXiv:2408.05729, 2024.

[38] Silva, S.M. and C.R. Jung. License plate detection and recognition in unconstrained scenarios. in Proceedings of the European conference on computer vision (ECCV). 2018.

[39] Pham, T.-A., Effective deep neural networks for license plate detection and recognition. The Visual Computer, 2023. 39(3): p. 927-941.