مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

ارزیابی کیفیت تصاویر زیر آب با استفاده از شبکه عصبی کانولوشن عمیق چندشاخه با بلوک توجه ECA

نوع مقاله : مقاله پژوهشی

نویسنده
گروه علوم کامپیوتر، دانشکده علوم ریاضی، دانشگاه شهرکرد، شهرکرد، ایران
چکیده
ارزیابی کیفیت تصاویر زیر آب به دلیل چالش‌هایی مانند نورپراکنی، جذب طول‌موج‌های رنگی، و کاهش تباین، نیازمند روش‌های تخصصی است. روش‌های سنتی ارزیابی کیفیت تصویر (IQA) به دلیل عدم توجه به ویژگی‌های منحصربه‌فرد محیط زیر آب، عملکرد محدودی دارند. در این مقاله، یک روش نوین مبتنی بر یادگیری عمیق برای ارزیابی کیفیت تصاویر زیر آب ارائه شده است. این روش از یک شبکه عصبی کانولوشنی (CNN) چندشاخه با بلوک توجه کانالی کارآمد (ECA) بهره می‌برد که به طور همزمان تصویر اصلی، نقشه تیزی، و نقشه ساختار را پردازش می‌کند. هر شاخه با استخراج خودکار ویژگی‌های مرتبط با کیفیت، اطلاعات مکمل را در اختیار مدل قرار می‌دهد. ترکیب این ویژگی‌ها با استفاده از بلوک‌های تجمیع و توجه، منجر به پیش‌بینی دقیق‌تر نمره کیفیت می‌شود. ارزیابی جامع بر روی مجموعه داده‌های متنوع SAUD2.0 و UID2021 نشان می‌دهد که مدل در هر دو مجموعه عملکرد قابل‌قبولی دارد و نسبت به روش‌های موجود دقت و همبستگی بالاتری را ارائه می‌دهد. همچنین، آزمایش ارزیابی متقابل بین این دو مجموعه داده تأیید کننده توانایی تعمیم و پایداری روش پیشنهادی در مواجهه با داده‌های متفاوت و ناشناخته است. این پژوهش گامی موثر در جهت بهبود ارزیابی کیفیت تصاویر زیر آب با رویکردی کارا و مقاوم ارائه می‌دهد.
کلیدواژه‌ها

   [1]      Naveen P. Advancements in underwater imaging through machine learning: Techniques, challenges, and applications. Multimedia Tools and Applications. 2024 Aug 24:1-20.
   [2]      Raveendran S, Patil MD, Birajdar GK. Underwater image enhancement: a comprehensive review, recent trends, challenges and applications. Artificial Intelligence Review. 2021 Oct;54:5413-67.
   [3]      Li C, Guo C, Ren W, Cong R, Hou J, Kwong S, Tao D. An underwater image enhancement benchmark dataset and beyond. IEEE transactions on image processing. 2019 Nov 28;29:4376-89.
   [4]      Moghimi MK, Mohanna F. Real-time underwater image enhancement: a systematic review. Journal of Real-Time Image Processing. 2021 Oct;18(5):1509-25.
   [5]      Fu Z, Wang W, Huang Y, Ding X, Ma KK. Uncertainty inspired underwater image enhancement. InEuropean conference on computer vision 2022 Oct 23 (pp. 465-482). Cham: Springer Nature Switzerland.
   [6]      Zhang, W., Zhuang, P., Sun, H.H., Li, G., Kwong, S. and Li, C., 2022. Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement. IEEE Transactions on Image Processing, 31, pp.3997-4010.
   [7]      Yan X, Qin W, Wang Y, Wang G, Fu X. Attention-guided dynamic multi-branch neural network for underwater image enhancement. Knowledge-Based Systems. 2022 Dec 22;258:110041.
   [8]      عباسی، امیررضا و هاشم زاده، مهدی و قویدل نیچران، جلیل،1400،و Hybrid-Net: یک شبکه عصبی عمیق برای افزایش کیفیت تصاویر زیر آب، چهارمین کنفرانس بین المللی محاسبات نرم،https://civilica.com/doc/1418617
 
   [9]      Liu R, Fan X, Zhu M, Hou M, Luo Z. Real-world underwater enhancement: Challenges, benchmarks, and solutions under natural light. IEEE transactions on circuits and systems for video technology. 2020 Jan 3;30(12):4861-75.
[10]      Zhang S, Li Y, Tan L, Yang H, Hou G. A no-reference underwater image quality evaluator via quality-aware features. Journal of Visual Communication and Image Representation. 2023 Dec 1;97:103979.
[11]      Karimi, M. and Nejati, M., Unsupervised Feature Learning for Blind Quality Assessment of Super-Resolved Images, Journal of Machine Vision and Image Processing (JMVIP), 8(3): 57-67, 2021.
[12]      Karimi M, Nejati M. HNQA: histogram-based descriptors for fast night-time image quality assessment. Multimedia Systems. 2024 Oct;30(5):259.
[13]      Varga D. No-reference image quality assessment with global statistical features. Journal of Imaging. 2021 Feb 5;7(2):29.
[14]      Mittal A, Moorthy AK, Bovik AC. No-reference image quality assessment in the spatial domain. IEEE Transactions on image processing. 2012 Aug 17;21(12):4695-708.
[15]      Zhang L, Zhang L, Bovik AC. A feature-enriched completely blind image quality evaluator. IEEE Transactions on Image Processing. 2015 Apr 24;24(8):2579-91.
[16]      Moorthy AK, Bovik AC. Blind image quality assessment: From natural scene statistics to perceptual quality. IEEE transactions on Image Processing. 2011 Apr 25;20(12):3350-64.
[17]      Li, X., Xu, H., Jiang, G., Yu, M., Chen, Y., Luo, T. and Ying, H., 2023. Underwater image quality assessment based on multiscale and antagonistic energy. IEEE Transactions on Instrumentation and Measurement.
[18]      Sun, S., Wang, H., Zhang, H., Li, M., Xiang, M., Luo, C. and Ren, P., 2022. Underwater image enhancement with reinforcement learning. IEEE Journal of Oceanic Engineering, 49(1), pp.249-261.
[19]      Moorthy AK, Bovik AC. A two-step framework for constructing blind image quality indices. IEEE Signal processing letters. 2010 Mar 18;17(5):513-6.
[20]      Mittal A, Soundararajan R, Bovik AC. Making a “completely blind” image quality analyzer. IEEE Signal processing letters. 2012 Nov 15;20(3):209-12.
[21]      Saad MA, Bovik AC, Charrier C. Blind image quality assessment: A natural scene statistics approach in the DCT domain. IEEE Transactions on Image Processing. 2012 Mar 21;21(8):3339-52.
[22]      Gu K, Tao D, Qiao JF, Lin W. Learning a no-reference quality assessment model of enhanced images with big data. IEEE Transactions on neural networks and learning systems. 2017 Mar 6;29(4):1301-13.
[23]      Xue W, Mou X, Zhang L, Bovik AC, Feng X. Blind image quality assessment using joint statistics of gradient magnitude and Laplacian features. IEEE Transactions on Image Processing. 2014 Sep 8;23(11):4850-62.
[24]      Ghadiyaram D, Bovik AC. Perceptual quality prediction on authentically distorted images using a bag of features approach. Journal of vision. 2017 Jan 1;17(1):32-.
[25]      Yang M, Sowmya A. An underwater color image quality evaluation metric. IEEE Transactions on Image Processing. 2015 Oct 19;24(12):6062-71.
[26]      Panetta K, Gao C, Agaian S. Human-visual-system-inspired underwater image quality measures. IEEE Journal of Oceanic Engineering. 2015 Oct 26;41(3):541-51.
[27]      Wang, Y., Li, N., Li, Z., Gu, Z., Zheng, H., Zheng, B. and Sun, M., 2018. An imaging-inspired no-reference underwater color image quality assessment metric. Computers & Electrical Engineering, 70, pp.904-913.
[28]      Yang N, Zhong Q, Li K, Cong R, Zhao Y, Kwong S. A reference-free underwater image quality assessment metric in frequency domain. Signal Processing: Image Communication. 2021 May 1;94:116218.
[29]      Li X, Xu H, Jiang G, Yu M, Luo T, Zhang X, Ying H. Underwater image quality assessment from synthetic to real-world: Dataset and objective method. ACM Transactions on Multimedia Computing, Communications and Applications. 2023 Oct 23;20(3):1-23.
[30]      Jiang Q, Gu Y, Li C, Cong R, Shao F. Underwater image enhancement quality evaluation: Benchmark dataset and objective metric. IEEE Transactions on Circuits and Systems for Video Technology. 2022 Apr 5;32(9):5959-74.
[31]      Yi X, Jiang Q, Zhou W. No-reference quality assessment of underwater image enhancement. Displays. 2024 Jan 1;81:102586.
[32]      Liu C, Zhou J, Long B, Li T, Zhang D, Zhang W, Vivone G. Ocean Remote Sensing Image Quality Assessment Via Multi-Directional Perception Fusion and Deviation-Aware Processing. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2025 May 12.
[33]      Zhang Y, Liu C, Han Z, Jing J. Experimental Research of Underwater Polarization Imaging Based on Image Quality Assessment. In2024 2nd International Conference on Signal Processing and Intelligent Computing (SPIC) 2024 Sep 20 (pp. 1045-1051). IEEE.
[34]      Chen, C., Li, Z., Zhong, Z., Wang, X. and Shao, F., 2024. Hierarchical prior-guided quality assessment method for underwater images. Displays, 83, p.102729.
[35]      Wu, Q., Wang, L., Ngan, K.N., Li, H., Meng, F. and Xu, L., 2020. Subjective and objective de-raining quality assessment towards authentic rain image. IEEE Transactions on Circuits and Systems for Video Technology, 30(11), pp.3883-3897.
[36]      Jiang, Q., Yi, X., Ouyang, L., Zhou, J. and Wang, Z., 2024. Towards dimension-enriched underwater image quality assessment. IEEE Transactions on Circuits and Systems for Video Technology.
[37]      Lin, Z., He, Z., Jin, C., Luo, T. and Chen, Y., 2024. Joint Luminance-Saliency Prior and Attention for Underwater Image Quality Assessment. Remote Sensing, 16(16), p.3021.
[38]      Liu Y, Zhang B, Hu R, Gu K, Zhai G, Dong J. Underwater image quality assessment: Benchmark database and objective method. IEEE Transactions on Multimedia. 2024 Feb 28;26:7734-47.
[39]      [39] Zhu P, Ma H, Ma K, Liu Y, Liu S. Content-Adaptive Efficient Transformer for No-Reference Underwater Image Quality Assessment. InOCEANS 2024-Singapore 2024 Apr 15 (pp. 1-9). IEEE.
[40]      [40] Chen T, Yang X, Wang T, Li N, Zhu S, Ji G. Underwater image quality assessment method via the fusion of visual and structural information. Signal Processing: Image Communication. 2025 Aug 1;136:117285.
[41]      [41] Tolie HF, Ren J, Cai J, Chen R, Zhao H. Blind Quality Assessment Using Channel-Based Structural, Dispersion Rate Scores, and Overall Saturation and Hue for Underwater Images. IEEE Journal of Oceanic Engineering. 2025 May 15.
[42]      [42] Wang, Q., Wu, B., Zhu, P., Li, P., Zuo, W. and Hu, Q., 2020. ECA-Net: Efficient channel attention for deep convolutional neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 11534-11542).
[43]      [43] Loshchilov, I. and Hutter, F., 2017. Decoupled weight decay regularization. arXiv preprint arXiv:1711.05101.
[44]      [44] Li, D., Jiang, T. and Jiang, M., 2020, October. Norm-in-norm loss with faster convergence and better performance for image quality assessment. In Proceedings of the 28th ACM International conference on multimedia (pp. 789-797).
[45]      [45] Chen, Z., Wang, J., Li, B., Yuan, C., Hu, W., Liu, J., Li, P., Wang, Y., Zhang, Y. and Zhang, C., 2024. Gmc-iqa: Exploiting global-correlation and mean-opinion consistency for no-reference image quality assessment. arXiv preprint arXiv:2401.10511.
[46]      [46] Huber, P.J., 1992. Robust estimation of a location parameter. In Breakthroughs in statistics: Methodology and distribution (pp. 492-518). New York, NY: Springer New York
[47]      [47] Hou G, Li Y, Yang H, Li K, Pan Z. UID2021: An underwater image dataset for evaluation of no-reference quality assessment metrics. ACM Transactions on Multimedia Computing, Communications and Applications. 2023 Mar 1;19(4):1-24.