مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

بررسی روشهای خودکار تفسیر تصاویر پزشکی بر پایه یادگیری عمیق

نوع مقاله : مقاله مروری

نویسندگان
1 دانشجوی دکترای هوش مصنوعی، دانشگاه آزاد اسلامی واحد علوم و تحقیقات، تهران، ایران
2 گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد ساوه
3 گروه مهندسی برق و کنترل، دانشکده فنی مهندسی دانشگاه خواجه نصیر طوسی، تهران
4 دانشکده مکانیک‌، برق‌وکامپیوتر، گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی، واحد علوم و تحقیقات، تهران، ایران
5 گروه تکنولوژی رادیولوژی، دانشگاه علوم پزشکی بیرجند، بیرجند، ایران
چکیده
تفسیرخودکار تصاویر، زمینه جدیدی از هوش مصنوعی است که دو شاخه پردازش زبان‌ طبیعی و یادگیری ماشین را به خدمت می‌گیرد. تحقیقاتی که در سالهای اخیر بر روی این مقوله انجام‌ شده و نتایج قابل قبولی که در این زمینه حاصل شده‌است از یک طرف و نیاز جامعه پزشکی به تفسیرخودکار تصاویر پزشکی از طرف دیگر، محققان را بر آن داشته تا این رویکرد را در این زمینه نیز به‌ کار گیرند. تفسیر خودکار تصاویر پزشکی نسبت به مسأله توصیف خودکار تصاویر طبیعی، چالش برانگیزتر می‌باشد.کمیت و کیفیت مجموعه‌داده‌های موجود در این مقوله نسبت به مجموعه‌داده‌های تفسیر تصاویر طبیعی کمتر است، تفسیرها غیرساختار‌یافته‌اند و تفسیر تصاویر طبیعی، شامل توصیف اشیاء و روابط بین آنها با یک یا چند جمله است درحالی‌که شرح تصاویر پزشکی شامل درک یافته‌های بالینی و ارائه یک گزارش دقیق از پاراگراف‌های مختلف است؛ تا فقط آنچه از نظر بالینی مهم است به جای آنچه در تصویر از نظر اشیاء وجود دارد برجسته گردد. در راستای رسیدن به نتایج مطلوب روش‌های متعددی پیشنهاد شده‌است که در این بین روش‌های مبتنی‌ بر یادگیری ‌عمیق، به نتایج بهتری دست یافته‌است. این مقاله به معرفی مجموعه‌داده‌ها، معیارهای ‌ارزیابی و روشهای توسعه‌یافته بر پایه یادگیری‌ عمیق در زمینه تفسیرخودکار تصاویر پزشکی می‌پردازد تا کمکی در راستای درک ادبیات موجود و برجسته نمودن مسیرهای آینده در این زمینه باشد.
کلیدواژه‌ها

عنوان مقاله English

The current state of automatic medical image captioning using deep learning

نویسندگان English

Hosniyeh Zolfaghari 1
Maryam Rastgarpour 2
Mohammad Teshnehlab 3
Abbas koochari 4
Alireza Ehsanbakhsh 5
1 PhD.Student of Computer Engineering, Islamic Azad University, Science and Research, Tehran
2 Department,of Computer Engineering, Islamic Azad University, Saveh, Iran
3 Department of Systems and Control, Toosi University of Technology (KNTU), Tehran
4 Department of Electrical and Computer Engineering, Azad University, Science and Research Branch, Tehran
5 Radiology Department of Birjand University of Medical Sciences Birjand, Iran
چکیده English

Image captioning is a new field of artificial intelligence which uses both natural language processing and machine learning methods. Recently, several researches conducted on Image captioning have led to the acceptable results in this field. Moreover, the need of the medical community for automatic interpretation of medical images, prompted researchers to apply this approach in the field of automatic interpretation of medical images. The medical images captioning is more challenging than the problem of image description because medical images are mostly gray and accompanied by noise, the existing data sets have significantly few samples; On the other hand, the provided interpretations are not structured and have variable lengths. In order to achieve the desired results, many algorithms have been proposed, among which methods based on deep learning have achieved proper results. This article introduces datasets, evaluation criteria and methods developed based on deep learning in the field of automatic interpretation of medical images in order to help understand the existing literature and highlight future directions in this field.

کلیدواژه‌ها English

Medical Image Captioning
Image Captioning
Convolutional Neural Network
Recurrent Neural Network
Attention Mechanism
دوره 10، شماره 3
پاییز 1402
صفحه 1-29

  • تاریخ دریافت 16 اردیبهشت 1402