مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

مروری بر پژوهش‌های لب‌خوانی خودکار:دادگان و روش‌ها

نوع مقاله : مقاله مروری

نویسندگان
1 دانش‌آموخته کارشناسی ارشد مهندسی کامپیوتر گرایش هوش مصنوعی و رباتیکز، دانشگاه شهید بهشتی، تهران، ایران
2 گروه هوش مصنوعی رباتیک و رایانش شناختی ، دانشکده مهندسی و علوم کامپیوتر، دانشگاه شهید بهشتی، تهران، ایران
چکیده
لب‌خوانی یا فرآیند بازشناسی دیداری گفتار روش تشخیص گفتار از روی حرکات لب گوینده است. در سال‌های اخیر علاقه به لب‌خوانی خودکار رو به افزایش بوده و تحقیقات بسیاری در این زمینه انجام شده است و همچنان به عنوان یک موضوع تحقیقی پیشرو مطرح است. در این مقاله مروری بر تحقیقات انجام شده در زمینه لب‌خوانی خودکار ارائه شده است. فهرستی از پایگاه داده‌های مورد استفاده با در نظر گرفتن خصوصیاتی نظیر تعداد گوینده، محتوای گفتار و کیفیت تصاویر ارائه شده است. در این مقاله، تحقیقات متنوع لب‌خوانی در زمینه تشخیص اعداد، حروف، کلمات و جملات و روش‌های سنتی استخراج ویژگی و دسته‌‌بندی تا روش‌های جدید مبتنی بر یادگیری عمیق مرور شده‌اند. بعلاوه فعالیت‌های لب‌خوانی زبان فارسی شامل پایگاه داده‌های فراهم شده و تحقیقات مرتبط با جامعیت بیشتر معرفی شده است.
کلیدواژه‌ها

عنوان مقاله English

A review of researches on automatic lipreading: databases and methods

نویسندگان English

mahsa hedayatipour 1
yasser shekofteh 2
Mohsen Ebrahimi moghadam 2
1 Computer engineer, shahid beheshti university ,iran
2 Dept. of computer science and engineering shahid beheshti university.iran
چکیده English

Lip-reading or the process of visual recognition of speech is a way to distinguish speech from the movements of the speaker's lips. In recent years, the interest in automatic lip-reading has been increasing and a lot of researches have been done in this field and it is still a leading research topic. This paper provides an overview of researches in automatic lip-reading. A list of used databases in the researches is provided with specifications such as number of speakers, speech content and image quality. In this article, various lip-reading researches are reviewed from recognizing numbers, letters, words and sentences, and traditional methods of feature extraction and classification to the new methods based on deep learning. In addition, Persian lip-reading activities include provided databases and related researches are introduced more comprehensively.

کلیدواژه‌ها English

Lip-Reading
Visua speech recognition
Feature extraction
Machine learning
Deep learning
Pattern Recognition
دوره 9، شماره 4
زمستان 1401
صفحه 57-78

  • تاریخ دریافت 22 اردیبهشت 1401