مجله ماشین بینایی و پردازش تصویر

مجله ماشین بینایی و پردازش تصویر

ویژگیهای نهفته در فضای پیچش زمانی پویا برای بازشناسی کنش با استفاده از داده های سنسور کینکت

نوع مقاله : مقاله پژوهشی

نویسندگان
1 دانشجوی کارشناسی ارشد مهندسی برق، دانشگاه صنعتی شریف
2 دانشکده مهندسی برق، دانشگاه صنعتی شریف
چکیده
هدف از این مقاله، بازشناسی کنش افراد با استفاده از اطلاعات سری­های زمانی استخراج شده از دنباله ­های اسلکتی به منظور استفاده در سامانه ­های مانیتورینگ فعالیت­های روزمره ­ی انسانها می­باشد. به این منظور، هر کنش به صورت یک سری زمانی چند بعدی بیان شده و سپس با استفاده از مفهوم "شبه کرنل مبتنی بر فاصله­ ی پیچش زمانی پویا" به یک فضای برداری نگاشت می­گردد. در ادامه، به منظور استفاده از نسبت همبستگی-تمایزِ دنباله­ ها در پروسه­ ی شناسایی، این فضای برداری توسط روش فیشر تنظیم‌شونده به یک فضای تمایزی نگاشت شده و تصمیم گیری نهایی در خصوص محتوای حرکت در فضای حاصل انجام می­پذیرد. بر خلاف سایر روش های کرنلی موجود، الگوی همترازی حاصل از پیچش زمانی، موجب می­شود تا اثر شیفت، و انقباض و انبساط‌ های زمانی دنباله­ ها در فضای کرنل به کمترین میزان ممکن کاهش یابد. همچنین، روش ما پیچیدگی­ های محاسباتی و محتوایی موجود در استخراج ویژگی­ های استاتیک و دینامیکِ دنباله­ های حرکتی را حذف نموده و در مقابل، آنها را در قالب الگوی همترازی در فضای برداری کرنل مورد استفاده قرار می­دهد. نتایج ارزیابی­ ها بر روی سه پایگاه داده­ی معروف TST، UTKinect و UCFKinect، قابل رقابت بودن عملکرد روش ارائه شده با برترین روشهای موجود در بازشناسی کنشهای انسانی را نشان می­دهد.
کلیدواژه‌ها

عنوان مقاله English

Embedded Feature Representation in Dynamic Time Warping Space for 3D Action Recognition Using Kinect Depth Sensor

نویسندگان English

Mohsen Tabejamaat 1
Hoda Mohammadzade 2
1 MS.C Student of Electrical Engineering, Sharif University of Technology
2 Department of Electrical Engineering, Sharif University of Technology
چکیده English

This paper proposes a novel 3D action recognition technique which uses the skeletal information extracted from depth image sequences. First, each action is represented by a multidimensional time series where each dimension represents the position variation of one skeleton joint over time. The time series is then mapped into the kernel Hilbert space using a metric defined by Dynamic Time Warping distance. Afterwards, regularized Fisher strategy is used to remap the kernel space into a discriminative one. This incorporates the correlation-distinctiveness relationship of the sequences into the recognition process and also mitigates the curse of dimensionality effect in the kernel space.  Unlike traditional kernel functions, the time warping used in the mapping strategy makes the kernel space robust to the temporal shift variations of the motion sequences. Moreover, our method eliminates the need for a complex design method for extracting the static and dynamic information of a motion sequence. A set of extensive experiments on three publically available databases; TST, UTKinect, and UCFKinect demonstrates the superiority of our method compared to a set of baseline algorithms.

کلیدواژه‌ها English

Action recognition
dynamic time warping
kernel trick
embedded feature representation
دوره 9، شماره 3
پاییز 1401
صفحه 19-34

  • تاریخ دریافت 30 مهر 1400