توضیحات
Hidden Markov Model – based Gesture Recognition with Overlapping Hand- HeadHand-Hand Estimated using Kalman Filter
تشخیص حرکت بر اساس مدل مخفی مارکف با استفاده از همپوشانی دستها و استفاده از فیلتر کالمن
دارای 15 صفحه گزارش در قالب ورد است.
بخشی از گزارش:
تشخیص حرکت بر اساس مدل مخفی مارکف با استفاده از همپوشانی دستها و استفاده از فیلتر کالمن
مقدمه
در این مقاله، یک سیستم تشخیص حرکت دست برای شناسایی علایم زبان مالزیایی (MSL) معرفی می کنیم.
این سیستم شامل 4 مرحله است: جمع آوری تصاویر ورودی ، استخراج ویژگی ، آموزش مدل مخفی مارکف (HMM) و تشخیص حرکت.
ابتدا ما یک جداسازی پوست با استفاده از فریم های ورودی به منظور شناسای نواحی پوست انجام می دهیم.
سپس ما عملیات استخراج ویژگی شامل مرکز ثقل، فاصله دست و زوایای دست بدست می آوریم.
کالمن فیلتر برای شناسایی همپوشانی دو دست استفاده خواهد شد.
پس از استخراج بردار ویژگی ها مسیر حرکت دست با استفاده از مسیر حرکت برای کاهش پیچیدگی سیستم نشان داده می شود.
سپس از مدل مخفی مارکف برای تشخیص حرکت استفاده می شود.
برای تشخیص رفتار، برای حالت های مختلف مدل مخفی مارکف یک امتیاز نسبت داده می شود.
مدلی که بیشترین نمره را داشته باشد به عنوان حرکت نهایی در نظر گرفته می شود.
معرفی
زبان علایم مالزیایی (MSL) روش معمول برای برقراری ارتباط با ناشنوا و افرادی که شنوایی آنها دچار اختلال است میباشد…
مرور روشهای قبلی
روش های زیادی تا کنون برای تشخیص دست در تصاویر ارایه داده شده است.
رنگ پوست به عنوان یک نشانه قوی برای تشخیص دست از اشیاء دیگر در ویدیو در سیستمهای colorbased امکان پذیر است [1].
با این حال، وجود دارد ممکن است برخی از اشیاء دیگر به رنگ پوست باشند مانند صورت، بازو و … بنابراین، شناسایی دست تنها با استفاده از رنگ پوست کافی نیست.
راه دیگری برای انجام تشخیص دست استفاده از شکل دست است [2].
پس از تشخیص پوست مهمترین مورد در زبان علایم این است که چگونه حرکت دست توسط کامپیوتر تشخیص داده شود.
اکثر روشهای موجود را به طور عمده می توان به قسمت داده های دست (Data Glove) و روش های مبتنی بر چشم(vision-based) تقسیم تقسیم کرد همانطور که در [5] و [6] بحث شده است.
روش مبتنی بر داده های دست (Data Glove) با استفاده از دستگاه های حسگر برای دیجیتالی شدن دست و حرکت انگشت برای داده های چند پارامتری استفاده می کنند.
در روش مبتنی بر چشم (vision-based) فقط به یک یا دو دوربین نیاز است.
از چالش های این روش این است که پس زمینه باید ثابت بماند، حساس به نو است ، برای دستیابی به کارایی آنلاین (real time) باید اجازده داده شود که شخص و دوربین مستقل عمل کنند.[7]
دو روش مبتنی بر کلمه و مبتنی بر واج وجود دارد که در روش مبتنی بر کلمه براب هر کلمه یک HMM جدا آموزش داده می شود.
در روش مبتنی بر واج ، برای هر واج یک HMM جدا آموزش داده می شود.
مهمترین مزیت روش مبتنی بر واج نسبت به روش مبتنی بر کلمه این است که تعداد واج های یک زبان محدود است ولی تعداد کلمات یک زبان نا محدود است.
بنابراین استفاده از روش مبتنی بر واج در کاربردهای بزرگ بهتر و موثرتر است.
جمع آوری فریم های ورودی و جداسازی پوست
برای هر ویدیو از MSL، فریم های ورودی از سر تا کمر محدود می شوند و پس زمینه آزمایشگاه برای آنها در نظر گرفته می شود.
برای کم کردن زمان پردازش هر فریم 640*480 پیکسلی را به فریم استاندارد زبان علایم مالزیایی یعنی 320*220 تبدیل می کنیم.
همانطور که در شکل 1و2 مشاهده می شود در این مرحله بین دو فریم متوالی مقایسه انجام می شود و پس از هر کلمه متوقف می شود.
سپس برای هر ویدیو 30 فریم که دارای تفاوت هستند انتخاب می شود.
استفاده از جدا سازی رنگ برای تشخیص دست ضروری است.
چون رنگ پوست دارای مقدار منحصر به فرد است.
مدل های مختلف رنگ آمیزی تصاویر مانند RGB ، HSL و HSV برای تشخیص دست قابل پیاده سازی هستند …
استخراج ویژگی
پس از آنکه جدا سازی با استفاده از رنگ پوست انجام شد می توانیم بگوییم هر چه در سمت چپ تصویر است به عنوان دست چپ، آنچه در سمت راست تصویر است دست راست و آنچه در بالای تصویر است به عنوان صورت در نظر گرفته می شود.
برای هر کدام از این 3 ناحیه مرکز ثقل را طبق انچه در معادله 5 و6 و7 گفته شده محاسبه میکنیم.
و در نهایت سه مجموعه از مراکز خواهیم داشت.
پس از اینکه جداسازی از طریق پوست انجام شد ممکن است که بین دست ها و دست و صورت همپوشانی وجود داشته باشد.
برای مقابله با این مشکل از فیلتر کالمن استفاده شده است
فاصله بین دست و صورت
فاصله بین دست و سر با استفاده از معادله (13) محاسبه می شود که این رابطه به عنوان رابطه فیثاقورس معروف است.
فاصله محاسبه شده با مقیاس 10 کاهش می یابد که برای استفاده در HMM مناسب باشد.
در این رابطه 
فاصله افقی بین سر و دست است و 
فاصله عمودی بین سر و دست است.
که این موضوع در شکل زیر نشان داده شده است:
زاویه دست
زاویه دست به صورت یک زاویه در فاصله -90 تا 90 از محور افقی محاسبه می شود.
زاویه با استفاده از قرار دادن نقطه هایی در بیض محاسبه می شود.
زاویه بین قطر بزرگ بیضی و محور افقی به عنوان زاویه ای که نشان دهنده ی انحراف دست است در نظر گرفته میشود.
رنج این زاویه به از 1 تا 19 است که از تقسیم بر 10 درجه محاسبه می شود.
در شکل زیر نمونه ای از انحراف دست نمایش داده شده است.
پس از استخراج ویژگی، مرکز ثقل برای دست ها به عنوان مسیر حرکت با استفاده از زنجیره کد در نظر گرفته می شود.
مسیر حرکت دست در هر زمان شامل دو نقطه (X_hand , Y_hand) است.
بنابراین برای مشخص شدن زاویه انحراف از دو نقطه که نان دهنده قطر بیض هستند با استفاده از معادله 14 محاسبه می شود:
در این رابطه T، بیانگر طول مسیر حرکت است.
این زاویه بدست آمده در نهایت بر 20 تقسیم می شود تا مقدار 0 تا 360 را به 1 تا 18 نگاشت کند.
جدول زیر چند زاویه مختلف را بعد از تقسیم بر 20 نمایش می دهد:
وقتی که مرکز مربوط به دست ها محاسبه شد و فاصله بین دست ها و سر و همچنین زاویه بین دست و سر و همچنین زاویه انحراف هر دست محاسبه شد از آنها به عنوان ورودی برای HMM استفاده می شود.
HMM یک ابزار رساضی است که در شناسایی آماری الگو استفاده زیادی دارد.
توضیح برنامه Matlab
توضیحات این بخش با خرید پروژه قابل دریافت است.
نحوه اجرا برنامه متلب
برای اجرای برنامه باید فایل HMM_hand_gesture اجرا شود.
ابتدا باید در این فایل تعداد ویدیوهای آموزشی در Number_of_trian مشخص شود.
(4 ویدیو برای آموزش در نظر گرفتیم-شما میتونید این تعداد رو بیشتر کنید-خود مقاله گفته باید ویدیو ها شرایط یکسان داشته باشند یعنی پس زمینه ثابت داشته باشند و …)
نام این ویدیو ها با به صورت 1.mp4 و 2.mp4 و …. داشته باشد.
سپس یک ویدیو به نام Test.mp4 باید وجود داشته باشد.
نتایج شبیه سازی با متلب
سطر اول 4 فریم مختلف از ویدیو تست را نمایش می دهد.
سطر دوم این فریم هارا بعد از جداسازی از طریق رنگ پوست نمایش می دهد.
در محیط command window هم عبارت زیر نمایش داده می شود که بیان می کند که ویدیو تست با کدام ویذیو در داده های اموزشی شباهت بیشتری دارد:
*********************************************************
This test video most similar to:1.mp4
*********************************************************
کلید واژه : پردازش تصویر,
skin segmentation YCbCr, feature extraction, Kalman Filter, gesture trajectory, gesture path, states, Hidden Markov Model
شبیه سازی
Hidden Markov Model – based Gesture Recognition with Overlapping Hand- HeadHand-Hand Estimated using Kalman Filter
طبق توضیحات فوق تهیه شده و به تعداد محدودی قابل فروش می باشد.
سفارش انجام پروژه مشابه
درصورتیکه این محصول دقیقا مطابق خواسته شما نمی باشد،.
با کلیک بر روی کلید زیر پروژه دلخواه خود را سفارش دهید.
دیدگاهها
هیچ دیدگاهی برای این محصول نوشته نشده است.