(55 امتیاز از 12 رای)
Loading...
تشخیص و ردیابی کلید پیانو
در این بخش پروژه تشخیص و ردیابی کلید پیانو نواخته شده در ویدئو با نرم افزار MATLAB آماده کردیم که بر اساس مقاله Detection of Piano Keys Pressed in Video انجام شده است. در ادامه به چکیده و مقدمه ای از این مقاله پرداخته و فیلم و تصاویری از خروجی این پروژه بینایی ماشین و پردازش تصویر قرار داده شده و مقاله مرجع نیز برای دانلود رایگان قرار داده شده است.
معرفی پروژه
این مقاله یک روش برای تشخیص و ردیابی کلید هایی که در یک ویدیو از پیانو پخش می شود را ارائه می دهد. این خط لوله ای پیشنهادی با استفاده از تفاوت های تصویر بین فریم های ویدئویی و همچنین دیگر تکنیک های پردازش تصویر عمل می کند که شامل تبدیل هاف، دیلیشن مورفولوژیکی (یکی از عملیات اساسی در مورفولوژی ریاضی)، فرسایش و نشانه گذاری ناحیه ها (لبه یابی) می باشند.
مقدمه مقاله
ابزار ها و نرم افزار های مختلفی برای صفحه کلید پیانو وجود دارد که کمک می کند تا تک تک کلید های آهنگ را یاد بگیرید. برخی از نرم افزارها مانند Synthesia توالی ها و طول مدت اعمال کلید در قطعه را تجسم می کنند. دیگران صفحات موسیقی را از ویدیو یوتیوب بدون شیت ارائه می کنند. با این حال، چندین ابزار وجود دارد که دقیق نیستند و جنبش دست و ردیابی کلید را نشان نمی دهد که برای یادگیرنده مفید باشد.
ردیابی دست و انگشتان
کار های مختلفی در پژوهش های قبلی از جمله ردیابی دست و انگشتان برای کمک به یادگیرنده ارائه شده اند تا پیانو بهتر بنوازند. الگوریتم های مختلف در بینایی ماشین و پردازش تصویر برای تشخیص دست ها از تصاویر استفاده می شود که از جمله آنها آشکارساز رنگ پوست یا آشکارساز شکل دست می باشند. با این حال نتایج هنوز دقیق نیستند، زیرا شکل دست پیانیست ها از حرکات دست معمولی متفاوت است، در حالی که انگشتان به وضوح برآمده و اغلب شامل یکدیگر هستند.
طراحی آشکارساز برای تشخیص سمت انگشتان
برای رفع این مسئله، برخی از روش ها، طراحی یک آشکارساز را انجام می دهند که از کاهش افت نور در ناحیه بین انگشتان برای تشخیص سمت انگشتان استفاده می کند. بدلیل اینکه موضوع پیچیده تر است، به دلیل شباهت آنها در دستان، پنج انگشت به سختی تشخیص داده می شود. راه حل ساده استفاده از نشانگرها برای تمایز هر یک از انگشتان است. روش های ارائه شده در دیگر مقالات، نیاز به سنسور عمق دارند تا موقعیت انگشتان را شناسایی کنند که نتایج ثابت شده کاملا مثبت می باشد.
تکنیک های پردازش تصویر برای تشخیص کلید ها
از سوی دیگر، بعضی از آثار قبلی، با استفاده از تکنیک های پردازش تصویر برای تشخیص کلید های واقعی در پیانو تلاش کرده اند. از سنسور عمق برای تشخیص تفاوت در عمق برای کلید استفاده می کنند. با این حال، همانطوری که هر کسی به سنسور عمق دسترسی ندارد، هدف ما این است که یک خط لوله ای جدید بسازیم که تنها از تکنیک های پردازش تصویر استفاده کند. در این مقاله، از تفاوت های تصویری بین فریم هایی که دکمه های فشار داده شده به علت انعکاس نور و سایه برای تعیین کلید های صحیح استفاده می کنند، بهره می بریم.
تصاویری از خروجی
سلام من یه برنامه دارم تو متلب می تونید تو انجامش بهم کمک کنید تو چند خطش گیر دارم همه سعیمو کردم ولی نتیجه نگرفتم هر کاری می کنم خطا نشون میده یه عکسی ازش گرفتم می تونم براتون بفرستمش.