مدیریت ذخیره سازی در لبه با پیش بینی های بلادرنگ در متلب

مدیریت ذخیره سازی در لبه با پیش بینی بلادرنگ در MATLAB

در این بخش پروژه داده کاوی مدیریت ذخیره سازی در لبه با پیش بینی های بلادرنگ در نرم افزار MATLAB را آماده کرده ایم که براساس مقاله Efficient Edge Storage Management Based on Near Real-Time Forecasts انجام شده است. در ادامه به توضیحاتی از مسئله و طرح ارائه شده در مقاله پرداخته و فیلم و تصاویر خروجی پروژه در محیط متلب قرار داده شده و مقاله پایه نیز قابل دانلود است.

تحلیل داده های IOT مبتنی بر Edge

امروزه تجزیه و تحلیل داده ها بر روی سیستم های مبتنی بر لبه (Edge) برای انجام تصمیمات بلادرنگ در نزدیکی کاربر استفاده می شود. هنگام انجام تصمیمات بلادرنگ در Edge برای انجام تجزیه و تحلیل دقیق داده ها، به داده های تاریخی داریم. از آنجا که ظرفیت های ذخیره سازی در Edge محدود است، ما با چالشی برای ایجاد تعادل در کمیت داده های ذخیره شده با کیفیت تصمیمات بلادرنگ مواجه هستیم. در این مقاله یک مدل معماری سه لایه برای مدیریت ذخیره سازی داده در لبه ارائه می شود که شامل یک الگوریتم تطبیقی بوده و به طور پویا یک توازن بین ارائه دقت پیش بینی بالا برای تصمیم گیری های کارآمد به صورت بلادرنگ و کاهش مقدار داده های ذخیره شده در ذخیره سازی با محدودیت فضا را ایجاد می کند. در این مقاله تمرکز بر روی داده های سری زمانی (Time Series) می باشد که در زمینه نظارت مبتنی بر حسگر در محیط های IoT معمول است. با استفاده از روش پیشنهادی می توان مقدار داده های ذخیره شده را کاهش داد بدون اینکه بر آستانه مشخص شده برای دقت پیش بینی تأثیر بگذارد.

شکل معماری ذخیره سازی در لبه

مفهوم محاسبات لبه (Edge Computing)

اخیراً دستگاه های IoT در مجموعه وسیعی از برنامه های کاربردی مانند شهرهای هوشمند، بهداشت و درمان و مدیریت ترافیک استفاده می شوند. مدیریت چنین سیستم هایی به طور کلی نیازمند سه مرحله است که شامل جمع آوری داده ها از طریق حسگرها، پردازش این داده ها و اقدام بر اساس اطلاعات به دست آمده می باشند. در اکثر سیستم های موجود، چنین پردازشی در مراکز داده عظیم انجام می شود. با این حال، با توجه به اینکه مراکز داده عظیم معمولاً در مجاورت دستگاه نهایی اینترنت اشیا تولید کننده داده نیستند، انتقال داده از حسگرها به مراکز داده عظیم ممکن است منجر به تأخیر زیاد شود. از آنجایی که چنین سیستم هایی الزامات تأخیر بسیار سختی دارند، کاهش زمان جمع آوری و پردازش داده های دستگاه های IoT از اهمیت بالایی برخوردار است. اخیراً تجزیه و تحلیل Edge یا محاسبات لبه (Edge Computing) به یکی از پرکاربردترین راه حل ها برای این مشکل تبدیل شده است.

پردازش داده های اینترنت اشیا

در تجزیه و تحلیل Edge ، تجزیه و تحلیل و جمع آوری داده های حاصل از دستگاه های IoT در گره هایی انجام می شود که نسبت به مراکز داده عظیم به آنها نزدیک تر هستند. با قرار دادن تجزیه و تحلیل داده ها در نزدیکی منبع داده، معماری های Edge می توانند میزان داده های عبوری از شبکه را کاهش دهند، بنابراین تأخیر و هزینه های کلی را به حداقل می رسانند. به علاوه، به لطف امکان تجزیه و تحلیل اندازه گیری های دسته ای و جریانی در حالی که همزمان تجزیه و تحلیل داده ها را به لبه منتقل می کنند، آنها اجازه می دهند پاسخ های سریع و دقیق دریافت کنند. با این حال ذخیره حجم عظیمی از داده ها در لبه به دلیل محدودیت های ذخیره سازی در گره های لبه می تواند منجر به مشکلات متعددی شود. از آنجایی که تجزیه و تحلیل بلادرنگ داده به داده های تاریخی زیادی برای انجام پیش بینی های دقیق نیاز دارد، ذخیره سازی کارآمد در تحلیل های بلادرنگ به مساله ای کلیدی در Edge تبدیل شده که در این پروژه براساس داده های سری زمانی به این موضوع در محیط نرم افزار متلب پرداخته شده است.

شکل اصول الگوریتم طراحی شده

مدیریت ذخیره سازی در محاسبات لبه

مشکل مدیریت ذخیره سازی توسط مقاله مرجع 11 و 12 مورد بحث قرار گرفته است، اما آنها نه محدودیت ظرفیت ذخیره سازی در لبه و نه دقت تجزیه و تحلیل بلادرنگ را برای سیستم های حساس لبه در نظر می گیرند. با توجه به استفاده همیشه و فزاینده از داده های مبادله شده توسط دستگاه های IoT و تمایل رو به رشد استفاده از گره های Edge برای انجام تجزیه و تحلیل بلادرنگ بر روی آنها، پیشنهاد راهی برای کاهش میزان داده های ذخیره شده در گره های لبه بدون تأثیر بر دقت پیش بینی می تواند منافع قابل توجهی را در این زمینه به همراه داشته باشد. در این مقاله یک مدل معماری سه لایه برای مدیریت کارآمد ذخیره سازی داده در تجزیه و تحلیل Edge ارائه شده است.

معماری پیشنهادی جریان، تجزیه و تحلیل و ذخیره سازی داده ها را به منظور مقابله با ظرفیت ذخیره سازی محدود در لبه تضمین می کند. همچنین راه حل ارائه شده از تجزیه و تحلیل دینامیکی داده های نظارتی برای مقابله با رفتار سیستم های غیرقابل پیش بینی که نیاز به نظارت مداوم داده های خوانده شده توسط سنسورها دارند، پشتیبانی می کند. بر اساس مدل پیشنهادی، یک الگوریتم تطبیقی استخراج می شود که بین کاهش فضای ذخیره سازی لازم و دقت پیش پینی ها، تعادل ایجاد می کند. در این طرح از روش های مختلف پیش بینی و روش های مختلف برای اندازه گیری دقت پیش بینی ها برای تعیین میزان داده هایی که باید در یک گره Edge ذخیره شوند، استفاده می شود. در نهایت کاربرد رویکرد ارائه شده در یک سناریوی تجربی با استفاده از مجموعه داده های مختلف با استفاده از نرم افزار MATLAB مورد ارزیابی قرار می گیرد.

پیش بینی و اندازه گیری دقت پیش بینی

پرکاربردترین تکنیک های پیش بینی میانگین متحرک خودهمبسته یکپارچه (مدل ARIMA) و هموارسازی زمان نمایی (ETS) هستند. هر دو تکنیک می توانند با الگوهای سری زمانی غیرمعمول، تخمین پارامترها و محاسبه پیش بینی ها بدون دخالت کاربر، سروکار داشته باشند. داده های سری های زمانی غیرمعمول دارای ویژگی هایی مانند فصلی بودن غیرمعمول هستند. بنابراین هر این دو این روش اشاره شده برای تجزیه و تحلیل لبه مناسب هستند که در آن تجزیه و تحلیل داده ها باید به صورت خودکار انجام شود که در این پروژه نیز مورد استفاده قرار گرفته است. برای ارزیابی صحت پیش بینی ها، از معیار دقت درصد مطلق (MAPA) استفاده می شود. این معیار از معیار دقت میانگین خطای درصد مطلق (MAPE) مشتق شده و دقت پیش بینی را بر اساس خطای پیش بینی بیان می کند.

شکل کلاس های مدل ETS و ARIMA

---

---

تصاویری از خروجی