پردازش داده های خطوط هوایی (Big Data) در نرم افزار MATLAB

پردازش داده های خطوط هوایی (Big Data)

در این بخش پروژه پردازش داده های خطوط هوایی که در حوضه پردازش داده های بزرگ یا پردازش موازی (Parallel Computing) یک پروژه مناسب محسوب می شود را برای شما عزیزان آماده کرده ایم که همراه با داکیومنت به صورت رایگان ارائه شده است. این پروژه با استفاده از نرم افزار MATLAB شبیه سازی شده است که در ادامه می توانید توضیحاتی در مورد پروژه و همچنین فیلم خروجی شبیه سازی را به صورت آنلاین مشاهده کرده و پروژه را به صورت رایگان دانلود نمائید.

پردازش داده های عظیم (Big data)

داده های عظیم یا Big Data یعنی مجموعه داده هایی که بسیار بزرگ و حجیم هستند و سیستم و دیتابیس های معمولی توانایی پردازش آن ها را ندارند. محققان و پژوهشگران بسیاری امروزه بر روی Big Data ها فعالیت می کنند تا راه حلی برای این موضوع بیابند.

معرفی پروژه پردازش داده های خطوط هوایی

در این پروژه از نسخه 2014 نرم افزار MATLAB و روش برنامه نویسی MapReduce برای پردازش داده های عظیم استفاده شده است، روش مذکور در نسخه های بالاتر MATLAB نیز قابل استفاده می باشد. با استفاده از این تکنیک راهکاری برای پردازش و بررسی داده های بزرگ مبتنی بر فایل بر روی کامپیوتر ها فراهم می شود. در این پروژه Big Data مجموعه داده هایی که از آن ها استفاده شده است، رکورد هایی حاوی معیار های کارایی پرواز های خانگی خطوط هوایی آمریکا را شامل می شود. این رکورد ها برای بین سال های 1987 تا 2008 می باشد که درون یک فایل اکسل با پسوند CSV ذخیره شده اند.

آشنایی با برنامه‌ نویسی MapReduce

در زمان کار بر روی داده های عظیم، از یک تکنیکی برای تقسیم و غلبه استفاده می شود که به آن تکنیک MapReduce گفته می شود. در ادامه 3 آرگومان ورودی که تابع Mapreduce برای استفاده در نرم افزار MATLAB نیاز دارد را بررسی می کنیم.

• به منظور خواندن داده به داخل تابع Map به شکل چانک به چانک به یک Datastore نیاز می باشد.
• یک تابع map مورد نیاز است تا بر روی هر چانک داده عمل کند و یک خروجی که بر اساس یک محاسبه جزئی است را برگرداند. تابع Map در MapReduce یک برای هر چانک داده ایی که در Datastore وجود دارد فراخوانی می شود که هر کدام از عملیات های صورت گرفته به صورت مستقل می باشد.
• برای ایجاد پاسخ نهایی، خروجی حاصل از تابع Map را به تابع Reduce می دهیم و این تابع نیز محاسباتی که در تابع Map آغاز شده اند را به اتمام می رساند.