مفهوم YARN

نسل بعدی MapReduce را YARN یا MRv2  می نامند:

MapReduce در هادوپ نسخه ۰.۲۳ تغییرات کلی یافت و آن‌چه که اکنون در دسترس ماست MRV2 یا MapReduce 2.0 یا YARN نامیده می‌شود که در آن بین مدیریت منابع و مولفه‌های پردازشی، جداسازی صورت گرفته است. در حقیقت مفهوم YARN در اثر نیاز به طیف وسیع‌تری از الگوهای تعاملی برای ذخیره داده‌ها، در HDFS مبتنی بر MapReduce متولد شده است. معماری مبتنی بر YARN از هادوپ نسخه ۲.۰ یک بستر پردازشی عمومی‌تر ساخته است که محدود به MapReduce نیست.
ایده اصلی MRV2 تفکیک دو کارکرد عمده Job Tracker ـ یعنی مدیریت منابع
(Resource Management) و زمان‌بندی و پالایش Job‌ ها (Job Scheduling/ Monitoring)- از یکدیگر است، به گونه‌ای که موجودیت‌های زیر را داشته باشیم:
(a Global Resource Manager (RM
(a Per-application Application Master (AM
a per-node slave Node Manager
a Per-application container running on a NodeManager
RM یا ResourceManager به همراه NM یا NodeManager سیستم جدید و عمومی‌تری برای مدیریت برنامه‌های کاربردی با شیوه توزیع شده، ایجاد می‌کنند. به عبارت دیگر RM ضمن آن‌که مرجع نهایی برای چگونگی گردش منابع و تخصیص آن‌ها به برنامه‌های کاربردی سیستم به شمار می‌آید به همراه NM چارچوب محاسبات داده‌ای را فراهم می‌آورد. به عبارتی RM یک برنامه زمان‌بندی‌کننده(Scheduler) دارد که وظیفه اختصاص منابع به برنامه‌های مختلف در حال اجرا با در نظر گرفتن شرایطی همچون ظرفیت صف (Queue Capacity) و محدودیت کاربران (User-limits) و… را بر عهده دارد. این برنامه زمان‌بندی‌کننده، وظیفه‌اش را بر مبنای الزامات منابع (Resource Requirements) برنامه‌های کاربردی انجام می‌دهد.

MapReduce NextGen Architecture

مفهوم YARN یک چارچوب کاری برای زمان‌بندی کارها و مدیریت منابع کلاسترها.تغییرات ایجاد شده در نسخه ۲ چیزی فراتر از یک واحد ارتقا نسخه است. در واقع این یک واحد ارتقا عددی، تغییر نسل معماری هادوپ به شمار می‌آید. لایه MapReduce روی سیستم فایل HDFS (سرنام Hadoop Distributed File System)  موجود در نسخه ۱، جای خود را به سیستم مدیریت منابع کلاستر YARN (سرنام  Yet Another Resource Negotiator) داده است که هادوپ را به پلتفرم بسیار توانمندتری تبدیل می‌کند و جایگاه آن را از یک نرم‌افزار پردازش دسته‌ای داده به یک «سیستم‌عامل داده‌ای» ارتقا داده است.
با استفاده از HDFS می‌توان داده‌ها را به هر روشی ذخیره کرد و MapReduce تنها الگوریتمی است که می‌توان از آن به‌طور موازی برای پردازش دسته‌ای داده‌ها استفاده کرد. این مسئله بسیار محدودکننده بود و نمی‌توانست پاسخ‌گوی تمام نیازها باشد. در حالی که کاربران خواستار تعامل با داده‌ها با رویکردهای مختلف و به طرق گوناگونی هستند. اما در نسخه دوم، MapReduce تنها یکی از چندین انتخاب از میان گزینه‌ها و رویکردهای دیگر است.
روی خود HDFS نیز کار فراوانی صورت گرفته تا مقیاس‌پذیرتر، کاراتر و قابل اطمینان‌تر شود.
با استفاده از مفهوم YARN، امکان تعامل با داده‌ها روی HDFS2 دیگر محدود به یک روش نبوده و از چند راه قابل انجام خواهد بود. به عنوان مثال، می‌توان پردازش دسته‌ای را با استفاده از MapReduce، جریان داده بی‌درنگ یا Streaming را با استفاده از Storm و S4 پرس‌وجوهای تعاملی SQL را با استفاده از Hive و موتور اجرای Tez، پردازش آنلاین را با استفاده از HBase، پردازش در حافظه را با استفاده از Spark و پردازش گراف شبکه‌های اجتماعی را با استفاده از Giraph انجام داد.با وجود تمام این تغییرات بنیادی در سطح معماری، همچنان سازگاری با نسخه ۱ حفظ شده است و کاربران فعلی هادوپ می‌توانند به‌راحتی و با سرعت به نسخه ۲ مهاجرت کنند. برای این کار نیز تنها باید برنامه‌های موجود خود را دوباره کامپایل کنند. به دلیل وجود این سازگاری، از مفهوم YARN، تحت عنوان MapReduce v2 یا MRv2 نیز یاد می‌شود. در ضمن امکان اجرای هادوپ ۲ روی سیستم‌عامل ویندوز مایکروسافت نیز نیز خبر خوبی برای طرفداران این سیستم‌عامل است.

سایت اوراکل فارسی راه اندازی شد.برای مشاهده سایت اینجا کلیک نمایید.

جهت دانلود دوره های آموزشی تصویری با موضوع آموزش هادوپ روی موضوعات زیر کلیک نمایید.

محسن صفابخش

محسن صفابخش

با سلام محسن صفابخش هستم .کارشناس و متخصص داده هایی با حجم و مقیاس کلان ازینرو در حال حاضر در یکی از بزرگتربن سایت های ایران در زمینه مدیریت و نگهداری از دیتابیس های اوراکل آن مشغول به فعالیت می باشم.

More Posts - Website

Follow Me:
LinkedInGoogle PlusYouTube

One thought on “مفهوم YARN

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *