آموزش معماری راهکارهای بیگ دیتا با استفاده از Google Dataproc

در این دوره آموزشی با Google Dataproc آشنا شده و یاد می گیرید که چطور معماری راهکارهای بیگ دیتا را برای آن ها انجام دهید.

عنوان اصلی : Architecting Big Data Solutions Using Google Dataproc

سرفصل ها :

بررسی اجمالی دوره
نمای کلی ماژول
پیش نیازها، طرح کلی دوره، و سناریوهای فروش Spikey
پردازش توزیع شده
ذخیره سازی در هادوپ سنتی
محاسبه در هدوپ سنتی
جداسازی فضای ذخیره سازی و محاسبه با Dataproc
Hadoop در مقابل Dataproc
با استفاده از Cloud Shell، فعال کردن Dataproc API
ویژگی های Dataproc
مهاجرت به Dataproc
قیمت گذاری دیتاپروک
نمای کلی ماژول
ایجاد یک کلاستر Dataproc با استفاده از کنسول وب
استفاده از SSH برای اتصال به Master Node
ایجاد یک قانون فایروال برای فعال کردن دسترسی به Dataproc
دسترسی به Resource Manager و Name Node UI
داده ها و MapReduce Code را در فضای ذخیره سازی ابری آپلود کنید
اجرای MapReduce در Dataproc
اجرای MapReduce با استفاده از ابزار خط فرمان gcloud
ایجاد یک خوشه با نمونه‌های Preemptible با استفاده از gcloud
مانیتورینگ کلاسترها با استفاده از Stackdriver
گروه‌های نظارت Stackdriver و سیاست‌های هشدار
پیکربندی اقدامات اولیه برای Dataproc
نمای کلی ماژول
جرقه برای پردازش توزیع شده
اجرای یک کار Spark Scala با استفاده از کنسول وب
اجرای یک برنامه Spark با استفاده از gcloud
ایجاد یک جدول BigQuery
برنامه Pyspark با استفاده از رابط های BiqQuery و Cloud Storage
اجرای یک برنامه Spark برای دریافت نتایج در BigQuery
مانیتورینگ Spark Jobs در Dataproc
نمای کلی ماژول
Pig برای بار تبدیل عصاره
اجرای Pig Script در Dataproc
ذخیره خروجی Pig در Cloud Storage
کندو برای پرس و جو از داده های بزرگ
اجرای Hive Queries در Dataproc
خلاصه و مطالعه بیشتر