آموزش ساخت Data Pipeline های دسته ای بر روی گوگل کلود

با مشاهده این کورس آموزشی از طریق انجام پروژه های واقعی و به زبانی بسیار ساده مطالب فراوانی را در رابطه با کلود گوگل یاد می گیرید.

عنوان اصلی : Building Batch Data Pipelines on GCP

سرفصل ها :

معرفی دوره
شروع کار با GCP و Qwiklabs
EL، ELT، ETL
ETL برای حل مشکلات کیفیت داده ها
نحوه انجام عملیات در BigQuery
ملاحظات کیفیت
کاستی ها
GCS به جای HDFS
معرفی آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc
آزمایشگاه: اجرای کارهای Apache Spark در Cloud Dataproc
بهینه سازی Dataproc
بهینه سازی مانیتورینگ Dataproc
بهینه سازی ذخیره سازی Dataproc
بهینه سازی الگوهای Dataproc و مقیاس خودکار
اجرای Hadoop در Cloud Dataproc
خلاصه
اکوسیستم هادوپ
محیط جریان هوای آپاچی
ساخت خط لوله
اجزای Data Fusion
DAG ها و اپراتورها
کاوش داده ها با استفاده از رانگلر
معرفی
آزمایشگاه: مقدمه ای بر Cloud Composer
آزمایشگاه: ساخت و اجرای نمودار خط لوله با داده فیوژن
Lab:An Introduction to Cloud Composer
آزمایشگاه: ساخت و اجرای نمودار خط لوله در Cloud Data Fusion
نظارت و ثبت
هماهنگی کار بین خدمات GCP با Cloud Composer
برنامه ریزی گردش کار
جمع آوری با GroupByKey و Combine
ساخت خطوط لوله داده های ابری در کد
Cloud Dataflow
خطوط لوله Cloud Dataflow SQL
ایجاد و استفاده مجدد از الگوهای خط لوله
ملاحظات کلیدی در طراحی خطوط لوله
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: MapReduce در جریان داده (جاوا)
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: یک خط لوله ساده جریان داده (جاوا)
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: خط لوله ساده جریان داده (پایتون)
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با Dataflow: MapReduce در Dataflow (Python)
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (جاوا)
آزمایشگاه: تجزیه و تحلیل داده های بدون سرور با جریان داده: ورودی های جانبی (پایتون)
آزمایشگاه: ساخت یک خط لوله ساده جریان داده
آزمایشگاه:MapReduce در Cloud Dataflow
آزمایشگاه: تمرین ورودی های جانبی خط لوله
ورودی های جانبی و ویندوز داده ها
تبدیل داده ها با PTtransforms
چرا مشتریان برای Dataflow ارزش قائل هستند؟
خلاصه دوره