در حال حاضر محصولی در سبد خرید شما وجود ندارد.
پایان دادن به پایان پردازش دسته ای، ارکستر داده ها و تجزیه و تحلیل جریان زمان واقعی در GCP
عنوان اصلی : Data Engineering on Google Cloud platform
سرفصل های دوره :
مقدمه و بررسی اجمالی:
بررسی اجمالی دوره و اهداف
چگونه از دوره بهترین استفاده را ببریم؟
پردازش دسته‌ای و ETL با استفاده از BigQuery، Spark و Airflow / Google composer:
مقدمه ای بر Bigquery به عنوان ابزار ذخیره سازی داده در GCP
عملی - جداول پارتیشن بندی شده و بارگیری داده ها
مقدمه ای بر خوشه های Dataproc
عملی - خوشه های Dataproc ایجاد کنید
عملی - بیان مسئله | کار PySpark ETL را با استفاده از نوت بوک های Jupyter بنویسید
عملی - Pyspark Job را ارسال کنید و داده ها را در جداول Bigquery بارگذاری کنید
عملی - یک گردش کار Google برای ارسال برنامه های Pyspark بنویسید
عملی-نوشتن اسکریپت جریان هوا در پایتون برای ایجاد DAG و وابستگی ها
حذف دسته‌ای داده با استفاده از Apache Sqoop و Apache Airflow / Google Composer:
معرفی Apache Sqoop
عملی - راه اندازی وابستگی های Sqoop و راه اندازی پایگاه داده Cloudsql
عملی - ایجاد خوشه Dataproc | دستورات Sqoop/واردات ساده به GCS
عملی - Sqoop - واردات افزایشی از پایگاه داده CloudSql Mysql
عملی - جستجوی مرز Sqoop / واردات بدون کلید اصلی
عملی - وارد کردن Sqoop با استفاده از Apache Airflow / Google Composer
عملی - با استفاده از Apache Airflow / Google Composer واردات افزایشی را انجام دهید
دوره تصادف کافکا:
مقدمه کافکا
کافکا - موضوعات، پارتیشن ها و کارگزاران
کافکا - تکرار
کافکا - نقش نگهبان باغ وحش
کافکا - دستورات را روی Dataproc تمرین کنید
جریان‌سازی بی‌درنگ و تجزیه و تحلیل با استفاده از جریان ساختار یافته Spark با کافکا:
شناخت Spark Streaming API - Dstreams و Structured Streaming
مقدمه ای بر جریان ساختاری Spark
عملی - ایجاد خوشه های Dataproc - با اقدامات اولیه
عملی - تنظیم خوشه Dataproc و پیش نیازهای برنامه پخش جریانی
عملی - پخش ساختاری Pyspark - آزمایش داده‌های جریان و مجموع‌ها
عملی - بیان مسئله | مدیریت دیرهنگام داده ها و تجمعات جریانی
عملی نوشتن توابع ابر پس‌زمینه برای بارگیری داده‌های تبدیل‌شده به bigquery
عملی - دسته بندی های پربازدید را در میکروبچ ها دریافت کنید
بیانیه مشکل | جریان داده های خام
عملی - جریان داده خام|جدول خارجی کندو | میکروبچینگ با استفاده از جریان هوا
عملی - نوشتن توابع ابری راه اندازی شده GCS برای بارگیری داده ها در bigquery
جریان‌سازی بی‌درنگ با فایل‌های جریانی به عنوان منبع داده با داده‌های حسگر IOT:
درک بیان مسئله
عملی - تنظیم اسکریپت پایتون ژنراتور داده
جمع‌بندی‌های عملی-حالتی|غرق دسته‌ای Foreach|عملکردهای ابری راه‌اندازی شده توسط GCS
عملی - توابع ابری و بارگیری داده ها در bigquery
بیانیه مشکل | مدیریت هشدارهای دستگاه IOT پرمصرف
به‌روزرسانی - BigQuery / CLoudSql - پرسش‌های فدرال:
به روز رسانی - BigQuery / CloudSql - جستجوهای فدرال
Data Engineering on Google Cloud platform
در این روش نیاز به افزودن محصول به سبد خرید و تکمیل اطلاعات نیست و شما پس از وارد کردن ایمیل خود و طی کردن مراحل پرداخت لینک های دریافت محصولات را در ایمیل خود دریافت خواهید کرد.
